KAN-SR: A Kolmogorov-Arnold Network Guided Symbolic Regression Framework

Resumo Técnico: KAN-SR

Definição do Problema
A Regressão Simbólica (SR) visa descobrir expressões matemáticas de forma fechada que modelem com precisão um determinado conjunto de dados, inferindo tanto a forma funcional quanto seus parâmetros. Diferente da regressão tradicional com estruturas fixas ou modelos de aprendizado de máquina de caixa-preta, a SR busca relações interpretáveis e concisas, essenciais para a descoberta científica. No entanto, métodos clássicos como Programação Genética (GP) frequentemente sofrem com ineficiência de amostragem, altos custos computacionais e problemas de escalabilidade. Abordagens neuro-simbólicas recentes lutam com o treinamento de ponta a ponta de representações discretas, e a falta de benchmarks universais dificulta a comparação consistente. Além disso, aplicar SR a sistemas de engenharia dinâmicos é desafiador devido à sensibilidade da estimativa de derivadas ao ruído em dados de séries temporais.

Metodologia: O Framework KAN-SR
Os autores propõem o KAN-SR, um framework construído sobre Redes Kolmogorov-Arnold (KANs) [22, 23] combinado com uma estratégia de divisão e conquista e simplificação simbólica.

1. Arquitetura da Rede:

   • KANs: Ao contrário das redes neurais padrão com funções de ativação fixas, as KANs empregam funções univariadas aprendíveis. Os autores implementam a Fast-KAN usando Funções de Base Radial (especificamente uma Função de Ativação de Comutação Reflexional, RSWAF) em vez de B-splines para melhorar a velocidade e eficiência do treinamento.
   • Composição Híbrida: Para superar a limitação das KANs puramente aditivas na representação de interações multiplicativas, o framework permite explicitamente combinações aditivas e multiplicativas de ativações aprendíveis dentro de unidades de camada única.
   • Regularização: Para impor esparsidade e interpretabilidade, o modelo utiliza um esquema de regularização que penaliza o uso desnecessário de entradas via perdas de magnitude ($L_1$) e entropia nas matrizes de ativação, juntamente com uma penalidade $L_1$ nos pesos lineares de base.

2. Fluxo de Trabalho e Pipeline:
   O framework opera através de um pipeline flexível de múltiplos estágios (ver Figura 1 no artigo):

   • Pré-processamento: Normalização das variáveis de entrada.
   • Busca por Força Bruta: Uma busca exaustiva inicial por expressões multiplicativas multivariadas simples.
   • Simplificação e Decomposição: Inspirado pelo AI Feynman [15], o sistema detecta recursivamente separabilidade (aditiva ou multiplicativa) e simetrias (translação, escala, etc.) para decompor problemas complexos em subproblemas de menor dimensão.
   • Ajuste de KAN de Camada Única: Os subproblemas decompostos são ajustados usando arquiteturas KAN mínimas (unidades simples ou múltiplas).
   • Extração Simbólica: As ativações univariadas treinadas são aproximadas por funções de uma biblioteca pré-definida e extensível (polinômios, trigonométricos, exponenciais, logarítmicos, Michaelis-Menten, etc.). O melhor ajuste é selecionado com base no Erro Quadrático Médio (MSE) ou um score que equilibra MSE e complexidade.
   • Transformação de Saída: Se o ajuste falhar, a variável alvo é transformada (ex: logaritmicamente) para simplificar a forma funcional antes de tentar a busca novamente.
   • Loop de KAN Profundo: Como alternativa, arquiteturas KAN mais profundas são exploradas se modelos mais simples falharem, embora os experimentos principais foquem na eficácia do pipeline de simplificação sem este passo.

3. Extensão para Sistemas Dinâmicos (Neural CDEs):
   Para sistemas dinâmicos, o framework integra Equações Diferenciais Controladas Neurais (Neural CDEs) [36, 28]. Uma Neural CDE é treinada em dados de séries temporais ruidosos para estimar derivadas suaves. Essas estimativas de derivadas robustas servem como o alvo para o passo de regressão simbólica, permitindo a descoberta de equações diferenciais governantes (leis de taxa cinética) apesar de observações ruidosas.

Principais Contribuições

• Proposta de Framework: Introdução do KAN-SR, unificando aprendizado profundo composicional (KANs) com extração simbólica e simplificação.
• Pipeline Simbólico: Desenvolvimento de um pipeline de extração e simplificação simbólica inspirado pelo AI Feynman, utilizando uma biblioteca abrangente de funções univariadas.
• Avaliação de Benchmark: Avaliação abrangente no dataset SRSD-Feynman [16], demonstrando melhorias nas taxas de recuperação simbólica.
• Modelagem Dinâmica: Extensão do método para sistemas dinâmicos via um estudo de caso de bioprocesso, aproveitando Neural CDEs para estimativa de derivada robusta ao ruído.

Resultados Experimentais

• Benchmark SRSD-Feynman: O KAN-SR alcançou as maiores taxas de solução em todos os níveis de dificuldade (Fácil, Médio, Difícil) comparado com baselines de estado da arte (gplearn, AFP, AIF, DSR, PySR, etc.).
  • Fácil: 93,3% de taxa de solução (vs. 60,0% para o segundo melhor).
  • Médio: 60,0% (vs. 30,0% para PySR).
  • Difícil: 12,0% (vs. 4,0% para PySR).
  • Robustez: O framework manteve alto desempenho (86,7% no Fácil) mesmo quando variáveis fictícias (irrelevantes) foram introduzidas, superando significativamente outros métodos. Também demonstrou robustez ao ruído Gaussiano, resolvendo mais de 50% dos problemas Fáceis com níveis de ruído de 0,1.
• Estudo de Caso de Bioprocesso: Em um modelo de fermentação em batelada simulado, a abordagem de dois passos (Neural CDE para derivadas + KAN-SR para equações) recuperou com sucesso equações de taxa cinética estruturalmente similares à verdade fundamental (ground truth). Embora o termo de auto-inibição dependente da biomassa não tenha sido totalmente recuperado, o modelo simbólico resultante reproduziu a dinâmica do sistema com alta fidelidade em gráficos de paridade.

Significância e Alegações
O artigo afirma que o KAN-SR oferece um avanço significativo na regressão simbólica ao combinar efetivamente a expressividade do aprendizado profundo com a interpretabilidade de formas simbólicas. A abordagem de "divisão e conquista", utilizando detecção de separabilidade e simetria, permite que o framework resolva problemas complexos que frequentemente derrotam outros métodos, particularmente na presença de variáveis irrelevantes e ruído.

Os autores posicionam o KAN-SR como uma ferramenta capaz de recuperar equações de verdade fundamental em domínios científicos, destacando especificamente seu potencial para modelar sistemas de engenharia dinâmicos, como bioprocessos. Eles observam que, embora o método se destaque quando a verdade fundamental é recuperável a partir das variáveis de treinamento, ele enfrenta limitações se a solução ótima estiver fora do espaço de busca restrito definido pela arquitetura KAN de camada única e pela biblioteca específica de funções univariadas. O framework é apresentado como um passo em direção a uma modelagem dinâmica mais robusta e interpretável, embora os autores reconheçam que uma validação mais ampla em sistemas de séries temporais do mundo real é necessária para avaliar totalmente a generalizabilidade.