Symbolic--KAN: Kolmogorov-Arnold Networks with Discrete Symbolic Structure for Interpretable Learning

Resumo Técnico: Symbolic-KAN

1. O Problema

O aprendizado de máquina científico (SciML) enfrenta um dilema fundamental entre interpretabilidade e escalabilidade.

• Regressão Simbólica Clássica: Métodos como SINDy (Sparse Identification of Nonlinear Dynamics) produzem expressões analíticas explícitas e interpretáveis, mas dependem de buscas combinatórias que são computacionalmente caras e sofrem com o "inchaço de expressão" (expression bloat). Além disso, eles exigem bibliotecas de candidatos pré-definidas e não conseguem gerar novas combinações de termos não presentes nessas bibliotecas.
• Redes Neurais (MLPs e KANs): Redes neurais tradicionais (MLPs) são opacas e difíceis de interpretar. As Redes de Kolmogorov-Arnold (KANs) recentes oferecem uma estrutura mais próxima de fórmulas analíticas ao aprender funções univariadas, mas, ao compor muitas funções base (como splines), as expressões resultantes tornam-se longas, complexas e pouco interpretáveis.
• A Lacuna: Existe uma necessidade de uma arquitetura que seja escalável (como redes neurais), capaz de aprender diretamente de dados, mas que produza expressões simbólicas compactas e fechadas sem a necessidade de ajuste simbólico post-hoc (após o treinamento).

2. Metodologia: Symbolic-KAN

O artigo propõe o Symbolic-KAN, uma arquitetura neural que embute uma estrutura simbólica discreta diretamente dentro de uma rede profunda treinável. A abordagem baseia-se no Teorema de Representação de Kolmogorov-Arnold (KART), mas com modificações cruciais para permitir a descoberta de símbolos.

Componentes Principais:

1. Decomposição Interna Flexível: Diferente das KANs padrão que usam somas fixas de funções, cada unidade no Symbolic-KAN aprende uma projeção escalar dos dados de entrada (uma combinação linear aprendida) e aplica uma função univariada a essa projeção.
2. Biblioteca de Primitivas Analíticas: Em vez de usar apenas splines ou polinômios fixos, cada aresta da rede seleciona uma função de uma biblioteca diversificada e interpretável (ex: $\{0, 1, x, x^2, \sin(x), \cos(x), \tanh(x), e^x, \log(1+|x|), \dots\}$).
3. Mecanismo de Portão Hierárquico (Gated Training): O núcleo da inovação é um processo de treinamento em duas etapas que transforma misturas contínuas em seleções discretas (one-hot):
   • Seleção de Primitivas: Um mecanismo de Gumbel-Softmax com temperatura annealing permite que a rede "escolha" suavemente qual primitiva usar. À medida que o treinamento avança, a temperatura diminui, forçando a seleção de uma única primitiva por aresta.
   • Seleção de Arestas (Edge Selection): Cada unidade recebe múltiplas projeções escalares (arestas). Uma máscara de seleção aprendida escolhe a projeção mais relevante.
   • Portões de Unidade (Unit Gating): Unidades inteiras podem ser "podadas" (desativadas) se não forem necessárias, promovendo esparsidade estrutural.
4. Regularização Simbólica: O uso de regularização de entropia e penalidades de supressão de não-máximo (NMS) força os coeficientes de mistura a convergirem para vetores one-hot, garantindo que, ao final, cada unidade ative apenas uma primitiva e uma direção de projeção.
5. Treinamento: O processo ocorre em duas fases:
   • Fase I: Otimização relaxada com portas contínuas e temperatura variável para explorar o espaço de funções.
   • Fase II: "Endurecimento" (hardening) das portas para valores discretos (0 ou 1) e refinamento dos parâmetros contínuos restantes com otimizadores de segunda ordem (ex: L-BFGS).

3. Contribuições Chave

• Ponte entre Aprendizado e Símbolos: O Symbolic-KAN elimina a necessidade de regressão simbólica post-hoc. A rede aprende e descobre a estrutura simbólica simultaneamente durante o treinamento.
• Descoberta de Primitivas Escalável: O modelo atua como um mecanismo escalável para descobrir quais componentes analíticos são mais relevantes, podendo servir como um seletor de bibliotecas prévia para métodos esparsos como o SINDy.
• Generalização e Interpretabilidade: Produz expressões fechadas compactas que refletem a estrutura analítica real das equações subjacentes, permitindo inspeção humana e integração em pipelines de modelagem mecânica.
• Aplicabilidade em PDEs: Estende a capacidade de aprendizado simbólico para problemas de equações diferenciais parciais (EDPs) em cenários diretos (forward) e inversos.

4. Resultados Experimentais

Os autores validaram o Symbolic-KAN em três paradigmas principais:

• Regressão Orientada a Dados:

  • Em funções 1D (ex: polinômios e combinações trigonométricas), o modelo recuperou com precisão as primitivas corretas (ex: $x^2$, $\sin(x)$) e podou as irrelevantes, resultando em erros relativos extremamente baixos ($< 10^{-5}$) e generalização robusta fora da distribuição de treinamento.

• Identificação de Sistemas Dinâmicos (Equação de Van der Pol):

  • O modelo foi capaz de reconstruir trajetórias e identificar parâmetros desconhecidos ($a, \mu, c$) de um oscilador não linear com expoente não inteiro ($x^{2.15}$).
  • Recuperou os parâmetros com alta precisão (erros < 1% para a maioria) e identificou as primitivas dominantes ($\sin, \cos, x$) que capturam o comportamento oscilatório, mesmo em horizontes temporais longos.

• Aprendizado Informado por Física (PDEs):

  • Equação de Reação-Difusão: Em um problema inverso, o Symbolic-KAN superou significativamente tanto o cPIKAN (KAN baseado em Chebyshev) quanto o PINN padrão. Em domínios estendidos, reduziu o erro de validação em ~95% comparado ao cPIKAN e recuperou o coeficiente de reação com erro < 0.3%.
  • Equação de Laplace: O modelo descobriu primitivas ($\sin, \cos, \sinh, \cosh$) consistentes com a solução analítica exata, reduzindo o erro de validação em ~87% comparado ao cPIKAN e ~59% comparado ao PINN.

5. Significado e Impacto

O trabalho posiciona o Symbolic-KAN como um passo fundamental rumo ao aprendizado de leis governantes escalável e interpretável.

• Mudança de Paradigma: Move-se de modelos que apenas "aproximam" dados para modelos que "descobrem" a estrutura mecânica subjacente.
• Robustez: A arquitetura demonstra estabilidade em problemas complexos com não-linearidades fortes e condições de contorno desafiadoras, onde métodos puramente numéricos falham ou perdem precisão.
• Futuro: Oferece uma base para solvers neurais robustos que podem ser inspecionados simbolicamente, facilitando a confiança em aplicações críticas de engenharia e ciências físicas, e servindo como uma ferramenta de pré-processamento para refinamento de equações em frameworks esparsos.

Em suma, o Symbolic-KAN resolve o compromisso entre a flexibilidade das redes neurais e a clareza das equações analíticas, permitindo que máquinas aprendam não apenas o que acontece, mas como e por que isso acontece através de fórmulas matemáticas compactas.