FI-KAN: Fractal Interpolation Kolmogorov-Arnold Networks

Título: FI-KAN: Redes de Interpolação Fractal Kolmogorov–Arnold

1. O Problema

As Redes Neurais tradicionais (MLPs) e as recentes Redes Kolmogorov–Arnold (KANs) baseiam-se em funções de base suaves (como B-splines ou ativações ReLU/SiLU). Essas arquiteturas assumem implicitamente que as funções alvo são suaves (diferenciáveis ou com alta regularidade de Sobolev).

No entanto, muitos problemas científicos e de engenharia envolvem funções não suaves, caracterizadas por:

• Regularidade de Hölder baixa (ex: campos de turbulência, séries temporais financeiras).
• Auto-similaridade fractal e dimensão de contagem de caixas ($dim_B$) superior a 1.
• Singularidades em soluções de Equações Diferenciais Parciais (EDPs), como cantos em domínios não convexos ou coeficientes rugosos.

A limitação fundamental é que aproximar funções não suaves com bases suaves é ineficiente: requer um número exponencialmente maior de elementos de base para atingir a mesma precisão, e as propriedades de reprodução polinomial das B-splines não oferecem vantagens para funções com singularidades ou estrutura fractal.

2. Metodologia: FI-KAN

O artigo propõe o FI-KAN, uma extensão das KANs que incorpora Funções de Interpolação Fractal (FIF) derivadas da teoria de Sistemas de Funções Iteradas (IFS). A inovação central é tratar os parâmetros de contração vertical do IFS como parâmetros treináveis, permitindo que a dimensão fractal da função de base se adapte à regularidade do alvo durante o treinamento.

Existem duas variantes principais:

A. Pure FI-KAN (Framework de Barnsley)

• Conceito: Substitui completamente as B-splines por bases de interpolação fractal.
• Mecanismo: Cada aresta da rede utiliza uma função de base $\phi_m(x; d)$, onde $d$ são os parâmetros de contração.
• Comportamento: Quando $d=0$, a base reduz-se a funções "hat" lineares por partes. Quando $d \neq 0$, a base adquire estrutura fractal.
• Limitação: Desempenha mal em alvos suaves, pois as bases fractais têm variação total infinita (para $d$ alto), dificultando a aproximação de curvaturas suaves sem cancelamento numérico instável.

B. Hybrid FI-KAN (Framework de Navascués)

• Conceito: Implementa uma decomposição $\alpha$-fractal: $f^\alpha_b = b + h$.
• Arquitetura:
  • Caminho Suave ($b$): Mantém o caminho original de B-splines da KAN para capturar a estrutura suave.
  • Caminho Fractal ($h$): Adiciona uma correção fractal paralela para capturar a rugosidade e detalhes de múltiplas escalas.
• Vantagem: Oferece robustez. Se o alvo for suave, o caminho fractal aprende a ser inativo ($d \approx 0$); se for rugoso, o caminho fractal ativa-se para corrigir o erro residual que as B-splines não conseguem capturar.

3. Contribuições Chave

1. Dimensão Fractal Aprendível: Os parâmetros de contração do IFS atuam como um "botão" diferenciável e contínuo que ajusta a geometria da base de suave ($dim_B = 1$) para fractal ($dim_B > 1$).
2. Regularização de Dimensão Fractal: Introdução de um regularizador baseado na teoria IFS que penaliza a complexidade fractal desnecessária (princípio da Navalha de Occam geométrica). Isso força a rede a usar bases suaves a menos que os dados exijam explicitamente estrutura fractal.
3. Validação Teórica e Empírica:
   • Prova que bases fractais podem representar funções auto-affines com $O(N)$ parâmetros, enquanto B-splines exigiriam $O(N^{1/\alpha})$.
   • Demonstra que o desempenho superior depende do casamento de regularidade entre a base e o alvo.
4. Aplicação em EDPs Não Suaves: Validação em soluções de EDPs com coeficientes rugosos e singularidades de canto, onde a abordagem tradicional falha.

4. Resultados Experimentais

Os experimentos cobriram regressão 1D/2D, varreduras de regularidade de Hölder e soluções de EDPs.

• Regularidade de Hölder ($\alpha \in [0.2, 2.0]$):

  • O Hybrid FI-KAN superou a KAN padrão em todos os níveis de regularidade.
  • O ganho variou de 1.3x (para alvos muito rugosos, $\alpha=0.2$) até 33x (para alvos mais suaves, $\alpha=1.5$).
  • O Pure FI-KAN falhou em alvos suaves (polinômios), confirmando a hipótese de que bases fractais são subótimas para curvaturas suaves.

• Alvos Fractais (Weierstrass, Sawtooth):

  • Redução de MSE de até 6.3x em relação à KAN em alvos fractais puros.
  • Robustez a ruído: O Hybrid FI-KAN manteve uma vantagem de 4.7x mesmo com SNR de 5 dB, atuando como um denoiser multi-escala implícito.

• Soluções de EDPs (Não Suaves):

  • Difusão com Coeficientes Rugosos: Melhoria de 65x a 79x em relação à KAN. O FI-KAN capturou a rugosidade estruturada herdada do campo de coeficientes.
  • Domínio em L (Singularidade de Canto): Melhoria de 3.5x na aproximação da singularidade $r^{2/3}$, superando a limitação de convergência de métodos polinomiais uniformes.

• Análise de Dimensão Fractal Aprendida:

  • O regularizador permitiu que a rede "descobrisse" a dimensão fractal correta. Para alvos suaves, a dimensão aprendida convergiu para 1.0; para alvos rugosos, para valores > 1.1, servindo como uma ferramenta diagnóstica interpretável.

5. Significado e Conclusão

O FI-KAN estabelece que o design de base geométrica é uma variável crítica no projeto de arquiteturas neurais. A principal conclusão é que a eficiência da aproximação neural depende do casamento entre a regularidade da base e a regularidade do alvo.

• Impacto Científico: O trabalho valida teoricamente e empiricamente que funções de base com dimensão fractal aprendível podem superar as limitações das bases suaves (B-splines) em problemas de física e engenharia que envolvem turbulência, materiais heterogêneos e sinais biológicos complexos.
• Aplicações Práticas: O Hybrid FI-KAN é recomendado como uma extensão principial para problemas onde a suavidade não pode ser assumida a priori, especialmente em simulações de EDPs, processamento de sinais geofísicos e modelagem financeira.
• Limitação: O custo computacional é ligeiramente maior (cerca de 2.5x em relação à KAN padrão devido à recursão sequencial), e a profundidade da recursão fractal deve ser limitada (K=2 é o ideal) para evitar problemas de otimização.

Em resumo, o FI-KAN preenche uma lacuna fundamental na aproximação de funções, oferecendo uma arquitetura que se adapta geometricamente à complexidade dos dados, em vez de impor uma suposição de suavidade universal.