Adaptive RBF-KAN: A Comparative Evaluation of Dynamic Shape Parameters in Kolmogorov-Arnold Networks

Resumo Técnico: RBF-KAN Adaptativo

Declaração do Problema
As Redes Kolmogorov-Arnold (KANs) oferecem uma alternativa aos Perceptrons de Múltiplas Camadas (MLPs) ao colocar funções univariadas aprendíveis nas arestas da rede, em vez de usar funções de ativação fixas nos nós. Embora a implementação original da KAN utilize bases de B-splines, essa abordagem incorre em custos computacionais significativos durante o treinamento. O FastKAN aborda isso substituindo os splines por Funções de Base Radial (RBFs) Gaussianas, melhorando significativamente a eficiência. No entanto, o FastKAN padrão depende de um parâmetro de forma de kernel fixo ($h$). A escolha desse parâmetro é crítica: valores pequenos podem causar sobreajuste, enquanto valores grandes levam ao excesso de suavização. Um parâmetro fixo limita a adaptabilidade do modelo através de diversos tipos de funções (por exemplo, superfícies suaves, descontinuidades, padrões oscilatórios e singularidades). Além disso, a formulação padrão do FastKAN é restrita a kernels Gaussianos, potencialmente limitando a flexibilidade representacional para funções não suaves ou altamente localizadas.

Metodologia
Os autores propõem um RBF-KAN Adaptativo (também referido como FastKAN adaptativo) que introduz dois aprimoramentos principais ao framework existente:

1. Inicialização Baseada em LOOCV: Em vez de usar um parâmetro de forma fixo ou inicializado aleatoriamente, os autores estimam a escala inicial do kernel ($h_{opt}$) usando Validação Cruzada Leave-One-Out (LOOCV). Isso é realizado em um modelo de interpolação RBF unidimensional auxiliar construído a partir dos dados de entrada. Para garantir estabilidade numérica, um pequeno termo de regularização ($\lambda = 10^{-9}$) é adicionado à matriz de interpolação. O $h$ ótimo é encontrado por meio de uma busca em dois estágios (grossa e fina) que minimiza o erro máximo de LOOCV.
2. Aprendizado Adaptativo do Parâmetro de Forma: Para permitir que a rede refine a escala do kernel durante o treinamento, o parâmetro de forma é reparametrizado no espaço logarítmico ($\theta = \ln(h)$). Isso garante que $h = e^\theta$ permaneça estritamente positivo, prevenindo instabilidade numérica (divisão por zero ou crescimento exponencial) durante a otimização baseada em gradientes. O parâmetro $\theta$ é atualizado juntamente com os coeficientes dos splines via retropropagação.
3. Família de Kernels Estendida: O framework é estendido além do kernel Gaussiano para incluir uma família mais ampla de funções de base radial. Especificamente, os autores introduzem kernels Matérn (M2, M4, M6) e Wendland (W2, W4, W6) na arquitetura KAN pela primeira vez. Esses kernels oferecem variados graus de suavidade e suporte compacto, permitindo que a rede se adapte melhor a funções com diferentes características estruturais.

Principais Contribuições

• Primeira Integração de LOOCV e KANs Profundos: Até onde se sabe dos autores, este é o primeiro estudo a integrar a estimativa de escala de kernel baseada em LOOCV com o treinamento de arquiteturas KAN profundas.
• Integração de Novos Kernels: O artigo introduz kernels Matérn e Wendland no framework KAN, indo além da abordagem apenas Gaussiana do FastKAN padrão.
• Estratégia de Inicialização Orientada por Dados: O método proposto fornece uma inicialização principial e orientada por dados para a escala do kernel, reduzindo a dependência de buscas caras de hiperparâmetros, enquanto permite refinamento adicional durante o treinamento.
• Benchmarks Abrangentes: O estudo avalia o método proposto contra MLPs, KANs padrão, EfficientKAN, Chebyshev KAN, KAF e FastKAN padrão através de quatro funções de benchmark distintas representando comportamentos suaves, descontínuos, oscilatórios e singulares.

Resultados
Experimentos numéricos no domínio do quadrado unitário $[0, 1]^2$ revelam o seguinte:

• A Seleção do Kernel Importa: Nenhum kernel único é ótimo para todos os tipos de funções.
  • Funções Suaves (Franke): O kernel Gaussiano (GA) apresenta o melhor desempenho, consistente com sua diferenciabilidade infinita.
  • Descontinuidades: O kernel Matérn C2 (M2) supera significativamente o GA, capturando saltos abruptos com menor erro e menos borrão.
  • Padrões Oscilatórios: O kernel Gaussiano falha em capturar oscilações de alta frequência, enquanto o kernel Wendland C2 (W2) reconstrói o padrão com precisão.
  • Singularidades: O kernel Wendland C6 (W6) reduz o erro em aproximadamente 52% em comparação com a linha de base GA para picos localizados.
• Adaptabilidade Melhora o Desempenho: O RBF-KAN adaptativo supera consistentemente o FastKAN padrão com um parâmetro de forma fixo. Por exemplo, na função oscilatória, o erro caiu de $4.54 \times 10^{-1}$ (GA fixo) para $6.24 \times 10^{-2}$ (W2 adaptativo).
• Compromisso entre Eficiência e Precisão: Embora o KAN padrão (baseado em splines) ofereça alta precisão, é computacionalmente caro (tempos de treinamento ~60s vs. ~3-5s para variantes RBF). O RBF-KAN Adaptativo mantém a eficiência computacional do FastKAN enquanto alcança precisão competitiva ou superior em todos os casos de teste. MLPs foram encontrados como computacionalmente eficientes, mas lutaram com a precisão em padrões complexos, frequentemente suavizando excessivamente características de alta frequência.

Significado e Alegações
O artigo afirma que combinar a inicialização baseada em LOOCV com o aprendizado adaptativo de kernels fornece uma estratégia prática e flexível para melhorar modelos KAN baseados em RBF. Os autores enfatizam que seu trabalho representa a primeira tentativa de conectar a estimativa de escala baseada em LOOCV com o treinamento de KANs profundos. Eles postulam que o método proposto aborda as limitações de escolhas de kernels fixos e parâmetros de forma fixos, permitindo que a rede adapte melhor sua representação de base às características estruturais específicas da função alvo (suavidade, descontinuidade, oscilação ou singularidade). O estudo conclui que, embora diferentes kernels mostrem vantagens para diferentes classes de funções, o framework adaptativo oferece uma solução robusta que equilibra a eficiência computacional do FastKAN com a precisão necessária para desafios de aproximação diversos. Trabalhos futuros são sugeridos para investigar aplicações em problemas de dimensão mais alta, conjuntos de dados reais ruidosos e tarefas de computação científica, como a resolução de equações diferenciais parciais.