Scaling of Gaussian Kolmogorov--Arnold Networks

Título: Escalonamento de Redes Kolmogorov–Arnold Gaussianas (Gaussian KANs)

Autores: Amir Noorizadegan e Sifan Wang.

1. Problema e Motivação

As Redes Kolmogorov–Arnold (KANs) surgiram como uma alternativa estruturada às Redes Neurais Multilayer Perceptron (MLPs), substituindo ativações fixas em nós por funções univariadas aprendíveis nas arestas. Embora as KANs originais utilizem bases de B-splines, variantes recentes empregaram funções de base radial gaussianas (RBFs) devido à sua suavidade e eficiência computacional.

No entanto, um problema crítico permanece não resolvido: como escolher o parâmetro de escala ($\epsilon$) das funções gaussianas em um contexto de rede neural profunda?

• Na literatura atual, $\epsilon$ é frequentemente fixado heuristicamente, escolhido por tentativa e erro ou treinado sem compreensão clara de seu papel.
• Em métodos clássicos de RBF, a escolha inadequada de $\epsilon$ leva a um compromisso (trade-off) entre poder de aproximação e estabilidade numérica (condicionamento). Valores muito grandes causam colapso da representação (perda de distinguibilidade), enquanto valores muito pequenos levam a bases excessivamente localizadas e instáveis.
• A falta de diretrizes sistemáticas para a seleção de escala em arquiteturas KAN baseadas em arestas impede a otimização robusta desses modelos.

2. Metodologia

Os autores investigam o comportamento do parâmetro de escala $\epsilon$ focando na geometria da primeira camada da rede.

• Análise Teórica:
  • Demonstram que a primeira camada é o "gargalo representacional" decisivo. Como ela opera diretamente sobre o domínio de entrada, qualquer perda de distinguibilidade introduzida aqui (devido a um $\epsilon$ inadequado) não pode ser recuperada pelas camadas subsequentes.
  • Formalizam a primeira camada como um mapa de características finito-dimensional seguido por uma transformação linear.
  • Analisam a matriz de características da primeira camada ($\Phi$) e sua relação com a matriz de Gram ($\Phi^T\Phi$), estabelecendo que o condicionamento de $\Phi$ é o diagnóstico primário de estabilidade.
• Diagnóstico Numérico:
  • Utilizam o número de condição espectral ($\kappa(\Phi)$) e a perda de posto numérico como métricas para identificar regimes de instabilidade.
  • Definem critérios práticos para um regime operacional estável: $\sigma_{min}(\Phi) > \text{tol}$ e $\kappa(\Phi) < 3 \times 10^3$.
• Validação Experimental:
  • Realizaram varreduras exaustivas ("brute-force sweeps") de $\epsilon$ em problemas de aproximação de funções com diferentes densidades de colocalização, resoluções de grade, arquiteturas e dimensões de entrada.
  • Testaram em funções de referência suaves, oscilatórias, com picos agudos e descontínuas.
  • Validaram o método em um problema de física informada (PINN) para a equação de Helmholtz.
  • Compararam o desempenho com uma KAN baseada em polinômios de Chebyshev (com o mesmo orçamento de coeficientes por aresta).

3. Principais Contribuições

1. Dominância da Primeira Camada: Estabelecem teórica e experimentalmente que a seleção de escala é governada primariamente pela primeira camada. A sensibilidade ao parâmetro $\epsilon$ é muito mais forte na primeira camada do que nas camadas profundas.
2. Intervalo Operacional Prático: Derivam uma regra simples e eficaz para a seleção de $\epsilon$ baseada no número de centros gaussianos ($G$):
   $$\epsilon \in \left[ \frac{1}{G - 1}, \frac{2}{G - 1} \right]$$
   • O limite inferior ($1/(G-1)$) corresponde ao espaçamento entre centros uniformemente distribuídos.
   • O limite superior ($2/(G-1)$) é determinado empiricamente pelo ponto onde o condicionamento da matriz de características atinge um limite de estabilidade seguro.
3. Generalidade da Regra: Demonstram que este intervalo é robusto e eficaz independentemente da função alvo, densidade de pontos de treinamento ($N$), arquitetura da rede, dimensão de entrada e até em problemas de equações diferenciais parciais (PDEs).
4. Método de Busca Eficiente: Mostram que, dentro deste intervalo admissível, o Erro Quadrático Médio (MSE) de treinamento em estágios iniciais (poucas épocas) é suficiente para localizar o valor ótimo de $\epsilon$, reduzindo drasticamente o custo computacional da busca de hiperparâmetros.
5. Competitividade com Chebyshev: Demonstram que uma KAN Gaussiana com escala adequada atinge precisão comparável ou superior a uma KAN baseada em Chebyshev com o mesmo número de parâmetros treináveis.

4. Resultados Chave

• Comportamento em U: A relação entre o erro de validação e $\epsilon$ é consistentemente em forma de "U". Erros altos ocorrem para $\epsilon$ muito pequeno (bases localizadas demais) e para $\epsilon$ muito grande (colapso da representação/condicionamento ruim). O mínimo de erro reside sempre dentro ou próximo do intervalo proposto.
• Influência de $N$ vs. $G$:
  • Aumentar o número de pontos de colocalização ($N$) melhora a precisão geral, mas desloca pouco a janela ótima de $\epsilon$.
  • Aumentar o número de centros ($G$) desloca a janela ótima de $\epsilon$ para valores menores (escala mais fina) e amplia a faixa de valores aceitáveis.
• Arquitetura e Dimensão: O intervalo recomendado permanece válido ao aumentar a profundidade, largura da rede ou a dimensão de entrada. A geometria da primeira camada dita a escala, não a dimensão do espaço ambiente.
• PINNs (Helmholtz): No problema de Helmholtz, o intervalo derivado da análise de condicionamento da primeira camada continuou a ser o regime de melhor desempenho, mesmo com a presença de resíduos de PDE e penalidades de fronteira.
• Escalas Variáveis: A introdução de escalas variáveis por centro (dentro do intervalo admissível) mostrou-se capaz de melhorar a precisão em relação a uma escala fixa única, sugerindo flexibilidade adicional.

5. Significado e Conclusão

O artigo posiciona a seleção de escala em KANs gaussianas não como uma escolha arbitrária de hiperparâmetro, mas como um princípio de design prático e fundamentado.

• Mudança de Paradigma: A sensibilidade à escala, frequentemente vista como um defeito em métodos RBF, é recontextualizada como um mecanismo controlável que, quando compreendido, permite gerenciar o comportamento de aproximação e estabilidade.
• Simplicidade e Eficiência: A regra $\epsilon \in [1/(G-1), 2/(G-1)]$ oferece uma diretriz imediata para pesquisadores e engenheiros, eliminando a necessidade de buscas exaustivas e permitindo o uso de KANs gaussianas em cenários onde a solução exata não está disponível para validação.
• Impacto: O trabalho valida que as KANs gaussianas são uma classe flexível e expressiva de representações, competitivas com outras bases padrão (como Chebyshev), desde que o parâmetro de escala seja escolhido de forma principista baseada no condicionamento da primeira camada.

Em suma, o papel da primeira camada é central: ela define a geometria da representação, e garantir que essa geometria seja numericamente estável através da escolha correta de $\epsilon$ é a chave para o sucesso de todo o modelo profundo.