Partition-of-Unity Gaussian Kolmogorov-Arnold Networks

Resumo Técnico: Partition-of-Unity Gaussian Kolmogorov–Arnold Networks (PU-GKAN)

1. O Problema

As redes Kolmogorov-Arnold (KANs) surgiram como uma alternativa estrutural aos Perceptrons Multicamadas (MLPs), substituindo as ativações fixas nos nós por funções univariate aprendíveis nas arestas. Embora as KANs originais utilizem bases de B-splines, variantes baseadas em Funções de Base Radial (RBF), especificamente Gaussianas (GKAN), têm ganhado destaque devido à sua suavidade e eficiência computacional.

No entanto, as KANs Gaussianas enfrentam um problema crítico de sensibilidade ao parâmetro de escala ($\epsilon$):

• Escalas muito pequenas: Resultam em bases excessivamente localizadas, dificultando a aproximação global.
• Escalas muito grandes: Levam a características quase planas e problemas de má condição numérica (instabilidade no treinamento).
• Distribuição de coordenadas: Em camadas profundas, as coordenadas internas podem derivar para longe dos centros Gaussianos fixos, tornando o uso das bases ineficiente.

2. Metodologia

O autor propõe a PU-GKAN (Partition-of-Unity Gaussian KAN), uma modificação baseada no método de Shepard. A ideia central não é mudar a arquitetura da rede, mas normalizar as funções de base em cada aresta.

A construção matemática:

1. Base de Shepard: Em vez de usar a função Gaussiana bruta $\phi_g(t)$, o modelo utiliza uma base normalizada:
   $$e\phi_g(t) = \frac{\exp\left(-\frac{(t-c_g)^2}{\epsilon^2}\right)}{\sum_{h=1}^{G} \exp\left(-\frac{(t-c_h)^2}{\epsilon^2}\right)}$$
   onde $c_g$ são centros fixos e $G$ é o número de centros.
2. Partição da Unidade: Essa normalização garante que a soma das bases em qualquer ponto seja exatamente $1$($\sum e\phi_g(t) = 1$), o que permite a reprodução exata de constantes no nível da aresta.
3. Perspectiva de Kernel: O autor formaliza a camada como um mapa de características de "recursos finitos" (finite-feature), permitindo analisar a matriz de kernel induzida e o comportamento do condicionamento numérico.
4. Seleção de Escala ($\epsilon$): Propõe um intervalo prático baseado em condicionamento numérico: $\epsilon \in [\frac{1}{G-1}, \frac{2}{G-1}]$, onde o limite superior evita a colapsagem da matriz de características.

3. Principais Contribuições

• Introdução da PU-GKAN: Um mecanismo de normalização do tipo Shepard que preserva a arquitetura original das KANs, mas estabiliza a representação das bases.
• Fundamentação Matemática: Demonstração de que a PU-GKAN é uma construção baseada em kernels de recursos finitos e que resolve o problema de reprodução de constantes.
• Regra de Seleção de Escala: Estabelecimento de um intervalo de $\epsilon$ baseado na sobreposição de centros adjacentes e no limiar de condicionamento da primeira camada.
• Generalização: Demonstração de que a técnica é aplicável não apenas a Gaussianas, mas também a bases Matérn.

4. Resultados Experimentais

Os experimentos cobriram regressão de funções, problemas de equações diferenciais parciais (PDEs) e altas dimensões:

• Aproximação de Funções: A PU-GKAN reduziu significativamente o erro (RMSE) em quase todas as funções suaves (ex: melhorias de até 75% em certos casos).
• Robustez à Escala: A PU-GKAN mostrou-se muito menos sensível à escolha de $\epsilon$ do que a GKAN padrão, apresentando uma região de erro baixo mais ampla.
• Estabilidade de Treinamento: As distribuições das coordenadas internas nas camadas profundas foram mais compactas e regulares na PU-GKAN, evitando que os valores "fugissem" dos centros das bases.
• Physics-Informed Learning (PINNs): Em problemas de Helmholtz e na Equação da Onda, a normalização melhorou tanto a precisão final quanto a convergência durante o treinamento.
• Exceção: Em funções descontínuas, a vantagem foi menor, o que é esperado, dado que bases suaves (RBFs) têm dificuldade intrínseca em representar descontinuidades.

5. Significância

O trabalho demonstra que a normalização por partição da unidade é um mecanismo de estabilização simples, barato e altamente eficaz para redes baseadas em RBF. Ao contrário de modificações arquiteturais complexas, a PU-GKAN utiliza princípios clássicos de aproximação numérica para resolver problemas modernos de aprendizado de máquina, tornando as KANs Gaussianas mais robustas para computação científica e aprendizado de física (physics-informed learning).