Kolmogorov-Arnold Fourier Networks

Resumo Técnico: Redes de Fourier Kolmogorov-Arnold (KAF)

Declaração do Problema
Embora as Redes Kolmogorov-Arnold (KANs) ofereçam forte expressividade teórica ao substituir funções de ativação fixas por funções de base B-spline aprendíveis, elas enfrentam duas barreiras críticas para adoção prática em tarefas de alta dimensionalidade:

1. Explosão de Parâmetros: A arquitetura de matriz dupla (matriz de função de ativação e matriz de coeficientes B-spline) faz com que a contagem de parâmetros escale significativamente mais do que em Perceptrons Multicamada (MLPs) tradicionais, levando a altos custos de armazenamento e computação.
2. Limitações Espectrais: A suavidade inerente das funções de base B-spline limita a capacidade de capturar características de alta frequência, resultando em desempenho subótimo em dados com características espectrais ricas, como imagens naturais, áudio e equações diferenciais complexas.

Metodologia
Os autores propõem a Rede de Fourier Kolmogorov-Arnold (KAF), que redefine fundamentalmente o paradigma KAN por meio de reparametrização espectral. A arquitetura central substitui a representação local baseada em grade de B-spline por uma representação espectral global e adaptativa.

Os componentes metodológicos chave incluem:

• Reparametrização Espectral: A KAF funde as grandes matrizes da KAN usando a propriedade associativa da multiplicação de matrizes, reduzindo a complexidade de parâmetros de $O(d_{in} \times d_{out} \times (G + K + 3))$ para $O(d_{in} \times d_{out})$.
• Recursos de Fourier Aleatórios Aprendíveis (RFF): Em vez de B-splines, a KAF emprega RFFs aprendíveis para mapear entradas em um Espaço de Hilbert de Kernel Reprodutor (RKHS). A matriz de frequência $W$ é inicializada por meio de uma estratégia de alinhamento espectral (especificamente $\sigma = 1.64$) derivada do Teorema do Limite Central e da análise de Fourier da função de ativação GELU. Esta inicialização alinha o espectro RFF com o conhecimento prévio de sinais naturais, mitigando o vazamento espectral.
• Ativação Híbrida GELU-Fourier: A rede utiliza um mecanismo de ativação dinâmico definido como $H(x) = \alpha \odot \text{GELU}(x) + \beta \odot \psi_{\text{RFF}}(x)$. Os coeficientes $\alpha$ e $\beta$ são parâmetros de escala aprendíveis. Durante o treinamento, $\alpha$ prioriza a suavidade de baixa frequência inicialmente, enquanto $\beta$ (inicializado para um valor pequeno, por exemplo, $10^{-2}$) cresce progressivamente para capturar componentes de alta frequência, permitindo uma transição automática de ativação fixa para representações simbólicas de Fourier híbridas.

Principais Contribuições

1. Transformação de Base: Uma mudança de B-splines locais para representações espectrais globais e adaptativas, reduzindo a complexidade de parâmetros enquanto preserva a expressividade.
2. Inicialização de Alinhamento Espectral: Uma estratégia de inicialização de RFF ($\sigma = 1.64$) que rompe as limitações de suavidade de kernels fixos, permitindo a captura precisa de componentes de alta frequência.
3. Ativação Híbrida Adaptativa: Um mecanismo que equilibra dinamicamente a suavidade de baixa frequência e a representação de alta frequência durante o treinamento, garantindo estabilidade e eficiência.

Resultados Experimentais
Experimentos abrangentes foram conduzidos em tarefas de Visão Computacional (CV), Processamento de Linguagem Natural (NLP), áudio e computação científica:

• Desempenho em Benchmarks: Em conjuntos de dados de visão (MNIST, CIFAR-10/100, SVHN), a KAF alcançou consistentemente maior precisão do que MLPs, KANs, FAN e GPKAN sob orçamentos de parâmetros comparáveis.
• Modelos de Grande Escala: Quando integradas em ResNet-18, ViT-Tiny e MLP-Mixer, as KAFs melhoraram a precisão Top-1 (por exemplo, 91,72% no CIFAR-10 para ResNet-18 versus 91,19% para MLP) mantendo custos computacionais razoáveis.
• Modelagem de Linguagem: Em arquiteturas GPT-2, substituir a Rede Feed-Forward (FFN) por KAF reduziu a Perplexidade (PPL) no WikiText (180,85 versus 184,53 para MLP) e no OpenWebText, enquanto reduzia significativamente o tempo de treinamento em comparação com a KAN, que sofria de instabilidade e sobrecarga massiva de parâmetros.
• Aproximação de Funções e EDPs: A KAF demonstrou capacidades de ajuste superiores em funções complexas (incluindo somas de alta frequência e funções descontínuas) e alcançou erros menores na resolução de Equações Diferenciais Parciais (Poisson, Calor, Burgers) em comparação com MLPs e outras linhas de base.
• Estudos de Ablação: Experimentos confirmaram a necessidade da ativação híbrida GELU-RFF e da inicialização específica de $\sigma = 1.64$, mostrando que a remoção de qualquer componente degrada o desempenho.

Significado
O artigo afirma que a KAF conecta com sucesso a lacuna entre a interpretabilidade teórica das redes Kolmogorov-Arnold e a eficiência de parâmetros necessária para aprendizado profundo escalável. Ao abordar o "paradoxo entre teoria e prática" inerente às KANs, a KAF oferece uma alternativa prática que retém a perspectiva de aproximação de funções das KANs enquanto alcança desempenho de última geração com eficiência aprimorada. Os autores posicionam a KAF como uma substituta viável tanto para componentes KAN quanto MLP em arquiteturas neurais modernas, particularmente para tarefas que exigem extração de características de alta frequência.