Wahkon: A Statistically Principled Deep RKHS Superposition Network

Resumo Técnico: Wahkon – Uma Rede de Superposição RKHS Profunda Estatisticamente Fundamentada

Enunciado do Problema
A aprendizagem profunda moderna destaca-se na previsão, mas frequentemente carece de garantias teóricas para amostras finitas e de quantificação calibrada de incerteza. Por outro lado, métodos não paramétricos clássicos baseados em Espaços de Hilbert de Núcleo Reprodutor (RKHS) fornecem controlo rigoroso de suavidade, taxas de convergência ótimas e interpretações bayesianas (via Processos Gaussianos), embora lutem para se adaptar a dados de alta dimensão e heterogéneos devido a estruturas de núcleo fixas. Embora a teoria do Núcleo Tangente Neural (NTK) conecte redes profundas a núcleos, ela tipicamente depende de regimes de "treino preguiçoso" onde as características não são aprendidas. O desafio é unificar o poder de representação adaptativo das arquiteturas profundas com o rigor estatístico e a interpretabilidade da regularização RKHS.

Metodologia
Os autores propõem o Wahkon, uma rede de superposição RKHS profunda que integra o princípio de superposição de Kolmogorov com o quadro de splines de suavização de Wahba.

• Arquitetura: O Wahkon adota uma estrutura composicional profunda onde a rede aproxima uma função de regressão multivariada $\eta(x)$ através de $L$ camadas. Ao contrário das Perceptrões Multicamada (MLP) padrão que usam funções de ativação fixas (por exemplo, ReLU), o Wahkon aprende funções de ligação univariadas $\phi^{(l)}_{jk}$ ao longo de cada aresta da rede.
• Restrição RKHS: Cada função de ligação aprendida é restringida a residir dentro de um RKHS comum $\mathcal{H}_K$. A saída da rede é uma composição de somas destas funções univariadas:
  $$x^{(l)}_j = \sum_{k=1}^{D_{l-1}} \phi^{(l)}_{jk}(x^{(l-1)}_k)$$
• Estimação Penalizada: O modelo é treinado minimizando um objetivo de mínimos quadrados penalizado. O termo de penalidade impõe normas RKHS às funções de ligação, controlado por parâmetros de regularização específicos da camada $\lambda_l$:
  $$J(\eta_{\text{Wahkon}}) = \sum_{l=1}^L \lambda_l \sum_{j=1}^{D_l} \sum_{k=1}^{D_{l-1}} \|\phi^{(l)}_{jk}\|^2_{\mathcal{H}_K}$$
• Teorema do Representante Profundo: Apesar da natureza de dimensão infinita do espaço de funções para cada ligação, os autores provam que o minimizador admite uma representação de dimensão finita. Especificamente, cada função de ligação pode ser expressa como uma combinação linear de avaliações de núcleo centradas nas entradas ajustadas da camada anterior. Isto reduz a otimização para uma coleção finita de tensores de coeficientes.
• Objetivo Perfilado: Para melhorar a eficiência da otimização, os autores derivam um objetivo perfilado onde os coeficientes da camada final são resolvidos analiticamente (como uma regressão de crista de núcleo padrão) condicionados aos coeficientes das camadas inferiores. Isto permite que as atualizações baseadas em gradiente se concentrem em aprender as representações de características nas camadas inferiores.
• Interpretação Bayesiana: O estimador penalizado é mostrado ser exatamente a estimativa de Máxima A Posteriori (MAP) sob um prior hierárquico de Processo Gaussiano (GP), onde GPs independentes de média zero são atribuídos às funções de ligação em cada camada.

Principais Contribuições

1. Teorema do Representante Profundo: O artigo estabelece um teorema do representante de dimensão finita para redes de superposição RKHS profundas. Isto estende o paradigma KAN (Rede de Kolmogorov–Arnold) para um quadro RKHS fundamentado, substituindo bases de B-splines fixas e penalidades heurísticas por regularização RKHS rigorosa, permitindo assim garantias de convergência para amostras finitas.
2. Extensão da Dualidade Spline/GP: Os autores demonstram que o estimador penalizado Wahkon coincide com a estimativa MAP sob um prior de GP hierárquico profundo. Isto estende a dualidade clássica entre splines de suavização e GPs para estruturas composicionais profundas, fornecendo uma fundação bayesiana para o modelo.
3. Taxas de Convergência Ótimas Minimax: Sob suposições de suavidade moderadas, o artigo deriva taxas de convergência ótimas minimax. A análise caracteriza explicitamente o compromisso entre a profundidade da rede, a largura e a suavidade das funções de ligação, mostrando como o crescimento arquitetónico deve ser equilibrado com a regularização RKHS para controlar a complexidade estatística.

Resultados Empíricos

• Benchmarks Sintéticos: O Wahkon foi avaliado em quatro funções de referência que abrangem estruturas compostas não lineares, radiais, aditivas e aninhadas. Consistentemente alcançou um Erro Quadrático Médio (RMSE) de teste mais baixo em comparação com MLPs, Núcleos Tangentes Neuraiss (NTK) e Redes de Kolmogorov–Arnold (KAN) padrão.
  • As MLPs tiveram desempenho inferior apesar de contagens de parâmetros semelhantes, sugerindo que aprender ligações univariadas dentro de um RKHS é mais eficiente em termos de amostra do que ativações fixas.
  • Os KANs mostraram desempenho melhorado em tamanhos de amostra maiores, mas ficaram aquém no comportamento de amostras finitas devido à falta de regularização RKHS explícita.
  • O NTK performou competitivamente em pequenas amostras, mas estagnou mais cedo.
• Aplicação do Mundo Real: Num estudo de CITE-seq de célula única (prevendo abundância de proteínas de superfície a partir de dados de RNA), o Wahkon superou MLP, KAN e NTK em 25 alvos proteicos. Demonstrou sucesso particular na previsão de isoformas de CD45, que diferenciam células T naive e de memória, com menor variabilidade em divisões aleatórias de dados.
• Comportamento do Prior: Simulações do prior de GP hierárquico revelaram que camadas mais profundas exibem comportamento não gaussiano com uma distribuição semelhante a "pico e placa" (spike-and-slab), sugerindo encolhimento automático de muitas ligações enquanto preserva a capacidade de um subconjunto permanecer ativo.

Significado e Alegações
O artigo alega que o Wahkon unifica com sucesso o princípio de superposição de Kolmogorov com a regularização RKHS para criar um modelo profundo que é simultaneamente expressivo e estatisticamente controlado. Ao substituir ativações fixas por ligações univariadas aprendidas e regularizadas, o Wahkon oferece um quadro que proporciona:

• Precisão: Desempenho preditivo superior em benchmarks sintéticos e biológicos.
• Interpretabilidade: O uso de funções de ligação univariadas permite a inspeção de transformações de características individuais.
• Rigor Estatístico: O modelo fornece garantias para amostras finitas, controlo explícito de complexidade e uma interpretação bayesiana fundamentada via equivalência MAP.

Os autores posicionam o Wahkon como um modelo para construir modelos profundos que não são apenas precisos, mas também fiáveis e explicáveis, preenchendo a lacuna entre a aprendizagem de representação moderna e a inferência estatística clássica. Reconhecem os custos computacionais como uma limitação, sugerindo núcleos aproximados e estruturas de baixo rank como direções futuras, e notam que a inferência posterior escalável permanece um problema em aberto.