Resumo Técnico: Ação à Distância: Um Espaço de Hilbert de Núcleo Reprodutor Universal a partir do Alinhamento Polinomial e da Distância IMQ

Declaração do Problema

As camadas padrão de Perceptron Multicamada (MLP) carecem de uma norma canônica em espaço de Hilbert. Os limites de generalização para redes treinadas geralmente dependem de substitutos de Lipschitz ou espectrais da matriz de pesos, que são objetos de nível de função construídos de forma solta e desconectados das unidades específicas. Essa lacuna estrutural surge porque as ativações escalares padrão (por exemplo, ReLU, GELU, sigmoide) são funções de um produto interno $\sigma(w^\top x)$, e não seções de núcleo simétricas da variável conjunta $(w, x)$. Consequentemente, a leitura de uma camada treinada não é um elemento finito de qualquer Espaço de Hilbert de Núcleo Reprodutor (RKHS), privando o modelo de ferramentas como normas de forma fechada, universalidade de núcleo fixo e caracteristicidade.

As primitivas de seção de Mercer existentes sofrem de um compromisso:

1. Núcleos radiais (RBF Gaussiano, Inverso Multiquádrico/IMQ) possuem localidade e estrutura de Hilbert, mas carecem de "alinhamento" (a diagonal do núcleo é constante, e o termo de alinhamento polinomial $(w^\top x + b)^2$ não desempenha nenhum papel).
2. Núcleos alinhados (núcleos universais de produto interno) possuem alinhamento e estrutura de Hilbert, mas carecem de localidade de distância (sem decaimento $\|x-w\|$).

O artigo identifica a necessidade de uma primitiva de unidade oculta finita e treinável que combine simultaneamente localidade, alinhamento e estrutura de Hilbert.

Metodologia

Os autores introduzem o núcleo Yat ($k_\Upsilon$), uma primitiva de unidade oculta racional definida como:
$$k_{b,\varepsilon}(w, x) = \frac{(w^\top x + b)^2}{\|x - w\|^2 + \varepsilon}, \quad b \ge 0, \varepsilon > 0$$
Este núcleo é o produto de Schur de um numerador de alinhamento polinomial $p_b(x, w) = (x^\top w + b)^2$ e um denominador Inverso Multiquádrico (IMQ) $h_\varepsilon(x, w) = (\|x - w\|^2 + \varepsilon)^{-1}$.

A metodologia prossegue através de quatro pilares teóricos principais:

1. Estrutura de Mercer e Universalidade: O artigo estabelece que, para $b \ge 0$, o núcleo é Positivo Semidefinido (PSD) e, portanto, um núcleo de Mercer. Crucialmente, para $b > 0$, o núcleo Yat domina em Loewner um núcleo IMQ escalado ($b^2 h_\varepsilon \preceq k_{b,\varepsilon}$). Pelo teorema de inclusão de Aronszajn, isso implica que o RKHS Yat ($\mathcal{H}_{b,\varepsilon}$) contém o RKHS IMQ, herdando suas propriedades de universalidade e caracteristicidade.
2. Estrutura de Alinhamento Não-Radial: Diferentemente de núcleos puramente radiais, os átomos Yat retêm uma "sombra quadrática direcional" no infinito. O traço assintótico ao longo de um raio $ru$é$T_\infty g_\varepsilon(u) = (u^\top w)^2$, independente de $b$ e $\varepsilon$. Isso abre canais de alinhamento não-radial ausentes em expansões IMQ finitas, que decaem para zero no infinito.
3. Embutimento Algébrico IMQ: O artigo fornece uma prova construtiva de que qualquer átomo IMQ pode ser exatamente recuperado a partir de três átomos Yat via uma diferença finita de segunda ordem no parâmetro de viés $b$:
   $$g_\varepsilon(\cdot; w, 3h) - 2g_\varepsilon(\cdot; w, 2h) + g_\varepsilon(\cdot; w, h) = 2h^2 k_\varepsilon^{\text{IMQ}}(\cdot, w)$$
   Esta identidade é precisa; dois átomos são insuficientes para reproduzir uma seção IMQ.
4. Capacidade de RKHS Local à Camada: Para uma camada treinada com $(b, \varepsilon)$ compartilhados, a norma quadrada do RKHS de uma expansão finita $f = \sum \alpha_j k_{b,\varepsilon}(w_j, \cdot)$ admite uma expressão de forma fechada: $\|f\|^2 = \alpha^\top K \alpha$, onde $K$ é a matriz de Gram dos pesos treinados. Isso permite um limite de generalização de Rademacher direto, impulsionado explicitamente pela diagonal do núcleo $k_{b,\varepsilon}(x, x) = (\|x\|^2 + b)^2 / \varepsilon$.

Contribuições Principais

1. O Núcleo Yat: Uma primitiva racional, finita e treinável que unifica alinhamento polinomial e localidade IMQ.
2. Universalidade de Núcleo Fixo: Prova de que um único núcleo Yat fixo (com $b>0$) é universal em todo domínio compacto, não meramente um membro de uma família universal.
3. Traço de Campo Longo Direcional: Identificação de um invariante estrutural onde os átomos Yat mantêm um traço quadrático não nulo no infinito, distinguindo-os de todas as combinações radiais finitas.
4. Recuperação Exata de IMQ: Uma identidade algébrica mostrando que os átomos IMQ são exatamente construíveis a partir de três átomos Yat, transferindo as taxas de aproximação IMQ para Yat com um custo de largura de fator 3.
5. Norma e Limites de Forma Fechada: Derivação de uma norma exata de RKHS ($\alpha^\top K \alpha$) e um limite de Rademacher de camada única que depende explicitamente dos hiperparâmetros $b$ e $\varepsilon$ e da norma de entrada $\|x\|$, oferecendo transparência ausente em MLPs padrão.

Resultados

• Propriedades Teóricas: O artigo estabelece que os núcleos Yat são PSD, característicos e estritamente positivos definidos para $b > 0$. Eles satisfazem uma contenção estrita de RKHS $\mathcal{H}_{\text{IMQ}} \subsetneq \mathcal{H}_{b,\varepsilon}$.
• Taxas de Aproximação: Através da identidade de diferença finita, qualquer taxa de aproximação IMQ é transferida para Yat. Inversamente, o artigo demonstra uma "lacuna de complexidade de largura": um único átomo Yat pode aproximar uma função de crista quadrática com precisão arbitrária, enquanto uma expansão IMQ de variação limitada requer exponencialmente muitos átomos na dimensão ambiente.
• Limites de Generalização: O limite de Rademacher derivado escala como $B(R^2 + b)/(\sqrt{n}\sqrt{\varepsilon})$. Diferentemente do RBF Gaussiano (diagonal constante) ou IMQ (diagonal constante $\varepsilon^{-1}$), a diagonal Yat depende polinomialmente de $\|x\|$, tornando $b$ e $\varepsilon$ alvos explícitos de regularização.
• Diagnósticos Empíricos:
  • Sonda CLIP: No ImageNet-1k com recursos CLIP congelados, um classificador Yat de camada única (centros treinados) alcançou 73,9% de precisão, superando um núcleo polinomial puro (72,5%) e uma variante Yat com centros aleatórios congelados (69,5%), isolando os benefícios do denominador IMQ e da otimização de centros.
  • Modelo de Linguagem Causal: Um LM causal de 261M de parâmetros substituindo blocos MLP GELU por primitivas Yat atingiu o regime de precisão de base GELU (correspondendo à variância da semente) enquanto alcançava menor perplexidade no WikiText-103 e em tarefas de longo alcance. A norma de RKHS de forma fechada permaneceu aplicável por camada.

Significado e Alegações

O artigo alega que o núcleo Yat é a primeira primitiva de unidade oculta finita e treinável que simultaneamente possui:

1. Estrutura PSD/Mercer para $b \ge 0$.
2. Universalidade de núcleo fixo para $b > 0$ via dominação de Loewner.
3. Alinhamento não-radial com um traço de campo longo direcional não nulo.
4. Embutimento algébrico exato de átomos IMQ (preciso em três átomos).
5. Uma norma de RKHS de forma fechada e local à camada com dependência explícita dos hiperparâmetros.

Os autores enfatizam que, embora essas propriedades se mantenham para uma única camada, elas não se estendem a uma teoria global para redes profundas. Não existe um núcleo de Mercer independente de parâmetros que capture a estrutura de Gram de uma pilha Yat profunda. A teoria de camadas profundas limita-se a:

• Pullbacks condicionados por prefixo: Estruturas de RKHS válidas existem se as camadas anteriores forem fixas.
• Contenção Sobolev ambiente: Pilhas de profundidade limitada residem em um RKHS Sobolev fixo, mas os limites de capacidade são qualitativos e sofrem de crescimento superexponencial na profundidade.

O trabalho posiciona o Yat não como um substituto para MLPs padrão em todos os contextos, mas como uma alternativa fundamentada teoricamente que restaura a conexão entre unidades neurais e a teoria de RKHS, fornecendo normas explícitas e limites de generalização que de outra forma não estão disponíveis para ativações escalares padrão.