Resumen Técnico: Acción a Distancia: Un Espacio de Hilbert de Núcleo Reproductor Universal desde Alineación Polinómica y Distancia IMQ

Enunciado del Problema

Las capas estándar de Perceptrones Multicapa (MLP) carecen de una norma canónica en espacio de Hilbert. Los límites de generalización para redes entrenadas dependen típicamente de sustitutos Lipschitz o espectrales de la matriz de pesos, que son objetos a nivel de función construidos de manera laxa y desconectados de las unidades específicas. Esta brecha estructural surge porque las activaciones escalares estándar (por ejemplo, ReLU, GELU, sigmoide) son funciones de un producto interno $\sigma(w^\top x)$, y no secciones simétricas de núcleo de la variable conjunta $(w, x)$. En consecuencia, la salida de una capa entrenada no es un elemento finito de ningún Espacio de Hilbert de Núcleo Reproductor (RKHS), privando al modelo de herramientas como normas de forma cerrada, universalidad de núcleo fijo y caracteristicidad.

Las primitivas de sección de Mercer existentes sufren de una compensación:

1. Núcleos radiales (RBF Gaussiano, Inverso Multicúadrado/IMQ) poseen localidad y estructura de Hilbert, pero carecen de "alineación" (la diagonal del núcleo es constante, y el término de alineación polinómica $(w^\top x + b)^2$ no juega ningún papel).
2. Núcleos alineados (núcleos de producto punto universales) poseen alineación y estructura de Hilbert, pero carecen de localidad de distancia (no hay decaimiento $\|x-w\|$).

El artículo identifica la necesidad de una primitiva de unidad oculta finita y entrenable que combine simultáneamente localidad, alineación y estructura de Hilbert.

Metodología

Los autores introducen el núcleo Yat ($k_\Upsilon$), una primitiva de unidad oculta racional definida como:
$$k_{b,\varepsilon}(w, x) = \frac{(w^\top x + b)^2}{\|x - w\|^2 + \varepsilon}, \quad b \ge 0, \varepsilon > 0$$
Este núcleo es el producto de Schur de un numerador de alineación polinómica $p_b(x, w) = (x^\top w + b)^2$ y un denominador Inverso Multicúadrado (IMQ) $h_\varepsilon(x, w) = (\|x - w\|^2 + \varepsilon)^{-1}$.

La metodología procede a través de cuatro pilares teóricos principales:

1. Estructura de Mercer y Universalidad: El artículo establece que para $b \ge 0$, el núcleo es Semidefinido Positivo (PSD) y, por tanto, un núcleo de Mercer. Crucialmente, para $b > 0$, el núcleo Yat domina en el sentido de Loewner a un núcleo IMQ escalado ($b^2 h_\varepsilon \preceq k_{b,\varepsilon}$). Por el teorema de inclusión de Aronszajn, esto implica que el RKHS Yat ($\mathcal{H}_{b,\varepsilon}$) contiene al RKHS IMQ, heredando sus propiedades de universalidad y caracteristicidad.
2. Estructura de Alineación No Radial: A diferencia de los núcleos radiales puros, los átomos Yat retienen una "sombra cuadrática direccional" en el infinito. La traza asintótica a lo largo de un rayo $ru$ es $T_\infty g_\varepsilon(u) = (u^\top w)^2$, independiente de $b$ y $\varepsilon$. Esto abre canales de alineación no radiales ausentes en expansiones IMQ finitas, las cuales decaen a cero en el infinito.
3. Incrustación Algebraica IMQ: El artículo proporciona una prueba constructiva de que cualquier átomo IMQ puede recuperarse exactamente a partir de tres átomos Yat mediante una diferencia finita de segundo orden en el parámetro de sesgo $b$:
   $$g_\varepsilon(\cdot; w, 3h) - 2g_\varepsilon(\cdot; w, 2h) + g_\varepsilon(\cdot; w, h) = 2h^2 k_\varepsilon^{\text{IMQ}}(\cdot, w)$$
   Esta identidad es aguda; dos átomos son insuficientes para reproducir una sección IMQ.
4. Capacidad RKHS Local a la Capa: Para una capa entrenada con $(b, \varepsilon)$ compartidos, la norma al cuadrado del RKHS de una expansión finita $f = \sum \alpha_j k_{b,\varepsilon}(w_j, \cdot)$ admite una expresión de forma cerrada: $\|f\|^2 = \alpha^\top K \alpha$, donde $K$ es la matriz de Gram de los pesos entrenados. Esto permite un límite de generalización de Rademacher directo impulsado explícitamente por la diagonal del núcleo $k_{b,\varepsilon}(x, x) = (\|x\|^2 + b)^2 / \varepsilon$.

Contribuciones Clave

1. El Núcleo Yat: Una primitiva racional, finita y entrenable que unifica la alineación polinómica y la localidad IMQ.
2. Universalidad de Núcleo Fijo: Demostración de que un único núcleo Yat fijo (con $b>0$) es universal en todo dominio compacto, no meramente un miembro de una familia universal.
3. Traza Lejana Direccional: Identificación de un invariante estructural donde los átomos Yat mantienen una traza cuadrática no nula en el infinito, distinguiéndolos de todas las combinaciones radiales finitas.
4. Recuperación Exacta de IMQ: Una identidad algebraica que muestra que los átomos IMQ son exactamente construibles a partir de tres átomos Yat, transfiriendo las tasas de aproximación de IMQ a Yat con un sobrecosto de ancho de factor 3.
5. Norma y Límites de Forma Cerrada: Derivación de una norma RKHS exacta ($\alpha^\top K \alpha$) y un límite de Rademacher de una sola capa que depende explícitamente de los hiperparámetros $b$ y $\varepsilon$ y de la norma de entrada $\|x\|$, ofreciendo transparencia ausente en los MLP estándar.

Resultados

• Propiedades Teóricas: El artículo establece que los núcleos Yat son PSD, característicos y estrictamente definidos positivos para $b > 0$. Satisfacen una contención estricta de RKHS $\mathcal{H}_{\text{IMQ}} \subsetneq \mathcal{H}_{b,\varepsilon}$.
• Tasas de Aproximación: A través de la identidad de diferencia finita, cualquier tasa de aproximación IMQ se transfiere a Yat. Por el contrario, el artículo demuestra una "brecha de complejidad de ancho": un solo átomo Yat puede aproximar una función de cresta cuadrática con precisión arbitraria, mientras que una expansión IMQ de variación acotada requiere exponencialmente muchos átomos en la dimensión ambiental.
• Límites de Generalización: El límite de Rademacher derivado escala como $B(R^2 + b)/(\sqrt{n}\sqrt{\varepsilon})$. A diferencia del RBF Gaussiano (diagonal constante) o IMQ (diagonal constante $\varepsilon^{-1}$), la diagonal de Yat depende polinómicamente de $\|x\|$, haciendo que $b$ y $\varepsilon$ sean objetivos de regularización explícitos.
• Diagnósticos Empíricos:
  • Sonda CLIP: En ImageNet-1k con características CLIP congeladas, un clasificador Yat de una sola capa (centros entrenados) alcanzó un 73.9% de precisión, superando a un núcleo polinómico puro (72.5%) y a una variante Yat con centros aleatorios congelados (69.5%), aislando los beneficios del denominador IMQ y la optimización de centros.
  • Modelo de Lenguaje Causal: Un LM causal de 261M de parámetros que reemplaza bloques MLP GELU con primitivas Yat alcanzó el régimen de precisión de la línea base GELU (igualando la varianza de la semilla) mientras lograba menor perplejidad en WikiText-103 y tareas de largo alcance. La norma RKHS de forma cerrada siguió siendo aplicable por capa.

Significado y Afirmaciones

El artículo afirma que el núcleo Yat es la primera primitiva de unidad oculta finita y entrenable que posee simultáneamente:

1. Estructura PSD/Mercer para $b \ge 0$.
2. Universalidad de núcleo fijo para $b > 0$ mediante dominación de Loewner.
3. Alineación no radial con una traza lejana direccional no nula.
4. Incrustación algebraica exacta de átomos IMQ (aguda en tres átomos).
5. Una norma RKHS local a la capa y de forma cerrada con dependencia explícita de los hiperparámetros.

Los autores enfatizan que, aunque estas propiedades se cumplen para una sola capa, no se extienden a una teoría global para redes profundas. No existe un núcleo de Mercer independiente de los parámetros que capture la estructura de Gram de una pila profunda de Yat. La teoría de capas profundas se limita a:

• Retraídas condicionadas por prefijo: Estructuras RKHS válidas existen si las capas anteriores están fijas.
• Contención Sobolev ambiental: Las pilas de profundidad acotada residen en un RKHS Sobolev fijo, pero los límites de capacidad son cualitativos y sufren un crecimiento superexponencial con la profundidad.

El trabajo posiciona a Yat no como un reemplazo de los MLP estándar en todos los contextos, sino como una alternativa fundamentada teóricamente que restaura la conexión entre las unidades neuronales y la teoría RKHS, proporcionando normas explícitas y límites de generalización que de otro modo no están disponibles para las activaciones escalares estándar.