Spectrum-Adaptive Generalization Bounds for Trained Deep Transformers

Resumen Técnico: Límites de Generalización Adaptativos al Espectro para Transformers Profundos Entrenados

Enunciado del Problema
Comprender por qué los Transformers con gran sobreparametrización generalizan bien sigue siendo un desafío fundamental en la teoría moderna del aprendizaje automático. Si bien los límites de generalización basados en normas existentes (p. ej., Edelman et al., 2022; Trauger y Tewari, 2024) han eliminado con éxito la dependencia polinómica explícita de las dimensiones ocultas y las longitudes de los tokens, adolecen de dos limitaciones principales al aplicarse a modelos profundos y entrenados:

1. Acumulación de Profundidad: A menudo exhiben una dependencia exponencial desfavorable o de alto polinomio con la profundidad de la red ($L$) debido a factores de propagación por capa (que escalan como $C^L$ o $L^{3/2}$).
2. Restricciones de Normas Fijas: Se basan en radios de normas fijas (p. ej., normas mixtas $(2,1)$ o $(1,1)$) especificados a priori. Estos radios típicamente crecen con la dimensión oculta ($N$) y no logran adaptarse a los perfiles espectrales heterogéneos observados en los pesos entrenados, donde las matrices de atención a menudo exhiben estructuras de bajo rango distintas de las matrices de alimentación hacia adelante.

Metodología
Los autores derivan límites de generalización post hoc adaptativos al espectro para Transformers de múltiples capas. Las innovaciones metodológicas centrales incluyen:

• Adaptatividad Post Hoc: A diferencia de los límites tradicionales donde los parámetros de complejidad se fijan antes del entrenamiento, este enfoque permite seleccionar los índices de Schatten ($p$) después de observar los pesos entrenados. Estos índices pueden elegirse por separado para cada tipo de matriz (Consulta-Clave, Valor, Alimentación hacia adelante) y para cada capa.
• Interpolación Paramétrica: El artículo extiende las técnicas de interpolación paramétrica (Ledent et al., 2025) a clases de funciones con valores matriciales. Al descomponer las matrices de pesos en una parte principal de bajo rango y una cola controlada por la norma de Frobenius, los autores derivan límites del número de recubrimiento que interpolan entre regímenes basados en rango ($p=0$) y basados en normas ($p=2$).
• Medidas de Complejidad Espectral: Los límites se expresan en términos de cantidades de Schatten por capa ($\|W\|_{s,p}$) y normas espectrales ($\|W\|_2$). La medida de complejidad se define como un ínfimo sobre todos los índices de Schatten admisibles $p \in [0, 2]^{3L}$.
• Análisis del Número de Recubrimiento: La prueba construye números de recubrimiento para la arquitectura Transformer bajo la métrica $\|\cdot\|_{2\to\infty}$. Utiliza un argumento de pelado dicotómico sobre los radios de las cantidades de Schatten realizadas para asegurar que el evento de alta probabilidad se mantenga uniformemente sobre todas las elecciones de $p$, lo que permite la selección post hoc.

Contribuciones Clave

1. Teorema 3.1 (Límites Adaptativos al Espectro): El resultado principal proporciona un límite para la brecha de generalización donde el término de complejidad implica un ínfimo sobre los índices de Schatten. Esto permite que el límite seleccione automáticamente el compromiso más favorable entre la complejidad espectral, la dimensión oculta y la profundidad para cada matriz aprendida específica.
2. Teorema 4.1 (Interpolación Paramétrica con Valores Matriciales): Una extensión técnica que proporciona límites del número de recubrimiento para funciones lineales con valores matriciales bajo restricciones simultáneas de norma espectral y cantidades de Schatten. Esto sirve como bloque de construcción para el análisis del Transformer.
3. Comparación Teórica: El artículo demuestra que en regímenes representativos (restricciones de norma de Frobenius, rango y norma espectral), los límites propuestos mejoran la dependencia de la profundidad en comparación con las líneas base basadas en normas existentes. Específicamente, la dependencia de la profundidad mejora de $L^{3/2}$ (en Edelman et al., 2022) a $\sqrt{L}$ o mejor, dependiendo de la estructura espectral.
4. Validación Empírica: Utilizando puntos de control de BERT Miniatures, los autores construyen "proxies adaptados a BERT" para los factores de complejidad principales. Observan que los proxies derivados de sus límites adaptativos al espectro crecen significativamente más lento con el aumento de la profundidad ($L$) y la dimensión oculta ($N$) en comparación con los proxies derivados de Edelman et al. (2022).

Resultados

• Escalado de Profundidad y Dimensión: El análisis teórico muestra que, al seleccionar valores de $p$ más pequeños (más cercanos al rango), se reducen el factor de propagación por capa y los factores polinómicos de profundidad. Los resultados empíricos en puntos de control de BERT confirman que los factores de complejidad principales de los límites propuestos escalan de manera más favorable que sus contrapartes basadas en normas a medida que aumentan $L$ y $N$.
• Heterogeneidad de los Pesos: El análisis empírico revela que, si bien las matrices relacionadas con la atención (Consulta-Clave, Valor) son exactamente de bajo rango (debido a las restricciones de la dimensión de las cabezas), las matrices de alimentación hacia adelante exhiben un decaimiento espectral más lento. Sin embargo, incluso para estas matrices, la selección post hoc de $p=0$ (basada en rango) a menudo produce el límite más ajustado, ya que la reducción en el término espectral supera la penalización de los factores de escalado arquitectónico.
• Dependencia de la Longitud del Token: Los límites mantienen una dependencia logarítmica de la longitud del token ($T$), consistente con avances recientes, aunque el artículo señala que esto surge del argumento de recubrimiento de tipo $\ell_2$ utilizado para el enfoque espectral, en contraste con los argumentos de tipo $\ell_1$ utilizados para eliminar la dependencia del token en otros trabajos.

Significado y Afirmaciones
El artículo afirma proporcionar una perspectiva basada en la complejidad sobre cómo la estructura espectral de los Transformers entrenados se refleja en los análisis de generalización. Su importancia radica en:

• Adaptatividad: Superar las restricciones de normas globales fijas para permitir medidas de complejidad que se adapten a los perfiles específicos de valores singulares de los pesos entrenados.
• Interpolación: Ofrecer un puente teórico entre regímenes basados en rango y basados en normas, demostrando que la medida de complejidad óptima depende de los datos y puede seleccionarse post hoc.
• Límites Más Ajustados para Modelos Profundos: Proporcionar un mecanismo para mitigar los límites holgados a menudo asociados con redes profundas, aprovechando la naturaleza de bajo rango o compresible de las representaciones aprendidas.

Los autores notan modestamente que su análisis es agnóstico al entrenamiento, dependiendo únicamente de cantidades espectrales post hoc en lugar de la trayectoria de optimización o la regularización implícita. Sugieren que el trabajo futuro podría integrar estructuras de activación dependientes de los datos y dinámicas de optimización para obtener límites aún más precisos.