Resumen Técnico: Análisis de la Expresividad del Modelado Jerárquico en Transformers Profundos mediante Gramáticas de Profundidad Acotada

Declaración del Problema

Se observa empíricamente que las redes neuronales profundas, particularmente los transformers, derivan su poder expresivo de la formación de representaciones jerárquicas, capturando características abstractas y compositivas a través de las capas. En el modelado de lenguaje, las capas iniciales del transformer capturan patrones sintácticos locales, mientras que las capas posteriores codifican dependencias complejas a nivel de cláusula. A pesar de que esta intuición moldea el diseño de los modelos, existe una falta de trabajo teórico riguroso que demuestre cómo los transformers profundos representan tales estructuras jerárquicas.

Los análisis teóricos existentes suelen centrarse en entornos restringidos, como los lenguajes Dyck (paréntesis equilibrados) o los autómatas de estados finitos, que carecen de las estructuras de ramificación complejas de las gramáticas del mundo real. Además, aunque estudios empíricos (por ejemplo, Allen-Zhu & Li, 2025; Saglam et al., 2025) respaldan la "hipótesis de la representación lineal" —mostrando que los estados gramaticales abstractos pueden recuperarse mediante sondas lineales en las corrientes residuales—, estos trabajos no explican teóricamente por qué las arquitecturas de transformer poseen la capacidad estructural para codificar explícitamente estas estructuras complejas en subespacios de baja dimensión y linealmente separables.

Este artículo aborda la brecha analizando la expresividad de los modelos transformer profundos a través del lente formal de las gramáticas libres de contexto (CFG) de profundidad acotada y no recursivas. El objetivo es proporcionar una construcción explícita de un transformer que pueda modelar predictivamente tales gramáticas, formalizando así la mecánica de la composicionalidad jerárquica.

Metodología

Los autores formalizan el problema utilizando una clase específica de CFG con las siguientes propiedades:

• Profundidad Fija ($d$): Cada árbol de derivación tiene una altura exactamente $d$.
• No Recursiva: Las gramáticas generan lenguajes finitos, evitando el anidamiento ilimitado.
• Uniformidad: Las reglas de producción para un determinado no terminal tienen la misma longitud.
• Parámetros Acotados: El análisis considera el recuento máximo de reglas ($M$), el factor de ramificación máximo ($B$) y el número de formas de árboles de derivación válidos ($c = |C(G)|$).

Los autores construyen un transformer de solo decodificador con un mecanismo de atención posicional para modelar estas gramáticas. La construcción se basa en tres componentes principales:

1. Cabezales de Atención Dispersa: El modelo utiliza un mecanismo de atención posicional relativa simplificado donde los pesos de atención dependen únicamente de las posiciones de los tokens, no del contenido. Esto permite una atención "dura" que selecciona tokens específicos basados en su posición en el árbol de derivación.
2. Procesamiento Jerárquico: La profundidad del transformer crece linealmente con la profundidad de la gramática ($d$). Cada bloque del transformer corresponde a un nivel en la jerarquía gramatical, procesando los constituyentes desde las hojas (terminales) hacia la raíz (símbolo inicial).
3. Memorización mediante Feedforward: Las redes de alimentación hacia adelante (FFN) por posición se construyen para actuar como tablas de búsqueda discretas. Utilizando resultados sobre la capacidad de memorización de las redes neuronales (Zhang et al., 2017), estas capas mapean los contextos sintácticos locales agregados hacia los símbolos no terminales padres.

La construcción implementa un algoritmo de programación dinámica de base inferior (similar al analizador CKY) donde:

• Los Cabezales de Atención agregan contextos sintácticos locales de los nodos hijos para identificar los límites de los constituyentes gramaticales.
• Las FFN codifican los símbolos no terminales resultantes en la corriente residual, preservando los estados de niveles inferiores mediante conexiones residuales.
• Las Capas Finales utilizan redes feedforward apiladas para computar las predicciones de la siguiente palabra basadas en los estados jerárquicos acumulados.

Contribuciones Clave

1. Construcción Explícita de Transformer: El artículo proporciona una prueba constructiva de que un transformer con profundidad $d$ (lineal en la profundidad de la gramática) puede modelar predictivamente CFG uniformes y no recursivas de profundidad $d$.
2. Límites de Escalabilidad: Los autores derivan límites específicos para el tamaño del modelo requerido:
   • Profundidad: Crece linealmente con la profundidad de la gramática ($d$).
   • Recuento de Neuronas: Escala linealmente con el número de formas de árboles de derivación ($c$) y cuadráticamente con el número de reglas de producción ($M$).
   • Dimensión Oculta: Escala con $c \cdot d$.
3. Soporte Teórico para la Representación Lineal: La construcción demuestra que la arquitectura posee la capacidad estructural para codificar estados gramaticales abstractos en subespacios de baja dimensión y linealmente separables dentro de la corriente residual. Específicamente, para una forma de árbol de derivación fija, los cálculos de análisis ocurren en subespacios distintos, permitiendo que los símbolos no terminales sean aislados mediante transformaciones afines simples.
4. Diferenciación de Trabajos Previos: A diferencia de los límites anteriores que escalan con la longitud máxima de la oración (que puede ser exponencial en la profundidad de la gramática), esta construcción escala con la profundidad de la gramática misma. Esto destaca la eficiencia del modelado jerárquico sobre las representaciones planas (como los n-gramas o los autómatas de estados finitos, que requerirían espacios de estados exponenciales para CFG profundas).

Resultados

El principal resultado teórico (Teorema 4.1) establece que para cualquier $\epsilon > 0$, existe un modelo de lenguaje transformer $f_T$ que modela predictivamente el lenguaje $L(G)$ con un error de máximo $\epsilon$. El modelo consta de $d$ bloques de transformer seguidos de $5d + 7$ capas feedforward.

• Eficiencia: El número de capas requeridas es lineal en la profundidad de la gramática, una mejora significativa respecto a las construcciones donde el recuento de capas escala con la longitud de la oración.
• Dispersión: La construcción utiliza un circuito disperso donde cada secuencia de entrada es procesada por un único cabezal de atención por bloque, alineándose con los hallazgos empíricos sobre subgrafos computacionales dispersos en el aprendizaje profundo.
• Separabilidad Lineal: La prueba muestra que los símbolos no terminales en una determinada profundidad se mapean a vectores en un subespacio de la corriente residual correspondiente, lo que respalda la hipótesis de la representación lineal. Sin embargo, los autores señalan que su construcción utiliza una base estrictamente ortogonal (neuronas indicadoras distintas), mientras que los modelos empíricos probablemente logran esto mediante la superposición densa.

Significado y Limitaciones

Significado:
El artículo ofrece una prueba de existencia rigurosa de que los transformers profundos pueden representar explícitamente estructuras gramaticales jerárquicas. Une la brecha entre las observaciones empíricas de representaciones lineales y las capacidades arquitectónicas teóricas. Al formalizar cómo los transformers pueden implementar la programación dinámica de base inferior, este trabajo proporciona una base teórica de por qué las arquitecturas más profundas son efectivas para capturar estructuras lingüísticas complejas sin sufrir la "maldición de la dimensionalidad" asociada con los modelos planos.

Limitaciones:

• Marco Simplificado: El análisis se restringe a CFG de profundidad acotada y no recursivas. No aborda directamente las gramáticas recursivas o los lenguajes infinitos, aunque se señala que el marco es una abstracción para analizar la composicionalidad jerárquica.
• Superposición vs. Ortogonalidad: La construcción teórica depende de un espacio de base ortogonal donde cada estado gramatical tiene una neurona dedicada. Esto simplifica la prueba, pero no tiene en cuenta el fenómeno de la "superposición" observado en modelos reales, donde las características se comprimen en vectores densos. Comprender cómo la dinámica de entrenamiento estándar produce tales representaciones comprimidas sigue siendo una pregunta abierta.
• Escalabilidad a Corpus Reales: Los límites dependen de $c$ (el número de formas de árboles), que puede ser grande. Si bien el marco formaliza la mecánica central, los autores reconocen que aún no proporciona límites ajustados para corpus complejos del mundo real como el Penn Treebank.

En conclusión, este trabajo sienta las bases para comprender el funcionamiento interno de los modelos transformer a través de la teoría del lenguaje formal, sugiriendo que la profundidad del transformer refleja naturalmente la profundidad de la jerarquía gramatical que modela.