Probing Minimalist Phase Structure in LLMs: What Universal Dependencies Cannot Represent

Resumen Técnico: Sondeando la Estructura de Fases Minimalista en los LLM

Enunciado del Problema
El sondeo estructural ha establecido que los Modelos de Lenguaje Grandes (LLM) codifican la estructura sintáctica en sus representaciones ocultas, entrenados típicamente para recuperar las distancias de los árboles de Dependencias Universales (UD). Sin embargo, UD es un esquema de anotación, no una gramática generativa; carece de abstracciones sintáctico-formales como las fronteras de fase (del Programa Minimalista) o la cohesión interna de fase. En consecuencia, el sondeo estándar basado en UD no puede determinar si los LLM codifican estas propiedades estructurales más profundas. Si un sondeo detecta una diferencia entre condiciones, no está claro si esto refleja la abstracción sintáctica objetivo o simplemente una re-codificación de las distancias UD o de propiedades superficiales. Este artículo aborda la pregunta abierta de si los LLM codifican abstracciones sintáctico-formales más allá del alcance del sondeo basado en anotaciones.

Metodología
Los autores diseñan un experimento de sondeo utilizando estímulos de movimiento wh donde la distancia del árbol UD entre los pares de palabras sondeadas se mantiene invariante entre condiciones por construcción. Esto asegura que cualquier efecto no nulo detectado por el sondeo refleje información estructural no capturada por UD.

1. Construcción de Estímulos:
   Se crean tres condiciones para cada ítem, ordenadas por el número de fronteras de fase del Programa Minimalista (PM) que el elemento wh cruza:

   • Oración pequeña desnuda: (ej. ¿Qué vio ella comerlo?) – 0 fases adicionales.
   • Infinitiva: (ej. ¿Qué esperaba ella que comiera?) – 1 fase adicional (vP).
   • Finita: (ej. ¿Qué pensó ella que comió?) – 2 fases adicionales (vP y CP).

   Se miden dos pares de sondeo:

   • Inter-oracional (wh–sujeto embebido): Prueba el "gradiente de conteo de fases" (profundidad estructural).
   • Intra-oracional (sujeto embebido–verbo embebido): Prueba la "cohesión interna de fase". Crucialmente, la distancia UD para este par es exactamente 1 arista (nsubj) en las tres condiciones.

2. Protocolo de Sondeo:

   • Se entrenan sondas lineales en el Universal Dependencies English Web Treebank (UD-EWT) para mapear estados ocultos a un espacio euclidiano.
   • Estas sondas entrenadas se evalúan en los estímulos de movimiento wh sin un ajuste adicional.
   • Las magnitudes del efecto ($\beta$) se estiman mediante regresión OLS comparando las condiciones Finita e Infinitiva contra la línea base Desnuda.
   • Informe de Capa Canónica: Para evitar la selección oportunista de capas (un problema común donde diferentes contrastes alcanzan su pico en capas distintas), los autores definen una única "capa canónica" ($L^*$) por modelo basada en la capa que maximiza el contraste más fiable ($\beta_{fin}$). Todos los demás contrastes se informan en esta capa fija.

3. Verificación Causal:
   Se realiza un experimento de parcheo de activación. La representación del flujo residual del sujeto embebido de una fuente Infinitiva se parchea en un objetivo Desnudo. Si la representación codifica causalmente información del tipo de oración, esto debería desplazar la distancia del sondeo en la dirección predicha.

4. Modelos:
   El estudio evalúa 13 modelos base solo de decodificador de cuatro familias: Gemma-3, Llama-3, Mistral y Qwen.

Resultados Clave

1. Gradiente de Conteo de Fases (Inter-oracional):
   En 12 de 13 modelos, la distancia del sondeo entre el elemento wh y el sujeto embebido sigue el gradiente predicho: $\beta_{fin} > \beta_{inf} > 0$. Esto indica que las representaciones del modelo reflejan el número creciente de fronteras de fase cruzadas, incluso aunque las distancias UD sean invariantes.

2. Asimetría de Signo (Intra-oracional):
   En el par sujeto–verbo embebido (donde la distancia UD es idéntica), se observa una robusta asimetría de signo 13/13:

   • Condición Finita: $\beta < 0$ (las representaciones están más cerca que la línea base).
   • Condición Infinitiva: $\beta > 0$ (las representaciones están más lejos que la línea base).

   Este patrón contradice explicaciones alternativas:

   • Distancia UD: Predice $\beta \approx 0$ (la distancia es constante).
   • Distancia lineal: Predice $\beta_{inf} > 0$ pero $\beta_{fin} \approx 0$ (finita y desnuda son adyacentes; infinitiva tiene un 'to' intermedio).
   • Complejidad monótona: Predice $\beta_{fin} > \beta_{inf} > 0$ (más estructura = mayor distancia).

   El $\beta_{fin}$ negativo observado es predicho específicamente por la cohesión interna de fase, una abstracción de la PM donde los ítems dentro de la misma fase completada (CP Finita) se externalizan como una unidad cohesiva, haciéndolos representacionalmente más cercanos.

3. Corroboración Causal:
   El parcheo de activación en la posición del sujeto embebido desplaza exitosamente las distancias del sondeo en la dirección predicha para 12 de 13 modelos. Esto confirma que las representaciones identificadas son causalmente activas en el cálculo del modelo, abordando el escepticismo sobre si los sondeos recuperan representaciones que el modelo utiliza realmente.

Contribuciones Clave

1. Sondeo con Distancia UD Invariante: Los autores demuestran un método para sondear la estructura sintáctica donde las distancias UD están estrictamente controladas, asegurando que los efectos detectados reflejen estructura más allá de UD.
2. Informe de Capa Canónica: Introducen un estándar de informe más estricto que ancla todos los contrastes a una sola capa, eliminando un grado de libertad y revelando heterogeneidad (ej. el fallo de Qwen-3-4B) que el informe de picos por contraste ocultaría.
3. Evidencia Causal: A través del parcheo de activación, proporcionan evidencia directa de que las representaciones de la estructura de fases son computacionalmente activas, no meramente correlacionales.

Significado y Afirmaciones
El artículo afirma que el preentrenamiento distribucional induce representaciones alineadas con abstracciones sintáctico-formales (específicamente fronteras de fase y cohesión interna de fase) que son invisibles para la anotación basada en UD. La asimetría de signo 13/13 en el par intra-oracional sirve como una prueba de existencia de que los LLM codifican información estructural inaccesible para el sondeo estándar.

Los autores concluyen que los sondeos fundamentados en UD proporcionan un límite inferior para la codificación sintáctica, no un límite superior. Los hallazgos sugieren que los LLM pueden poseer una representación sintáctica más rica que la capturada por las anotaciones de dependencia estándar, impulsada por las regularidades estadísticas de los datos de entrenamiento en lugar de una instrucción gramatical explícita.

Limitaciones
El estudio se limita al inglés y a clases verbales específicas. Los autores notan que el gradiente de conteo de fases es direccional (predice el orden, no las razones de magnitud) y que los efectos de escala dentro de las familias de modelos son heterogéneos. La afirmación causal es conservadora, limitada al efecto de la representación del sujeto embebido en las distancias del sondeo en general, en lugar de probar mecanismos específicos para la asimetría de signo.