Resumen Técnico: La Gramática de los Transformers

Enunciado del Problema

Desde la observación de Gulordava et al. (2018) de que los modelos de lenguaje (LM) adquieren conocimientos sintácticos no triviales a pesar de ser entrenados únicamente en la predicción de tokens, un cuerpo creciente de investigación ha buscado caracterizar la naturaleza y el alcance de este conocimiento. Sin embargo, el campo ha carecido de una imagen general y cuantitativa del conocimiento sintáctico en los Modelos de Lenguaje basados en Transformers (TLM). La literatura existente consiste en gran medida en revisiones narrativas (p. ej., Limisiewicz y Mareček, 2020; Linzen y Baroni, 2021; Kulmizev y Nivre, 2022) que, aunque valiosas, son interpretativas y carecen de la síntesis transparente y cuantitativa necesaria para mapear el panorama de hallazgos a través de la escala rápidamente expansiva de la investigación reciente. Además, el campo se caracteriza por la heterogeneidad metodológica y una fuerte concentración en el inglés y en arquitecturas de modelos específicas (notablemente BERT), lo que limita la robustez y la generalizabilidad de las conclusiones actuales.

Metodología

Los autores realizaron una revisión sistemática siguiendo las directrices PRISMA (Page et al., 2021), una metodología no comúnmente aplicada en Lingüística Computacional (LC) y Procesamiento del Lenguaje Natural (PLN). El proceso involucró:

1. Recopilación de Datos (Verano de 2025): Se utilizó un enfoque de doble estrategia para identificar candidatos: una búsqueda por palabras clave en Google Scholar combinando "estructura/conocimiento sintáctico" con "LLM/LM/transformer", y una estrategia de bola de nieve aprovechando seis revisiones anteriores. Esto arrojó 636 artículos iniciales.
2. Evaluación de Elegibilidad: Los artículos se filtraron para incluir solo aquellos que se centraban en arquitecturas Transformer (excluyendo RNN, LSTM y modelos de traducción automática codificador-decodificador), que evaluaban empíricamente el conocimiento sintáctico y que estaban publicados en foros revisados por pares o prepublicaciones. Esto resultó en un corpus final de 337 artículos.
3. Anotación: Los autores definieron 33 variables de anotación en cinco categorías:
   • Metadatos: Detalles de publicación y razones de entrada/salida.
   • Relacionados con el modelo: Nombres de modelos, tipos (bidireccional vs. causal), estado de ajuste fino y cobertura lingüística.
   • Diseño Experimental: Fenómenos sintácticos (categorizados en 11 etiquetas mediante un enfoque ascendente), idiomas probados y materiales.
   • Técnicas de Interpretabilidad: Categorizadas como conductuales, de sondeo (probing) o mecanicistas (siguiendo a Milli`ere, 2024), con una anotación adicional sobre la naturaleza causal (observacional vs. intervencional), fase de entrenamiento y localidad.
   • Hallazgos: Resúmenes en prosa de la competencia sintáctica y comparaciones de modelos.
   • Nota: 28 categorías se anotaron manualmente; 5 se anotaron semiautomáticamente utilizando un flujo de trabajo asistido por IA validado contra un estándar de oro manual.

Contribuciones Clave

1. Una Síntesis Cuantitativa: El artículo proporciona la primera revisión sistemática y cuantitativa del conocimiento sintáctico en TLM, agregando 3.074 puntos de datos individuales a través de idiomas, fenómenos y métodos.
2. Recurso Abierto: Los autores contribuyen con una base de datos anotada públicamente disponible de los estudios revisados y el código de análisis asociado, diseñada para ser extensible.
3. Taxonomía de Fenómenos: El trabajo establece una tipología ascendente de 11 etiquetas de fenómenos sintácticos reconocibles tanto para las comunidades de lingüística como de PLN, facilitando la comparación entre estudios.
4. Auditoría Metodológica: La revisión evalúa críticamente la distribución de métodos de interpretabilidad (conductuales, de sondeo, mecanicistas) y destaca la sobredependencia del campo en enfoques observacionales en lugar de causales.

Resultados Clave

1. Panorama del Campo y Sesgos

• Tendencias Temporales: El interés en el tema aumentó después de BERT (2019), alcanzando su punto máximo en 2022. Mientras que el trabajo temprano se centró en modelos bidireccionales, los modelos causales han dominado los últimos años.
• Sesgo de Modelo: La literatura está fuertemente concentrada en BERT y sus variantes, que representan el 58% de todos los puntos de datos. Los cuatro modelos más estudiados representan el 62%.
• Sesgo Lingüístico: El inglés es abrumadoramente dominante (el 69% de los artículos son solo en inglés; el 91% incluye inglés). Los estudios sobre idiomas no ingleses son escasos y los estudios multilingües están subrepresentados (20%).
• Sesgo de Fenómenos: La investigación se centra fuertemente en fenómenos sintácticos formales (p. ej., concordancia, orden de palabras, estructura jerárquica, POS) que son fácilmente capturados por las herramientas actuales de PLN. Los fenómenos en la interfaz sintaxis-semántica (p. ej., vinculación, coreferencia, negación, elipsis) y los aspectos tipológicos reciben significativamente menos atención.

2. Rendimiento Conductual

• Benchmark BLiMP: En el benchmark BLiMP en inglés, los TLM tienen un rendimiento notablemente bueno, con los mejores modelos igualando o superando el rendimiento humano en 7 de 11 categorías. Sin embargo, el rendimiento varía significativamente entre modelos, impulsado en gran medida por la capacidad general del modelo en lugar de fortalezas específicas del fenómeno.
• Formal vs. Interfaz: Los TLM tienen un rendimiento consistentemente mejor en relaciones sintácticas formales (medianas >85% para concordancia) que en fenómenos de la interfaz sintaxis-semántica (medianas <75% para vinculación, estructura argumental, NPI).
• Factores Translingüísticos: El análisis de regresión de 1.557 puntos de datos no de benchmark a través de 113 idiomas revela que los modelos causales superan a los modelos bidireccionales en ~10%, y el rendimiento escala positivamente con el soporte digital del idioma (ganancia del 5% por nivel de soporte). Los idiomas con menos recursos muestran un rendimiento degradado.

3. Mecanismos Internos (Estudios de Sondeo y Mecanicistas)

• Sondeo: El 85% de los estudios de sondeo reportan una recuperación exitosa de información sintáctica a partir de las representaciones del modelo. Las capas intermedias son las más frecuentemente identificadas como el locus del conocimiento sintáctico, apoyando una visión de representación distribuida.
• Estudios Mecanicistas: El 79% de los artículos mecanicistas encuentran evidencia clara que respalda la presencia de conocimiento sintáctico. Sin embargo, estos estudios son abrumadoramente observacionales (81%); solo el 19% emplea métodos intervencionales para establecer vínculos causales entre representaciones internas y comportamiento.
• Brechas Metodológicas: Existe una desconexión entre el éxito del sondeo (tasas altas de recuperación) y el rendimiento conductual (variable a través de fenómenos), lo que sugiere que un sondeo exitoso no implica necesariamente el uso funcional de las representaciones para la predicción.

Significado y Afirmaciones

El artículo afirma que la literatura actual respalda robustamente la visión de que los TLM codifican una cantidad no trivial de conocimiento sintáctico, particularmente con respecto a las relaciones sintácticas formales. Sin embargo, los autores enfatizan que las conclusiones del campo están actualmente limitadas por:

1. Falta de Evidencia Causal: La dominancia de métodos observacionales impide una comprensión profunda de cómo se utilizan computacionalmente las representaciones sintácticas.
2. Generalizabilidad Limitada: El fuerte enfoque en el inglés y modelos similares a BERT restringe la aplicabilidad de los hallazgos al panorama más amplio del lenguaje y la arquitectura.
3. Fenómenos Fragmentados: La interfaz sintaxis-semántica permanece poco explorada a pesar de que los modelos muestran un rendimiento más débil en estas áreas.

Los autores concluyen que, aunque los TLM poseen capacidades sintácticas notables, comprender la adquisición, el uso y la universalidad de este conocimiento requiere una mayor armonización metodológica, compromisos teóricos más explícitos y un panorama empírico más amplio que vaya más allá del inglés y de los estudios puramente observacionales. Posicionan esta revisión como una base para el trabajo futuro, invitando a la comunidad a contribuir a la base de datos abierta y a adoptar los estándares de anotación propuestos.