Heterogeneity in Formal Linguistic Competence of Language Models: Is Data the Real Bottleneck?

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLM) exhiben una disparidad desconcertante en su competencia lingüística formal. Aunque dominan ciertos fenómenos lingüísticos con una precisión casi perfecta, a menudo rinden por debajo del azar en otros, incluso después de entrenarse con billones de tokens.

El problema central que aborda el artículo es determinar si estos fallos se deben a:

1. Limitaciones arquitectónicas inherentes: La incapacidad del modelo para representar ciertas reglas gramaticales.
2. Escasez de datos: La falta de exposición a construcciones gramaticales específicas en los corpus de entrenamiento a escala web.

El estudio se centra en paradigmas específicos del benchmark BLiMP (Benchmark of Linguistic Minimal Pairs), donde modelos como GPT-2 Small y Llama-3 muestran un rendimiento inconsistente (ej. only_npi_scope o principle_A_reconstruction), y donde el simple escalado de datos no siempre corrige el problema (en algunos casos, el rendimiento incluso disminuye con más datos, mostrando una curva de escalado en forma de "U invertida").

2. Metodología

Los autores diseñan una intervención controlada y minimalista para aislar el efecto de los datos sin alterar la arquitectura del modelo.

• Modelo Base: Se utiliza GPT-2 Small (124M parámetros).
• Entrenamiento Base: Se pre-entrena el modelo en una muestra aleatoria de 100 millones de tokens del corpus FineWeb.
• Generación de Datos Sintéticos:
  • Se utiliza un LLM potente (GPT-OSS 120B) para generar un corpus sintético pequeño.
  • Se crea una taxonomía de géneros y subgéneros (narrativa, académica, legal, etc.) y se seleccionan lemas frecuentes para asegurar diversidad estilística y léxica.
  • Se instruye al modelo para generar documentos que parezcan escritos reales pero que contengan obligatoriamente oraciones que ejemplifiquen un paradigma lingüístico específico de BLiMP (basado en plantillas sintácticas).
• Intervención de Datos:
  • Se inyecta un 1% de datos sintéticos (aprox. 1 millón de tokens, conteniendo ~3.000 oraciones del paradigma objetivo) en el conjunto de entrenamiento, reemplazando el 1% del corpus FineWeb original.
  • Se mantienen constantes todos los hiperparámetros (tasa de aprendizaje, tamaño de lote, arquitectura) para aislar el efecto de la composición de los datos.
• Evaluación: Se evalúan los modelos en la suite completa de BLiMP (67 paradigmas) para medir tanto el rendimiento en el paradigma objetivo como el impacto en la competencia lingüística general (para descartar el "olvido catastrófico").

3. Contribuciones Clave

1. Identificación de Casos de Fallo: Se identifican 9 paradigmas de BLiMP donde un modelo GPT-2 estándar rinde por debajo del azar.
2. Metodología de Intervención Dirigida: Se introduce un método para inyectar una cantidad mínima (1%) de datos sintéticos controlados y naturalistas durante el pre-entrenamiento.
3. Prueba de Existencia Optimista: Se demuestra que la escasez de datos es el principal cuello de botella para la mayoría de los fenómenos lingüísticos formales, no las limitaciones arquitectónicas.

4. Resultados Principales

A. Impacto en el Rendimiento Específico del Paradigma

La intervención dirigida mejoró sustancialmente el rendimiento en 8 de los 9 paradigmas más débiles:

• Mejoras Dramáticas:
  • only_npi_scope: El rendimiento saltó de 20.9% (basal) a 69.4% (+48.5 puntos).
  • principle_A_reconstruction: Mejoró de 37.2% a 78.9% (+41.7 puntos).
  • existential_there_quantifiers_2: Subió de 23.4% a 51.8%.
• Resistencia: El paradigma principle_A_c_command no mejoró (se mantuvo por debajo del azar, ~46-50%), sugiriendo que este caso específico podría requerir una densidad de datos mucho mayor o sesgos inductivos más fuertes debido a dependencias de largo alcance combinadas con distractores lineales cercanos.

B. Impacto en el Rendimiento Agregado

Contrario a la preocupación de que sobre-representar un patrón sintáctico podría causar olvido catastrófico:

• Las intervenciones dirigidas preservaron o mejoraron ligeramente el rendimiento agregado en el benchmark completo de BLiMP.
• Esto indica que la inyección de un 1% de datos sintéticos es lo suficientemente mínima para no distorsionar la distribución general del modelo, pero lo suficientemente potente para corregir deficiencias específicas.

C. Escalado de la Intervención

Un estudio de ablación variando la cantidad de datos sintéticos (0.01%, 0.1%, 1%) mostró que:

• Para la mayoría de los paradigmas, el rendimiento mejora a medida que aumenta la fracción de datos.
• Paradigmas como principle_A_reconstruction mejoraron drásticamente incluso con una inyección del 0.01% (aprox. 30 ejemplos), sugiriendo que los modelos pequeños necesitan muy poca evidencia para adquirir ciertas construcciones si la señal es clara.

D. Comparación con Modelos Más Grandes

Un hallazgo crucial es que un modelo pequeño (124M parámetros) con intervención de datos específica superó a modelos masivos (como Llama-3 70B entrenado con 15T+ de tokens) en paradigmas específicos.

• Ejemplo: En principle_A_reconstruction, el modelo intervenido alcanzó 78.9%, mientras que Llama-3 70B obtuvo solo 49.6%.

5. Significado e Implicaciones

El trabajo ofrece una prueba de existencia optimista para el modelado de lenguaje a escala humana:

1. La Composición de Datos es Crítica: La heterogeneidad en la competencia lingüística de los LLMs se debe principalmente a la escasez de datos en los corpus web naturales, no a limitaciones fundamentales de la arquitectura.
2. Eficiencia de Datos: Los modelos pueden adquirir conocimiento gramatical robusto con presupuestos de datos mucho más pequeños (human-scale) si la composición de los datos contiene suficiente evidencia distribucional de las construcciones relevantes.
3. Futuro del Entrenamiento: Los esfuerzos para entrenar modelos más pequeños y eficientes (como el desafío BabyLM) deberían centrarse en la curación y composición de datos (inyectar ejemplos sintéticos o sintácticamente controlados) en lugar de simplemente escalar la cantidad de tokens de entrenamiento.
4. Limitaciones: Aunque la mayoría de los fallos se resolvieron, la persistencia del fallo en principle_A_c_command indica que algunos desafíos estructurales pueden requerir estrategias de datos más agresivas o cambios arquitectónicos.

En conclusión, el artículo sugiere que el "cuello de botella" para la competencia lingüística formal en los LLMs no es la capacidad del modelo, sino la calidad y la distribución específica de los datos de entrenamiento.