Implicit Representations of Grammaticality in Language Models

Resumen Técnico: Representaciones Implícitas de la Gramaticalidad en Modelos de Lenguaje

Enunciado del Problema
En el lenguaje humano, la gramaticalidad (conformidad a las reglas sintácticas) y la probabilidad (frecuencia estadística en textos naturales) son conceptos distintos. Una oración puede ser gramatical pero altamente improbable (significado complejo), o no gramatical pero probable (error común). Los Modelos de Lenguaje (LM) preentrenados son sistemas probabilísticos entrenados para maximizar la probabilidad del corpus. Aunque funcionan bien en tareas de pares mínimos (distinguir una oración gramatical de una no gramatical mínimamente alterada), sus probabilidades de cadena cruda a menudo fallan en discriminar agudamente entre oraciones gramaticales y no gramaticales en general, ya que confunden la corrección sintáctica con la plausibilidad semántica y la frecuencia.

La pregunta central abordada es si los LM, a pesar de ser entrenados únicamente sobre probabilidad, adquieren implícitamente una representación distinta de la gramaticalidad dentro de sus capas ocultas que sea separable de la probabilidad de la cadena.

Metodología
Los autores proponen un enfoque de sondeo lineal (linear probing) para investigar las representaciones internas de los LM sin depender de costosos conjuntos de datos de gramaticalidad anotados por humanos para el entrenamiento.

1. Generación de Datos Sintéticos de Entrenamiento:

   • Fuente: Se muestrearon 50.000 oraciones del Penn Treebank y Project Gutenberg para servir como ejemplos "gramaticales".
   • Perturbación: Se generaron ejemplos no gramaticales aplicando tres funciones de ruido a las oraciones originales:
     • Inserción: Insertar aleatoriamente 1–5 tokens del corpus.
     • Borrado: Eliminar aleatoriamente 1–5 tokens.
     • Barajado Local: Permutar aleatoriamente una ventana contigua de 5 tokens.
   • Validación: Un juez LLM confirmó que el 93,72 % de las oraciones perturbadas eran efectivamente no gramaticales.
   • División: El 80 % de los datos se utilizó para entrenamiento y el 20 % para desarrollo (ajuste de hiperparámetros).

2. Arquitectura del Sondeo:

   • Se entrenó un clasificador de regresión logística (sondeo lineal) sobre los estados ocultos del LM en el último token de una oración.
   • El sondeo se entrenó para predecir la etiqueta binaria (gramatical vs. no gramatical).
   • Los experimentos utilizaron regularización $\ell_2$ (estándar) y regularización $\ell_1$ (LASSO) para identificar subconjuntos dispersos de neuronas responsables de la señal.

3. Marco de Evaluación:

   • Modelos: Probado en modelos base de pesos abiertos (OLMo-2/3, Llama-3.2/3.1, Gemma-2), excluyendo variantes ajustadas con instrucciones para evitar confusos de alineación.
   • Puntos de Referencia:
     • Gramaticalidad: BLiMP (pares mínimos), CoLA y SyntaxGym (aceptabilidad independiente).
     • Translingüístico: Seis idiomas (sueco, neerlandés, italiano, ruso, japonés, chino) utilizando transferencia zero-shot.
     • Plausibilidad Semántica: Tres conjuntos de datos donde ambos miembros del par mínimo son gramaticales pero difieren en plausibilidad semántica.
   • Métricas: Precisión (ACC) para pares mínimos y Área bajo la Curva ROC (AUC) para aceptabilidad independiente.
   • Líneas Base: Comparación contra las log-probabilidades de cadena del LM (log-probabilidades acumuladas normalizadas por longitud).

Resultados Clave

• Superioridad sobre las Probabilidades de Cadena: Los sondas entrenadas en el conjunto de datos sintético superaron significativamente a las log-probabilidades del LM en los puntos de referencia de gramaticalidad (BLiMP, CoLA, SyntaxGym). Esto se mantuvo tanto en configuraciones de pares mínimos como en configuraciones no de pares mínimos.
• Distinción de la Probabilidad:
  • Las puntuaciones del sondeo mostraron solo una correlación moderada (Spearman's $\rho \approx 0,23–0,47$) con las log-probabilidades del LM, sugiriendo que capturan información distinta.
  • Añadir las log-probabilidades como una característica extra al sondeo no mejoró consistentemente el rendimiento, lo que implica que los estados ocultos ya codifican la información de probabilidad necesaria relevante para la gramaticalidad.
  • Por el contrario, al predecir log-probabilidades a partir de estados ocultos, la regresión de cresta logró un $R^2$ moderadamente alto ($0,51–0,73$), confirmando que la información de probabilidad está presente en las representaciones.
• Selectividad Semántica: En los puntos de referencia de plausibilidad semántica, el sondeo de gramaticalidad funcionó peor que las probabilidades de cadena. Esto indica que el sondeo está sintonizado selectivamente a la aceptabilidad sintáctica en lugar de a la probabilidad semántica, desvinculando efectivamente ambos conceptos.
• Generalización Translingüística: Un sondeo entrenado exclusivamente con datos en inglés se generalizó a idiomas tipológicamente diversos (sueco, neerlandés, italiano, ruso, japonés, chino), a menudo superando las probabilidades de cadena nativas de los modelos.
• Localización de Neuronas: Utilizando LASSO, los autores encontraron que las señales de gramaticalidad podían ser capturadas por subconjuntos extremadamente pequeños de neuronas (tan pocos como el 0,01 % del total, aproximadamente 10 neuronas), aunque la señal también se distribuye a través de las capas.

Significado y Afirmaciones
El artículo argumenta que, aunque los LM son fundamentalmente sistemas estadísticos entrenados sobre probabilidad, su entrenamiento a gran escala induce una distinción implícita de gramaticalidad dentro de sus representaciones ocultas.

• Desafío al Escepticismo: Los resultados desafían la visión (por ejemplo, Katzir, 2023) de que la distinción gramaticalidad–probabilidad es "completamente ajena" a los LM. Los autores sugieren que los LM sí adquieren una noción de gramaticalidad distinta de las probabilidades de salida, incluso sin supervisión lingüística explícita.
• Contribución Metodológica: El estudio demuestra que las perturbaciones sintéticas de texto natural pueden servir como un proxy robusto y escalable para entrenar sondas de gramaticalidad, evitando la necesidad de conjuntos de datos pequeños y costosos curados por humanos para el entrenamiento (aunque estos aún se utilizan para la evaluación).
• Implicaciones para la Cognición Lingüística: Aunque los autores se abstienen de afirmar que los LM son modelos completos de la adquisición lingüística humana, postulan que los LM sirven como un campo de pruebas viable para estudiar cómo puede emerger el conocimiento sintáctico del aprendizaje distribucional. Los hallazgos sugieren que la brecha "competencia–actuación" observada en humanos (donde un hablante conoce una regla pero puede cometer errores) tiene un paralelo en los LM, donde las representaciones ocultas codifican la gramaticalidad de manera distinta a la probabilidad ruidosa de las cadenas superficiales.

Limitaciones Reconocidas por los Autores

• Los datos sintéticos de entrenamiento no son perfectos; las oraciones originales pueden contener errores y las perturbaciones pueden introducir implausibilidad semántica en lugar de errores sintácticos puros.
• El estudio se centra en lenguas naturales y no aborda las lenguas formales ni la dinámica de aprendizaje de cuándo se adquiere la gramaticalidad durante el entrenamiento.
• El trabajo examina representaciones estáticas en el punto de control final, no la evolución de estas representaciones a lo largo del tiempo de entrenamiento.