Do Language Models Know What Not to Say? Causal Evidence for Statistical Preemption in LLMs

Resumen Técnico: Evidencia Causal de la Preemptación Estadística en los LLM

Planteamiento del Problema
El artículo aborda la "Paradoja de Baker", un enigma fundamental en la adquisición del lenguaje: cómo los aprendices adquieren conocimiento sobre lo que es inaceptable (evidencia negativa) sin que nunca se les indique explícitamente que ciertas oraciones son incorrectas. En el contexto de la Gramática de Construcciones, dos hipótesis competidoras intentan explicar este "retiro de la sobregeneralización":

1. Preemptación Estadística: Los aprendices adquieren conocimiento negativo rastreando la frecuencia de formas competidoras específicas y convencionales (por ejemplo, escuchar con frecuencia "donated the books to the library" [donó los libros a la biblioteca] preempta la no atestiguada "*donated the library the books" [*donó la biblioteca los libros]).
2. Anclaje (Entrenchment): Los aprendices resisten construcciones novedosas simplemente porque el verbo se encuentra frecuentemente en cualquier construcción, lo que reduce la disposición a utilizarlo en nuevos marcos.

Mientras que los estudios conductuales han debatido estos mecanismos, el artículo postula que los Modelos de Lenguaje Grandes (LLM), entrenados puramente en estadísticas distribucionales sin instrucción gramatical explícita, ofrecen un entorno controlado para probar si el aprendizaje distribucional por sí solo es suficiente para adquirir este conocimiento negativo.

Metodología
Los autores realizaron cuatro experimentos que abarcaron 120 pares verbo-construcción en inglés a través de tres tipos de alternancia: dativa, causativa y locativa. Evaluaron 14 modelos de cuatro familias (GPT-2, Pythia, LLaMA-2, OLMo) que oscilan entre 124M y 70B parámetros.

• Hipótesis de Vinculación: El estudio utiliza la sorpresa a nivel de palabra ($S(w_t) = -\log_2 P(w_t | w_{<t})$) como un proxy para la aceptabilidad humana. La métrica clave es la diferencia de sorpresa ($\Delta S$) entre una forma "no convencional" (preemptada) y una forma "convencional".
• Experimento 1 (Correlacional): Probó si los patrones de $\Delta S$ de los LLM se correlacionan con juicios de aceptabilidad humana de tres conjuntos de datos independientes (DAIS, Robenalt & Goldberg, Tachihara & Goldberg).
• Experimento 2 (Disociación): Utilizó un diseño +Competidor/−Competidor (adaptado de Winkler et al., 2015) para disociar la preemptación del anclaje. Los verbos se emparejaron por frecuencia general pero difirieron en si existía una forma convencional competidora específica. El estudio empleó correlaciones parciales no circulares contra datos humanos para asegurar que los resultados no fueran artefactos de estadísticas compartidas del corpus.
• Experimento 3 (Escalado): Analizó la sensibilidad a la preemptación a través de tamaños de modelo (de 160M a 12B parámetros en Pythia) para determinar si el efecto escala como una ley de potencias.
• Experimento 4 (Intervención Causal): Realizó un ajuste fino controlado en GPT-2 124M con frecuencias manipuladas. Se probaron tres condiciones:
  • Amplificada: Aumentó la frecuencia de la forma convencional.
  • Atenuada: Igualó las frecuencias de ambas formas.
  • Inversa: Aumentó la frecuencia de la forma no convencional (un control para descartar una simple sensibilidad a la frecuencia).
  • El experimento se replicó en cinco semillas aleatorias.

Resultados Clave

1. Alineación Humano-LLM: Los patrones de sorpresa de los LLM se correlacionan fuertemente con los juicios de aceptabilidad humana ($r = 0.79$ para LLaMA-2 7B contra el referente DAIS), validados en tres conjuntos de datos conductuales independientes.
2. Preemptación vs. Anclaje: Los efectos observados son impulsados por la frecuencia de la forma competidora, no por la frecuencia general del verbo. En el diseño +Competidor/−Competidor, los verbos con una forma convencional competidora mostraron un $\Delta S$ significativamente mayor que los verbos emparejados por frecuencia sin tal competidor. Las correlaciones parciales confirmaron que la preemptación explica la varianza en los datos humanos ($r_{parcial} = 0.58$), mientras que el anclaje no lo hace.
3. Escalado: La sensibilidad a la preemptación escala como una ley de potencias con el tamaño del modelo ($r(N) = a \cdot N^b + c$), con un exponente $b \approx 0.092$, lo que indica rendimientos decrecientes pero sin transiciones de fase repentinas.
4. Evidencia Causal: Las intervenciones de ajuste fino desplazaron causalmente el comportamiento de preemptación. Aumentar la frecuencia de la forma convencional fortaleció la preemptación ($\Delta \Delta S = +0.73$), mientras que aumentar la frecuencia de la forma no convencional tuvo un efecto significativamente más débil ($\Delta \Delta S = -0.29$). Esta asimetría respalda la teoría de que la preemptación opera a través de la fuerza inhibitoria de alternativas establecidas, en lugar de una simple sensibilidad a la frecuencia.

Significado y Afirmaciones
El artículo afirma proporcionar el primer estudio computacional que disocia directamente la preemptación estadística del anclaje dentro de un único diseño convergente utilizando LLMs. Sus contribuciones principales son:

• Validación Mecanística: Demuestra que los modelos de lenguaje neuronales adquieren conocimiento lingüístico negativo a través de la competencia distribucional, apoyando el mecanismo central de la Gramática de Construcciones.
• Prueba Causal: A través del ajuste fino controlado y controles de dirección inversa, ofrece evidencia causal de que manipular las frecuencias de las formas competidoras desplaza el comportamiento del modelo en la dirección predicha por la teoría de la preemptación.
• Rigor Metodológico: Aborda las preocupaciones de circularidad en trabajos anteriores utilizando correlaciones parciales no circulares contra datos humanos y empleando un control de dirección inversa para descartar explicaciones tautológicas de sensibilidad a la frecuencia.
• Generalizabilidad: Los hallazgos se mantienen a través de múltiples tipos de construcciones (dativa, causativa, locativa) y arquitecturas de modelos.

Los autores posicionan su trabajo como un complemento a los estudios causales existentes (por ejemplo, Yao et al., 2025; Misra y Mahowald, 2024), señalando que, aunque no reclaman prioridad única para la evidencia "causal", su combinación específica de disociación preemptación-anclaje, validación no circular y controles de asimetría de dirección inversa proporciona una línea robusta y convergente de evidencia. El estudio concluye que, para el inglés, la Paradoja de Baker tiene una respuesta en el aprendizaje distribucional: los modelos desarrollan sensibilidad a la preemptación moldeada por la frecuencia de competidores convencionales, reflejando la adquisición humana.