The Frequency Confound in Language-Model Surprisal and Metaphor Novelty

Resumen Técnico: La Confusión de Frecuencia en la Sorpresa de Modelos de Lenguaje y la Novedad Metaphórica

Enunciado del Problema
La sorpresa de los modelos de lenguaje (LM) se utiliza frecuentemente como un proxy para la predictibilidad contextual y se ha reportado que correlaciona con juicios humanos sobre la novedad metafórica. Estudios recientes sugieren un "efecto de escalado inverso", donde los LM más pequeños o los modelos en etapas tempranas de entrenamiento exhiben correlaciones más fuertes entre la sorpresa y datos conductuales humanos (como tiempos de lectura o calificaciones de novedad) que los modelos más grandes y completamente entrenados. Sin embargo, un factor de confusión crítico permanece poco claro: la estrecha interdependencia entre la sorpresa y la frecuencia léxica. Es incierto si las correlaciones observadas reflejan una predictibilidad contextual genuina o son meros artefactos de la frecuencia léxica, la cual se sabe que influye fuertemente tanto en la dificultad de procesamiento como en los juicios de novedad. Este artículo investiga si los ajustes "óptimos" de sorpresa (modelos pequeños, entrenamiento temprano) capturan genuinamente la predicción contextual similar a la humana o si simplemente se alinean más estrechamente con la frecuencia léxica.

Metodología
Los autores realizaron un análisis exhaustivo utilizando el Corpus de Metáforas de VU Ámsterdam (VUAMC), que contiene 15.155 palabras de contenido metafórico con calificaciones humanas asociadas de novedad (escaladas de -1 para convencional a +1 para novedoso).

• Suite de Modelos: El estudio utilizó la familia de modelos Pythia (Biderman et al., 2023), que comprende ocho tamaños de modelo que van desde 70M hasta 12B parámetros. Todos los modelos fueron entrenados en el mismo corpus de 300B de tokens (The Pile).
• Dinámicas de Entrenamiento: Para analizar el progreso del preentrenamiento, los autores examinaron 154 puntos de control intermedios para el modelo Pythia-70M, capturando la evolución del modelo desde el entrenamiento temprano (1 paso) hasta el preentrenamiento completo (300B tokens).
• Métricas:
  • Sorpresa: Calculada como $-\log p(w_i | w_{<i})$ para las palabras metafóricas objetivo dentro de su contexto de oración, con correcciones para la tokenización y el espacio en blanco inicial.
  • Frecuencia Léxica: Se emplearon dos medidas distintas para estimar la frecuencia de las palabras:
    1. NLF-Humano: Frecuencia logarítmica negativa derivada de wordfreq, que representa un agregado del uso general del lenguaje (aproximando a un "hablante promedio de inglés").
    2. NLF-LM: Frecuencia logarítmica negativa calculada específicamente a partir de las secuencias de subtokens observadas en los datos de preentrenamiento de Pythia hasta cada punto de control específico.
• Análisis: El estudio cuantificó las asociaciones utilizando los coeficientes de correlación de Spearman ($\rho$) y Pearson ($r$), así como el Área bajo la Curva ROC (AUC) para clasificar metáforas novedosas. El análisis se centró en las relaciones entre: (1) Sorpresa y Novedad, (2) Frecuencia y Novedad, y (3) Sorpresa y Frecuencia.

Resultados Clave

1. La Frecuencia como Predictor Más Fuerte: A través de todos los tamaños de modelo y etapas de entrenamiento, la frecuencia léxica (tanto NLF-Humano como NLF-LM) demostró consistentemente una asociación más fuerte con las calificaciones de novedad metafórica que la sorpresa del LM. NLF-Humano produjo las correlaciones más altas ($\rho \approx 0.66$, AUC $\approx 0.90$).
2. Escalado Inverso y Dinámicas de Entrenamiento:
   • Escala del Modelo: La correlación entre sorpresa y novedad disminuyó a medida que aumentaba el tamaño del modelo. Los modelos más pequeños (70M) mostraron la asociación sorpresa-novedad más fuerte.
   • Progreso del Entrenamiento: Para Pythia-70M, la asociación sorpresa-novedad fue débil inicialmente, aumentó bruscamente después de 64 pasos de entrenamiento y alcanzó su punto máximo en 128 pasos (aprox. 268M tokens vistos), alcanzando $\rho \approx 0.62$. Más allá de este pico, la asociación disminuyó.
3. La Confusión de Frecuencia: Crucialmente, las tendencias en la asociación sorpresa-novedad reflejaron las tendencias en la asociación sorpresa-frecuencia.
   • En la etapa temprana de entrenamiento (128 pasos) donde la sorpresa correlacionó más fuertemente con la novedad, también correlacionó más fuertemente con la frecuencia ($\rho \approx 0.95$ con NLF-LM).
   • A medida que los modelos crecieron más grandes o el entrenamiento progresó más, la correlación entre sorpresa y frecuencia se debilitó, paralelamente a la disminución en la correlación sorpresa-novedad.
4. Alineación: Las configuraciones donde la sorpresa funcionó "mejor" (modelos pequeños, entrenamiento temprano) fueron precisamente aquellas donde la sorpresa estaba más estrechamente alineada con la frecuencia léxica.

Significado y Afirmaciones
El artículo argumenta que los ajustes óptimos a menudo reportados para la sorpresa del LM (modelos pequeños o etapas tempranas de entrenamiento) pueden no proporcionar evidencia directa para explicaciones basadas en la sorpresa de la novedad metafórica o la dificultad de procesamiento. En cambio, las fuertes correlaciones observadas en estas configuraciones probablemente reflejen la dependencia del modelo de la frecuencia léxica en lugar de una predictibilidad contextual genuina.

Los autores concluyen que:

• La frecuencia léxica es un factor subyacente mayor en los juicios de novedad metafórica, actuando a menudo como un predictor más fuerte que la sorpresa contextual.
• El "efecto de escalado inverso" observado en las correlaciones sorpresa-novedad puede ser un subproducto de la relación cambiante entre sorpresa y frecuencia a través de las escalas de modelo y las etapas de entrenamiento.
• Los investigadores deben ejercer precaución al interpretar fuertes asociaciones sorpresa-novedad de entrenamiento temprano o de modelos pequeños como apoyo directo para teorías de dificultad de procesamiento basadas en la predictibilidad contextual.
• El progreso futuro en este campo requiere una separación teórica y metodológica más clara entre la predictibilidad contextual y los efectos de la frecuencia léxica.

El artículo no afirma que los modelos más grandes produzcan estimaciones "pobres" de predictibilidad, sino más bien que las condiciones específicas bajo las cuales la sorpresa se alinea con las calificaciones humanas de novedad están confundidas por la frecuencia. Los autores solicitan un mayor desarrollo de calificaciones humanas que reflejen mejor las teorías de novedad y originalidad, distintas de los efectos simples de frecuencia.