Surprisal and Metaphor Novelty Judgments: Moderate Correlations and Divergent Scaling Effects Revealed by Corpus-Based and Synthetic Datasets

Resumen Técnico: Sorpresa y Juicios de Novedad de la Metáfora

Planteamiento del Problema
El artículo aborda el desafío de cuantificar la creatividad lingüística, específicamente la distinción entre metáforas convencionales y novedosas, utilizando Modelos de Lenguaje (LM). Dado que la comprensión de la metáfora implica procesos semánticos complejos y mapeos entre dominios, separar las metáforas novedosas de las convencionales resulta difícil para los anotadores humanos y rara vez se tiene en cuenta en el análisis computacional de la metáfora. Los autores investigan si la sorpresa (surprisal) —una medida probabilística de predictibilidad definida como el logaritmo negativo de la probabilidad de una palabra en contexto ($-\log p(w_i | w_{<i})$)— puede servir como una métrica fiable para la novedad de la metáfora. Su objetivo es determinar si la sorpresa de los LM correlaciona con las anotaciones humanas de novedad y comprender cómo el tamaño del modelo, el tipo de conjunto de datos (basado en corpus o sintético) y el modelado del contexto afectan esta correlación.

Metodología
El estudio emplea un diseño experimental sistemático que involucra cuatro conjuntos de datos y 16 variantes de LM causales:

1. Conjuntos de Datos:

   • Basados en corpus: Dos subconjuntos del VU Amsterdam Metaphor Corpus (VUAMC).
     • VUA-ratings: Contiene puntuaciones de novedad continuas (-1 a +1) derivadas de un escalamiento de mejor-peor (best-worst scaling) mediante crowdsourcing.
     • VUA-dictionary: Contiene etiquetas de novedad binarias basadas en un método de diccionario donde una metáfora es novedosa si su significado contextual está ausente en las entradas del diccionario.
   • Sintéticos: Dos conjuntos de datos controlados.
     • Lai2009: Estímulos psicolingüísticos con estructuras fijas que contienen usos literales, convencionales, novedosos y anómalos de palabras específicas.
     • GPT-4o-metaphors: Un conjunto de datos de juguete generado mediante el uso de prompts a GPT-4o para crear oraciones con sentidos convencionales y novedosos de verbos y sustantivos específicos.

2. Modelos:

   • Tres familias de LM causales de solo decodificador (decoder-only): GPT-2 (4 tamaños), Llama 3 (3 tamaños) y Qwen2.5 (3 tamaños).
   • Se evaluaron tanto las variantes base como las ajustadas por instrucciones (instruction-tuned) para evaluar el impacto del alineamiento en la sorpresa.

3. Cómputo de la Sorpresa:

   • Sorpresa directa (Direct-surprisal): Sorpresa estándar de izquierda a derecha computada sobre la palabra objetivo dado el contexto precedente.
   • Sorpresa de tipo Cloze (Cloze-surprisal): Un método novedoso propuesto por los autores para incorporar el contexto de la derecha. La palabra objetivo se reemplaza por un espacio en blanco, la oración completa (incluyendo la palabra objetivo) se añade como la completación, y la sorpresa se mide para la palabra objetivo en la segunda ocurrencia. Esto condiciona la probabilidad al contexto de la oración completa.

4. Evaluación:

   • Se computaron métricas de correlación (Pearson's $r$, Spearman's $\rho$, Rank-biserial $r_b$ y AUC) entre las puntuaciones de sorpresa y las anotaciones de novedad.
   • Los análisis se realizaron a través de diferentes tamaños de modelos, tipos de conjuntos de datos y divisiones de género (ficción, noticias, académico, conversación).

Resultos Clave

• Correlaciones Moderadas: La sorpresa de los LM produce correlaciones significativas, positivas, pero moderadas con las anotaciones de novedad de la metáfora en todos los conjuntos de datos. Los resultados más fuertes se observaron con GPT2-base en VUA-ratings ($r = .419$, $r_b = .638$).
• Efectos de Escalamiento Divergentes: La relación entre el tamaño del modelo y la fuerza de la correlación depende del tipo de conjunto de datos:
  • Datos basados en corpus: Exhiben un efecto de escalamiento inverso. La fuerza de la correlación disminuye a medida que el tamaño del modelo aumenta. Los autores atribuyen esto a que los modelos más grandes asignan expectativas no humanas a palabras raras, que a menudo correlacionan con la novedad en corpus naturales.
  • Datos sintéticos: Exhiben una hipótesis de calidad-potencia (escalamiento positivo). La fuerza de la correlación aumenta con el tamaño del modelo, probablemente porque los conjuntos de datos sintéticos controlan la frecuencia e identidad léxica, aislando la dimensión de la novedad de manera más efectiva.
• Sorpresa de tipo Cloze (Cloze-surprisal): El método de sorpresa de tipo cloze propuesto generalmente mejora las correlaciones, particularmente para los modelos GPT-2 en datos basados en corpus (por ejemplo, elevando $r_b$ a .687 en VUA-ratings). Este desplaza la distribución de los valores de sorpresa lejos de cero, capturando mejor el contexto completo requerido para el procesamiento de la metáfora. Sin embargo, ocasionalmente deteriora el rendimiento en los conjuntos de datos sintéticos.
• Ajuste por instrucciones (Instruction-tuning): El ajuste por instrucciones no mejora consistentemente la correlación entre la sorpresa y la novedad. En muchos casos, particularmente para los modelos Qwen y en conjuntos de datos sintéticos, el ajuste por instrucciones redujo la correlación en comparación con los modelos base.
• Efectos de Género: La fuerza de la correlación varía según el género, mostrando una relación con la densidad de la metáfora y la perplejidad del modelo. Por ejemplo, el género de conversación mostró una alta perplejidad pero una fuerte correlación con las etiquetas de novedad basadas en diccionarios.

Significancia y Reivindicaciones
El artículo concluye que, si bien la sorpresa puede explicar parcialmente las anotaciones de la novedad de la metáfora, sigue siendo una métrica limitada para la creatividad lingüística por sí sola. Los autores argumentan que la interpretación de las metáforas implica la integración semántica y el mapeo entre dominios, lo cual se extiende más allá de la simple predictibilidad.

La contribución principal del estudio radica en revelar patrones de escalamiento divergentes basados en la naturaleza del conjunto de datos. Sugiere que el "escalamiento inverso" observado en los estudios de tiempo de lectura en datos de corpus puede estar impulsado por confusiones de frecuencia léxica, mientras que los datos sintéticos que controlan estos factores revelan un efecto de escalamiento positivo. Los autores llaman a la creación de nuevas medidas y conjuntos de datos que proporcionen anotaciones sistemáticas de la novedad de la metáfora a través de géneros y entornos, señalando que las anotaciones de alta calidad actuales son escasas. Posicionan la sorpresa como una herramienta prometedora pero incompleta, que debe utilizarse preferiblemente en conjunto con otras métricas que apunten directamente a las interpretaciones novedosas y los mapeos de dominio.