Surprisal Minimisation over Goal-directed Alternatives Predicts Production Choice in Dialogue

1. Planteamiento del Problema

El artículo aborda una ambigüedad fundamental en los modelos de información de la producción lingüística: cómo interpretar las medidas de costo (como la sorpresa, la densidad de información uniforme y la longitud) ya sea como orientadas al hablante (esfuerzo de producción) o orientadas al oyente (esfuerzo de comprensión).

Los modelos anteriores a menudo tratan estos costos de forma implícita o asumen un conjunto fijo de alternativas sin distinguir entre:

• Alternativas orientadas a objetivos: Enunciados que realizan la misma intención comunicativa que la elección real del hablante.
• Alternativas agnósticas a objetivos: Enunciados que son contextualmente plausibles pero que pueden realizar diferentes objetivos comunicativos.

Los autores argumentan que la interpretación de una función de costo depende enteramente del conjunto de alternativas sobre el cual se evalúa. Sin definir explícitamente estos espacios de alternativas, es imposible determinar si un hablante está minimizando su propio esfuerzo o optimizando para la comprensión del oyente.

2. Metodología

A. Marco Teórico: Elección Sensible al Costo

Los autores formalizan la producción lingüística como una elección probabilística sobre alternativas contextuales. Definen dos conjuntos distintos de alternativas para cualquier contexto $c$ y punto de elección dado:

1. Conjunto Agnóstico a Objetivos ($A_c$): Generado mediante muestreo de un modelo de lenguaje condicionado solo al contexto (y potencialmente al historial del diálogo). Estos representan la incertidumbre del oyente sobre lo que el hablante podría decir a continuación.
2. Conjunto Orientado a Objetivos ($A_{c,g}$): Generado mediante muestreo de un modelo de lenguaje condicionado al contexto y a un objetivo comunicativo fijo ($g$). Estos representan la incertidumbre del hablante sobre cómo realizar una intención específica.

La probabilidad de producción se modela utilizando una regla softmax sobre el costo:
$$P_S(a | c, g) \propto \exp(-\alpha C(a; c))$$
Donde $C$ es el costo y $\alpha$ es un parámetro de sensibilidad.

• Interpretación orientada al hablante: Minimizar el costo sobre $A_{c,g}$ (elegir la forma más fácil de decir lo mismo).
• Interpretación orientada al oyente: Minimizar el costo sobre $A_c$ (elegir un enunciado que sea fácil de procesar para el oyente dada su incertidumbre).

B. Configuración Experimental

• Conjunto de datos: El Corpus de Actos de Diálogo Switchboard (diálogo hablado naturalista).
• Procesamiento de datos: Se seleccionaron 1,342 enunciados (10–30 palabras, actos de afirmación/pregunta). Cada uno se dividió en el verbo raíz (punto de elección) en un contexto ($c$) y una continuación humana ($a^*$).
• Generación de alternativas:
  • Agnóstico a objetivos: Se solicitó a GPT-4o que completara oraciones con cantidades variables de historial de diálogo (sin historial, enunciado anterior, historial completo).
  • Orientado a objetivos: Se solicitó a GPT-4o que generara 10 paráfrasis únicas de la continuación humana, restringidas para comenzar con el mismo contexto.
  • Filtrado: Un LLM como juez (GPT-4o) verificó que las alternativas orientadas a objetivos fueran paráfrasis reales (98.75% de precisión).
• Medidas de costo:
  1. Sorpresa: $-\log p(a|c)$ (estimada mediante GPT-2 Small).
  2. Uniformidad local: Varianza de la sorpresa entre palabras adyacentes.
  3. Uniformidad global: Varianza de la sorpresa en toda la oración.
  4. Longitud: Número de palabras en la continuación.
• Alineación: Para evitar confusos distribucionales, los autores utilizaron muestreo estratificado para alinear las alternativas generadas con los enunciados humanos en cuanto a longitud y uniformidad global.

C. Técnicas de Análisis

1. Minimización Determinista del Costo: Cálculo de la clasificación de la continuación humana entre sus alternativas. Si los humanos minimizan el costo, la elección humana debería ser frecuentemente la Clasificación 1 (menor costo).
2. Sensibilidad Probabilística al Costo: Uso de un modelo de regresión logística par a par para predecir si una continuación humana es preferida sobre una alternativa generada basándose en la diferencia de costo ($\Delta C$). Esto prueba la sensibilidad graduada en lugar de la minimización estricta.

3. Contribuciones Clave

1. Espacios de Alternativas Explícitos: El artículo proporciona un método principiado para operacionalizar las presiones de "hablante" vs. "oyente" generando explícitamente conjuntos de alternativas orientadas y agnósticas a objetivos utilizando Modelos de Lenguaje Grandes (LLM).
2. Reinterpretación del Costo: Demuestra que la misma métrica de costo (por ejemplo, la sorpresa) produce diferentes poderes predictivos e interpretaciones dependiendo del conjunto de alternativas utilizado.
3. Marco Escalable: Introduce una tubería escalable para estudiar las preferencias de producción en diálogos abiertos, avanzando más allá de variantes sintácticas restringidas hacia alternativas ricas y contextualmente fundamentadas.

4. Resultados Clave

A. Análisis Determinista (Resultados de Clasificación 1)

• Sorpresa (Orientado a Objetivos): El predictor más fuerte. El 53.4% de las continuaciones humanas fueron la opción de menor sorpresa entre las alternativas orientadas a objetivos (un aumento de 3.24 veces sobre el azar). Esto apoya una visión orientada al hablante: los hablantes eligen la realización más predecible de su objetivo intencionado.
• Sorpresa (Agnóstico a Objetivos): Efecto más débil (15.2% de Clasificación 1), lo que sugiere que los hablantes no minimizan principalmente la sorpresa en relación con la amplia incertidumbre del oyente.
• Longitud: Mostró el efecto relativo más fuerte en el entorno agnóstico a objetivos (3.69 veces sobre el azar), lo que sugiere que la minimización de la longitud es una presión orientada al oyente (reducción del esfuerzo de procesamiento).
• Uniformidad: Mostró resultados mixtos, con resultados de Clasificación 1 por encima del azar pero menos consistentes que la sorpresa.

B. Análisis Probabilístico (Regresión Logística)

• Sorpresa: El coeficiente para la sorpresa fue significativamente negativo (indicando preferencia por menor sorpresa) y ~7 veces más fuerte en la condición orientada a objetivos que en la condición agnóstica a objetivos. Esto confirma que la sorpresa funciona principalmente como una restricción del lado de la producción (esfuerzo del hablante).
• Uniformidad: Un menor costo (mayor uniformidad) predijo la elección en la condición orientada a objetivos, pero la relación se invirtió en la condición agnóstica a objetivos (a veces se prefería un mayor costo/menor uniformidad), lo que indica dinámicas complejas orientadas al oyente.
• Longitud: Predijo la elección en la condición agnóstica a objetivos pero no tuvo un efecto significativo en la condición orientada a objetivos, reforzando la idea de que la longitud es una restricción orientada al oyente.

5. Significado y Conclusión

El estudio concluye que la minimización de la sorpresa relativa a las alternativas orientadas a objetivos proporciona la explicación más robusta de las elecciones de producción humana en el diálogo. Esto apoya la visión de que los hablantes actúan como agentes racionales que minimizan su propio esfuerzo de producción (control cognitivo) al seleccionar entre realizaciones de una intención fija.

Por el contrario, la longitud y la uniformidad parecen funcionar más como presiones orientadas al oyente, donde los hablantes ajustan su salida para facilitar la comprensión cuando el objetivo comunicativo no está fijo o al considerar la incertidumbre más amplia del oyente.

Impacto Amplio:

• Teórico: Resuelve la ambigüedad de las medidas de costo vinculándolas explícitamente al espacio de alternativas.
• Metodológico: Establece un marco para el uso de LLMs para simular "lo que podría haberse dicho" (contrafactuales) y probar teorías psicolingüísticas a escala.
• Práctico: Sugiere que los sistemas de generación de lenguaje natural deben optimizar la minimización de la sorpresa sobre alternativas orientadas a objetivos para sonar más humanos en términos de eficiencia de producción.

Limitaciones: El estudio se limita al inglés, a puntos de elección sintáctica específicos (verbos raíz) y depende de LLMs tanto para la estimación de costos como para la generación de alternativas, lo cual puede no reflejar perfectamente la cognición humana ni cubrir contextos de bajos recursos.