Surprisal Minimisation over Goal-directed Alternatives Predicts Production Choice in Dialogue

1. Declaração do Problema

O artigo aborda uma ambiguidade fundamental nos modelos informacionais da produção linguística: como interpretar medidas de custo (como surpresa, densidade de informação uniforme e comprimento) como sendo orientadas ao falante (esforço de produção) ou orientadas ao ouvinte (esforço de compreensão).

Modelos anteriores frequentemente tratam esses custos implicitamente ou assumem um conjunto fixo de alternativas sem distinguir entre:

• Alternativas orientadas a objetivos: Enunciados que realizam a mesma intenção comunicativa que a escolha real do falante.
• Alternativas agnósticas a objetivos: Enunciados que são contextualmente plausíveis, mas podem realizar diferentes objetivos comunicativos.

Os autores argumentam que a interpretação de uma função de custo depende inteiramente do conjunto de alternativas sobre o qual ela é avaliada. Sem definir explicitamente esses espaços de alternativas, é impossível determinar se um falante está minimizando o esforço para si mesmo ou otimizando para a compreensão do ouvinte.

2. Metodologia

A. Estrutura Teórica: Escolha Sensível ao Custo

Os autores formalizam a produção linguística como uma escolha probabilística sobre alternativas contextuais. Eles definem dois conjuntos distintos de alternativas para qualquer contexto dado $c$ e ponto de escolha:

1. Conjunto Agnóstico a Objetivos ($A_c$): Gerado amostrando de um modelo de linguagem condicionado apenas ao contexto (e potencialmente ao histórico do diálogo). Estes representam a incerteza do ouvinte sobre o que o falante poderia dizer a seguir.
2. Conjunto Orientado a Objetivos ($A_{c,g}$): Gerado amostrando de um modelo de linguagem condicionado ao contexto e a um objetivo comunicativo fixo ($g$). Estes representam a incerteza do falante sobre como realizar uma intenção específica.

A probabilidade de produção é modelada usando uma regra softmax sobre o custo:
$$P_S(a | c, g) \propto \exp(-\alpha C(a; c))$$
Onde $C$ é o custo e $\alpha$ é um parâmetro de sensibilidade.

• Interpretação orientada ao falante: Minimizar o custo sobre $A_{c,g}$ (escolher a maneira mais fácil de dizer a mesma coisa).
• Interpretação orientada ao ouvinte: Minimizar o custo sobre $A_c$ (escolher um enunciado que seja fácil para o ouvinte processar dada a sua incerteza).

B. Configuração Experimental

• Conjunto de Dados: O Corpus Switchboard Dialogue Act (diálogo falado naturalístico).
• Processamento de Dados: 1.342 enunciados foram selecionados (10–30 palavras, atos de afirmação/pergunta). Cada um foi dividido no verbo raiz (ponto de escolha) em um contexto ($c$) e uma continuação humana ($a^*$).
• Geração de Alternativas:
  • Agnóstico a Objetivos: O GPT-4o foi instruído a completar frases com quantidades variadas de histórico de diálogo (sem histórico, enunciado anterior, histórico completo).
  • Orientado a Objetivos: O GPT-4o foi instruído a gerar 10 paráfrases únicas da continuação humana, restringidas a começar com o mesmo contexto.
  • Filtragem: Um LLM como juiz (GPT-4o) verificou se as alternativas orientadas a objetivos eram paráfrases verdadeiras (98,75% de precisão).
• Medidas de Custo:
  1. Surpresa: $-\log p(a|c)$ (estimada via GPT-2 Small).
  2. Uniformidade Local: Variância da surpresa entre palavras adjacentes.
  3. Uniformidade Global: Variância da surpresa em toda a frase.
  4. Comprimento: Número de palavras na continuação.
• Alinhamento: Para evitar confusões distribucionais, os autores usaram amostragem estratificada para alinhar as alternativas geradas com os enunciados humanos quanto ao comprimento e uniformidade global.

C. Técnicas de Análise

1. Minimização Determinística de Custo: Cálculo do rank da continuação humana entre suas alternativas. Se os humanos minimizam o custo, a escolha humana deve frequentemente ser Rank 1 (menor custo).
2. Sensibilidade Probabilística ao Custo: Uso de um modelo de regressão logística par a par para prever se uma continuação humana é preferida a uma alternativa gerada com base na diferença de custo ($\Delta C$). Isso testa sensibilidade graduada em vez de minimização estrita.

3. Principais Contribuições

1. Espaços de Alternativas Explícitos: O artigo fornece um método principiado para operacionalizar as pressões de "falante" versus "ouvinte" gerando explicitamente conjuntos de alternativas orientadas a objetivos e agnósticas a objetivos usando Modelos de Linguagem de Grande Escala (LLMs).
2. Reinterpretação do Custo: Demonstra que a mesma métrica de custo (por exemplo, surpresa) produz diferentes poderes preditivos e interpretações dependendo do conjunto de alternativas utilizado.
3. Estrutura Escalável: Introduz um pipeline escalável para estudar preferências de produção em diálogo aberto, indo além de variantes sintáticas restritas para alternativas ricas e contextualmente fundamentadas.

4. Principais Resultados

A. Análise Determinística (Resultados Rank-1)

• Surpresa (Orientado a Objetivos): O preditor mais forte. 53,4% das continuações humanas foram a opção de menor surpresa entre as alternativas orientadas a objetivos (aumento de 3,24x sobre o acaso). Isso apoia uma visão orientada ao falante: os falantes escolhem a realização mais previsível de seu objetivo intencionado.
• Surpresa (Agnóstico a Objetivos): Efeito mais fraco (15,2% Rank-1), sugerindo que os falantes não minimizam primariamente a surpresa em relação à ampla incerteza do ouvinte.
• Comprimento: Mostrou o efeito relativo mais forte no cenário agnóstico a objetivos (3,69x sobre o acaso), sugerindo que a minimização do comprimento é uma pressão orientada ao ouvinte (reduzindo o esforço de processamento).
• Uniformidade: Mostrou resultados mistos, com resultados Rank-1 acima do acaso, mas menos consistentes que a surpresa.

B. Análise Probabilística (Regressão Logística)

• Surpresa: O coeficiente para a surpresa foi significativamente negativo (indicando preferência por menor surpresa) e ~7x mais forte na condição orientada a objetivos do que na condição agnóstica a objetivos. Isso confirma que a surpresa funciona primariamente como uma restrição do lado da produção (esforço do falante).
• Uniformidade: Menor custo (maior uniformidade) previu a escolha na condição orientada a objetivos, mas a relação se inverteu na condição agnóstica a objetivos (maior custo/menor uniformidade foi às vezes preferida), indicando dinâmicas complexas orientadas ao ouvinte.
• Comprimento: Predisse a escolha na condição agnóstica a objetivos, mas não teve efeito significativo na condição orientada a objetivos, reforçando a ideia de que o comprimento é uma restrição orientada ao ouvinte.

5. Significado e Conclusão

O estudo conclui que a minimização de surpresa relativa a alternativas orientadas a objetivos fornece a conta mais robusta das escolhas de produção humana em diálogo. Isso apoia a visão de que os falantes atuam como agentes racionais minimizando seu próprio esforço de produção (controle cognitivo) ao selecionar entre realizações de uma intenção fixa.

Conversamente, comprimento e uniformidade parecem funcionar mais como pressões orientadas ao ouvinte, onde os falantes ajustam sua saída para facilitar a compreensão quando o objetivo comunicativo não está fixo ou ao considerar a incerteza mais ampla do ouvinte.

Impacto Mais Amplo:

• Teórico: Resolve a ambiguidade das medidas de custo ao vinculá-las explicitamente ao espaço de alternativas.
• Metodológico: Estabelece uma estrutura para usar LLMs para simular "o que poderia ter sido dito" (contrafactuais) para testar teorias psicolinguísticas em escala.
• Prático: Sugere que sistemas de geração de linguagem natural devem otimizar a minimização de surpresa sobre alternativas orientadas a objetivos para soar mais humanos em termos de eficiência de produção.

Limitações: O estudo é limitado ao inglês, a pontos de escolha sintáticos específicos (verbos raiz) e depende de LLMs tanto para estimativa de custo quanto para geração de alternativas, o que pode não espelhar perfeitamente a cognição humana ou cobrir contextos de baixo recurso.