Strategic Dialogue Assessment: The Crooked Path to Innocence

Resumo Técnico: Avaliação de Diálogo Estratégico (SDA)

Problema
A pesquisa atual em pragmática e avaliação de Grandes Modelos de Linguagem (LLMs) assume predominantemente o discurso cooperativo, fundamentado em princípios griceanos onde os interlocutores compartilham objetivos comuns. No entanto, essa premissa falha em cenários adversariais de alto risco (ex: interrogatórios em tribunais), onde os interlocutores possuem objetivos desalinhados. Em tais contextos não cooperativos, os falantes manipulam a linguagem estrategicamente — muitas vezes parecendo cooperativos enquanto buscam objetivos de interesse próprio — para gerenciar compromissos, manter a credibilidade e avançar nos objetivos do discurso. Estruturas existentes, como Jogos de Sinalização e a teoria do Ato de Fala Racional (RSA), frequentemente dependem de funções de utilidade cooperativas ou construtos abstratos (ex: distribuições de credibilidade) que são difíceis de estimar empiricamente. Além disso, os LLMs atuais exibem uma capacidade limitada de reconhecer o valor estratégico da linguagem em contextos adversariais, frequentemente interpretando a evasão ou o hedging (atenuamento) como prejudiciais em vez de estrategicamente benéficos, ou falhando em distinguir entre o controle de danos superficial e ganhos estratégicos reais.

Metodologia
Para abordar essas lacunas, os autores introduzem a Avaliação de Diálogo Estratégico (SDA), um framework que operacionaliza a "função do júri" de Jogos de Troca de Mensagens (ME Games) para avaliar o uso estratégico da linguagem em dados do mundo real. A metodologia envolve três componentes principais:

1. O Conjunto de Dados Crooked Path (CPD): Um novo conjunto de dados anotado compreendendo 4.452 turnos de interrogatórios em três processos proeminentes nos EUA (West Memphis Three, O.J. Simpson e Enron). O conjunto de dados foca em interações adversariais onde os objetivos são estritamente opostos.
2. Adaptação Teórica: Os autores adaptam a função do júri dos ME Games integrando duas modificações principais para torná-la empiricamente estimável:
   • Taxonomia Baseada em Compromisso: Em vez de depender apenas de relações de coerência abstratas, o framework classifica os movimentos de discurso com base no conteúdo dos compromissos em relação à Questão em Discussão (QUD - Question Under Discussion). Os compromissos são categorizados como Benéficos, Prejudiciais, Neutros ou Nenhum (falta de compromisso significativo).
   • Proxies Griceanas para Credibilidade: Para operacionalizar o termo abstrato de credibilidade $P_k(Good_i)$, o framework utiliza violações observáveis das máximas de Grice (Relevância, Modo e Qualidade) como proxies. As violações modulam o valor estratégico de um compromisso; por exemplo, um compromisso benéfico transmitido através de uma declaração irrelevante ou obscura é penalizado, enquanto um compromisso prejudicial transmitido indiretamente (ex: via hedging) pode ser menos danoso.
3. Definição de Métricas: O SDA define três métricas interpretáveis para quantificar efeitos estratégicos:
   • Benefício no Turno ($BAT_i$): Quantifica ganhos imediatos de compromissos benéficos ou neutros, ajustados pelas violações de máximas.
   • Penalidade no Turno ($PAT_i$): Quantifica perdas imediatas de respostas prejudiciais ou não comprometidas, ajustadas pela consistência e violações de máximas.
   • Benefício Relativo Normalizado no Turno ($NRBAT_i$): Uma medida cumulativa e padronizada (z-score) da vantagem estratégica líquida ($\sum BAT - \sum PAT$) ao longo do diálogo.

O framework foi validado através da anotação humana de um subconjunto do CPD (aprox. 800 turnos) por três anotadores com formação linguística, seguida por uma avaliação de vários LLMs de última geração (variando de 7B a 70B de parâmetros, incluindo variantes com reforço de raciocínio) usando zero-shot prompting.

Principais Resultados

• Validade da Anotação Humana: As métricas do SDA demonstraram alta concordância entre anotadores (Spearman's $\rho$ de 0,65–0,83 para $BAT$, $PAT$e$NRBAT$), superando significativamente a concordância em julgamentos de resultados brutos (Fleiss' $\kappa$ de 0,29). Isso sugere que as métricas capturam propriedades objetivas e internas do discurso melhor do que previsões subjetivas de resultados.
• Poder Preditivo: Modelos de regressão logística usando $BAT$e$PAT$ como preditores alcançaram 74,6% de acurácia e um AUC de 0,80 na previsão dos julgamentos de resultados dos anotadores humanos. As métricas foram particularmente eficazes quando o raciocínio dos anotadores era baseado em argumentos lógicos em vez de emoções pessoais.
• Desempenho de LLMs:
  • Tamanho do Modelo: Modelos maiores geralmente alinharam-se mais proximamente aos julgamentos humanos em métricas estratégicas do que modelos menores, particularmente na identificação de ganhos estratégicos.
  • Limitações de Raciocínio: Contra-intuitivamente, modelos equipados com mecanismos de raciocínio explícito (Chain-of-Thought) frequentemente performaram pior do que seus equivalentes sem raciocínio, particularmente na identificação de perdas estratégicas ($PAT$). A análise dos rastros de raciocínio revelou que esses modelos tendem a complicar excessivamente a tarefa, interpretando erroneamente estratégias de controle de danos superficiais (ex: hedging) como neutras ou benéficas, e falhando em integrar objetivos adversariais mais amplos.
  • Griceano vs. Estratégico: Embora os LLMs tenham tido bom desempenho na identificação de violações das máximas de Grice (alta concordância em Relevância, Modo e Qualidade), eles tiveram dificuldade significativa em identificar o tipo estratégico dos compromissos ($\mu \approx 0,14$) e em calcular as métricas estratégicas resultantes.

Significância e Alegações
O artigo alega que o SDA fornece um framework teoricamente fundamentado, porém empiricamente operacionalizável, para avaliar a comunicação estratégica em ambientes não cooperativos. Sua principal significância reside em:

1. Unindo Teoria e Dados: Ele adapta com sucesso a função do júri dos ME Games para o discurso do mundo real de alto risco, substituindo construtos inobserváveis por proxies estimáveis (violações Griceanas) e uma taxonomia de compromisso.
2. Revelando Limitações de LLMs: O estudo demonstra que os LLMs atuais, mesmo os grandes e com reforço de raciocínio, carecem de uma compreensão robusta da linguagem estratégica em contextos adversariais. Eles frequentemente falham em distinguir entre o descumprimento cooperativo e a evasão estratégica, e suas capacidades de raciocínio podem introduzir confusão em vez de clareza nesses cenários.
3. Assimetria do Discurso: O framework destaca que os discursos cooperativos e não cooperativos são assimétricos; o discurso não cooperativo envolve uma frequência maior de compromissos prejudiciais e violações de máximas, mas estes são frequentemente ferramentas estratégicas para minimização de perdas, e não meros fracassos de comunicação.

Os autores mantêm uma postura modesta, observando que o framework não prevê perfeitamente os resultados conversacionais (que dependem de fatores além do discurso, como o viés) e que a anotação atual foca em efeitos locais, ao nível do turno, em vez de planejamento estratégico de longo horizonte. Eles posicionam o SDA como um passo necessário para um melhor alinhamento e monitoramento de segurança para agentes de IA operando em ambientes adversariais.