Implicature in Interaction: Understanding Implicature Improves Alignment in Human-LLM Interaction

Resumo Técnico: Prompting Consciente de Implicatura na Interação Humano–LLM

Declaração do Problema
À medida que os Modelos de Linguagem de Grande Escala (LLMs) tornam-se a interface primária para a interação humano-computador (HCI), os sistemas enfrentam crescentemente fenômenos pragmáticos, especificamente a implicatura conversacional. A implicatura refere-se ao significado transmitido indiretamente por meio de contexto, pressupostos compartilhados e normas comunicativas, em vez de declaração explícita (por exemplo, implicar uma recusa ao afirmar "tenho muito trabalho"). Os LLMs atuais frequentemente recorrem a interpretações literais, levando a respostas que os usuários percebem como rígidas, pouco inteligentes ou desalinhadas com sua intenção comunicativa. Embora benchmarks existentes avaliem o desempenho dos modelos em tarefas de implicatura, há uma lacuna na compreensão de se tornar explícita a intenção implícita por meio de prompting melhora a qualidade percebida e a relevância das respostas em ambientes voltados ao usuário. Além disso, falta uma taxonomia leve e operacional, especificamente projetada para o design e avaliação de estímulos em HCI.

Metodologia
O estudo emprega um desenho de três experimentos para operacionalizar a implicatura e avaliar seu impacto na percepção do usuário:

1. Desenvolvimento de Taxonomia: Os autores introduziram uma taxonomia operacional orientada para HCI de três classes de implicatura, baseada na pragmática griceana e na teoria dos atos de fala de Searle:

   • Busca de Informação: Solicitações indiretas de conhecimento ou esclarecimento.
   • Busca de Direção: Solicitações indiretas de orientação, ação ou próximos passos.
   • Expressiva: Enunciados que transmitem afeto, atitude ou avaliação sem uma solicitação direta.
     Foi estabelecida uma rubrica para classificar prompts com base na intenção implícita primária e na obrigação de resposta no primeiro turno.

2. Experimento 1 (Benchmark de Interpretação):

   • Tarefa: 60 participantes humanos e cinco LLMs (GPT-4o, GPT-4, GPT-3.5-turbo, Llama-2-7b-chat, Mistral-7B-Instruct) foram solicitados a classificar 30 prompts criados nas três classes de implicatura.
   • Objetivo: Verificar a aprendibilidade e a coerência interna da taxonomia e avaliar o alinhamento do modelo contra uma linha de base de interpretação humana.

3. Experimento 2 (Relevância e Qualidade Percebidas):

   • Tarefa: 90 participantes avaliaram respostas de LLMs em uma escala Likert de 5 pontos quanto à relevância percebida e qualidade geral.
   • Condições: As respostas foram geradas sob duas condições:
     • Linha de Base: Prompt de sistema padrão.
     • Consciente de Implicatura: O modelo recebeu uma breve definição da classe específica de implicatura e seu objetivo comunicativo para o prompt (sem detalhes completos da rubrica).
   • Desenho: Um desenho de avaliação entre sujeitos incompleto, onde os participantes visualizaram subconjuntos de pares prompt-resposta.

4. Experimento 3 (Acompanhamento Direcionado de Escolha Forçada):

   • Tarefa: 30 participantes realizaram uma tarefa de escolha forçada de duas alternativas em um subconjunto direcionado de 10 pares prompt-resposta. Esses pares foram selecionados post-hoc a partir do Experimento 2, com base em diferenças de alto contraste nas classificações de relevância ou qualidade.
   • Objetivo: Determinar se as vantagens de avaliação observadas no Experimento 2 se traduzem em preferência direta em pares quando ambas as opções são apresentadas lado a lado.

Principais Contribuições

1. Taxonomia Operacional: Introdução de uma taxonomia prática de três classes de implicatura (Busca de Informação, Busca de Direção, Expressiva) fundamentada na teoria linguística, mas otimizada para o design e avaliação de estímulos em HCI.
2. Benchmarking de Modelos: Um benchmark comparativo de cinco LLMs contra uma linha de base humana, revelando variância significativa na proximidade com que os modelos se alinham às interpretações humanas de intenção implícita.
3. Evidência Centrada no Usuário: Evidência empírica demonstrando que o prompting consciente de implicatura (tornar explícita a intenção comunicativa) melhora mensuravelmente as avaliações dos usuários sobre as respostas de LLMs em termos de relevância, qualidade e preferência direta.

Resultados

• Consistência da Taxonomia: A rubrica de três classes foi aprendível e internamente coerente, com anotadores humanos alcançando concordância moderada ($\kappa$ de Fleiss = 0,414) nos prompts criados.
• Alinhamento do Modelo: Modelos maiores alinharam-se mais estreitamente às interpretações humanas. O GPT-4o alcançou a maior concordância (86,67%), seguido pelo GPT-4 (73,33%). Modelos menores (Llama-2, Mistral-7B, GPT-3.5) mostraram alinhamento mais fraco e irregular, particularmente nas categorias Busca de Direção e Expressiva.
• Impacto do Prompting (Experimento 2): O prompting consciente de implicatura melhorou significativamente tanto a relevância percebida ($p < .001$) quanto a qualidade percebida ($p < .001$) em todo o conjunto de respostas avaliadas. A intervenção não mostrou efeitos de interação significativos com o tamanho do modelo ou a classe de implicatura, sugerindo que o benefício é amplo, em vez de específico para certos modelos ou tipos de prompt.
• Preferência Direta (Experimento 3): No acompanhamento de escolha forçada, os participantes selecionaram a resposta consciente de implicatura 67,6% das vezes, uma proporção significativamente acima do acaso ($p = 1,04 \times 10^{-9}$).

Significado e Afirmações
O artigo argumenta que a implicatura é um caso de teste praticamente consequente para integrar a teoria linguística ao design de HCI. As descobertas apoiam uma conclusão modesta, mas concreta:

• Andaime Pragmático Funciona: Tornar explícita a intenção comunicativa implícita por meio de prompting estruturado melhora a qualidade percebida da interação baseada em linguagem, sem exigir re-treinamento do modelo ou alterações arquitetônicas.
• Implicação de Design: Sistemas conversacionais não devem tratar todas as entradas como solicitações literais. Os designers devem empregar estratégias de prompting que tragam à tona intenções prováveis do usuário (por exemplo, orientação ou afeto) para melhorar a relevância e a adequação.
• Limitação dos Modelos Atuais: O estudo esclarece que esses ganhos derivam de andaime pragmático (orientação explícita) e não de evidências de que os modelos atuais possuem raciocínio pragmático estável, não assistido e semelhante ao humano. Modelos maiores aproximam-se melhor do julgamento humano, mas mesmo eles se beneficiam da explicitação da intenção.
• Mudança em HCI: O trabalho defende ir além da precisão de benchmarks para incluir a relevância percebida pelo usuário, a qualidade e a preferência direta como métricas centrais para avaliar sistemas de interação baseados em linguagem.

Os autores enfatizam que, embora o estudo demonstre o valor da explicitação da intenção, não afirma que os LLMs resolveram o problema da inferência autônoma de implicatura. Em vez disso, destaca o valor de usar a teoria linguística para informar o design de prompts e a avaliação de interação.