When Contextual Inference Fails: Cancelability in Interactive Instruction Following

1. Problema e Motivação

O artigo investiga a capacidade de agentes de IA (especificamente Grandes Modelos de Linguagem - LLMs) de distinguir entre interpretação literal e inferência pragmática (contextual).

• O Desafio: A linguagem humana opera frequentemente em dois níveis: o significado literal e o significado pragmático (inferido com base no contexto, como a suposição de que objetos subsequentes compartilham a cor do anterior). O problema central é saber se os modelos podem cancelar (desfazer) essas inferências pragmáticas quando o interlocutor se mostra não confiável, mantendo-se fiéis apenas ao conteúdo literal.
• Limitação das Avaliações Atuais: A maioria das pesquisas anteriores avalia a competência pragmática através de julgamentos metalinguísticos explícitos (ex: "explique o significado"). Isso testa o conhecimento isolado, mas não a capacidade de usar essa inferência em ações situadas para atingir objetivos em tempo real.

2. Metodologia

Os autores propõem um novo paradigma experimental baseado em uma tarefa de construção de blocos em 3D, onde um agente (o "construtor") recebe instruções de dois tipos de falantes distintos:

• Pragmatic Pia (Pia Pragmática): Um falante cooperativo que omite informações apenas quando o contexto permite inferi-las corretamente (ex: "empilhe três blocos azuis" assume a cor se já houver blocos azuis visíveis).
• Literal Lisa (Lisa Literal): Um falante que, às vezes, omite informações de forma que a inferência pragmática levaria a um erro. Ela é confiável apenas no nível literal.

O Benchmark BWIM (Build What I Mean):
Os autores introduzem o Build What I Mean, um benchmark interativo onde os modelos devem:

1. Resolver ambiguidades: Decidir se seguem a inferência contextual ou pedem esclarecimento.
2. Custo de Comunicação: No experimento interativo, pedir esclarecimento tem um custo de pontos (penalidade), enquanto errar a construção tem uma penalidade maior.
3. Aprendizado Adaptativo: O modelo deve aprender, através de feedback repetido, que com "Lisa" as inferências são arriscadas, enquanto com "Pia" são seguras.

Experimentos Realizados:

• Experimento 1 (Avaliação de Confiança): Modelos executam a tarefa e reportam sua confiança (escala de 1-4) após cada tentativa.
• Experimento 2 (BWIM Interativo): Modelos podem fazer perguntas de esclarecimento (com custo) em vez de apenas adivinhar. O objetivo é maximizar a pontuação final.

Modelos Testados:
Gemini 2.5 Pro, GPT-5.1 e Claude Opus 4.5 (selecionados por sua performance em pilotos).

3. Principais Contribuições

1. Novo Benchmark Interativo (BWIM): Desloca o foco da avaliação pragmática de julgamentos explícitos para o comportamento de ação e busca de informação em um ambiente de diálogo multi-turno com custos.
2. Medição de "Cancelabilidade": Demonstra como testar se um agente consegue separar o que foi dito literalmente do que foi inferido, desativando a inferência quando o parceiro de comunicação é inconsistente.
3. Dissociação entre Julgamento e Ação: O estudo revela que os modelos podem perceber a incerteza (em ratings de confiança) mas falham em agir sobre essa percepção de forma eficiente (não ajustam suas estratégias de pergunta).

4. Resultados Chave

• Competência Pragmática Zero-Shot: Todos os modelos demonstraram capacidade de fazer inferências pragmáticas corretas sem treinamento prévio, resolvendo instruções subespecificadas com alta precisão quando interagiam com "Pia".
• Adaptação na Confiança (Experimento 1):
  • GPT e Gemini: Mostraram adaptação. Ao interagir com "Lisa", reduziram sua confiança em instruções subespecificadas, indicando que detectaram a inconsistência.
  • Claude: Foi menos sensível à identidade do falante, mantendo níveis de confiança semelhantes em ambos os cenários.
• Falha na Estratégia de Esclarecimento (Experimento 2 - BWIM):
  • Houve uma dissociação crítica: embora alguns modelos (GPT, Gemini) tenham mostrado baixa confiança em ratings explícitos, eles não traduziram isso em comportamento eficiente de busca de informação.
  • GPT-5.1: Exibiu "aversão a perguntas" (question-averse). Quase não fez perguntas, preferindo adivinhar mesmo com alta incerteza, resultando em baixa precisão (73,1%).
  • Gemini e Claude: Adotaram uma estratégia "cega ao parceiro" (partner-blind). Fizeram muitas perguntas para ambos os falantes (Pia e Lisa), não aproveitando a confiabilidade de Pia para economizar custos de comunicação.
  • Comparação Humana: Humanos, ao contrário dos modelos, ajustaram suas perguntas: fizeram mais perguntas para Lisa (não confiável) e menos para Pia (confiável), otimizando o custo-benefício.

5. Significado e Conclusão

O artigo conclui que, embora os LLMs de ponta possuam conhecimento pragmático robusto e consigam inferir intenções contextuais, eles falham em gerenciar a incerteza de forma adaptativa em interações dinâmicas.

• O Problema Central: Os modelos não conseguem traduzir sua "sensibilidade interna" (detectar que um parceiro é não confiável) em "comportamento externo eficiente" (decidir quando perguntar e quando confiar).
• Implicações: Para agentes conversacionais serem verdadeiramente pragmáticos, eles precisam não apenas entender o contexto, mas também aprender a cancelar inferências baseadas em evidências de falha do parceiro e otimizar o custo da comunicação.
• Futuro: O benchmark BWIM oferece uma base para desenvolver agentes que aprendem a interagir de forma mais eficiente, distinguindo entre o que é dito e o que é inferido, e adaptando-se a diferentes estilos de comunicação em tempo real.

Em resumo, o estudo expõe uma lacuna entre a competência pragmática declarativa (saber o que é inferido) e a competência pragmática procedimental (agir corretamente com base nessa inferência em um ambiente com custos).