💬 NLP

Evaluating Communicative Belief Updates in Large Language Models via Implicature Recognition and Cancellation

Este artigo apresenta o primeiro conjunto de dados anotado por especialistas para cancelamento de implicatura para avaliar a capacidade de grandes modelos de linguagem de reconhecer e atualizar crenças não ditas, revelando que os atuais LLMs ficam atrás do desempenho humano nessas tarefas de raciocínio pragmático.

Autores originais: Cesare Spinoso-Di Piano, Verna Dankers, Marius Mosbach, Jackie Chi Kit Cheung

Publicado 2026-07-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Cesare Spinoso-Di Piano, Verna Dankers, Marius Mosbach, Jackie Chi Kit Cheung

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está jogando uma partida de mímica, mas em vez de encenar palavras, você está tendo uma conversa onde as partes mais importantes são as coisas que você não diz. No mundo da linguagem humana, estamos constantemente negociando uma realidade compartilhada, um "terreno comum" onde ambos concordamos sobre o que é verdade. Fazemos isso não apenas declarando fatos, mas deixando pistas, ou implicaturas. Se eu disser, "Alguns dos cookies sumiram", estou dando uma pista (sem dizer diretamente) de que nem todos eles sumiram. Você entende isso instantaneamente porque seu cérebro é um mestre em ler nas entrelinhas. Mas, às vezes, posso mudar de ideia e dizer: "Na verdade, acho que todos sumiram". Isso é chamado de cancelamento, onde eu retiro a pista que acabei de dar. Essa habilidade de atualizar instantaneamente nossas crenças compartilhadas com base em pistas sutis e não ditas é a cola que mantém a conversa humana unida.

Agora, imagine ensinar um robô superinteligente a jogar este jogo. Construímos modelos de IA massivos chamados Grandes Modelos de Linguagem (LLMs) que podem escrever poesia, resolver problemas matemáticos e conversar como humanos. Mas eles realmente entendem a dança invisível das pistas e retrações? Eles entendem quando uma conversa muda, ou estão apenas adivinhando com base no que viram antes? Esta é a grande questão que os pesquisadores estão fazendo. Se a IA não conseguir lidar com essas atualizações minúsculas e não ditas, ela terá dificuldade em ter uma conversa real e fluida conosco, muitas vezes perdendo o ponto ou ficando confusa quando mudamos de ideia.

Neste artigo, os pesquisadores decidirem colocar esses modelos de IA à prova. Eles criaram um playground novinho em folha chamado IMPLICATUREX, um conjunto de dados de 271 trechos de conversas cuidadosamente elaborados. Pense nisso como uma série de miniclipe de filmes onde um personagem deixa uma pista e, imediatamente, a retira. Eles pediram tanto a voluntários humanos quanto a vários modelos de IA que assistissem a esses clipes e respondessem: "A pista aconteceu? A retração funcionou? A crença do personagem mudou?".

Os resultados foram um choque de realidade para a IA. Embora os modelos de IA mais inteligentes fossem surpreendentemente bons em detectar pistas simples e de estilo clássico (como o exemplo do "alguns vs. todos" dos cookies), eles tropeçavam feio quando a conversa ficava bagunçada e real. Quando as pistas vinham de conversas naturais e cotidianas — como dois amigos conversando sobre uma festa ou um hobby — os modelos de IA frequentemente falhavam em entender a pista em primeiro lugar, ou perdiam completamente a retração. De fato, nos cenários mais naturais, o desempenho da IA era mal melhor do que um palpite aleatório.

Os pesquisadores também realizaram experimentos de controle sorrateiros para descobrir por que a IA estava tendo dificuldades. Eles descobriram que, quando a IA acertava uma pista, não era sempre porque entendia a conversa; às vezes, era apenas porque estava contando com uma "crença prévia", como um aluno que memorizou o gabarito sem ler a pergunta. Por exemplo, se a IA visse a palavra "alguns", ela poderia automaticamente assumir "não todos" sem sequer ouvir o resto da frase. Além disso, quando a IA era solicitada a atualizar suas crenças após uma retração, ela era muito melhor em manter seu palpite original do que em mudar de ideia. É como se a IA fosse teimosa, preferindo ignorar a nova informação em vez de fazer a ginástica mental necessária para atualizar seu entendimento.

Em última análise, o estudo sugere que, embora nossos modelos de IA estejam ficando melhores em imitar a fala humana, eles ainda não dominaram a arte do pensamento humano na conversa. Eles conseguem seguir o roteiro, mas ainda ficam atrás de nós quando se trata das crenções implícitas e mutáveis que fazem a comunicação real funcionar. O artigo não afirma que a IA está quebrada, mas sugere que, até que esses modelos consigam lidar com a nuance de cancelar uma pista em uma conversa natural, eles não estão totalmente prontos para serem verdadeiros parceiros de conversação.

Resumo Técnico: Avaliando Atualizações de Crenças Comunicativas em Grandes Modelos de Linguagem via Reconhecimento e Cancelamento de Implicaturas

Declaração do Problema

A comunicação humana depende fortemente da negociação de crenças não ditas e de suas atualizações dinâmicas dentro de um "senso comum" (common ground). Essas atualizações ocorrem frequentemente de forma implícita através de implicaturas (significados implícitos) e cancelamentos de implicatura (o enfraquecimento ou a negação desses significados implícitos). Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado proficiência em conhecimento de mundo e raciocínio lógico, sua capacidade de gerenciar essas sutis atualizações de crença pragmática em um contexto comunicativo permanece subexplorada. Especificamente, não está claro se os LLMs conseguem reconhecer crenças não ditas desencadeadas por implicaturas e, subsequentemente, atualizar ou cancelar essas crenças quando apresentados com informações contraditórias, um requisito fundamental para uma interação humano-IA bem-sucedida.

Metodologia

Construção do Conjunto de Dados: IMPLICATUREX

Para abordar a falta de dados de avaliação, os autores construíram o IMPLICATUREX, o primeiro conjunto de dados de implicaturas anotado por especialistas sobre cancelamentos de implicatura. O conjunto de dados compreende 271 itens categorizados em três tipos:

Implicaturas Escalares (46 itens): Derivadas do Switchboard Corpus, focando na relação pragmática entre termos como "alguns" e "todos" (ex: "Alguns lugares os acertam para impostos", implicando "Nem todos...").
Implicaturas de Discurso (31 itens): Extraídas de artigos do Wall Street Journal usando relações de discurso causal implícito do Penn Discourse Tree Bank (PDTB).
Implicaturas Conversacionais (194 itens):
- Sintéticas (144 itens): Diálogos de dois turnos construídos a partir de conjuntos de dados existentes onde um enunciado desencadeador introduz uma crença e um enunciado de cancelamento a nega.
- Ocorrentes Naturalmente (50 itens): Trocas do mundo real do Switchboard Corpus onde os cancelamentos ocorrem naturalmente no diálogo.

Processo de Anotação:

Anotação por Especialistas: Dois linguistas profissionalmente treinados anotaram os itens quanto à plausibilidade da implicatura e à correção do cancelamento. Itens com baixa concordância ou interpretações implausíveis foram substituídos ou descartados, resultando no conjunto final de 271 itens.
Crowdsourcing: 90 participantes forneceram julgamentos de probabilidade em uma escala Likert de 7 pontos para cada item (com e sem o enunciado de cancelamento) para estabelecer uma linha de base humana para a precisão da atualização de crença.

Configuração Experimental

O estudo avaliou LLMs em três tarefas específicas usando um modelo de prompt de múltipla escolha para estimar a probabilidade de uma crença $b$ dado um contexto $c$ e uma sequência de enunciados $u$ :

Reconhecimento de Implicatura: Determinar se o modelo favorece a crença implicada sobre sua negação após o enunciado desencadeador.
Reconhecimento de Cancelamento: Determinar se o modelo diminui a probabilidade da crença após observar o enunciado de cancelamento.
Atualização de Crença: Uma tarefa conjunta que exige que o modelo primeiro reconheça a implicatura e, em seguida, atualize (cancele) com sucesso essa crença.

Modelos Avaliados:
O estudo testou uma gama de modelos de pesos abertos (Gemma 3, Llama 3.1/3.2/3.3, Qwen 2.5/3) e modelos de código fechado (GPT-5.2/5.4), incluindo variantes com e sem capacidades de "raciocínio".

Experimentos de Controle:

Senso Comum Prévio (Prior Common Ground): Mediu o desempenho do modelo sem o enunciado desencadeador para isolar a dependência de vieses prévios.
Controle de Forma (IMPLICATURE⊥): Substituiu cancelamentos naturais por negações explícitas (ex: "Eu não estou dizendo X") para testar se as falhas derivam do raciocínio pragmático ou da interpretação da negação.
Controle de Tipo de Atualização: Testou as respostas dos modelos a enunciados de fortalecimento ( $u^+$ ) e enunciados inalteradores ( $u^\approx$ ) para ver se os modelos têm dificuldade especificamente com a mudança de crenças versus a manutenção delas.

Principais Resultados

1. Reconhecimento de Implicatura

Implicaturas Escalares e de Discurso: Modelos de alto nível (ex: Gemma 3 27B, Llama 3.3 70B) igualaram ou superaram ligeiramente o desempenho humano (acurácia ~0.90–1.0).
Implicaturas Conversacionais: Os modelos tiveram dificuldades significativas, particularmente com exemplos ocorrentes naturalmente. O melhor modelo (GPT-5.4 Thinking) alcançou 0.81 em exemplos sintéticos, mas apenas 0.60 em exemplos ocorrentes naturalmente. Muitos modelos performaram pior do que o acaso em implicaturas conversacionais ocorrentes naturalmente.
Viés Prévio: Experimentos de controle revelaram que os modelos possuem fortes priors para certas implicaturas (ex: "alguns" implica "não todos") mesmo sem ver o contexto, sugerindo que altos escores de reconhecimento refletem padrões memorizados em vez de raciocínio pragmático genuíno.

2. Reconhecimento de Cancelamento

Os modelos geralmente performaram mais próximos dos níveis humanos no reconhecimento de cancelamento para implicaturas escalares e de discurso.
No entanto, o desempenho caiu significativamente para cancelamentos conversacionais ocorrentes naturalmente. O melhor modelo (Qwen 3 32B Thinking) alcançou 0.84 de acurácia comparado ao humano de 0.92.
Negação Explícita: Mesmo quando os cancelamentos foram tornados explícitos (ex: "Eu não estou dizendo X"), os modelos não atingiram a acurácia perfeita, indicando que as dificuldades se estendem além da simples interpretação de negação para uma competência pragmática mais ampla.

3. Atualizações de Crença

Dificuldade da Tarefa Conjunta: Ao exigir tanto o reconhecimento quanto o cancelamento, o desempenho dos modelos caiu drasticamente. Para implicaturas conversacionais ocorrentes naturalmente, o melhor modelo alcançou apenas 0.40 de acurácia de atualização de crença, comparado a 0.72 para humanos.
Manutenção vs. Mudança: Os modelos demonstraram um forte viés para manter crenças existentes. Eles performaram bem quando apresentados com enunciados de acompanhamento irrelevantes (inalteradores), mas tiveram dificuldades significativas quando exigidos a atualizar (cancelar) ou fortalecer crenças. Por exemplo, o GPT-5.4 manteve crenças com 0.96 de acurácia em exemplos ocorrentes naturalmente, mas caiu para 0.32 quando solicitado a atualizá-las.

Significância e Alegações

O artigo afirma que os atuais LLMs ainda não atingiram o nível de compreensão humana de crenças não ditas e das atualizações dinâmicas de crença inerentes à comunicação humana.

Lacuna no Raciocínio Pragmático: Enquanto os modelos se destacam na recuperação de conhecimento estático e dedução lógica, eles ficam para trás na "negociação" de significado. Eles têm dificuldade em atualizar crenças em cenários realistas e ocorrentes naturalmente, muitas vezes dependendo de vieses prévios em vez de evidências contextuais.
Limitações das Arquiteturas Atuais: A incapacidade de cancelar consistentemente implicaturas, mesmo quando explicitamente negadas, sugere que os LLMs podem carecer de um mecanismo robusto para revisar o senso comum. Eles parecem ser melhores em manter um estado de crença do que em revisá-lo.
Contribuição do Conjunto de Dados: A introdução do IMPLICATUREX fornece um benchmark necessário para avaliar a "competência comunicativa" de LLMs além das tarefas padrão de PLN, destacando uma área crítica onde os modelos atuais falham em relação aos padrões de interação humana.

Os autores concluem que, embora os LLMs mostrem promessa no reconhecimento de inferências pragmáticas simples, sua capacidade de gerenciar as negociações fluidas e não ditas de crença necessárias para um diálogo humano-IA bem-sucedido permanece limitada.