💬 NLP

Clarify, Abstain or Answer? Strategising in Conversation with Belief-Augmented Generation

Este artigo propõe a Geração Aumentada por Crenças (BAG), um quadro que aproveita o próprio estado de crença de um LLM, derivado de múltiplas respostas amostradas, para decidir autonomamente se deve responder, esclarecer ou abster-se em conversas ambíguas, melhorando assim a precisão e a fidelidade estratégica em comparação com a promptagem padrão.

Autores originais: Joris Baan, Wilker Aziz, Barbara Plank, Raquel Fernández

Publicado 2026-05-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Joris Baan, Wilker Aziz, Barbara Plank, Raquel Fernández

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Problema Central: A IA "Excessivamente Confiante"

Imagine que você faz uma pergunta complicada a um modelo de linguagem de grande escala (LLM), como: "Quem cantou a parte feminina em 'Gimme Shelter'?"

Se você perguntar a uma IA padrão, ela geralmente escolherá apenas uma resposta e a dirá com total confiança, mesmo que esteja chutando. Ela pode dizer: "Foi Merry Clayton", sem perceber que, se você se referia à versão do tour ao vivo, a resposta é na verdade "Lisa Fischer". A IA não sabe que está insegura; ela apenas age como um "sabe-tudo".

Os pesquisadores descobriram que esses modelos raramente dizem: "Não tenho certeza sobre qual você se refere" ou "Não sei a resposta". Eles apenas chutam.

A Solução: "Geração Aumentada por Crença" (BAG)

Os autores propõem um novo método chamado Geração Aumentada por Crença (BAG). Pense nisso como dar à IA uma "sala de pensamento" antes de ela falar.

Em vez de gerar apenas uma resposta, a IA é solicitada a gerar 10 respostas diferentes possíveis para a mesma pergunta primeiro. Em seguida, ela examina essa lista de 10 respostas (que o artigo chama de seu "Estado de Crença") e pergunta a si mesma: "O que essas 10 respostas me dizem sobre o quão certa eu estou?"

Com base no que vê nessa lista, a IA escolhe uma de três estratégias:

Responder Diretamente: Se todas as 10 respostas forem basicamente as mesmas (por exemplo, todas as 10 dizem "Merry Clayton"), a IA sabe que está confiante. Ela dá uma resposta direta.
- Analogia: É como um júri onde 10 jurados concordam todos com o veredito. O presidente apenas anuncia o resultado.
Esclarecer: Se as 10 respostas estiverem divididas em dois grupos distintos (por exemplo, 5 dizem "Merry Clayton" e 5 dizem "Lisa Fischer"), a IA percebe que a pergunta é ambígua. Em vez de chutar, ela pede esclarecimento ao usuário.
- Analogia: É como um garçom que ouve uma mesa pedir "O especial" mas vê dois especiais diferentes no menu. Em vez de chutar, o garçom pergunta: "Você quis dizer o bife ou o peixe?"
Abster-se (Dizer "Não Sei"): Se as 10 respostas estiverem espalhadas e se contradisserem violentamente (por exemplo, uma diz "Merry Clayton", outra diz "The Beatles", outra diz "Um robô"), a IA percebe que não conhece os fatos. Ela recusa educadamente responder.
- Analogia: É como um detetive que encontra 10 suspeitos diferentes sem nenhuma evidência ligando qualquer um deles ao crime. O detetive admite: "Não posso resolver isso ainda", em vez de prender uma pessoa aleatória.

Como Eles Testaram

Os pesquisadores testaram isso em um conjunto de dados de "Perguntas Ambíguas" (perguntas que poderiam ter múltiplos significados). Eles compararam:

IA Padrão: Apenas responde diretamente.
IA Apenas com Prompt: Instruída a "ser cuidadosa", mas não vê sua própria lista de palpites.
IA BAG: Vê sua própria lista de 10 palpites e raciocina através deles.

Os Resultados

Maior Precisão: O método BAG melhorou a precisão das respostas em seis modelos de IA diferentes.
Escolhas Mais Inteligentes: A IA BAG foi muito melhor em saber quando fazer uma pergunta e quando admitir que não sabia. A IA padrão quase nunca pediu ajuda ou admitiu ignorância.
Fidelidade: As escolhas da IA BAG corresponderam muito melhor à sua "confiança" interna (a diversidade de seus 10 palpites) do que os outros métodos. Se ela estava confusa, agiu confusa; se estava certa, agiu certa.

A Pegadinha

Embora o sistema funcione bem, ainda é difícil para a IA distinguir perfeitamente entre:

Ambiguidade Real: "Não sei se você se refere ao filme ou ao livro." (Precisa de Esclarecimento).
Alucinação: "Estou inventando fatos porque não sei." (Precisa de Abstenção).

Às vezes, a IA acha que uma pergunta é ambígua quando na verdade está apenas inventando coisas, ou vice-versa. Mas, no geral, dar à IA a chance de "olhar para o seu próprio trabalho" antes de falar a torna uma parceira de conversa muito mais honesta e útil.

Resumo

O artigo apresenta uma maneira de tornar os modelos de IA menos excessivamente confiantes. Ao forçá-los a gerar múltiplas respostas primeiro e depois analisar as diferenças, os modelos aprendem a Esclarecer quando estão confusos, Abster-se quando estão sem ideia e Responder apenas quando estão certos. Isso os torna melhores em lidar com perguntas complicadas do mundo real.

Resumo Técnico: Esclarecer, Abster-se ou Responder? Estratégias em Conversação com Geração Aumentada por Crença

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) definem uma distribuição probabilística sobre o texto, que serve como representação de incerteza ou "crença". Embora pesquisas existentes aproveitem essa distribuição para tarefas restritas como decodificação (por exemplo, Risco Bayesiano Mínimo) ou previsão seletiva (por exemplo, detecção de alucinações via entropia semântica), essas abordagens geralmente exigem intervenções manuais, decodificadores externos ou ajuste fino. Crucialmente, LLMs padrão carecem de um mecanismo para "introspecção" ou para explorar diretamente sua própria incerteza probabilística durante a geração. Evidências empíricas sugerem que, sem orientação explícita, os LLMs raramente esclarecem entradas ambíguas ou se abstêm de responder quando incertos; em vez disso, recorrem a respostas diretas, frequentemente ignorando ambiguidades na entrada ou inconsistências factuais internas. Isso leva a alucinações ou respostas incorretas em cenários de Perguntas e Respostas (QA) ambíguas de múltiplas interações.

Metodologia: Geração Aumentada por Crença (BAG)

Os autores propõem a Geração Aumentada por Crença (BAG), um framework sem treinamento que fundamenta os LLMs em seu próprio estado de crença para permitir estratégias conversacionais mais ricas: responder diretamente, pedir esclarecimentos ou abster-se.

Mecanismo Central

A BAG opera como um processo de duas etapas:

Construção do Estado de Crença: Dada uma entrada $x$ , o modelo gera $K$ amostras ( $Y^{(1)}, \dots, Y^{(K)}$ ) via amostragem de Monte-Carlo. Diferentemente de métodos que reduzem essas amostras a uma única métrica (por exemplo, entropia ou votação majoritária), a BAG mantém o conjunto completo de $K$ respostas textuais como o estado de crença $B_\theta(x)$ . Esse estado captura não apenas a diversidade de respostas plausíveis, mas também pistas linguísticas, como hesitações, recusas ou variações contextuais.
Raciocínio Estratégico: O modelo é instruído com a pergunta original do usuário e as $K$ $K$ respostas candidatas (o estado de crença). Ele recebe a instrução de analisar esse estado e selecionar uma de três estratégias:
- Resposta Direta: Se o estado de crença mostrar alta consistência (baixa incerteza) em relação à resposta.
- Esclarecimento: Se o estado de crença contiver respostas plausíveis semanticamente distintas correspondendo a diferentes interpretações da pergunta (incerteza/ambiguidade dos dados).
- Abstenção: Se o estado de crença contiver fatos contraditórios indicando falta de conhecimento (incerteza epistêmica/alucinação) onde nenhum esclarecimento útil existe.

Variantes de Prompt

Os autores exploram três variantes de prompt (BAG1, BAG2, BAG3) com complexidade crescente nas instruções:

BAG1: Verificação básica de consistência.
BAG2: Incorpora linguagem específica de incerteza e distingue entre ambiguidade (esclarecer) e alucinação (abster-se).
BAG3: Exige que o modelo agrupe as gerações por significado, interprete os agrupamentos e, em seguida, decida sobre uma estratégia.
BAG+: Uma extensão onde, se o modelo escolher esclarecer, ele simula uma resposta do usuário (usando um LLM auxiliar) e reavalia o estado de crença para decidir sobre uma resposta final ou abstenção adicional.

Principais Contribuições

Acesso Direto a Estados de Crença: O artigo introduz um método para alimentar a representação textual bruta da incerteza de um modelo diretamente no prompt, permitindo que o modelo raciocine sobre sua própria distribuição sem ferramentas externas ou treinamento.
Seleção de Estratégia: Diferentemente de trabalhos anteriores focados em selecionar uma única geração ou suavizar uma afirmação, a BAG permite que o modelo escolha dinamicamente entre responder, esclarecer ou abster-se com base na natureza de sua incerteza.
Aplicabilidade sem Treinamento: A abordagem não requer ajuste fino, dados externos ou acesso aos pesos do modelo, tornando-a aplicável tanto a modelos abertos quanto fechados.
Análise Empírica de Roteamento: O estudo fornece uma decomposição detalhada de como os modelos roteiam perguntas para diferentes estratégias e avalia a fidelidade dessas decisões à entropia do estado de crença subjacente.

Resultados

Os experimentos foram conduzidos no conjunto de dados AmbigQA (1.832 perguntas ambíguas) em seis modelos (OLMo2/3, Qwen3, Gemini-2.5-Flash).

Ganhos de Desempenho: A BAG melhora significativamente a precisão de QA em comparação com a geração direta padrão e baselines apenas de prompt (Geração Aumentada por Estratégia, SAG). Em muitos casos, a BAG+ supera até mesmo o "oráculo de desambiguação" (que fornece a intenção correta), demonstrando que o modelo pode identificar com sucesso quando falta conhecimento factual e abster-se em vez de adivinhar.
Fidelidade: As decisões estratégicas da BAG são mais fiéis à entropia do estado de crença interno do modelo do que a SAG. À medida que a entropia do estado de crença aumenta, os modelos BAG escolhem cada vez mais esclarecer ou abster-se, enquanto a SAG e a geração direta raramente o fazem.
Decomposição de Estratégia: Os ganhos de precisão são impulsionados por mecanismos diferentes dependendo do modelo. Por exemplo, para os modelos Qwen, a melhoria é impulsionada principalmente pela estratégia de abstenção (evitando alucinações), enquanto para o Gemini, as contribuições do esclarecimento e da resposta direta são mais equilibradas.
Desafios na Desentrelaçamento: Embora a BAG melhore o desempenho, distinguir entre variação de interpretação (requerendo esclarecimento) e variação de alucinação (requerendo abstenção) permanece desafiador. Os modelos às vezes geram "ambiguidade percebida" para explicar inconsistências factuais, levando a perguntas de esclarecimento que podem confundir os usuários.
Compensações de Brevidade: O uso de prompts que induzem brevidade reduz significativamente os custos de tokens (até 10 vezes), mas pode remover as pistas contextuais necessárias para que o modelo detecte ambiguidade, impactando ligeiramente a precisão.

Significado e Alegações

O artigo afirma que a BAG representa um passo em direção a interações mais robustas e honestas com LLMs, permitindo que os modelos aproveitem sua própria incerteza probabilística para orientar o fluxo conversacional. Os autores enfatizam que:

Os LLMs padrão recorrem a responder mesmo quando incertos; a BAG corrige isso tornando a incerteza explícita e acionável.
A capacidade de abster-se com base em estados de crença internos é crucial para QA factual, pois muitos erros decorrem de falta de conhecimento em vez de ambiguidade na entrada.
Embora o método seja eficaz, a distinção entre ambiguidade e alucinação no estado de crença ainda não é perfeita, e trabalhos futuros devem focar em melhorar a qualidade dos estados de crença e refinar a lógica de roteamento.
A abordagem é uma solução prática e imediata para melhorar a confiabilidade de QA sem o custo de re-treinamento, embora incorra em um custo computacional de $K$ amostras mais o prompt de raciocínio.

Os autores concluem que, embora a BAG melhore a precisão e a fidelidade, o "desentrelaçamento" de quando esclarecer versus quando abster-se permanece um desafio aberto, particularmente dado que os estados de crença refletem as saídas plausíveis do modelo em vez de uma verdade fundamental garantida.