Resumo Técnico: Decomposição de Incerteza para Busca de Esclarecimento em Agentes LLM

1. Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) interativos operam sob observabilidade parcial, recebendo instruções de linguagem natural subespecificadas e navegando em ambientes ruidosos. Pequenos erros em etapas iniciais de raciocínio podem se propagar, levando a resultados confidentemente incorretos. A estimativa de incerteza é uma ferramenta de mitigação padrão, mas argumenta-se que os frameworks existentes (especificamente a dicotomia aleatória/epistêmica) são insuficientes para agentes interativos. Kirchhof et al. [13] e Kim et al. [14] postulam que os agentes requerem representações de incerteza conscientes da subespecificação que sejam decompostas por origem e comunicáveis aos usuários para permitir capacidades proativas, como a busca de esclarecimento.

Além disso, restrições de implantação prática — como acesso a APIs de caixa-preta, orçamentos estritos de latência e a ausência de trajetórias de treinamento rotuladas — tornam inviáveis os métodos baseados em logprob, múltiplas amostragens e treinamento. Isso deixa os métodos baseados em prompts (onde o agente emite a incerteza como texto estruturado) como a única abordagem viável para implantação no mundo real. No entanto, os métodos baseados em prompts existentes tipicamente produzem um único escalar de pontuação de confiança, confundindo duas fontes distintas de incerteza:

1. Dificuldade da Tarefa: A ação é difícil de executar (ex: escolher entre muitos produtos similares).
2. Ambiguidade do Objetivo: O pedido do usuário está subespecificado (ex: "encontre uma camisa" sem cor/tamanho).

A confusão desses sinais impede que o agente distinga entre "prosseguir com cautela" e "pedir esclarecimento".

2. Metodologia

Decomposição Proposta

O artigo propõe uma decomposição baseada em prompt que separa o escalar de confiança único em dois sinais distintos emitidos em cada etapa $t$:

• Confiança da Ação ($c_t$): A confiança do agente de que a ação escolhida move-se em direção à conclusão da tarefa, dada a compreensão atual. Isso espelha o escalar de confiança usado nos baselines.
• Incerteza do Pedido ($u_t$): Uma estimativa de se o objetivo do usuário está totalmente especificado, variando de 0 (totalmente especificado) a 1 (detalhes críticos ausentes). Esta é ancorada em uma escala de três pontos:
  • $0$: Exatamente uma interpretação correta.
  • $0.5$: Pelo menos um parâmetro está aberto/não declarado.
  • $1$: Detalhes críticos ausentes; muitas interpretações válidas existem.

Gatilho de Esclarecimento

O método introduz um mecanismo de roteamento determinístico. Se $u_t \geq \theta$ (onde $\theta = 0.5$ por padrão), o agente é instruído a emitir a ação especial request_clarification em vez de uma ação de tarefa. Isso cria um elo direto entre a estimativa de incerteza e um comportamento observável, permitindo que o sistema seja avaliado como um classificador binário para subespecificação.

Propagação de Histórico

Seguindo o framework de Memória Consciente de Incerteza (UAM) [21], tanto os valores de incerteza ($u_t, c_t$) quanto suas explicações em linguagem natural são anexados ao histórico de interação $H_t$. Isso permite que as etapas subsequentes raciocinem sobre a incerteza acumulada do pedido e a confiança da ação.

Baselines

O método proposto é comparado contra dois baselines baseados em prompt:

1. ReAct+UE: Um agente ReAct padrão com um sufixo de prompt pedindo uma única pontuação de confiança e explicação. Ele não retém a incerteza no histórico.
2. Uncertainty-Aware Memory (UAM): Semelhante ao ReAct+UE, mas propaga a pontuação de confiança e a explicação através do histórico, permitindo que o agente raciocine sobre a incerteza passada.

Benchmarks

Para avaliar a busca de esclarecimento, os autores construíram dois benchmarks aumentados de esclarecimento onde 50% das tarefas são deliberadamente subespecificadas:

• WebShop-Clarification: Atributos (ex: cor, material) e cláusulas de opção são removidos das instruções.
• ALFWorld-Clarification: Objetos ou receptáculos são removidos aleatoriamente do objetivo (ex: "coloque algo no recipiente").
  Nestas variantes, se o agente solicitar corretamente o esclarecimento em uma tarefa subespecificada, o objetivo original é revelado e o episódio continua, garantindo uma medição justa da taxa de sucesso.

A avaliação também inclui benchmarks padrão (WebShop, ALFWorld, REAL) para detecção de falhas (prever falha na trajetória) e taxa de sucesso da tarefa.

3. Principais Contribuições

1. Análise Comparativa: Um estudo sistemático demonstrando que as restrições práticas deixam os métodos baseados em prompt como a única família viável para incerteza em agentes LLM de caixa-preta, motivando um estudo mais profundo de suas capacidades.
2. Novos Benchmarks: A introdução do WebShop-Clarification e ALFWorld-Clarification, que permitem a avaliação da busca de esclarecimento como uma tarefa de classificação binária.
3. Método de Decomposição: Um método apenas via prompt que separa a confiança da ação da incerteza do pedido, permitindo o esclarecimento proativo sem treinamento ou acesso ao modelo.
4. Avaliação Empírica: Uma avaliação abrangente em cinco backbones de LLM (GPT-5.1, DeepSeek-v3.2-exp, GLM-4.7, Qwen3.5-35B, GPT-OSS-120B) tanto para tarefas de busca de esclarecimento quanto para detecção de falhas.

4. Resultados

Busca de Esclarecimento

A decomposição proposta supera significativamente os baselines na identificação de tarefas subespecificadas:

• ALFWorld-Clarification: O método proposto melhora o F1 de esclarecimento em 73% sobre o ReAct+UE e 36% sobre o UAM quando calculado pela média entre os cinco backbones.
• WebShop-Clarification: O método proposto lidera o F1 de esclarecimento em todos os backbones.
• Generalização: Os ganhos se generalizam para diferentes famílias de modelos, indicando que a decomposição não é específica para uma única arquitetura de LLM.

Detecção de Falhas

A decomposição não sacrifica a capacidade de detectar falhas (prever falha na trajetória):

• Em todos os backbones e benchmarks, o método proposto alcança pontuações de ROC-AUC de detecção de falha comparáveis ao ReAct+UE e UAM.
• No WebShop e REAL, o método proposto alcança o ROC-AUC mais alto para agregações de último passo e médias.

Taxa de Sucesso da Tarefa e Calibração

• Diluição de Capacidade: Uma queda monotônica na taxa de sucesso da tarefa foi observada conforme a instrumentação de incerteza aumentava: ReAct+UE (28.6%) > UAM (27.8%) > Proposto (27.0%). Os autores atribuem isso à "diluição de capacidade", onde o orçamento fixo de raciocínio é dividido entre a resolução da tarefa e múltiplas avaliações de incerteza.
• Excesso de Confiança: Diagramas de confiabilidade mostram excesso de confiança sistemático em todos os métodos; a confiança prevista excede consistentemente as taxas de sucesso observadas (ECE varia de 0.24 a 0.66).
• Sensibilidade de Agregação: A escolha da agregação de trajetória (ex: produto, média, último passo) impacta significativamente as pontuações de detecção de falhas. Notavelmente, no ALFWorld, a agregação por produto atua como um proxy para o comprimento da trajetória em vez de um verdadeiro sinal de confiança, já que trajetórias falhas são sistematicamente mais longas.

5. Significância e Alegações

O artigo afirma que a decomposição proposta operacionaliza com sucesso o conceito de "incerteza de subespecificação" como uma categoria distinta, atendendo aos chamados de Kirchhof et al. [13] e Kim et al. [14]. Ao fornecer um canal dedicado para ambiguidade de objetivo, o agente pode buscar esclarecimentos proativamente em vez de falhar silenciosamente ou prosseguir com interpretações arbitrárias.

No entanto, os autores são modestos quanto às limitações do paradigma baseado em prompt:

• Limites do Baseados em Prompt: A diluição de capacidade observada e o excesso de confiança sistemático são inerentes à abordagem baseada em prompt, onde o modelo deve simultaneamente resolver a tarefa e avaliar sua própria confiança dentro de um orçamento fixo de tokens.
• Direção Futura: O artigo argumenta que o caminho mais promissor é a estimativa de incerteza nativa. Em vez de solicitar scores decompostos via prompt, os modelos devem ser treinados (via RLHF, DPO ou GRPO) para distinguir internamente entre dificuldade da tarefa e ambiguidade do objetivo. Isso eliminaria a necessidade de elicitação via prompt, removeria a diluição de capacidade e permitiria a comunicação calibrada e em linguagem natural da incerteza.

Em conclusão, o trabalho serve como uma prova de conceito de que a decomposição da incerteza permite novas capacidades de agentes, mas postula que o próximo passo exige mover esses mecanismos do prompt para dentro do próprio modelo através de treinamento de alinhamento.