ReDAct: Uncertainty-Aware Deferral for LLM Agents

1. O Problema

Os agentes baseados em Grandes Modelos de Linguagem (LLMs) têm ganhado popularidade em tarefas de tomada de decisão sequencial complexa, como ambientes corporificados (ex: ALFWorld, MiniGrid). No entanto, esses agentes herdam a tendência dos LLMs de "alucinar" (gerar informações incorretas). Em ambientes sequenciais, onde o estado do ambiente muda irreversivelmente, um único erro pode degradar permanentemente a trajetória de execução, levando ao fracasso total da tarefa.

Existe um dilema de custo-efetividade:

• Modelos Grandes (ex: 70B-480B parâmetros): São mais confiáveis e alucinam menos, mas possuem um custo de inferência por token significativamente alto.
• Modelos Pequenos (ex: 8B-80B parâmetros): São baratos e rápidos, mas mais propensos a erros.

O objetivo é encontrar um equilíbrio que permita utilizar a precisão dos modelos grandes sem incorrer no custo total de usá-los em cada passo da decisão.

2. Metodologia: ReDAct (Reason-Defer-Act)

O artigo propõe o ReDAct, um framework onde um agente é equipado com dois LLMs:

1. Um modelo pequeno e barato ($M_{small}$), usado por padrão.
2. Um modelo grande e confiável ($M_{large}$), usado apenas quando necessário.

O fluxo de operação em cada passo $t$ é o seguinte:

1. Raciocínio: O modelo pequeno gera um processo de raciocínio sobre o estado atual.
2. Proposta de Ação e Estimativa de Incerteza: O modelo pequeno propõe uma ação e calcula uma pontuação de incerteza preditiva ($u_t$) baseada nessa proposta.
3. Decisão de Adiamento (Deferral):
   • Se $u_t < \tau$ (abaixo de um limiar calibrado): A ação do modelo pequeno é aceita.
   • Se $u_t \ge \tau$ (alta incerteza): A decisão é adiada para o modelo grande, que gera sua própria proposta de ação, aceita incondicionalmente.

Pontos Técnicos Chave:

• Nível de Incerteza: O estudo comparou a incerteza calculada no nível do raciocínio versus no nível da ação. Descobriu-se que métricas de incerteza no nível da ação são muito mais eficazes para detectar erros do que no nível do raciocínio livre.
• Métricas de Incerteza: O framework utiliza métricas baseadas em teoria da informação que operam diretamente sobre as probabilidades dos tokens (requerendo acesso a logprobs):
  • Perplexidade (PPL): A métrica que apresentou melhor desempenho.
  • Probabilidade da Sequência (SP).
  • Entropia Média de Token (MTE).
• Calibração: O limiar $\tau$ é calibrado em um conjunto de dados de validação para atingir um número médio desejado de chamadas ao modelo grande por episódio (ex: 5 chamadas), garantindo o controle de custos.

3. Contribuições Principais

1. Framework ReDAct: Propõe um método prático para agentes sequenciais que alternam dinamicamente entre modelos pequenos e grandes com base na incerteza preditiva, permitindo que o modelo pequeno "peça ajuda" apenas quando inseguro.
2. Análise de Nível de Incerteza: Demonstra empiricamente que a incerteza no nível da seleção de ação é um sinal de deferral superior ao nível do raciocínio, evitando o custo computacional de múltiplas gerações ou modelos externos de NLI.
3. Eficiência de Custo: Mostra que é possível atingir o desempenho de um modelo grande exclusivo adiando apenas cerca de 15% das decisões para o modelo grande, reduzindo drasticamente o custo de inferência.

4. Resultados Experimentais

Os experimentos foram realizados nos ambientes ALFWorld (tarefas domésticas compostas) e MiniGrid (navegação em grade).

• Desempenho:
  • No ALFWorld, o uso de deferral baseado em Perplexidade (PPL) com um modelo pequeno (Qwen3-80B) alcançou uma taxa de sucesso de 0.808, comparável ao modelo grande GPT-5.2 (0.788) e Qwen3-480B (0.790), mas com apenas ~15% das chamadas ao modelo grande.
  • No MiniGrid, o ReDAct permitiu que modelos pequenos superassem significativamente seu desempenho base, aproximando-se da performance dos modelos grandes.
• Custo:
  • O custo total de inferência do ReDAct foi apenas ligeiramente superior ao do uso exclusivo do modelo pequeno, mas drasticamente menor do que o uso exclusivo do modelo grande.
  • As curvas de Pareto (Sucesso vs. Custo) mostram que o ReDAct domina o espaço de soluções, oferecendo o melhor equilíbrio entre performance e custo.
• Distribuição de Chamadas:
  • Diferente de uma deferral aleatória (que chama o modelo grande uniformemente), o ReDAct concentra as chamadas em momentos críticos (ex: passos finais de episódios falhos ou situações complexas), onde a incerteza do modelo pequeno aumenta.

5. Significado e Conclusão

O trabalho demonstra que a adaptação dinâmica de modelos (model routing) baseada em incerteza é uma estratégia viável e eficiente para a implantação de agentes LLM em cenários do mundo real.

• Viabilidade Econômica: Permite que sistemas de IA operem com a inteligência de modelos de ponta (frontier models) sem o custo proibitivo de usá-los em cada interação.
• Robustez: Mitiga o problema de erros cumulativos em tarefas sequenciais, garantindo que decisões críticas sejam tomadas pelo modelo mais capaz.
• Direção Futura: O ReDAct oferece uma abordagem simples, mas poderosa, para escalar agentes autônomos, sugerindo que a maioria das decisões pode ser tomada localmente ou por modelos menores, reservando a "inteligência de elite" apenas para os momentos de maior risco ou incerteza.

Em resumo, o ReDAct resolve o trade-off entre custo e confiabilidade em agentes LLM, provando que a inteligência artificial pode ser tanto econômica quanto robusta através de um mecanismo de "adiamento consciente da incerteza".