Resumo Técnico: BAGEN: Agentes de LLM são conscientes de orçamento?

1. Declaração do Problema

Os agentes de Grandes Modelos de Linguagem (LLMs) atuais estão sendo cada vez mais implantados em tarefas de longo horizonte e alto risco que envolvem consumo significativo de recursos, como uso de tokens (orçamento interno), chamadas de API, custos monetários ou tempo (orçamento externo). No entanto, os paradigmas de avaliação existentes tratam o orçamento primariamente como uma métrica post-hoc, medindo o custo apenas após a conclusão da execução.

O artigo identifica uma lacuna crítica: os agentes carecem de consciência de orçamento (budget awareness), definida como a capacidade de estimar, durante a execução, quanto orçamento resta e se uma tarefa ainda é passível de conclusão. Sem essa capacidade, os agentes não conseguem tomar decisões críticas de controle, como abortar tarefas sem esperança, solicitar recursos adicionais ou realocar orçamentos entre subobjetivos. Além disso, os estudos existentes frequentemente dependem de uma estimativa de ponto único (uma única previsão no início da tarefa), o que falha em capturar a evolução da viabilidade de tarefas de longo horizonte e não permite o refinamento progressivo baseado no progresso observado.

2. Metodologia

2.1. Modalidades de Orçamento

Os autores formalizam dois tipos distintos de orçamento:

• Orçamento Interno: Computação gerada pelo próprio raciocínio do modelo (ex: contagem de tokens).
• Orçamento Externo: Custos assumidos no ambiente (ex: dinheiro, tempo, inventário), que podem ser multidimensionais e acoplados (ex: manter inventário aumenta a receita, mas consome a capacidade do armazém).

2.2. Protocolo de Estimativa de Intervalo Progressivo

Para abordar as limitações da estimativa de ponto único, o artigo propõe a Estimativa de Intervalo Progressivo. Em vez de uma previsão de ponto único, o agente é consultado a cada turno $k$ de uma trajetória $\tau$ para prever:

1. Um intervalo $[\hat{R}^{lo}_k, \hat{R}^{hi}_k]$ representando o orçamento restante, caso a tarefa seja considerada viável.
2. Uma declaração de impossível se a tarefa for considerada inviável dado o orçamento restante.

Este protocolo introduz três propriedades fundamentais:

• Incerteza: Expressa através da largura do intervalo.
• Progressividade: As estimativas são atualizadas conforme o agente observa o progresso parcial.
• Consciência de Inviabilidade: Uma opção explícita de "impossível" permite a interrupção precoce.

2.3. Avaliação de Rollout-Replay

Para desacoplar a habilidade de estimativa de orçamento da habilidade de conclusão de tarefa, os autores utilizam um protocolo de rollout-replay:

1. Geração de Rollout: O agente executa uma tarefa sem restrições de orçamento para gerar uma trajetória completa e os custos reais (ground-truth).
2. Replay de Prefixo: O prefixo registrado até o turno $k$ é reproduzido para o agente, que então é solicitado a estimar o orçamento restante e a viabilidade.
3. Pontuação: As previsões são pontuadas contra o custo restante realizado e o resultado real.

2.4. Métricas de Sub-capacidade

A consciência de orçamento é decomposta em três sub-capacidades mensuráveis:

1. Previsão de Viabilidade: Uma classificação binária (viável vs. impossível) medida por Macro-F1.
2. Detecção de Falha Precoce: A capacidade de reconhecer trajetórias condenadas precocemente, medida por Fail-F1 (precisão/recall na classe "impossível").
3. Estimativa de Orçamento Restante: A precisão das previsões de intervalo em trajetórias bem-sucedidas, medida por Cobertura (se o custo real cai dentro do intervalo) e Estreitamento (Tightness, penalizando intervalos excessivamente amplos).

2.5. Configuração Experimental

O estudo avalia cinco modelos de fronteira (GPT-5.2, Claude Opus 4.7, Claude Sonnet 4.6, Gemini 3.1 Pro, Qwen3-235B) em quatro ambientes:

• Orçamento Interno: Sokoban (planejamento), Search-R1 (recuperação de múltiplos saltos), SWE-bench (resolução de problemas do GitHub).
• Orçamento Externo: Warehouse (um ambiente de cadeia de suprimentos com dimensões acopladas de custo, tempo e inventário).

3. Resultados Principais

3.1. Desacoplamento do Desempenho da Tarefa e da Consciência de Orçamento

• Correlação Fraca: A taxa de sucesso da tarefa correlaciona-se fracamente com a qualidade da estimativa de orçamento ($r \approx 0,35$). Bons executores de tarefas não são necessariamente bons estimadores. Por exemplo, no Search-R1, o Opus alcançou o maior sucesso na tarefa (75,8%), mas o Sonnet produziu melhores estimativas de intervalo (taxa de acerto de 36,5% vs. 23,1%).
• Não há Modelo Dominante: Nenhum modelo único se destaca em todas as três sub-capacidades (viabilidade, detecção precoce, calibração de intervalo).

3.2. Falhas Sistemáticas

• Viés de Otimismo: Todos os modelos subestimam consistentemente o orçamento restante (viés otimista). Este viés é mais pronunciado em modelos mais fracos e persiste em todos os ambientes.
• Reconhecimento Tardio de Falha: Os agentes reconhecem a falha tarde demais para agir. Em trajetórias falhas, os modelos frequentemente preveem "viável" com >70% de confiança mesmo após 60% do orçamento ser consumido. O "alarme" geralmente dispara apenas nos últimos 20% da execução.
• Instabilidade: Estimativas do primeiro turno frequentemente discordam das estimativas de turnos posteriores, e a direção dessa discordância varia por modelo e tarefa.

3.3. Treinamento e Acionabilidade

• Viabilidade Binária é um Problema de Calibração: O Ajuste Fino Supervisionado (SFT) isoladamente elevou a precisão de viabilidade do Qwen-7B de 25,5% para ~90%, sugerindo que a capacidade era latente, mas exigia calibração de formato.
• Estimativa de Intervalo é um Problema de Raciocínio: O SFT melhorou a cobertura de intervalos, mas adicionar Aprendizado por Reforço (SFT+RL) foi necessário para elevar a cobertura para 47%. No entanto, o RL sem um warm-start de SFT causou colapso no treinamento.
• Sinal Acionável: Implementar uma política simples de parada antecipada (encerrando quando o modelo prevê "impossível") economizou 28–64% dos tokens em trajetórias falhas com um custo mínimo na taxa de sucesso geral (1,6–4,2 pontos percentuais).

4. Contribuições

1. Definição de Consciência de Orçamento: Formaliza a consciência de orçamento como uma capacidade distinta da execução de tarefas, definida via estimativa de intervalo progressivo.
2. Protocolo de Avaliação: Introduz o protocolo de rollout-replay para isolar as capacidades de estimativa das capacidades de execução.
3. Análise Empírica: Demonstra sistematicamente que os modelos de fronteira sofrem de otimismo sistemático e reconhecimento tardio de falha, e que essas falhas são distintas do desempenho da tarefa.
4. Insights de Treinamento: Mostra que a viabilidade binária é um problema de calibração resolvível com SFT, enquanto a estimativa precisa de intervalos é um gargalo de raciocínio que requer SFT+RL, e que o sinal é imediatamente acionável para economia de recursos.

5. Significância e Alegações

O artigo afirma que o orçamento deve ser tratado como um sinal de controle ativo em vez de uma métrica de contabilidade passiva. Os autores argumentam que os agentes atuais carecem do monitoramento metacognitivo necessário para gerenciar recursos de forma eficaz em tarefas de longo horizonte.

A significância reside em demonstrar que:

• A consciência de orçamento é uma capacidade treinável e acionável, mesmo que os modelos atuais sejam imperfeitos nela.
• Intervenções simples (como a parada antecipada baseada na autopredição do modelo) podem gerar economias substanciais de recursos com um custo mínimo na taxa de sucesso.
• A lacuna entre o desempenho da tarefa e a estimativa de orçamento sugere que o desenvolvimento futuro de agentes deve visar explicitamente o automonitoramento e a calibração, em vez de assumir que estes emergem naturalmente do aprimoramento do raciocínio ou do sucesso na tarefa.

O artigo conclui que, embora a calibração precisa de intervalos permaneça um desafio (limitando-se a 47% de cobertura após o treinamento), a capacidade de detectar inviabilidade e estimar custos é uma capacidade crítica e distinta que deve ser desenvolvida para permitir que agentes limitados por recursos operem de forma eficaz em ambientes do mundo real e de alto risco.