Agents Explore but Agents Ignore: LLMs Lack Environmental Curiosity

1. O Problema

O artigo identifica uma falha fundamental nos agentes baseados em Grandes Modelos de Linguagem (LLMs): a incapacidade de integrar observações ambientais inesperadas, mas altamente relevantes, em seu raciocínio e estratégia de execução.

• Hipótese Comum: Assume-se que, ao explorar um ambiente, se um agente encontrar uma informação crucial (como uma solução pronta para um problema), ele naturalmente a explorará e a utilizará para resolver a tarefa.
• A Realidade: Os autores demonstram que, embora os agentes modernos descubram frequentemente essas informações, eles sistematicamente ignoram a descoberta, continuando a executar padrões fixos aprendidos durante o treinamento em vez de adaptar sua estratégia.
• Definição de Curiosidade Ambiental: Os autores definem "curiosidade ambiental" como a capacidade de reconhecer e investigar observações inesperadas, mas relevantes, em resposta a estímulos do ambiente.

2. Metodologia: Injeção de Solução

Para quantificar essa lacuna entre a descoberta e a ação, os autores propõem uma nova metodologia chamada Injeção de Solução (Solution Injection).

• Mecanismo: Em vez de apenas medir se o agente resolve a tarefa, eles inserem a solução completa do problema diretamente no ambiente do agente (ex: como um arquivo executável solution.sh ou um endpoint de API documentado).
• Objetivo: Criar um cenário onde a solução é "óbvia" e "inesperada". Se o agente não interagir com essa solução explícita, é um sinal claro de falta de curiosidade.
• Benchmarks Utilizados: O método foi aplicado em três benchmarks distintos:
  1. Terminal-Bench: Tarefas de linha de comando (manipulação de arquivos, administração de sistemas).
  2. SWE-Bench Verified: Tarefas de engenharia de software (correção de issues no GitHub).
  3. AppWorld: Tarefas digitais do dia a dia via chamadas de API (e-mail, notas, calendários).
• Métricas Propostas:
  • pass@k: Probabilidade de sucesso na tarefa (métrica padrão).
  • discovery@k: Probabilidade de o agente encontrar a solução injetada no contexto.
  • interaction@k: Probabilidade de o agente interagir com a solução (ler o arquivo, chamar a API) após encontrá-la.

3. Contribuições Principais

1. Definição e Benchmarking da Curiosidade Ambiental: Estabelecem que a lacuna entre descobrir e interagir é consistente em múltiplos modelos, scaffolds e domínios.
2. Método de Injeção de Solução: Introduzem uma técnica para adaptar benchmarks existentes para avaliar especificamente a curiosidade, separando a capacidade de "ver" da capacidade de "agir".
3. Análise de Fatores de Inferência e Treinamento: Investigam o que influencia essa curiosidade, identificando que a configuração em tempo de execução (test-time) ajuda, mas não resolve o problema, e que o treinamento (fine-tuning) em dados estreitos pode suprimir ainda mais essa capacidade.

4. Resultados Chave

A. A Lacuna Descoberta-Interação

Os resultados mostram uma discrepância massiva entre encontrar a solução e usá-la:

• Terminal-Bench: Os agentes descobrem a solução em 79–81% das execuções, mas interagem com ela em apenas 37–50%.
• SWE-Bench: Descoberta em 53–98%, interação em apenas 6–17%.
• AppWorld (O caso mais crítico): Os agentes veem a documentação dizendo que um comando "retorna a solução completa" em >90% das tentativas, mas interagem com ela em menos de 7% (apenas 0,53% para o modelo gpt-oss-120b).
• Conclusão: O gargalo não é a descoberta de informações, mas a integração dessas observações no raciocínio do agente.

B. Fatores que Influenciam a Curiosidade (Test-Time)

Os autores testaram três fatores durante a inferência:

1. Disponibilidade de Ferramentas: Limitar o agente a apenas bash (sem editores de arquivo estruturados como str_replace_editor) aumentou as taxas de interação. Ferramentas especializadas parecem fazer o agente recorrer a padrões aprendidos ("apertar o botão de editar") em vez de examinar o ambiente.
2. Orçamento de Raciocínio (Reasoning Budget): Modelos com maior capacidade de raciocínio (ex: "high reasoning" no gpt-oss) mostraram taxas de interação significativamente maiores (mais que triplicando no Terminal-Bench).
3. Prompting: Instruções explícitas para explorar e investigar todos os arquivos descobertos melhoraram tanto a curiosidade quanto o desempenho geral na tarefa original.

C. Impacto do Treinamento (Fine-Tuning)

• Treinamento em Dados Estreitos (Narrow In-Distribution): Modelos fine-tuned especificamente para um domínio (ex: AppWorld-SFT) tiveram desempenho melhor no pass@1 nesse domínio, mas apresentaram menor curiosidade e pior escalabilidade pass@k (menos diversidade de soluções exploradas) em comparação com modelos treinados em distribuições mais amplas.
• Falta de Transferência: A curiosidade não se transfere bem entre domínios estruturalmente distintos (ex: um modelo treinado em Terminal-Bench não é necessariamente curioso em SWE-Bench sem treinamento específico).
• Limitação Inerente: Mesmo com todos os fatores de inferência otimizados (bash-only, alto raciocínio, prompts diretos), os agentes ainda ignoram soluções descobertas na maioria das tentativas, sugerindo que a limitação é inerente à forma como os LLMs são treinados (aprendem a seguir planos, não a revisá-los).

D. Análise de Comportamento (LLM-as-a-Judge)

Uma análise detalhada das trajetórias de raciocínio revelou que, na maioria dos casos de não-interação:

• O agente não menciona a solução descoberta em seu raciocínio (ignora passivamente).
• Raramente há suspeita de que a solução seja uma "armadilha" (rejeição deliberada é quase inexistente).
• O agente procede como se a observação nunca tivesse ocorrido, seguindo o plano original.

5. Significado e Implicações

• Fragilidade dos Agentes Atuais: Os agentes atuais operam como geradores de sequências em "loop aberto": usam o ambiente para buscar informações esperadas, mas não para revisar seus planos. Isso os torna frágeis em ambientes abertos e não vistos durante o treinamento.
• Limitação das Métricas Atuais: Métricas baseadas apenas em sucesso da tarefa (pass@k) não distinguem entre agentes adaptativos e agentes que executam padrões rígidos. Métricas de processo (como interaction@k) são necessárias.
• Caminho Futuro: O artigo sugere que o progresso real em agentes autônomos requer:
  1. Novos benchmarks e métricas focados na curiosidade.
  2. Paradigmas de treinamento que ensinem o comportamento reflexivo (revisar observações inesperadas).
  3. Designs de scaffolds que forcem a reflexão sobre o que foi observado.

Em resumo, o paper demonstra que, embora os LLMs sejam capazes de encontrar soluções "piscando" no ambiente, eles carecem da curiosidade intrínseca necessária para perceber que essa descoberta deve alterar sua estratégia, um comportamento essencial para a inteligência autônoma em cenários do mundo real.