Resumo Técnico: Pergunte Cedo, Pergunte Tarde, Pergunte Corretamente

Declaração do Problema

Agentes de IA de longo horizonte executam fluxos de trabalho complexos envolvendo centenas de ações sequenciais. Quando as instruções do usuário são subespecificadas, os agentes enfrentam uma decisão crítica: prosseguir sob incerteza ou pausar para solicitar esclarecimento. Embora benchmarks recentes confirmem que a subespecificação degrade o desempenho e que canais de esclarecimento permitam recuperação parcial, a pesquisa existente trata o esclarecimento como uma capacidade binária (pode/não pode perguntar) em vez de uma capacidade temporal.

Há uma falta de compreensão empírica sobre quando o esclarecimento é mais valioso. A teoria clássica do valor da informação (VOI) e pesquisas sobre interrupção em HCI sugerem que o benefício do esclarecimento deve variar com base no momento da intervenção. No entanto, nenhum trabalho anterior mediu como o valor do esclarecimento muda ao longo da trajetória de execução de um agente. O problema central abordado é a ausência de curvas de demanda quantitativas para o momento do esclarecimento em diferentes dimensões de informação (objetivo, entrada, restrição, contexto) e a falta de evidências sobre se os modelos de fronteira atuais perguntam naturalmente dentro de janelas empiricamente ótimas.

Metodologia

Os autores introduzem um framework de injeção forçada para isolar o efeito puro do momento do esclarecimento, independentemente da capacidade de um agente detectar ambiguidade.

Configuração Experimental

• Conjuntos de Dados: O estudo utiliza 84 variantes de tarefas subespecificadas extraídas do benchmark LHAW, abrangendo três benchmarks distintos de agentes:
  • MCP-Atlas: Competência no uso de ferramentas (36 variantes, 6–20 ações).
  • TheAgentCompany: Fluxos de trabalho empresariais (30 variantes, 6–49 ações).
  • SWE-Bench Pro: Tarefas de reparo de código (18 variantes, 1–121 ações).
• Modelos: Quatro modelos de fronteira foram avaliados (GPT-5.2, Claude Sonnet 4.5, Gemini 3 Flash e DeepSeek V3.2 apenas no MCP-Atlas), resultando em mais de 6.000 execuções experimentais.
• Protocolo de Injeção Forçada:
  • As tarefas foram modificadas para remover segmentos específicos de informação (verdade fundamental).
  • Esclarecimentos foram injetados em pontos controlados ao longo da trajetória: 10%, 30%, 50%, 70% e 90% do orçamento de ações calibrado pelo oráculo.
  • A ferramenta ask_user foi desativada durante essas execuções para garantir que o esclarecimento chegasse apenas via injeção.
  • O desempenho foi medido usando Pass@3 (probabilidade de pelo menos um sucesso em três tentativas).
• Protocolo de Pergunta Natural: Um estudo complementar de 300 sessões não roteirizadas em tarefas do TheAgentCompany permitiu que a ferramenta ask_user observasse comportamentos naturais de esclarecimento, registrando taxas de pergunta e o momento do primeiro questionamento.
• Métricas:
  • Pass@3: Métrica principal de sucesso.
  • Cálculo Desperdiçado: A fração de ações pré-injeção ausentes da trajetória do oráculo (totalmente especificada), servindo como limite superior para o trabalho descartado.
  • Ponto Sem Retorno: O momento de injeção mais tardio onde o desempenho excede significativamente a linha de base sem esclarecimento.
  • Consistência entre Modelos: Correlação de postos de Kendall's $\tau$ para determinar se os efeitos temporais são intrínsecos às tarefas ou dependentes do modelo.

Principais Contribuições

1. Perfis Temporais Dependentes de Dimensão: O estudo estabelece que o valor do esclarecimento não é uniformemente "quanto mais cedo, melhor", mas depende agudamente da dimensão da informação:

   • Esclarecimento de Objetivo: Altamente concentrado no início. O valor cai precipitadamente após 10% da execução. No MCP-Atlas, o Pass@3 cai de 0,78 (em 10%) para 0,39 (em 70%), efetivamente perdendo todo o benefício em relação à linha de base.
   • Esclarecimento de Entrada: Mostra um declínio gradual. O valor é mantido por aproximadamente 50% da trajetória, pois os agentes podem inferir parcialmente as entradas através da exploração do ambiente.
   • Esclarecimento de Restrição: O benefício depende da existência de uma lacuna no oráculo. Em casos com lacuna, o valor declina com o atraso, embora raramente caia abaixo da linha de base sem esclarecimento (sugerindo que informações tardias de restrição ainda são melhores do que nenhuma, mas menos eficazes do que as iniciais).
   • Esclarecimento de Contexto: As evidências são mistas devido a tamanhos de amostra limitados, mas a injeção precoce mostra potenciais benefícios fortes.

2. Quantificação da Lacuna de "Pergunta": O estudo quantifica o desalinhamento entre os comportamentos atuais dos modelos e as janelas empiricamente ótimas.

   • GPT-5.2: Pergunta em excesso (taxa de 52%), mas pergunta tarde demais para tarefas de objetivo (momento médio de 43%, muito além da janela ótima de 10%).
   • Claude Sonnet 4.5: Pergunta seletivamente (taxa de 23%) em um momento médio de 50%, o que é subótimo para objetivos, mas razoável para entradas.
   • Gemini 3 Flash: Nunca pergunta (taxa de 0%), renunciando a todos os benefícios potenciais de esclarecimento.
   • Crucialmente, nenhum modelo de fronteira atual pergunta naturalmente dentro da janela empiricamente ótima para qualquer dimensão.

3. Efeitos Temporais Intrínsecos à Tarefa: Correlações entre modelos (Kendall's $\tau$ variando de 0,78 a 0,87 para modelos que compartilham cobertura de tarefas) confirmam que esses perfis temporais são substancialmente intrínsecos às próprias tarefas, e não artefatos de arquiteturas de modelos específicas.

4. Custo do Atraso: O estudo fornece uma medida quantitativa de "cálculo desperdiçado", mostrando que o trabalho desperdiçado cresce constantemente com o atraso da injeção. Por exemplo, no TheAgentCompany, o cálculo desperdiçado sobe de 0% na injeção de 10% para 21,7% na injeção de 90%.

Resumo dos Resultados

• Informação de Objetivo: Possui uma janela inicial estreita ($\le$10%). Adiar o esclarecimento além deste ponto resulta em desempenho indistinguível de nunca perguntar.
• Informação de Entrada: Permanece recuperável através de aproximadamente 50% da trajetória.
• Informação de Restrição: A injeção tardia pode ser disruptiva se exigir reconciliar ações já tomadas que conflitam com a restrição, embora geralmente permaneça acima da linha de base sem esclarecimento.
• Sem Limiar Nítido: O "ponto sem retorno" é geralmente contínuo em vez de um corte abrupto, exceto para variantes de objetivo e restrição críticas para o resultado, onde um ponto de recuperação significativo foi detectado em 30% da trajetória.
• Comportamento do Modelo: Os modelos atuais exibem estratégias que variam de perguntar em excesso (ineficiente) a nunca perguntar, falhando em alinhar-se com as curvas de demanda derivadas dos experimentos de injeção forçada.

Significado e Alegações

O artigo afirma fornecer as primeiras curvas VOI empíricas para o momento do esclarecimento em fluxos de trabalho de agentes de longo horizonte. Seu significado reside em:

• Dados Fundamentais: Fornecer as "curvas de demanda" quantitativas que estruturas teóricas existentes (por exemplo, teoria do valor da informação, metaraciocínio) exigem, mas que anteriormente careciam.
• Alvos de Design: Estabelecer alvos de design concretos para políticas de esclarecimento conscientes do tempo, aconselhando especificamente agentes a validar objetivos dentro das primeiras ações e adiar consultas de entrada apenas ligeiramente mais (dentro da primeira metade da trajetória).
• Generalização Metodológica: A metodologia de injeção forçada é apresentada como uma abordagem generalizável para qualquer benchmark de agente com tarefas subespecificadas para medir o valor temporal da informação.

Os autores notam modestamente que este estudo aborda o lado da demanda (quanto o desempenho se beneficia da informação em momentos específicos), mas não resolve o lado da oferta (como fazer agentes reconhecerem ambiguidade e perguntarem no momento certo). Eles posicionam seu trabalho como a base empírica necessária para construir a próxima geração de agentes conscientes do tempo.