LHAW: Controllable Underspecification for Long-Horizon Tasks

1. Problema Definido

Os agentes autônomos que operam em fluxos de trabalho de longo horizonte (long-horizon workflows) enfrentam um desafio fundamental: distinguir entre tarefas que podem ser resolvidas com as informações atuais e aquelas que exigem esclarecimento (perguntas ao usuário) para evitar falhas.

• O Dilema do Custo: Em assistentes conversacionais, pedir esclarecimentos é barato. Em agentes autônomos, cada interação humana interrompe o fluxo, introduz latência e impõe custos cognitivos aos supervisores.
• A Lacuna de Avaliação: Os benchmarks atuais falham em medir essa tensão.
  • Benchmarks de longo horizonte (como THEAGENTCOMPANY, SWE-BENCH PRO) avaliam a execução em tarefas bem especificadas, ignorando se o agente percebe informações faltantes.
  • Benchmarks de esclarecimento (como ClariQ, AmbigQA) operam em contextos curtos onde o custo de perguntar é insignificante.
• Risco: Agentes que assumem silenciosamente parâmetros faltantes podem executar fluxos incorretos com consequências em cascata, enquanto agentes que perguntam excessivamente demonstram raciocínio ineficiente. Não existe um framework sistemático para avaliar esse comportamento de forma controlada.

2. Metodologia: O Pipeline LHAW

Os autores introduzem o LHAW (Long-Horizon Augmented Workflows), um pipeline sintético, agnóstico a datasets, projetado para transformar tarefas bem especificadas em variantes subespecificadas de forma controlada.

O processo ocorre em três fases principais:

Fase 1: Extração e Pontuação de Segmentos

• Um LLM analisa o prompt da tarefa para identificar segmentos de informação atômicos removíveis.
• Taxonomia de 4 Dimensões: As informações são categorizadas em:
  1. Objetivo (Goal): O que deve ser produzido.
  2. Restrição (Constraint): Regras, limites ou métodos.
  3. Entrada (Input): Fontes de dados, arquivos ou ferramentas.
  4. Contexto (Context): Conhecimento de domínio, jargão ou lógica de negócios.
• Pontuação: Cada segmento recebe uma pontuação de Crítica (a remoção causa falha?) e Adivinhabilidade (o agente pode inferir o valor?). A prioridade é calculada como: Crítica × (1 - Adivinhabilidade).

Fase 2: Geração de Variantes

• Gera-se prompts subespecificados aplicando estratégias de remoção configuráveis:
  • Delete: Remove o segmento totalmente.
  • Vaguify: Substitui por linguagem vaga (ex: "o arquivo").
  • Genericize: Substitui por frases genéricas (ex: "formato apropriado").
• É possível remover múltiplos segmentos para aumentar a severidade da ambiguidade.

Fase 3: Validação Empírica (Triais de Agentes)

• Ao contrário de métodos que dependem apenas de previsões de LLM, o LHAW executa triais reais de agentes para classificar as variantes com base no estado terminal observado:
  • Crítico para o Resultado (Outcome-Critical): O agente falha consistentemente sem a informação faltante.
  • Divergente (Divergent): Resultados variáveis entre os ensaios (alguns falham, outros têm sucesso parcial ou total).
  • Benigno (Benign): O agente infere corretamente a informação faltante e tem sucesso.
  • Nova Tarefa: O agente falha consistentemente, mas converge para o mesmo estado não-sucedido (indicando que a tarefa foi alterada, não apenas subespecificada).

3. Contribuições Principais

1. Pipeline Sintético de Subespecificação Controlada: Um framework modular que opera sobre quatro dimensões de informação com estratégias de ofuscação configuráveis, permitindo a geração de dados de teste padronizados.
2. Benchmarks e Validação Empírica:
   • Geração de 285 variantes de tarefas derivadas de três benchmarks de ponta: THEAGENTCOMPANY, SWE-BENCH PRO e MCP-ATLAS.
   • Classificação rigorosa das variantes (Crítico, Divergente, Benigno) baseada em resultados reais de execução.
3. Análise de Comportamento de Esclarecimento:
   • Introdução da métrica Gain/Q (Ganho de desempenho por pergunta), que mede a eficiência da clarificação.
   • Identificação de padrões de comportamento específicos por modelo (ex: GPT-5.2 tende a "super-esclarecer", enquanto modelos Gemini tendem a "sub-esclarecer").

4. Resultados Chave

• Impacto da Subespecificação: A remoção de informações críticas degrada consistentemente o desempenho (Pass@3) em todos os modelos testados.
• Recuperação via Esclarecimento: A ferramenta ask_user permite recuperação significativa de desempenho, mas raramente atinge o nível da linha de base (tarefa bem especificada), exceto em casos específicos (ex: GPT-5.2 no SWE-BENCH PRO).
• Eficiência vs. Quantidade:
  • Modelos que fazem mais perguntas não necessariamente têm melhor desempenho. O GPT-5.2 faz muitas perguntas, mas tem baixa eficiência (Gain/Q).
  • Modelos como Gemini-3-Pro e Claude Sonnet-4.5 demonstram maior eficiência, extraindo mais valor por pergunta feita.
• Custo da Informação: Ao simular diferentes personas de usuário (Supervisor, Assistente Padrão, Executivo Ocupado), os autores mostram que os agentes ajustam sua frequência de perguntas baseada no custo percebido da interação. Agentes perguntam menos quando o "custo" do usuário é alto, mas isso pode levar a falhas em tarefas críticas.
• Modos de Falha: A análise de falhas revela que a Qualidade da Pergunta (ex: perguntas compostas, vagas) e o Alvo da Pergunta (perguntar sobre o que não é crítico) são os principais gargalos para a recuperação do desempenho.

5. Significado e Impacto

O trabalho LHAW estabelece um novo padrão para a avaliação de agentes autônomos, movendo o foco de "o agente consegue executar a tarefa?" para "o agente sabe quando e como pedir ajuda?".

• Segurança e Confiabilidade: Fornece uma base para desenvolver agentes que evitam falhas silenciosas em cenários de missão crítica, equilibrando a autonomia com a necessidade de validação humana.
• Otimização de Custos: A métrica Gain/Q oferece uma maneira prática de medir a eficiência da interação humano-agente, crucial para aplicações empresariais onde cada interrupção tem um custo.
• Futuro da Pesquisa: O framework abre caminho para o desenvolvimento de sistemas de decisão baseados em teoria da informação, onde agentes calculam o valor esperado da informação versus o custo da interrupção antes de agir.

Em resumo, o LHAW preenche a lacuna crítica na avaliação de agentes de longo horizonte, fornecendo as ferramentas e dados necessários para construir sistemas autônomos que não apenas executam tarefas, mas compreendem a incerteza e interagem estrategicamente para resolvê-la.