Resumo Técnico: CHILL-Harness

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) modernos lidam cada vez mais com tarefas de longo horizonte que exigem gestão de contexto sustentada, interação com ferramentas, verificação e controle de execução. Para traduzir capacidades latentes do modelo em comportamento confiável, os harnesses de agentes servem como a infraestrutura operacional que coordena esses elementos. No entanto, os harnesses atuais dependem predominantemente de regras manuais, limiares fixos ou fluxos de trabalho configurados globalmente. Essa abordagem estática cria um descompasso com a natureza dinâmica das demandas da tarefa, dos ambientes de execução e dos estados de execução em evolução. Consequentemente, os sistemas existentes frequentemente sofrem de:

• Sobrecarga computacional desnecessária: Raciocínio redundante e correções atrasadas.
• Redução do sucesso da tarefa: Interrupções no fluxo de trabalho que degradam o desempenho em casos adversos.
• Falta de adaptabilidade: Os métodos existentes ou dependem de engenharia específica de domínio ou otimizam estruturas de colaboração sem determinar se uma intervenção de orquestração específica melhora causalmente o fluxo de trabalho atual.

O desafio central é formular um framework que permita a orquestração adaptativa em sistemas de harness, avaliando se um ajuste concreto melhora o fluxo de trabalho em curso enquanto preserva o sucesso da tarefa.

Metodologia: CHILL-Harness

Os autores propõem o CHILL-Harness (Counterfactual Harness Intervention Learning for Long-Horizon Agents), um framework causal que trata a orquestração adaptativa de harness como um problema de aprendizado causal. Ele distingue entre o fluxo de trabalho "factual" (o plano atual do agente) e alternativas "contrafatuais" (intervenções admissíveis). O framework consiste em dois componentes acoplados:

1. Causal Intervention Effect Learning (CIEL)

O CIEL serve como o componente de estimativa de efeito. Ele unifica comportamentos de orquestração heterogêneos (ex: raciocínio adicional, correção de fluxo de trabalho, recuperação de execução) em um espaço de intervenção unificado.

• Indução Unificada: Mapeia intervenções para fluxos de trabalho admissíveis, categorizando-as em ações como Keep (Manter), Deliberate (Deliberar), Revise (Revisar - inspecionar/verificar/visualizar), Stabilize (Estabilizar) e AnswerSynthesis (Síntese de Resposta).
• Estimativa de Efeito: O CIEL estima a vantagem relativa à intervenção ($\Gamma_t$) condicionada ao contexto de um fluxo de trabalho alternativo sobre o fluxo de trabalho factual, utilizando evidências de execução ponderadas por confiança a partir de registros pareados offline.
• Aprendizado de Decisão Fatorado: Para gerenciar a complexidade, o CIEL decompõe o controle em três cabeças de decisão específicas:
  • Counterfactual Deliberation Effect (CDE): Prediz a rota de deliberação necessária (Skip, Light, Full) para evitar a super-deliberação quando o fluxo de trabalho factual é suficiente.
  • Counterfactual Revision Effect (CRE): Determina se um fluxo de trabalho candidato fornece suporte suficiente para substituir o factual, evitando substituições prejudiciais.
  • Completion Attribution Effect (CAE): Prediz se deve terminar a execução com base em evidências, evitando a terminação prematura ou a continuação fútil.
• Treinamento: O sistema é treinado usando um objetivo composto ($L_{CIEL}$) que combina a perda de estimativa de efeito de fluxo de trabalho com supervisão fraca de rastros de execução registrados para as cabeças de decisão. Crucialmente, decisões relacionadas à eficiência recebem supervisão positiva apenas quando o sucesso da tarefa é preservado.

2. Advantage-Realizing Causal Orchestration (ARCO)

O ARCO é o componente de realização que traduz as estimativas do CIEL em decisões acionáveis.

• Seleção de Rota: Com base na predição do CDE, o ARCO seleciona uma rota de deliberação (ex: Skip ignora a geração de candidatos; Full habilita uma avaliação mais ampla).
• Valoração de Candidatos: Para candidatos admissíveis expostos pela rota, o ARCO calcula uma pontuação combinada de utilidade operacional (progresso, custo, risco) e o efeito de intervenção causal estimado.
• Autorização Conservadora: Um fluxo de trabalho candidato é executado apenas se:
  1. O preditor CRE apoiar a mudança.
  2. A vantagem estimada ($\Delta_{cf}$) exceder uma margem de autorização dependente da intervenção ($\delta$).
• Conclusão: A terminação é autorizada apenas quando tanto o preditor CAE quanto a evidência explícita da tarefa (de um verificador) confirmam a conclusão.

Objetivo de Preservação de Sucesso

O framework incorpora um objetivo de otimização restrita. Ele minimiza o custo da trajetória (tokens, latência) sujeito a uma degradação limitada na taxa de aprovação ($\epsilon_{pass}$). Isso é realizado através de supervisão fraca condicionada ao resultado que penaliza o custo de recursos, falha na tarefa e, especificamente, adaptações que "quebram o sucesso" (onde um sucesso de referência se torna uma falha).

Principais Contribuições

1. Formulação Causal: O artigo formula a orquestração adaptativa de harness como um problema de aprendizado causal sobre fluxos de trabalho fatoriais e alternativas admissíveis, indo além de políticas fixas ou otimizadas globalmente.
2. Framework CIEL: Introdução do Causal Intervention Effect Learning, que unifica comportamentos heterogêneos e aprende vantagens de intervenção condicionadas ao contexto a partir de evidências ponderadas por confiança, permitindo intervenção seletiva.
3. Mecanismo ARCO: Desenvolvimento da Advantage-Realizing Causal Orchestration, que realiza adaptações de fluxo de trabalho apenas quando apoiadas por vantagem estimada suficiente, garantindo execução eficiente e confiável sob restrições de preservação de sucesso.
4. Validação Empírica: Experimentos extensos demonstrando que o framework preserva ou melhora o sucesso da tarefa enquanto reduz significativamente o consumo de recursos.

Resultados Experimentais

Os autores avaliaram o CHILL-Harness em três benchmarks heterogêneos de longo horizonte: GAIA (busca de informação), SWE-bench Verified (engenharia de software) e Terminal-Bench 2.0 (interação de terminal).

• Eficácia: O CHILL-Harness preservou ou melhorou consistentemente as taxas de sucesso das tarefas em comparação com os baselines. Alcançou as maiores taxas de sucesso no GAIA (71,3%) e no SWE-bench Verified (65,6%), e permaneceu competitivo no Terminal-Bench 2.0 (56,1%).
• Eficiência: O framework reduziu substancialmente o consumo de recursos:
  • Redução de Tokens: 28,4% (GAIA), 13,1% (SWE-bench) e 23,1% (Terminal-Bench) em comparação com os baselines de menor número de tokens.
  • Redução de Tempo: 46,6% (GAIA), 25,9% (SWE-bench) e 2,6% (Terminal-Bench) em comparação com os baselines mais rápidos.
  • Tokens por Tarefa Resolvida: O CHILL-Harness alcançou o maior número de tarefas resolvidas por milhão de tokens em todos os benchmarks.
• Estudo de Ablação: Uma variante "Always-Full" (forçando deliberação total) resultou em aumentos significativos de custo e, em alguns casos, reduziu as taxas de sucesso. Isso valida a necessidade da estratégia de rota-antes-da-geração (CDE) para suprimir a deliberação de baixo valor antes de incorrer no overhead do planejador.

Significância e Alegações

O artigo afirma que o CHILL-Harness fornece um framework unificado que move o desenvolvimento de agentes além da engenharia de harness fixa em direção a uma orquestração aprendida, causal e de preservação de sucesso. Ao modelar explicitamente a contribuição causal das intervenções de orquestração, o sistema pode distinguir melhorias genuínas de associações espúrias, permitindo assim um raciocínio eficiente sem comprometer a confiabilidade. Os autores postulam que esta abordagem oferece uma base para construir agentes de longo horizonte mais eficientes e confiáveis que se adaptam dinamicamente aos estados de execução em vez de depender de políticas estáticas e manuais.