Resumo Técnico: Evolução de Harness em Tempo de Teste (TTHE)

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) modernos são cada vez mais construídos como sistemas executáveis onde o comportamento é governado não apenas pelo modelo congelado subjacente, mas também pelo "harness" circundante — o programa de controle que gerencia a construção de contexto, a invocação de ferramentas, a verificação intermediária e a recuperação de falhas. As práticas atuais de implantação envolvem tipicamente a otimização deste harness em dados de desenvolvimento ou treinamento rotulados antes de congelá-lo para avaliação. Esta abordagem estática limita a adaptabilidade quando as distribuições de teste, os modos de falha ou as interações de ferramentas diferem daqueles vistos durante o desenvolvimento.

Os mecanismos de adaptação existentes, como o ajuste fino (fine-tuning) ou o treinamento em tempo de teste, modificam os pesos do modelo, enquanto métodos de autodebugging ou reflexão frequentemente revisam respostas individuais ou armazenam experiências textuais. Buscas de fluxo de trabalho automatizadas geralmente ocorrem antes da implantação. Uma questão fundamental permanece: Pode um agente de LLM se adaptar durante a avaliação unicamente a partir de seus próprios rastros de execução não rotulados, modificando seu harness executável circundante, sem atualizar os pesos do modelo, sem exigir rótulos de ouro (gold labels) ou treinar um modelo de adaptação separado?

Metodologia: Evolução de Harness em Tempo de Teste (TTHE)

O TTHE aborda isso tratando o harness executável como o estado da adaptação em tempo de teste. Em vez de buscar um fluxo de trabalho fixo em dados rotulados, o TTHE move a otimização do harness para dentro do próprio processo de avaliação, operando sobre lotes (batches) de teste não rotulados.

Mecanismo Central

O TTHE mantém uma população de candidatos a harnesses e os refina através de um loop agêntico composto por três papéis instanciados em torno do mesmo LLM congelado:

1. Solver (Solucionador): O agente executando a tarefa dentro do harness atual.
2. Proposers (Propositores): Agentes de codificação agênticos que raciocinam sobre rastros de execução para reescrever o código do harness.
3. Judge (Juiz): Um agente de seleção agêntico que consolida um harness melhorado baseado em sinais derivados da execução.

O Loop de Evolução

Para cada lote de entradas $X_t$ não rotulado:

1. Observação: O harness comprometido atual $H_t$ é executado em $X_t$, gerando rastros de execução detalhados (prompts, chamadas de ferramentas, stdout/stderr, erros, estados de tempo de execução) e sinais de proxy leves.
2. Evolução da População: O TTHE evolui $G$ ramos paralelos ao longo de $R$ rodadas. Em cada rodada, $G$ propositores editam seus respectivos harnesses pais em harnesses filhos. Os propositores leem rastros de outros ramos para contexto, mas editam sua própria linhagem. Isso garante tanto linhagem (persistência de estratégias úteis) quanto diversidade (exploração de diferentes direções de edição, ex: reparo conservador, exploração, adversarial).
3. Seleção: Um juiz inspeciona o conjunto final de harnesses candidatos, seus rastros e sinais de proxy para consolidar um único harness $H_{t+1}$ para o próximo lote.
4. Medição: Os rótulos de ouro são consultados apenas após a seleção para medir a precisão; eles nunca entram no loop de adaptação.

Sinais de Otimização

Como os rótulos de ouro não estão disponíveis durante a adaptação, o TTHE depende de sinais de proxy derivados da execução, que são evidências imperfeitas em vez de oráculos de correção:

• Saúde da Execução: Se a saída é executada sem erros e retorna um resultado bem formado.
• Consistência de Ida e Volta (Round-Trip Consistency): Se a saída pode ser invertida em uma descrição que corresponda ao input (detectando deriva semântica).
• Taxa de Aprovação de Testes Públicos: A fração de exemplos públicos ou testes de repositório passados (evidência incompleta, pois testes ocultos ainda podem falhar).

O sistema evita colapsar esses sinais em um único escalar de recompensa, em vez disso expondo rastros brutos e sinais ao propositor e ao juiz agênticos para evitar o gaming (manipulação) e a repetição sistemática de erros.

Contribuições Principais

1. Formulação da Evolução de Harness em Tempo de Teste: O artigo define um novo paradigma de adaptação onde o harness executável persistente é adaptado durante a avaliação a partir de rastros não rotulados, com os pesos do modelo fixos e os rótulos de ouro isolados para medição pós-seleção.
2. Loop de Geração e Julgamento Baseado em População: Os autores realizam isso como um sistema onde o solver, os propositores e o juiz são diferentes papéis em torno do mesmo LLM congelado, permitindo a adaptação inteiramente através de mudanças no programa circundante.
3. Validação Empírica: O método é demonstrado em cinco domínios fundamentados em execução (Text-to-SQL, programação competitiva, engenharia de software, codificação de ciência de dados e uso de ferramentas agênticas), produzindo políticas inspecionáveis para fundamentação, verificação e reparo.
4. Análise Diagnóstica: O artigo fornece estudos de ablação sobre orçamento de busca, tamanho de lote e backbones de modelos, e realiza auditorias de rastros para caracterizar modos de falha, identificando especificamente o "arrependimento de seleção" (selection regret — bons candidatos não são selecionados) e a cobertura limitada de candidatos.

Resultados

O TTHE foi avaliado em fatias difíceis de cinco benchmarks: BIRD (Text-to-SQL), LiveCodeBench, SWE-bench Verified, DS-1000 e claw-eval (uso de ferramentas agênticas).

• Ganhos de Desempenho: Usando um backbone DeepSeek-v4-flash, o TTHE melhorou significativamente o harness ReAct base:
  • BIRD: 12.0% $\to$ 50.0%
  • LiveCodeBench: 30.0% $\to$ 38.3%
  • SWE-bench Verified: 20.0% $\to$ 35.0%
  • DS-1000: 38.0% $\to$ 44.0%
  • claw-eval: 48.9% $\to$ 69.8% (pontuação média graduada)
• Independência de Modelo: Os ganhos foram consistentes em diferentes backbones (MiMo V2.5, Kimi K2.5), indicando que o loop não está preso a um modelo específico.
• Políticas Emergentes: Os harnesses evoluídos introduziram comportamentos inspecionáveis não presentes no baseline, como fluxos de trabalho de reprodução estrita primeiro, loops de execução-e-autodebug para SQL, e políticas condicionais de verificação-e-reparo para codificação.
• Insights de Ablação:
  • Orçamento de Busca: O desempenho é não-monotônico com o orçamento de busca; linhagens paralelas ($G=3$) superam linhagens únicas ($G=1$) porque evitam a perda de bons candidatos iniciais.
  • Tamanho do Lote: O desempenho atinge o pico com um tamanho de lote moderado ($B=10$), equilibrando a evidência por decisão contra o número de etapas de adaptação.
  • Acumulação: Carregar o harness comprometido através dos lotes gera maior precisão do que resetar para o baseline para cada lote.

Significância e Limitações

O artigo propõe que o TTHE recategoriza a adaptação em tempo de teste para agentes de LLM como evolução sobre programas de controle executáveis. Ele demonstra que melhorias persistentes e inspecionáveis podem ser alcançadas sem atualizações de peso ou rótulos de ouro.

No entanto, os autores identificam gargalos técnicos centrais:

• Confiabilidade do Proxy: A qualidade dos sinais derivados da execução é crítica. O sistema deve otimizar sob evidência incompleta, onde uma consulta pode ser executada com sucesso, mas responder à pergunta errada.
• Confiabilidade do Juiz: Uma parte significativa dos ganhos potenciais é perdida para o "arrependimento de seleção", onde o juiz agêntico compromete um programa plausível, porém incorreto, ou falha em selecionar um candidato melhor do pool. O juiz é mensuravelmente descalibrado, preferindo frequentemente formatos de saída incompatíveis com o benchmark.
• Limites de Cobertura: Mesmo com um oráculo sobre todos os candidatos gerados, algumas tarefas permanecem sem solução, indicando limites intrínsecos na atual cobertura do espaço de busca.

Os autores concluem que, embora o TTHE ofereça um mecanismo prático para adaptar agentes sem alterar os pesos do modelo, a robustez de tal evolução depende fortemente da confiabilidade dos sinais de proxy e do mecanismo de seleção. Trabalhos futuros são necessários para estabelecer a generalização forward via pontuação prequencial e para abordar o gargalo de seleção.