Resumo Técnico: Self-Harness

Declaração do Problema

O desempenho de agentes baseados em Grandes Modelos de Linguagem (LLMs) é determinado não apenas pelos pesos de seu modelo base, mas também pelo seu harness (cabresto/suporte) — a camada de sistema circundante que compreende prompts de sistema, ferramentas, memória, regras de verificação e políticas de tempo de execução. Embora especialistas humanos atualmente projetem esses harnesses, esse paradigma enfrenta problemas de escalabilidade à medida que os LLMs se tornam cada vez mais diversos e evoluem rapidamente. Um harness otimizado para um modelo frequentemente prova ser subótimo para outro devido a padrões comportamentais, hábitos de uso de ferramentas e modos de erro distintos. Abordagens automatizadas existentes frequentemente dependem de agentes externos mais fortes para guiar melhorias, o que é custoso e potencialmente desalinhado com os modos de falha específicos do modelo alvo. O artigo aborda o desafio de permitir que um agente baseado em LLM melhore seu próprio harness operacional sem engenharia humana ou orientação externa.

Metodologia: O Ciclo Self-Harness

Os autores propõem o Self-Harness, um framework de autoaperfeiçoamento iterativo onde um modelo fixo refina seu próprio andaime não paramétrico. O processo opera como um ciclo fechado consistindo de três estágios distintos:

1. Mineração de Fraquezas (Weakness Mining)

O agente, operando sob o harness atual ($h_t$), executa um conjunto de tarefas de uma divisão de treino retida ($D_{in}$). O sistema coleta traços de execução e agrupa traços falhos com base em assinaturas de falha fundamentadas em verificadores.

• Atribuição: Em vez de tratar falhas como eventos isolados, o sistema analisa o traço para identificar a causa terminal ao nível do verificador ($c_i$), o status causal do comportamento do agente ($q_i$) e o mecanismo abstrato do agente ($m_i$).
• Agrupamento (Clustering): As falhas são agrupadas deterministicamente se compartilharem a mesma assinatura, garantindo que a proposta subsequente foque em mecanismos de falha reutilizáveis em vez de sintomas superficiais.
• Saída: Um pacote de evidências ($B_t$) resumindo os padrões de falha dominantes, ordenados por suporte e capacidade de ação.

2. Proposta de Harness (Harness Proposal)

O mesmo modelo fixo ($M$) é invocado em um papel de "proponente", usando o harness atual ($h_t$) e o pacote de evidências ($B_t$) como contexto.

• Restrições: O proponente gera $K$ edições candidatas diversas, porém mínimas ($\Delta_j$). Cada edição deve visar um mecanismo de falha específico e mapear para uma superfície concreta e editável do harness (por exemplo, instruções específicas, políticas de ferramentas ou regras de verificação).
• Diversidade vs. Minimalidade: O sistema incentiva a exploração de diferentes mecanismos de falha ou superfícies de harness entre as propostas, mas impõe que as edições individuais permaneçam direcionadas, evitando reescritas amplas da arquitetura de controle.
• Saída: Um conjunto de variantes de harness candidatas $h^{(j)}_t = \Delta_j(h_t)$, cada uma acompanhada de um registro de auditoria.

3. Validação de Proposta (Proposal Validation)

As edições candidatas passam por testes de regressão rigorosos antes da aceitação.

• Avaliação: Tanto o harness atual ($h_t$) quanto os harnesses candidatos ($h^{(j)}_t$) são avaliados na divisão de treino retida ($D_{in}$) e na divisão de teste (held-out) ($D_{ho}$).
• Regra de Aceitação: Um candidato é promovido apenas se melhorar o desempenho em pelo menos uma divisão sem degradar a outra ($\Delta_{in} \ge 0$, $\Delta_{ho} \ge 0$, e $\max(\Delta_{in}, \Delta_{ho}) > 0$).
• Fusão (Merging): Se múltiplos candidatos passarem, suas edições são fundidas no harness da próxima iteração ($h_{t+1}$). Candidatos rejeitados são registrados, mas não alteram o harness ativo.

Principais Contribuições

1. Paradigma Self-Harness: Um framework inovador que permite a um LLM projetar e refinar seu próprio harness operacional, eliminando a dependência de engenheiros humanos ou agentes externos mais fortes.
2. Ciclo Iterativo Operacionalizado: Uma implementação concreta que transforma evidência comportamental em atualizações de harness específicas do modelo através de um ciclo de mineração de fraquezas, geração de propostas mínimas e testes de regressão rigorosos.
3. Validação Empírica: Demonstração de que o Self-Harness pode evoluir um harness inicial mínimo em configurações específicas para o modelo que superam significativamente a linha de base em diversas famílias de modelos.

Resultados Experimentais

Os autores avaliaram o Self-Harness no Terminal-Bench-2.0 usando três modelos base distintos: MiniMax M2.5, Qwen3.5-35B-A3B e GLM-5. Todos os experimentos começaram a partir de um harness minimalista baseado em DeepAgent.

Ganhos de Desempenho (Taxas de Sucesso na Divisão de Teste):

• MiniMax M2.5: Aumentou de 40,5% para 61,9% (+21,4 pontos percentuais).
• Qwen3.5-35B-A3B: Aumentou de 23,8% para 38,1% (+14,3 pontos percentuais; um aumento relativo de 138%).
• GLM-5: Aumentou de 42,9% para 57,1% (+14,2 pontos percentuais).

Achados Qualitativos:

• Adaptação Específica ao Modelo: O sistema não apenas adicionou instruções genéricas. Em vez disso, produziu mudanças distintas e concretas adaptadas às fraquezas de cada modelo:
  • MiniMax M2.5: Focou em criar arquivos de saída necessários mais cedo, lidar cuidadosamente com saídas estruturadas de ferramentas e interromper loops improdutivos de uso de ferramentas.
  • Qwen3.5: Focou em pré-verificar dependências, evitar comandos repetidos que falharam, quebrar ciclos de exploração e recuperar-se de erros de ferramentas.
  • GLM-5: Focou em preservar configurações de ambiente entre comandos de shell e acelerar a transição da exploração para a implementação.
• Generalização: Melhorias foram observadas em tarefas de teste (held-out), indicando que as edições do harness abordaram mecanismos de execução reutilizáveis em vez de sofrer overfitting a falhas de treinamento específicas.

Significância e Alegações

O artigo afirma que o Self-Harness demonstra um caminho para a autocriação em sistemas de agentes, onde o agente participa da reformulação das próprias restrições que governam seu comportamento.

• Transição de Estado Empírica: Os autores postulam que a melhoria do harness deve ser tratada como uma transição de estado empírica. Uma edição útil deve ser fundamentada em evidência comportamental, especificar o comportamento que altera e ser validada por avaliação não regressiva.
• Escalabilidade: Ao internalizar o ciclo de melhoria, o Self-Harness oferece uma alternativa escalável à engenharia centrada no humano, capaz de se adaptar à rápida evolução e diversidade dos LLMs modernos.
• Limitações: Os autores notam modestamente que o trabalho atual estuda edições limitadas sob benchmarks fixos. O protocolo depende da qualidade dos resultados dos verificadores e dos registros de traço, e mudanças de maior risco exigiriam portões de aceitação mais robustos do que a não-regressão de taxa de sucesso isolada.

O trabalho conclui que, embora o agente não mude seus próprios pesos, ele pode efetivamente "criar a si mesmo" ao refinar iterativamente o harness que mede sua interação com o ambiente.