AutoHarness: improving LLM agents by automatically synthesizing a code harness

O artigo "AutoHarness" demonstra que o modelo de linguagem Gemini-2.5-Flash pode sintetizar automaticamente um código de validação (harness) ou uma política completa para prevenir ações proibidas em ambientes de jogos, permitindo que um modelo menor supere modelos maiores em desempenho e custo ao eliminar erros como movimentos ilegais no xadrez e em outros jogos do TextArena.

O essencial

Imagine que você tem um gênio da lâmpada (um modelo de linguagem de IA, como o Gemini) que é incrivelmente inteligente, sabe contar histórias, resolver equações complexas e escrever poemas lindos. No entanto, quando você pede a esse gênio para jogar xadrez ou damas, ele tem um problema curioso: ele sabe como o jogo funciona na teoria, mas frequentemente tenta fazer movimentos que são ilegais (como mover um cavalo como se fosse uma torre) ou que quebram as regras do jogo.

É como se você tivesse um jogador de xadrez genial, mas que, de vez em quando, esquece como as peças se movem e tenta colocar o rei no lugar do peão. Em um torneio recente, 78% das derrotas desse "gênio" foram por causa desses erros bobos, não por falta de estratégia.

Aqui entra o AutoHarness, a solução apresentada neste artigo.

A Analogia do "Chefe de Obra" e o "Arquiteto"

Pense no modelo de linguagem (o LLM) como um Arquiteto Visionário. Ele tem ótimas ideias, mas é um pouco desastrado com os detalhes práticos e às vezes propõe paredes que não podem ser construídas.

O AutoHarness é como um Chefe de Obra (ou um "harness" de código) que o Arquiteto aprende a escrever sozinho.

1. O Problema: O Arquiteto (IA) tenta construir algo, mas o Chefe de Obra (o ambiente do jogo) diz: "Ei, isso é ilegal! Você não pode colocar uma parede aqui". O Arquiteto tenta de novo, erra de novo, e o jogo acaba.
2. A Solução Tradicional: Antigamente, os humanos tinham que escrever manualmente um manual de regras (o "harness") para cada jogo novo, dizendo ao Arquiteto o que pode e o que não pode fazer. Isso é chato, demorado e caro.
3. A Solução AutoHarness: O próprio Arquiteto (usando um modelo menor e mais rápido, o Gemini-2.5-Flash) começa a escrever o manual de regras para si mesmo.

Como Funciona a Mágica?

O processo é como um jogo de "adivinhação e correção" acelerado:

• Tentativa e Erro: O modelo tenta escrever um código (o manual de regras) que filtra os movimentos.
• O Crítico: O jogo roda, e se o modelo tentar um movimento ilegal, o ambiente grita: "Errado!".
• A Refinagem: O modelo pega esse erro, pensa: "Ah, entendi, esqueci de checar se o peão está bloqueado", e reescreve o código.
• A Árvore de Decisão: O sistema não tenta apenas uma ideia. Ele cria várias "versões" do manual de regras ao mesmo tempo (como se estivesse explorando vários caminhos em uma floresta) e escolhe os melhores para melhorar, usando uma técnica inteligente chamada Thompson Sampling (que equilibra tentar coisas novas e melhorar o que já funciona).

O Resultado Surpreendente

O que os pesquisadores descobriram é incrível:

• O Pequeno Vence o Grande: Eles usaram um modelo de IA menor e mais barato (o "Flash") para criar esse manual de regras perfeito. Depois, esse modelo menor, equipado com seu próprio manual, conseguiu jogar melhor do que um modelo gigante e muito mais caro (o "Pro") que não tinha esse manual.
• 100% de Precisão: Em 145 jogos diferentes (de xadrez a Sudoku), o sistema aprendeu a escrever o código de regras de forma que nenhum movimento ilegal fosse mais feito.
• O Futuro: O Código é a Estratégia: No estágio mais avançado, o modelo não precisa nem mais "pensar" durante o jogo. Ele escreve um programa completo que decide o melhor movimento instantaneamente. É como se o Arquiteto, após aprender as regras, se tornasse um robô perfeito que joga sozinho, sem precisar de um cérebro humano (ou de IA) para cada decisão. Isso torna o jogo super rápido e quase gratuito.

Por que isso importa?

Imagine que, em vez de contratar um consultor caríssimo para ensinar um funcionário a seguir as regras da empresa, o próprio funcionário escreve um guia de procedimentos perfeito para si mesmo, aprendendo com seus próprios erros.

• Economia: Você usa um modelo pequeno e barato para criar a inteligência.
• Confiabilidade: O sistema nunca mais comete erros bobos de "regras".
• Escalabilidade: Funciona para qualquer jogo novo sem precisar que um humano escreva as regras manualmente.

Em resumo, o AutoHarness ensina a IA a criar seu próprio guarda-costas. Esse guarda-costas (o código) garante que a IA nunca faça uma besteira, permitindo que ela foque apenas no que faz de melhor: ser estratégica e inteligente. E o melhor: um modelo pequeno, com esse guarda-costas, vence os gigantes.

Resumo técnico

Título: AutoHarness: Melhorando Agentes LLM através da Síntese Automática de um "Harness" de Código

Autores: Xinghua Lou, Miguel Lázaro-Gredilla, Antoine Dedieu, et al. (Google DeepMind)
Data: Março de 2026 (Preprint)

---

1. O Problema

Apesar dos avanços significativos nos Grandes Modelos de Linguagem (LLMs), quando utilizados como agentes em ambientes interativos (como jogos), eles frequentemente falham ao executar ações que são estritamente proibidas pelo ambiente externo, e não apenas subótimas.

• Exemplo Crítico: No recente campeonato de xadrez "Kaggle GameArena", 78% das derrotas do modelo Gemini-2.5-Flash foram atribuídas a movimentos ilegais, e não a erros estratégicos.
• Causa Raiz: Existe uma desconexão entre a compreensão aparente do modelo sobre as regras do jogo e sua capacidade de segui-las rigorosamente durante a execução.
• Limitações das Soluções Atuais:
  • Ajuste Fino (Fine-tuning): É lento, custoso e pode degradar o desempenho do modelo em outras tarefas (como seguir instruções gerais).
  • Harnesses Manuais: A criação de "harnesses" (códigos de verificação) manualmente é frágil e trabalhosa, exigindo reescrever o código para cada novo jogo.

2. Metodologia

O paper propõe o framework "Code as Harness" (Código como Harness), onde o próprio LLM sintetiza o código que atua como "cola" entre o modelo e a tarefa, garantindo a validade das ações.

Abordagem Principal: Síntese Iterativa com Busca em Árvore

O problema de gerar o harness é formulado como uma busca no espaço de programas.

1. Estrutura de Busca: O sistema mantém múltiplas hipóteses de código em uma estrutura de árvore.
2. Seleção de Nós: Utiliza Amostragem de Thompson (Thompson Sampling) para decidir qual nó (hipótese de código) refinar a seguir. O valor heurístico de cada nó é a precisão média de movimentos legais.
3. Papel do LLM: O LLM atua como um operador de mutação. Ele recebe feedback do ambiente (crítico) sobre se os movimentos anteriores foram legais e qual recompensa geraram, e propõe refinamentos no código.
4. Tipos de Harness Gerados:
   • Harnes como Filtro de Ação: Gera um conjunto de movimentos legais e usa o LLM para ranqueá-los.
   • Harnes como Verificador de Ação (Foco do Artigo): O LLM gera uma ação, o código verifica se é legal (is_legal_action). Se inválido, o processo repete com um novo prompt contendo um aviso de erro.
   • Harnes como Política (Code-as-Policy): O código gera a ação diretamente, sem chamar o LLM no tempo de inferência.

Configuração Experimental

• Ambiente: 145 jogos do TextArena (incluindo Xadrez, Damas, Sudoku, etc.), excluindo jogos de diálogo livre.
• Desafio Adicional: As dicas de "movimentos disponíveis" foram removidas das observações do jogo para forçar o agente a deduzir as regras a partir do feedback do ambiente.
• Treinamento: O modelo Gemini-2.5-Flash foi usado para gerar o código. O processo de treinamento termina quando a taxa de sucesso de movimentos legais atinge 100% ou ocorre um timeout.

3. Contribuições Chave

1. Síntese Automática de Harness: Demonstra que um LLM menor pode escrever seu próprio código de verificação de regras, eliminando a necessidade de engenharia manual para cada novo ambiente.
2. Superação de Modelos Maiores: Um modelo menor (Gemini-2.5-Flash) equipado com um harness sintetizado supera modelos maiores (Gemini-2.5-Pro) em tarefas de jogo.
3. Eliminação do LLM na Inferência (Code-as-Policy): A técnica permite gerar políticas inteiras em código Python. Uma vez treinado, o agente executa apenas código, removendo o custo e a latência de chamadas ao LLM durante o jogo.
4. Robustez: O método alcança 100% de taxa de movimentos legais em todos os 145 jogos testados.

4. Resultados Experimentais

Desempenho em Jogos de 2 Jogadores (2P)

• Comparação: Gemini-2.5-Flash + Harness vs. Gemini-2.5-Pro (modelo maior).
• Resultado: O modelo menor com o harness venceu 9 de 16 jogos (taxa de vitória global de 56,3%), enquanto o modelo maior venceu apenas 38,2%.
• Contra o próprio Flash: O sistema com harness venceu 12/16 jogos contra o Gemini-2.5-Flash puro (64,8% de vitória).

Desempenho em Jogos de 1 Jogador (1P)

• Métrica: Recompensa média.
• Resultado: O Gemini-2.5-Flash + Harness obteve uma recompensa média de 0,745, superando o Gemini-2.5-Pro (0,707) e o Gemini-2.5-Flash puro (0,673).
• Vantagem em 8/16 jogos: O método proposto teve desempenho estritamente superior ao modelo Pro.

Política como Código (Harness-as-Policy)

• O sistema foi capaz de gerar uma política completa em código para 16 jogos de 1 jogador.
• Desempenho: A política gerada obteve a maior recompensa média (0,870), superando:
  • GPT-5.2-High (0,844)
  • Gemini-2.5-Pro (0,707)
  • GPT-5.2 (0,635)
• Eficiência de Custo: O custo de inferência para a política gerada é praticamente zero (apenas execução de Python), enquanto os experimentos com GPT-5.2 custaram aproximadamente $640.

5. Significado e Conclusão

O AutoHarness demonstra que a capacidade de um agente não depende apenas da "inteligência bruta" do modelo base, mas da arquitetura do sistema que o envolve. Ao permitir que um modelo menor sintetize um código de verificação e controle robusto, é possível:

1. Corrigir falhas de conformidade (movimentos ilegais) de forma automática e escalável.
2. Reduzir custos drasticamente, substituindo chamadas repetitivas a LLMs caros por execução de código leve.
3. Superar modelos maiores, provando que a engenharia de sistemas (o "harness") pode ser mais impactante do que simplesmente aumentar o tamanho do modelo.

O trabalho aponta para um futuro onde agentes são recursivamente auto-aperfeiçoáveis, onde o modelo aprende a criar suas próprias ferramentas de verificação e, eventualmente, suas próprias políticas de decisão, distilando especialistas de domínio específicos de volta no modelo base.