🤖 machine learning

DREvo: Distilling Recalibrated Historical Experience for Harness Self-Evolution

DREvo é um novo método de autoevolução de harness que aborda a instabilidade das abordagens existentes ao recalibrar dinamicamente a experiência histórica e destilar direções de busca acionáveis, alcançando assim um desempenho superior e trajetórias de evolução mais suaves em benchmarks de raciocínio e de agentes sob orçamentos limitados.

Autores originais: Hanghui Guo, Weijie Shi, Zhangze Chen, Shengxiang Xu, Yishu Wang, Yimei Zhang, Wangze Ni, Jia Zhu, Shimin Di

Publicado 2026-07-30

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hanghui Guo, Weijie Shi, Zhangze Chen, Shengxiang Xu, Yishu Wang, Yimei Zhang, Wangze Ni, Jia Zhu, Shimin Di

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a resolver um quebra-cabeça. Você dá ao robô um cérebro (um Grande Modelo de Linguagem), mas o céreção precisa de um corpo e de um conjunto de regras para realmente realizar o trabalho. Essa configuração de "corpo e regras" é chamada de harness (arnês ou estrutura). Pense no harness como o sistema operacional do robô: ele decide como o robô procura informações, como usa ferramentas como uma calculadora ou um editor de código, e como ele se lembra do que acabou de fazer. Se o harness for bagunçado ou confuso, até o cérebro mais inteligente tropeçará.

Por muito tempo, construir um bom harness foi como tentar ajustar um carro de corrida manualmente. Especialistas tinham que adivinhar o que estava errado, ajustar alguns fios, testar e torcer para que desse certo. Mas recentemente, cientistas descobriram que os próprios robôs poderiam ajudar a consertar seus corpos. Eles podiam tentar uma mudança, ver se funcionava, lembrar o resultado e tentar novamente. Isso é chamado de autoevolução. A ideia é que, se o robô mantiver um diário de todas as suas tentativas passadas, ele pode aprender com seus erros e melhorar ao longo do tempo. Mas aqui está o problema: só porque o robô tem um diário, não significa que ele saiba lê-lo. Às vezes, um truque que funcionou ontem pode ser um desastre hoje porque a situação do robô mudou. Este artigo pergunta: Como garantimos que o robô aprenda as lições certas de seu histórico sem se confundir com conselhos antigos e desatualizados?

O Problema: O Diário Confuso do Robô

Imagine que você está treinando um cachorro para buscar uma bola. Você joga a bola, o cachorro corre e, às vezes, ele a pega, às vezes ele a deixa cair. Você anota cada tentativa em um caderno. Agora, imagine que o cachorro ganha uma nova coleira, ou o vento começa a soprar de forma diferente, ou você troca uma bola de tênis por um brinquedo que faz barulho. Se você apenas olhar para o seu caderno e disser: "Da última vez o cachorro deixou a bola cair quando correu para a esquerda, então ele deve sempre correr para a direita", você pode estar errado. Essa lição antiga pode não se aplicar à nova situação.

É exatamente isso que acontece com agentes de IA. Pesquisadores descobriram que, quando os robôs tentam melhorar seu próprio "harness" olhando para todo o seu histórico de tentativas, eles frequentemente ficam presos em um loop. Eles podem tentar um ajuste, ver que falhou, tentar outra coisa, ver que falhou novamente e, de repente, voltar a um método que falhou semanas atrás. O desempenho deles sobe e desce como uma montanha-russa em vez de subir suavemente uma colina. Os pesquisadores perceberam que os robôs sofriam de dois problemas principais:

O Problema do "Isso ainda é verdade?": O robô não verificava se suas lições antigas ainda eram válidas. Ele tratava cada sucesso ou falha passada como se estivesse acontecendo agora, mesmo que o código do robô tivesse mudado.
O Problema do "O que eu faço agora?": Mesmo que o robô lembrasse de uma lição, ele não sabia exatamente qual parte de seu corpo deveria consertar ou como consertá-la. Era como ser instruído: "Você deixou a bola cair", sem ser instruído: "Você precisa apertar sua pegada".

A Solução: DREvo (O Bibliotecário Inteligente)

Para resolver isso, os autores criaram um novo método chamado DREvo. Você pode pensar no DREvo como um bibliotecário superorganizado que gerencia o diário do robô. Em vez de apenas entregar ao robô uma pilha de papéis, o DREvo organiza as informações, verifica se elas ainda são relevantes e dá ao robô uma instrução clara e específica sobre o que fazer a seguir.

O DREvo faz isso em três etapas divertidas:

1. O "Criador de Etiquetas" (Ancoragem de Evidência em Nível de Função)
No modo antigo, o diário do robô era um bloco gigante e bagunçado de texto. O DREvo corta esse bloco em pedaços minúsculos e rotulados. Ele observa cada mudança que o robô fez e a associa a uma "função" específica (como uma ferramenta ou regra de memória específica). É como pegar um livro de receitas bagunçado e rotular cada mudança de ingrediente exatamente para a etapa à qual pertence. Dessa forma, quando o robô quer aprender, ele sabe exatamente de qual parte de seu corpo a lição passada está falando.

2. O "Verificador de Atualidade" (Recalibração de Evidência Dependente de Estado)
Esta é a parte mais importante. Antes de o robô usar uma lição antiga, o DREvo faz duas perguntas: "Esta lição ainda é confiável?" e "Esta lição se ajusta ao corpo atual do robô?".

Confiabilidade: Esta lição funcionou todas as vezes que foi usada antes, ou foi apenas um palpite sortudo?
Atualidade: O código do robô ainda é semelhante ao de quando esta lição foi aprendida? Se o robô mudou sua "pegada" (sua estrutura de código), uma lição antiga sobre como agarrar pode não funcionar mais.
O DREvo atribui uma "pontuação" a cada lição. Se uma lição é antiga ou o robô mudou demais, a pontuação cai e o robô a ignora. Se a lição é recente e confiável, a pontuação permanece alta.

3. O "Apito do Treinador" (Destilação de Intenção de Busca Condicionada por Função)
Finalmente, o DREvo não dá apenas uma lista de fatos ao robô; ele dá um plano de jogo. Com base nas lições de alta pontuação, o DREvo atribui ao robô um "papel" específico para a próxima tentativa:

Exploit (Explorar/Aproveitar): "Este truque funcionou muito bem antes! Faça de novo!"
Avoid (Evitar): "Este truque causou um erro da última vez! Não faça isso!"
Retest (Retestar): "Não temos certeza sobre este. Vamos tentar cuidadosamente para ver se funciona agora."
Explore (Explorar/Descobrir): "Não temos boas pistas. Vamos tentar algo completamente novo."
Isso transforma o sentimento vago do robô de "Eu preciso melhorar" em um comando claro e acionável como: "Vá consertar a ferramenta de memória usando a estratégia de 'Exploit'".

O Que Eles Descobriram

Os pesquisadores testaram o DREvo em cinco desafios diferentes, variando desde a resolução de quebra-cabeças de química e diagnóstico de sintomas médicos até o conserto de código de computador e navegação em um terminal virtual. Eles o compararam com outros robôs que tentavam evoluir a si mesmos e com robôs com harnesses projetados por humanos.

Os resultados foram bastante promissores. Sob um orçamento limitado de tentativas (ou seja, eles não deixaram o robô praticar para sempre), o DREvo encontrou os melhores harnesses em todas as categorias.

Em tarefas de diagnóstico médico, o DREvo alcançou 89,2% de precisão, superando o segundo melhor método em 2,4 pontos percentuais.
Em raciocínio jurídico, atingiu 49,0%, superando o próximo melhor em 4,0 pontos percentuais.
Na previsão de reações químicas, obteve 25,0%, o que é 9,0 pontos percentuais superior ao segundo colocado.
Para tarefas de agentes (como consertar código ou usar um terminal de computador), o DREvo melhorou o desempenho em uma média de 16,2% em tarefas de raciocínio e 13,8% em tarefas de agentes em comparação com os outros métodos.

Talvez o mais importante seja que os pesquisadores notaram que o progresso do DREvo foi suave. Enquanto os escores de outros robôs subiam e desciam drasticamente (regressão e recuperação), a precisão do DREvo subia constantemente. Ele também conseguiu manter seu "espaço de pensamento" (contexto) pequeno, em torno de 2,9K tokens, enquanto outros métodos precisavam de mais de 5,3K tokens e ainda assim performavam pior.

A Conclusão

O artigo sugere que simplesmente dar a um robô um histórico de suas tentativas passadas não é suficiente. Para realmente aprender, o robô precisa de um sistema que possa verificar se as lições antigas ainda se aplicam e traduzir essas lições em instruções claras e específicas. O DREvo atua como esse sistema, transformando um histórico bagunçado de tentativa e erro em um caminho suave e confiável de melhoria. Ele mostra que, ao sermos inteligentes sobre como usamos nossas experiências passadas, podemos ajudar os agentes de IA a evoluir de forma muito mais rápida e confiável, mesmo quando não temos tempo ilimitado para deixá-los praticar.

Resumo Técnico: DREvo – Destilando Experiência Histórica Recalibrada para a Autoevolução de Harness

Declaração do Problema

O desempenho de agentes de Grandes Modelos de Linguagem (LLMs) depende fortemente de seu framework de execução externo, conhecido como harness, que governa a construção de contexto, gerenciamento de memória, invocação de ferramentas e análise de saída. Embora o design manual de um harness seja eficaz, ele é trabalhoso e difícil de escalar à medida que as tarefas e as interações entre componentes se tornam mais complexas. Consequentemente, a pesquisa voltou-se para a autoevolução de harness, onde LLMs propõem, avaliam e melhoram iterativamente os harnesses utilizando a experiência de tentativas históricas.

No entanto, os métodos existentes de autoevolução baseados em histórico (ex: Meta-harness, AHE, ACE) sofrem de trajetórias de evolução não estacionárias. Apesar de acumularem experiência histórica, a precisão frequentemente flutua significativamente em vez de melhorar de forma constante. Os autores identificam duas limitações fundamentais na forma como os métodos atuais utilizam os dados históricos:

Falta de Reavaliação Dinâmica ("O que ainda é válido?"): A evidência histórica é dependente do estado. Uma modificação que foi eficaz em um estado de harness anterior pode se tornar inválida ou prejudicial conforme o harness evolui, mas os métodos existentes tratam os registros passados como estaticamente válidos.
Falta de Direção de Busca Explícita ("Para onde evoluir a seguir?"): A experiência histórica é frequentemente apresentada como logs brutos ou resumos. Os métodos existentes dependem do raciocínio implícito do proponente para decidir qual componente modificar e como, levando a direções de busca instáveis e ao uso ineficiente de orçamentos de evolução limitados.

Metodologia: O Framework DREvo

Para abordar essas limitações, os autores propõem o DREvo (Distilling Recalibrated Historical Experience), um método de autoevolução que transforma logs de tentativas brutos em orientação acionável e consciente do estado. O framework consiste em três componentes sequenciais:

1. Ancoragem de Evidência ao Nível de Função

Os logs de tentativas brutos são heterogêneos, misturando mudanças de código, trajetórias de execução e feedback. O DREvo analisa esses logs para criar unidades de evidência ancoradas em funções.

Mecanismo: Ele mapeia diffs de código (mudanças entre $h_{t-1}$ e $h_t$ ) para componentes funcionais específicos (ex: uso de ferramentas, gerenciamento de memória) com base em limites de intervalos de origem.
Saída: Cada unidade de evidência $e_{t,c}$ vincula um componente específico $c$ , sua mudança de código $\delta_{t,c}$ e o resultado observado (estatísticas globais, resultados de tarefas, padrões de falha).
Atribuição: Isso localiza o feedback em componentes específicos, permitindo uma atribuição mais precisa de sucesso ou falha.

2. Recalibração de Evidência Dependente de Estado

Antes de reutilizar a evidência histórica, o DREvo recalibra dinamicamente sua validade com base no estado atual do harness. Ele computa um peso calibrado $w_e$ para cada unidade de evidência baseado em dois fatores:

Confiabilidade Histórica ( $r_t(e)$ ): Mede consistência e atualidade.
- Consistência de Resultado: A fração de invocações passadas onde a polaridade do resultado (sucesso/falha) coincidiu com a polaridade da evidência atual, ponderada pela magnitude da mudança de desempenho.
- Atualidade (Freshness): Um fator de decaimento baseado no tempo desde que a evidência foi usada ou criada pela última vez.
Compatibilidade Estrutural ( $q_t(e)$ ): Mede se a implementação do componente associada à evidência permanece estruturalmente semelhante ao componente atual. Isso é calculado usando a Distância de Edição de Árvore (TED) em Árvores de Sintaxe Abstrata (ASTs), normalizando detalhes lexicais, mas preservando o fluxo de controle e a lógica.
Calibração: O peso final é a média harmônica de confiabilidade e compatibilidade, garantindo que a evidência só seja confiável se for tanto historicamente consistente quanto estruturalmente relevante.

3. Destilação de Intenção de Busca Condicionada por Papel

Em vez de alimentar a evidência bruta ao proponente, o DREvo destila a evidência calibrada em uma intenção de busca explícita ( $s_t$ ) que especifica o que fazer e onde procurar.

Particionamento de Evidência: A evidência recuperada é categorizada em três conjuntos baseados em peso e polaridade: Positiva Confiável ( $X_t$ ), Negativa Confiável ( $A_t$ ) e Baixa Confiança ( $T_t$ ).
Ativação de Papel: Com base nesses conjuntos, um papel de busca é ativado:
- Explorar (Exploit): Se houver evidência positiva confiável, o proponente é guiado para herdar ou refinar essas modificações.
- Evitar (Avoid): Se houver evidência negativa confiável, o proponente é guiado para evitar modificações prejudiciais específicas.
- Retestar (Retest): Se houver apenas evidências de baixa confiança, o proponente é guiado para reavaliar essas direções sob o estado atual.
- Explorar (Explore): Se não houver evidência relevante ou se os retestes anteriores falharem, o proponente tem permissão para explorar livremente novas direções baseadas nos padrões de falha atuais.
Destilação: O papel ativado e os padrões de falha atuais são destilados em um prompt estruturado ( $s_t$ ) que direciona explicitamente o proponente a um componente alvo e uma direção de modificação.

Principais Contribuições

Identificação do Problema: O artigo identifica a flutuação de desempenho na autoevolução de harness como um desafio de confiabilidade enraizado na falha de reavaliar dinamicamente a validade histórica e na falta de políticas de busca explícitas.
Framework DREvo: Um método inovador que ancora evidências em funções, recalibra a validade com base na compatibilidade de estado e consistência histórica, e destila isso em intenções de busca condicionadas por papel.
Validação Empírica: Experimentos extensos demonstrando trajetórias de evolução mais suaves e desempenho superior em diversos benchmarks.

Resultados Experimentais

Os autores avaliaram o DREvo em cinco benchmarks: três tarefas de Raciocínio de Domínio (USPTO, Symptom2Disease, Law) e duas Tarefas Agênticas (Terminal-Bench 2.0, SWE-Bench Verified).

Desempenho Geral: O DREvo alcançou a maior precisão em todos os cinco benchmarks sob orçamentos de evolução limitados (20 iterações para raciocínio, 10 para tarefas agênticas).
- Raciocínio de Domínio: Ganhos médios de 16,2% sobre os baselines. Especificamente, melhorou o USPTO em 9,0%, o S2D em 2,4% e o Law em 4,0% em relação aos segundos melhores métodos.
- Tarefas Agênticas: Ganhos médios de 13,8% sobre os baselines. Notavelmente, no SWE-Bench Verified, o DREvo evoluiu um harness inicial orientado a terminal para um harness competitivo de reparo de código sem engenharia específica de tarefa manual.
Trajetória de Evolução: Ao contrário dos baselines (ex: Meta-harness), que mostraram grandes oscilações de precisão e inflação de contexto, o DREvo exibiu curvas de melhoria mais suaves e manteve um tamanho de contexto limitado (~2,9K tokens).
Robustez: Sob deriva controlada do estado do componente (simulando mudanças no código do harness), o DREvo melhorou o desempenho em 11 de 16 configurações, enquanto o "uso cego" de evidências (sem recalibração) diminuiu o desempenho na maioria dos casos.
Estudos de Ablação: Remover qualquer um dos três componentes (Ancoragem, Recalibração, Destilação) resultou em quedas de desempenho, confirmando seus papéis complementares.

Significância e Alegações

O artigo afirma que o DREvo aborda a instabilidade fundamental da busca baseada em histórico na autoevolução de harness. Ao passar do uso estático e implícito do histórico para uma orientação dinâmica, explícita e consciente do estado, o DREvo permite a descoberta confiável de harnesses de alto desempenho dentro de orçamentos computacionais limitados. Os autores enfatizam que seus ganhos derivam da qualidade da orientação de busca (recalibração e destilação) e não simplesmente de expor o proponente a mais dados históricos ou compressão de contexto. O trabalho sugere que a futura evolução de harness requer mecanismos para validar continuamente a aplicabilidade das experiências passadas conforme o estado do sistema evolui.