💻 computer science

ReCreate: Reasoning and Creating Domain Agents Driven by Experience

O artigo apresenta o ReCreate, um framework baseado em experiência que gera e adapta automaticamente agentes específicos de domínio, aproveitando históricos de interação por meio de um paradigma de agente como otimizador, superando tanto métodos projetados por humanos quanto métodos automatizados existentes.

Autores originais: Zhezheng Hao, Hong Wang, Jian Luo, Jianqing Zhang, Yuyan Zhou, Qiang Lin, Can Wang, Hande Dong, Jiawei Chen

Publicado 2026-04-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhezheng Hao, Hong Wang, Jian Luo, Jianqing Zhang, Yuyan Zhou, Qiang Lin, Can Wang, Hande Dong, Jiawei Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: Construir Robôs é Trabalho Pesado

Imagine que você quer construir um robô especializado para consertar carros quebrados, outro para assar bolos perfeitos e um terceiro para resolver quebra-cabeças de matemática. Atualmente, toda vez que você deseja um novo robô para uma nova tarefa, um especialista humano precisa sentar e escrever um manual de instruções muito detalhado (chamado de "andaime") para ele. Eles precisam dizer ao robô exatamente como pensar, quais ferramentas usar e quais etapas seguir.

Isso é lento, caro e difícil de escalar. Se você quiser um robô para 100 trabalhos diferentes, precisará de 100 manuais escritos por humanos.

O Jeito Antigo: Adivinhar e Verificar

Alguns pesquisadores tentaram automatizar isso. Eles construíram um "meta-robô" que tenta escrever esses manuais. Mas o método antigo era como jogar um jogo de "Quente ou Frio".

O meta-robô escreve um manual.
Ele testa o robô.
Ele recebe uma pontuação (por exemplo: "Você acertou 60%").
A pontuação é o único feedback. Ela não diz por que o robô falhou. Foi a ferramenta errada? Ele esqueceu uma etapa? Ele olhou para o arquivo errado?

Como o meta-robô não sabia por que falhou, ele tinha que adivinhar às cegas, tentando milhões de mudanças aleatórias até ter sorte. Isso consumia muita potência de computador e dinheiro.

O Jeito Novo: ReCreate (O Mecânico "Orientado por Experiência")

Os autores deste artigo propõem o ReCreate. Em vez de olhar apenas para a pontuação final, o ReCreate age como um mecânico mestre que observa o robô trabalhando, vê exatamente onde ele tropeçou e corrige o manual com base nessa evidência.

Pense nisso assim:

Jeito Antigo: Você faz uma prova, tira um "C", e o professor apenas diz: "Tente mais da próxima vez". Você não sabe quais questões errou ou por que.
ReCreate: Você faz uma prova, tira um "C", e o professor pega a gravação em vídeo de você fazendo a prova. Eles apontam o momento específico em que você ficou confuso, dizem: "Ah, você não leu as instruções com cuidado", e então reescrevem o manual de instruções para prevenir aquele erro específico na próxima vez.

Como o ReCreate Funciona (As Três Ferramentas Mágicas)

O ReCreate usa um "Agente Otimizador" especial (uma IA superinteligente) que passa por três etapas para melhorar o manual do robô:

1. O Detetive (Armazenamento e Recuperação de Experiência)
Quando um robô falha, o ReCreate não apenas descarta a tentativa. Ele salva o "filme" inteiro do que aconteceu: o que o robô pensou, em quais ferramentas clicou e onde ficou preso.

Analogia: Imagine um detetive que não olha apenas para a cena do crime, mas tem acesso ao diário inteiro do suspeito, registros de telefone e filmagens de segurança. Quando o robô falha, o ReCreate pesquisa esse "diário" para encontrar o momento exato em que as coisas deram errado.

2. O Editor (Sinergia entre Raciocínio e Criação)
Uma vez que o Detetive encontra o problema, o Editor entra em ação. Ele lê as evidências e decide como corrigir o manual.

Analogia: Se o robô continuasse esquecendo de verificar se um arquivo estava vazio, o Editor não apenas diz "seja melhor". Ele adiciona uma nova regra específica ao manual: "Sempre verifique se o arquivo está vazio antes de abri-lo". Ou, se o robô continuasse fazendo a mesma matemática chata repetidamente, o Editor escreve uma nova "ferramenta" (um script) para fazer essa matemática automaticamente.

3. O Professor (Atualizações Hierárquicas)
Esta é a parte mais importante. Às vezes, um robô aprende um truque que funciona apenas para um quebra-cabeça específico. O ReCreate garante que o robô não fique "preso" naquele único truque. Ele observa muitas falhas diferentes e pergunta: "Isso é um erro único ou é um padrão?"

Analogia: Se um aluno reprovar em uma prova de matemática porque esqueceu de fazer a conta de "vai um", o professor não apenas diz para ele "se sair melhor naquela prova". O professor percebe que o aluno tem um padrão de esquecer de fazer a conta de "vai um" e atualiza todo o guia de estudos do aluno para incluir uma regra permanente sobre fazer a conta de "vai um". O ReCreate transforma correções específicas em regras gerais que funcionam para todo o domínio.

Os Resultados: De Semente a Mestre

O artigo testou o ReCreate em quatro mundos diferentes:

Engenharia de Software: Corrigindo bugs em código (como no GitHub).
Ciência de Dados: Limpando dados e criando gráficos.
Matemática: Resolvendo problemas matemáticos complexos.
Assistência Digital: Gerenciando aplicativos e tarefas digitais.

Eles começaram com um manual "semente" que era muito básico — quase vazio.

O Resultado: O ReCreate levou esses manuais minúsculos e fracos e os evoluiu para agentes poderosos e especializados.
A Pontuação: Em quase todos os testes, os agentes criados pelo ReCreate tiveram um desempenho melhor do que agentes projetados por especialistas humanos. Eles também tiveram um desempenho melhor do que outros métodos de IA que tentavam construir agentes automaticamente.

Por Que Isso Importa (Segundo o Artigo)

O artigo afirma que, ao permitir que a IA aprenda com sua própria "experiência" (os registros detalhados do que ela fez) em vez de apenas uma pontuação final, podemos construir automaticamente robôs especializados para qualquer trabalho. É mais barato, mais rápido e cria agentes mais inteligentes do que os antigos métodos de "adivinhar e verificar".

Em resumo: O ReCreate é um sistema que ensina agentes de IA mostrando-lhes seus próprios erros em detalhes e, em seguida, reescrevendo seus manuais de instruções para garantir que eles nunca cometam os mesmos erros novamente. Ele transforma uma "caixa preta" de tentativa e erro em uma "caixa branca" de melhoria clara e lógica.

1. Definição do Problema

O artigo aborda o desafio da Criação de Agentes de Domínio: a construção automática de agentes especializados em LLM para domínios específicos do mundo real (por exemplo, engenharia de software, ciência de dados, matemática) a partir de informações mínimas de semente.

Limitação Atual: A maioria dos agentes práticos é projetada manualmente por humanos. Isso é intensivo em mão de obra e difícil de escalar, pois diferentes domínios exigem conhecimentos, priors e fluxos de trabalho distintos.
Limitações da Automação Existente: Métodos recentes de geração automática de agentes (por exemplo, ADAS, AgentSquare) tratam a criação de agentes como um problema de otimização de caixa preta. Eles dependem exclusivamente de métricas de desempenho final (por exemplo, taxas de aprovação/reprovação) para orientar as atualizações.
- Cegueira: Eles carecem de insight sobre por que um agente falhou, levando a uma tentativa e erro ineficiente.
- Custo: Eles exigem avaliações em grande escala para cada andaime candidato, resultando em altos custos computacionais e financeiros.
- Sobreajuste: Eles frequentemente lutam para generalizar a partir de instâncias específicas de tarefas para padrões de domínio mais amplos.

2. Metodologia: O Framework ReCreate

O ReCreate propõe um paradigma de otimização baseado em experiência e caixa branca. Em vez de depender de pontuações escalares, ele aproveita a experiência de interação completa (trajetórias de execução, estados do ambiente, logs e resultados de avaliação) para refinar iterativamente os andaimes dos agentes.

Design Central: Agente como Otimizador

O ReCreate introduz um design de Agente como Otimizador, onde um "ReCreate-Agent" (um meta-agente) atua como um engenheiro autônomo. Ele inspeciona o histórico de execução de um agente de tarefa, diagnostica falhas e edita o andaime do agente. O framework consiste em três componentes-chave:

Mecanismo de Armazenamento e Recuperação de Experiência:
- Armazena episódios completos de interação (trajetórias, saídas de execução, logs de avaliação e contexto do ambiente, como bases de código).
- Utiliza um recuperador de evidências para indexar eventos críticos (erros, testes falhos). Isso permite que o ReCreate-Agent pule diretamente para o contexto relevante, em vez de processar logs massivos linearmente, permitindo inspeção sob demanda.
Pipeline de Sinergia Raciocínio-Criação:
- Raciocínio (Inspeção): O ReCreate-Agent analisa as evidências recuperadas para determinar a causa raiz do sucesso ou fracasso (por exemplo, etapas de validação ausentes, uso ineficiente de ferramentas, ordem incorreta do fluxo de trabalho).
- Criação (Modificação): Com base no diagnóstico, o agente decide qual componente do andaime editar. O andaime é decomposto em quatro módulos editáveis:
  - Função e Objeto: Instruções do sistema e priors de domínio.
  - Processo e Estratégia: Fluxos de raciocínio e critérios de terminação.
  - Ação e Ferramenta: Ferramentas e scripts disponíveis.
  - Memória e Recuperação: Estratégias de gerenciamento de memória.
- Um Roteador de Criação guia o agente a selecionar a edição apropriada (por exemplo, "Adicionar uma regra", "Criar uma nova ferramenta", "Modificar o fluxo de trabalho") fundamentada em evidências específicas.
Atualizações Hierárquicas do Local ao Domínio:
- Nível de Instância: O agente gera atualizações candidatas ( $\Delta A$ ) para tarefas específicas, acompanhadas de justificativas. Estas são armazenadas em buffer em vez de serem aplicadas imediatamente.
- Nível de Domínio: Uma etapa de síntese agrega essas propostas de nível de instância para extrair padrões de domínio reutilizáveis. Isso filtra o ruído específico da tarefa e previne o sobreajuste, garantindo que o andaime final generalize em todo o domínio.

Fluxo de Trabalho (Algoritmo 1)

Inicializar um andaime mínimo ( $A_0$ ) a partir de informações do domínio ( $I$ ).
Executar o agente em um lote de tarefas de desenvolvimento.
Coletar experiência de interação ( $\tau$ , resultados de execução, resultados de avaliação).
O ReCreate-Agent inspeciona falhas/sucessos e propõe atualizações locais.
As atualizações locais são sintetizadas em uma atualização global de domínio.
Repetir até a convergência ou máximo de iterações.

3. Contribuições Principais

Framework ReCreate: Um framework inovador que desloca a criação de agentes da otimização de métricas de caixa preta para o raciocínio baseado em experiência e caixa branca.
Paradigma Agente como Otimizador: Um design que permite que um LLM depure e evolua outros agentes autonomamente, interpretando rastros de execução e estados do ambiente, em vez de apenas otimizar prompts.
Avaliação Abrangente: Demonstrou desempenho superior em 13 benchmarks em 4 domínios (Engenharia de Software, Ciência de Dados, Matemática, Assistência Digital), superando tanto agentes projetados por humanos quanto métodos existentes de geração automática.

4. Resultados Experimentais

Os autores avaliaram o ReCreate usando gpt-5-mini como agente de tarefa e claude-4.5-opus como ReCreate-Agent.

Ganhos de Desempenho:
- O ReCreate superou consistentemente andaimes projetados por humanos e baselines de autoevolução (por exemplo, LIVE, OPRO, ExpeL) em todos os domínios.
- Melhoria Média: +6,55% sobre o segundo colocado em Engenharia de Software (SWE), +6,60% em Ciência de Dados (DS), +4,01% em Matemática e +2,63% em Assistência Digital.
- Comparação com Métodos de Geração: Superou métodos de geração automática (ADAS, AgentSquare) em média de 7%, destacando o valor de usar experiência de interação rica em vez de pontuações escalares.
Eficiência de Custo:
- O ReCreate reduziu os custos de otimização em 36% a 82% em comparação com o ADAS. Isso é alcançado convergindo mais rápido usando sinais ricos da experiência de interação, exigindo menos iterações e um conjunto de desenvolvimento menor (apenas ~20 amostras).
Estudos de Ablação:
- Componentes de Experiência: A remoção de trajetórias completas causou a maior queda de desempenho, provando que rastros de raciocínio passo a passo são cruciais para o diagnóstico.
- Capacidade de Raciocínio: O uso de um ReCreate-Agent mais fraco (gpt-5-mini) falhou em superar designs humanos na maioria dos domínios, indicando que capacidades de raciocínio fortes são essenciais para interpretar a experiência e gerar edições eficazes.
- Atualizações Hierárquicas: A remoção da síntese de nível de domínio (DOMUPD) levou ao sobreajuste e menor generalização.

5. Significado e Implicações

Automação da Expertise: O ReCreate demonstra que LLMs podem automatizar o processo intensivo em mão de obra de projetar andaimes de agentes especializados, potencialmente substituindo especialistas humanos na criação de fluxos de trabalho específicos de domínio.
Mudança no Paradigma de Otimização: Desloca o campo da "Otimização por Prompting" (estática, linear) para "Otimização por Fazer" (dinâmica, loops de inspecionar-raciocinar-otimizar).
Generalizabilidade: O framework é agnóstico ao domínio. Ele criou com sucesso agentes especializados para engenharia de software (corrigindo problemas do GitHub), ciência de dados (gerando código) e problemas de matemática a partir de sementes mínimas.
Escalabilidade: Ao aproveitar atualizações baseadas em experiência, o ReCreate oferece um caminho escalável para construir agentes robustos para cenários de mundo aberto onde a engenharia manual é inviável.

Em conclusão, o ReCreate estabelece que a experiência de interação é um sinal mais rico e eficaz para a criação de agentes do que métricas de desempenho isoladas, permitindo a síntese automática de agentes especializados de alto desempenho que rivalizam ou superam soluções projetadas por humanos.