🤖 machine learning

CalibForge: Adversarial Solver Calibration for Scaling Learnable Terminal Tasks

Este artigo apresenta o CalibForge, um sistema autônomo que sintetiza tarefas de treinamento de terminal eficazes ao utilizar a calibração de solver adversária para identificar uma "zona de aprendizado" onde as tarefas são solucionáveis, porém desafiadoras, resultando em ganhos de desempenho significativos em múltiplos benchmarks de agentes em comparação com métodos tradicionais de curadoria de dados.

Autores originais: Fanzhe Meng, Guoxin Chen, Jiale Zhao, Shuang Sun, Zhiyu Lin, Wayne Xin Zhao, Ruihua Song, Ji-Rong Wen, Kai Jia

Publicado 2026-08-07

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Fanzhe Meng, Guoxin Chen, Jiale Zhao, Shuang Sun, Zhiyu Lin, Wayne Xin Zhao, Ruihua Song, Ji-Rong Wen, Kai Jia

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a consertar coisas em uma oficina digital. Você lhe dá uma caixa de ferramentas e uma lista de tarefas, mas há um porém: se o trabalho for muito fácil, o robô fica entediado e não aprende nada; se for muito difícil, o robô desiste imediatamente e também não aprende nada. O ponto ideal para o aprendizado é um desafio "Goldilocks" (o ponto ideal) — algo que o robô consiga resolver se realmente pensar com afinco, mas que ele falhará em resolver se estiver desatento ou confuso. Este é o cerne do quebra-cabeça de treinar agentes de IA: como criar uma biblioteca massiva de tarefas que sejam perfeitamente ajustadas a essa zona de aprendizado?

Por muito tempo, pesquisadores tentaram construir essas bibliotecas de tarefas garantindo apenas que as tarefas pudessem ser feitas (elas são "executáveis") e que tivessem uma resposta clara, certa ou errada. Mas o simples fato de uma tarefa poder ser resolvida não significa que ela seja uma boa professora. Uma tarefa pode ser tão simples que qualquer robô a resolve instantaneamente, ou tão quebrada que nenhum robô consegue resolvê-la jamais. A grande questão é: como encontrar as tarefas que são difíceis o suficiente para tornar o robô mais inteligente?

É aqui que um novo sistema chamado CalibForge entra em cena. Pense no CalibForge não como um gerador de tarefas, mas como um mestre de jogo travesso que joga jogos "adversariais" com o robô. Em vez de apenas verificar se uma tarefa funciona, o CalibForge contrata uma equipe de diferentes robôs "solucionadores" (alguns muito inteligentes, outros um pouco menos espertos) para tentar a tarefa. Se o robô inteligente resolve, mas o robô burro falha, a tarefa é perfeita — ela está na zona de aprendizado! Se todos resolvem, a tarefa é muito fácil, então o CalibForge a torna mais difícil. Se todos falham, a tarefa está quebrada, então o Calibforge a conserta. Ao ajustar constantemente as tarefas com base na reação desses diferentes robôs, o CalibForge constrói uma biblioteca massiva de 5.431 desafios perfeitamente calibrados. Quando novos robôs são treinados nesta biblioteca, eles se tornam significativamente melhores em resolver problemas computacionais do mundo real, provando que a zona "Goldilocks" é o ingrediente secreto para ensinar IA.

O Problema: Muito Fácil, Muito Difícil ou Na Medida Certa?

No mundo da Inteligência Artificial, especificamente para "agentes terminais" (robôs que digitam comandos em um terminal de computador para consertar código ou gerenciar servidores), pesquisadores têm construído enormes bibliotecas de problemas de prática. O objetivo é treinar esses agentes para lidar com tarefas complexas de engenharia do mundo real. No entanto, há uma falha na forma como esses problemas são geralmente criados.

A maioria dos sistemas apenas verifica duas coisas:

Pode ser feito? (O ambiente do computador está configurado corretamente?)
Existe uma resposta certa? (A tarefa possui um teste claro de passar/falhar?)

Mas isso é como dar a um aluno um teste de matemática onde todas as questões são ou "Quanto é 2+2?" (muito fácil) ou "Resolva esta equação que ainda nem foi inventada" (impossível). Nenhuma das duas ajuda o aluno a aprender. O artigo argumenta que precisamos de tarefas que sejam aprendíveis em relação ao solucionador (solver-relative learnable). Isso significa que uma tarefa deve ser solucionável por um agente capaz, mas não solucionável por um mais fraco. Ela precisa estar logo na borda da habilidade do agente, forçando-o a esticar seu cérebro para ter sucesso.

A Solução: O Mestre de Jogo Adversário

Os autores criaram o CalibForge, um sistema autônomo que atua como um mestre de jogo implacável. Ele não apenas escreve tarefas; ele as calibra usando um processo chamado Calibração de Solucionador Adversário.

Aqui está como a mágica acontece, passo a passo:

A Pista: O CalibForge começa com uma ideia vaga, como "consertar um banco de dados quebrado" ou "recuperar dados perdidos".
O Rascunho: Um "Agente Autor" (uma IA inteligente) escreve uma tarefa completa, incluindo instruções, um ambiente de computador virtual e um teste para ver se o trabalho foi concluído.
O Teste de Estresse: Antes de a tarefa ser mantida, o CalibForge a envia para um painel de "Agentes Solucionadores" para tentar resolvê-la.
O Ciclo de Calibração: Este é o ingrediente secreto. O CalibForge usa duas estratégias específicas para decidir se uma tarefa é boa o suficiente:
- Calibração de Múltiplos Solucionadores: Ele envia a tarefa para um grupo de diferentes modelos de IA. Se todos resolverem, a tarefa é muito fácil, então o CalibForge a torna mais difícil. Se ninguém resolver, a tarefa está quebrada, então o CalibForge a conserta. A tarefa só é mantida se houver discordância: pelo menos um solucionador tem sucesso enquanto pelo menos um falha. Isso prova que a tarefa está na "zona de aprendizado".
- Calibração Contrastiva: Ele envia a tarefa para um "Solucionador Forte" (uma IA muito inteligente) e um "Solucionador Fraco" (uma IA menos capaz). A tarefa só é mantida se o Solucionador Forte passar e o Solucionador Fraco falhar. Isso garante que a tarefa seja difícil o suficiente para desafiar o inteligente, mas não tão difícil que seja impossível.

Se uma tarefa não atende a esses critérios rigorosos, o CalibForge não apenas a descarta. Ele analisa por que os solucionadores falharam ou tiveram sucesso e, então, volta para reescrever as instruções, o ambiente ou os testes. Ele repete este ciclo até 50 vezes até que a tarefa esteja perfeitamente calibrada.

Os Resultados: Uma Biblioteca de Desafios Perfeitos

Usando este método, o CalibForge construiu um conjunto de dados de 5.431 tarefas de terminal altamente calibradas. Os pesquisadores então treinaram dois modelos de IA diferentes (um modelo de 30 bilhões de parâmetros e um de 35 bilhões de parâmetros) com esses dados.

Os resultados foram impressionantes. Os modelos treinados nas tarefas do CalibForge superaram significativamente os modelos treinados em outros conjuntos de dados existentes:

No Terminal-Bench 2.0 (um teste padrão para agentes terminais), os modelos pontuaram 32,58% e 47,57%, superando os melhores resultados anteriores por uma margem ampla.
As melhorias não ocorreram apenas nos dados de treinamento. Quando testados em desafios de engenharia de software do mundo real completamente diferentes (SWE-bench Pro e Doc2Repo), os modelos mostraram ganhos massivos, melhorando em 27,68 e 30,04 pontos percentuais, respectivamente, em relação às suas versões base.

Por Que Isso Importa

O artigo sugere que a chave para construir melhores agentes de IA não é apenas dar a eles mais dados, mas sim dar o tipo certo de dados. Ao usar o comportamento de diferentes solucionadores para atuar como um ciclo de feedback, o CalibForge garante que cada tarefa na biblioteca seja uma oportunidade genuína de aprendizado.

Os autores mostram explicitamente que simplesmente adicionar mais feedback de solucionador ou usar um único solucionador para verificar as tarefas não é suficiente. O efeito "Goldilocks" — onde uma tarefa é difícil para alguns, mas fácil para outros — é o que impulsiona o aprendizado. Essa abordagem transforma o processo de criação de tarefas de um método estático de "escrever e esperar" em um sistema dinâmico e autocorretivo que busca ativamente o nível perfeito de dificuldade.

Em suma, o CalibForge prova que, se você quer treinar um robô superinteligente, não deve apenas dar a ele uma pilha de lições de casa. Você deve dar a ele uma pilha de lições de casa que seja perfeitamente ajustada para fazê-lo pensar, lutar e, eventualmente, ter sucesso.

Resumo Técnico: CalibForge: Calibração de Solucionadores Adversários para Escalonamento de Tarefas Terminais Aprendíveis

Declaração do Problema

Treinar agentes terminais requer tarefas executáveis e verificáveis que não sejam meramente solucionáveis, mas apropriadamente desafiadoras para o aprendizado. Embora os sistemas de síntese existentes tenham progredido na construção de tarefas terminais em escala, a validade executável por si só não revela se uma tarefa é trivial, efetivamente insolúvel ou situada em uma "zona de aprendizado" em relação a uma configuração específica de solucionador. Os métodos atuais frequentemente dependem apenas de autoria e validação ou de feedback de um único solucionador, o que falha em capturar a evidência comportamental matizada necessária para guiar a construção de tarefas em direção a dados de treinamento eficazes. O desafio central é determinar como o comportamento do solucionador (sucessos, falhas e trajetórias) pode ser sistematicamente usado para revisar tarefas candidatas para garantir que elas não sejam nem muito fáceis nem muito difíceis para o regime de aprendizado pretendido.

Metodologia: CalibForge

Os autores apresentam o CalibForge, um sistema de síntese de tarefas terminais autônomo que trata a construção de tarefas como um loop adversário autor–solucionador restrito. O sistema utiliza o comportamento verificado do solucionador como feedback durante a construção para revisar tarefas candidatas através de calibração de solucionador adversário.

1. Autoria e Validação de Tarefas

Partindo de uma "pista" (clue), um agente autor (DeepSeek-V4-Pro) realiza pesquisas na web para identificar problemas de engenharia concretos (ex: bugs específicos de versão, conflitos de dependências). Ele constrói uma tarefa candidata $\tau$ composta por:

Instrução: A descrição da tarefa.
Ambiente: Definido por um Dockerfile e arquivos iniciais.
Verificação: Testes para validar a solução.

Antes de entrar no loop de calibração, as candidatas passam por uma validação em dois estágios:

Validação Estrutural: Verifica arquivos de contexto de build, inicialização do ambiente e garante que todos os testes falhem no estado inicial.
Auto-solução: O agente autor tenta resolver a tarefa em um sandbox isolado para garantir que a solução seja executável e consistente com a instrução e os testes.

2. Calibração de Solucionador Adversário

As candidatas válidas entram em um loop de calibração de múltiplas rodadas governado por uma especificação $\gamma$ . Em cada rodada, os solucionadores tentam a tarefa, e o agente autor utiliza os resultados e as trajetórias completas de interação para revisar a tarefa. O loop termina quando um critério de retenção $C_\gamma$ é atendido ou após um número máximo de rodadas ( $R_{max}=50$ ). O CalibForge emprega duas estratégias distintas de calibração de solucionador:

Calibração de Múltiplos Solucionadores: Visa o desacordo dentro de um pool heterogêneo de solucionadores (ex: DeepSeek-V4-Flash, GLM-5, Kimi K2.5).
- Critério: Reter a tarefa se pelo menos um solucionador tiver sucesso e pelo menos um falhar ( $0 < \sum y_i < K$ ).
- Objetivo: Capturar uma gama mais ampla de caminhos de solução e modos de falha, reduzindo a dependência das capacidades de um único solucionador.
Calibração de Solucionador Contrastiva: Visa uma relação de sucesso-forte/falha-fraca designada.
- Critério: Reter a tarefa se um solucionador designado mais forte (DeepSeek-V4-Pro) tiver sucesso e um solucionador designado mais fraco (DeepSeek-V4-Flash) falhar ( $y_s=1 \land y_w=0$ ).
- Objetivo: Operacionalizar uma zona de aprendizado relativa ao solucionador, onde a tarefa é demonstravelmente solucionável, mas não trivialmente, sob as configurações especificadas.

Se o critério não for atendido, o agente autor utiliza resumos de feedback (passagem/falha, contagem de passos, autoavaliação, diagnóstico de falha) e trajetórias completas para revisar a tarefa (ex: remover dicas procedimentais, esclarecer requisitos ambíguos ou generalizar verificadores excessivamente prescritivos) antes de realizar uma nova sondagem.

Principais Contribuições

Calibração Comportamental ao Nível do Ambiente: O artigo formula um princípio de construção onde a aprendibilidade da tarefa é tratada como relativa ao solucionador. Utiliza o comportamento verificado do solucionador não apenas para avaliação, mas para determinar a retenção e guiar a revisão de múltiplas rodadas.
Sistema CalibForge: Um sistema de síntese autônomo que implementa o princípio acima via um loop adversário restrito. Introduz estratégias de calibração de Múltiplos Solucionadores e Solucionador Contrastivo para visar o desacordo entre solucionadores e as relações de sucesso-forte/falha-fraca, respectivamente.
Dataset Calibrado: A construção de 5.431 tarefas terminais calibradas (1.263 via calibração de múltiplos solucionadores, 4.168 via calibração contrastiva). Estas tarefas abrangem 16 categorias de domínio, com foco em engenharia de software, administração de sistemas e computação científica, oferecendo uma cobertura de domínio mais ampla do que datasets anteriores.

Resultados Experimentais

Os autores realizaram o ajuste fino de dois backbones Qwen (Qwen3-30B-A3B-Instruct e Qwen3.5-35B-A3B) em trajetórias destiladas do dataset CalibForge e os avaliaram contra baselines (Endless Terminals, SETA-Env, CLI-Gym, TermiGen, TerminalTraj) usando um protocolo de treinamento e destilação correspondente.

Desempenho em Benchmarks

Terminal-Bench 2.0:
- O CalibForge-30B-A3B alcançou 32,58% de acurácia (vs. 26,22% para o melhor baseline, TerminalTraj).
- O CalibForge-35B-A3B alcançou 47,57% de acurácia (vs. 40,82% para o TerminalTraj).
- Melhorias sobre os modelos base atingiram 24,71 e 8,47 pontos percentuais, respectivamente.
Transferência Out-of-Distribution (OOD):
- SWE-bench Pro: O CalibForge-35B-A3B alcançou 44,32% (Taxa de Resolução), uma melhoria de 3,03 pontos sobre seu modelo base e o mais alto entre os dados avaliados.
- Doc2Repo: O CalibForge-35B-A3B alcançou 48,77% (Taxa de Passagem), uma melhoria de 3,85 pontos sobre seu modelo base.

Estudos de Ablação

Feedback de Solucionador vs. Calibração: O modo "Sem Solucionador" (apenas autoria + validação) rendeu 22,47% de acurácia. O feedback de "Solucionador Único" melhorou isso para 24,34%. No entanto, a calibração de Múltiplos Solucionadores e a de Solucionador Contrastivo alcançaram 29,21% e 31,09%, respectivamente. Isso indica que os ganhos são impulsionados pela estratégia de calibração (localizando a dificuldade em relação às configurações do solucionador) e não simplesmente pela adição de feedback de solucionador ou aumento do volume de trajetórias.
Eficácia da Revisão: Na calibração contrastiva, apenas 19% das candidatas satisfizeram inicialmente a relação alvo de sucesso-forte/falha-fraca após a validação estrutural. Através da revisão baseada em feedback e re-sondagem, 96% das candidatas foram eventualmente retidas, demonstrando que muitos desajustes iniciais são corrigíveis em vez de defeitos intrínsecos.

Significância e Alegações

O artigo alega que a aprendibilidade relativa ao solucionador é um alvo prático e eficaz para a construção de dados de treinamento de agentes. Ao tratar a construção de tarefas como um loop adversário onde o comportamento do solucionador guia a revisão, o CalibForge produz tarefas que são demonstravelmente solucionáveis, mas desafiadoras o suficiente para impulsionar o aprendizado.

Os autores enfatizam que:

A validade executável é insuficiente: Uma tarefa pode ser válida, mas trivial ou insolúvel para o agente alvo. A calibração torna a "zona de aprendizado" observável e acionável.
A calibração impulsiona a transferência: As melhorias nos benchmarks OOD (SWE-bench Pro, Doc2Repo) sugerem que as capacidades aprendidas a partir de tarefas terminais calibradas por solucionadores transferem-se efetivamente para tarefas complexas de engenharia de software e geração de repositórios de longo horizonte.
A diversidade é multidimensional: O dataset CalibForge oferece diversidade não apenas na cobertura de domínio, mas em tags de capacidade, complexidade de ambiente e lógica de verificação, evitando as concentrações de domínio estreitas encontradas em datasets anteriores.

Os resultados apoiam a conclusão de que a calibração de solucionador adversário gera supervisão mais eficaz e transferível do que apenas autoria e validação ou feedback de um único solucionador, fornecendo um caminho escalável para a construção de dados de treinamento de alta qualidade para agentes terminais.