🤖 AI

ARCO: Adaptive Rubric with Co-Evolution for Multi-Step LLM-Based Agents

O artigo propõe o ARCO, um framework que faz a coevolução de um cabeçote de geração para critérios de rubrica por etapa e um cabeçote de pontuação para recompensas em nível de etapa dentro de um backbone de modelo compartilhado, permitindo a atribuição dinâmica de crédito e o desempenho aprimorado de agentes de múltiplas etapas sem exigir rótulos por etapa ou juízes estáticos de código fechado.

Autores originais: Zihang Tian, Jingsen Zhang, Rui Li, Xiaohe Bo, Yuanzi Li, Xu Chen

Publicado 2026-06-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zihang Tian, Jingsen Zhang, Rui Li, Xiaohe Bo, Yuanzi Li, Xu Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a resolver um mistério complexo, como uma história de detetive de várias etapas. O robô tem que procurar pistas, conectar os pontos e, finalmente, dar uma resposta.

No passado, ensinar esses robôs era como jogar um jogo de "Quente ou Frio" com um árbitro muito rigoroso.

O Jeito Antigo: O robô tentaria resolver todo o mistério. Se ele acertasse a resposta final, o árbitro dava um "Bom Trabalho!" (uma pontuação alta). Se ele errasse, o árbitro dava um "Mau Trabalho!" (uma pontuação baixa).
O Problema: O robô não sabia por que falhou. Ele fez a pergunta errada? Ignorou uma pista? Adivinhou cedo demais? O árbitro apenas dizia "Errado", deixando o robô adivinhando o que houve de errado. Isso é como um aluno que recebe um "F" vermelho em um exame final sem nenhum comentário do professor sobre quais passos específicos da matemática estavam incorretos.

Conheça o ARCO: O Treinador "Co-Evolutivo"

O artigo apresenta o ARCO (Adaptive Rubric CO-evolution), uma nova maneira de treinar esses agentes de IA. Pense no ARCO não como um único árbitro, mas como um treinador inteligente que escreve sua própria rubrica de avaliação enquanto observa o aluno trabalhar.

Veja como funciona, usando analogias simples:

1. O Treinador e o Aluno de "Mesma Escala"

Normalmente, usamos um juiz "Caixa Preta" superinteligente e caro (como uma IA gigante de código fechado) para avaliar o robô. Mas esse juiz é estático; ele não aprende.
O ARCO usa um treinador (o Modelo de Rubrica) que tem o mesmo tamanho e "capacidade cerebral" que o robô estudante. Eles são parceiros. À medida que o estudante melhora, o treinador também melhora na avaliação. Eles crescem juntos.

2. Escrevendo o Checklist (A Rubrica)

Em vez de apenas dar uma nota, o treinador escreve um checklist para cada etapa que o robô realiza.

Passo 1: O robô procura por "Quem é Sergei Tokarev?"
O Checklist do Treinador: "O robô procurou pela pessoa certa? Ele evitou procurar por pessoas aleatórias? Ele encontrou evidências suficientes?"
Passo 2: O robô procura por "Quando a universidade dele foi fundada?"
O Novo Checklist do Treinador: "O robô percebeu que precisa do nome da universidade primeiro? Ele parou de procurar fatos não relacionados?"

O treinador escreve um novo checklist para cada movimento, porque os erros mudam conforme o robô aprende. No início, o robô pode procurar pela pessoa errada. Mais tarde, ele pode procurar pela pessoa certa, mas da maneira errada. Um checklist estático não consegue capturar todos esses erros evolutivos, mas o treinador do ARCO escreve um novo a cada vez.

3. A Regra da "Soma das Partes"

Aqui está o truque mágico. O treinador não avalia os passos aleatoriamente. O treinador é ensinado com uma regra de ouro: a soma de todas as notas das etapas deve ser igual ao resultado final.

Se o robô resolve o mistério perfeitamente (Pontuação Final = 100), o treinador deve encontrar uma maneira de dar notas altas para os passos bons e notas baixas para os passos ruins para que a soma seja 100.
Se o robô falha (Pontuação Final = 0), o treinador tem que descobrir quais passos específicos derrubaram a pontuação.

Isso força o treinador a aprender exatamente onde o robô errou, mesmo sem um humano dizer a eles "O Passo 3 foi ruim". O treinador aprende a decompor o resultado final em pequenas partes justas.

4. A Dança da Co-Evolução

A parte mais única é que o Estudante e o Treinador são atualizados ao mesmo tempo.

O Estudante tenta resolver o quebra-cabeça.
O Treinador observa, escreve um checklist e dá as notas.
O Estudante aprende com as notas e fica mais inteligente.
Como o Estudante agora está mais inteligente, ele comete novos tipos de erros (não está mais cometendo erros de iniciante).
O Treinador vê esses novos erros e atualiza seus checklists para capturá-los.

É como uma dança onde o parceiro (o treinador) constantemente ajusta seus passos para acompanhar o dançarino (o estudante). Se o estudante começa a fazer um giro elegante, o treinador aprende a avaliar o giro, e não apenas os passos básicos.

Por que isso é melhor?

Sem Caixas Pretas: Não depende de uma IA gigante misteriosa e imutável para avaliar o trabalho. Utiliza um modelo de código aberto transparente que explica seu raciocínio em linguagem clara.
Clareza Passo a Passo: Diz ao robô exatamente qual passo foi bom ou ruim, em vez de apenas dizer "Você falhou em tudo".
Adaptabilidade: À medida que o robô melhora, os critérios de avaliação tornam-se mais sofisticados, capturando erros sutis que um checklist fixo deixaria passar.

Em resumo, o ARCO transforma o processo de treinamento de um jogo de "Adivinhe o que eu fiz de errado" em um tutorial claro, passo a passo, onde o professor e o aluno aprendem juntos, refinando constantemente as regras do jogo conforme avançam.

Resumo Técnico: ARCO (Adaptive Rubric CO-evolution)

Declaração do Problema

O aprendizado por reforço (RL) para agentes de Large Language Model (LLM) de múltiplos passos, como os usados em questionamento (QA) de múltiplos saltos (multi-hop), normalmente depende de recompensas escalares. Essas recompensas são frequentemente baseadas no resultado (sucesso/falha binário ao nível da trajetória) ou baseadas no processo (pontuações escalares opacas por passo).

Recompensas de resultado falham em fornecer atribuição de crédito granular, tornando difícil distinguir entre um chute de sorte e um processo de busca metódico.
Recompensas de processo melhoram a granularidade, mas muitas vezes permanecem "caixas pretas", não oferecendo explicação sobre o porquê de um passo específico ser bom ou ruim.
Métodos existentes baseados em rubricas tentam melhorar a interpretabilidade usando critérios em linguagem natural. No entanto, eles sofrem de duas limitações críticas:
1. Pontuação ao nível da trajetória: Eles atribuem uma única pontuação a todo o rollout, deixando a atribuição de crédito ao nível do passo sem resolução.
2. Juízes estáticos: Eles dependem de LLMs de código fechado e congelados (ex: GPT-4) como juízes externos. Embora o texto da rubrica possa ser atualizado, os parâmetros do juiz permanecem estáticos, impedindo que a função de pontuação se adapte aos modos de falha evolutivos do agente.

Metodologia: ARCO

Os autores propõem o ARCO (Adaptive Rubric CO-evolution), um framework onde os critérios de avaliação (rubrica) e a função de pontuação coevoluem com a política ao nível de parâmetros usando um modelo de código aberto de mesma escala.

1. Modelo de Rubrica Hierárquica ( $\mu$ )

O ARCO instancia tanto a geração de rubrica quanto a pontuação dentro de um único modelo treinável $\mu$ que compartilha um backbone $f_\theta$ com a política $\pi$ . O modelo apresenta duas cabeças leves:

Cabeça de Geração (Alto nível): Dado o prefixo da trajetória $h_t$ e a ação $a_t$ , ela gera um conjunto ordenado de $K$ critérios em linguagem natural $r_t = (c_{t,1}, \dots, c_{t,K})$ . Esses critérios são específicos ao contexto, adaptando-se ao estágio da tarefa (ex: direcionamento de entidade para buscas iniciais vs. suporte à resposta para passos finais).
Cabeça de Pontuação (Baixo nível): Ela recebe o mesmo contexto de estado-ação e os critérios gerados $r_t$ como entrada. Produz $K$ pontuações de nível dimensional $d_t \in [-1, 1]^K$ , que são calculadas pela média para formar a recompensa ao nível do passo $s_t$ .

2. Treinamento Co-evolutivo

O framework opera em dados on-policy, atualizando conjuntamente a política $\pi$ e o modelo de rubrica $\mu$ :

Warmup Supervisionado: Antes do RL, um professor de código fechado anota trajetórias com rubricas e pontuações. A política é inicializada via Supervised Fine-Tuning (SFT) em trajetórias bem-sucedidas, e $\mu$ é inicializado para gerar critérios e prever pontuações que satisfaçam uma restrição de decomposição de trajetória.
Loop de RL:
- Atualização da Política ( $\pi$ ): A política é atualizada usando vantagens de recompensa-até-o-fim (reward-to-go) derivadas das pontuações ao nível do passo $s_t$ previstas pelo $\mu$ atual. Um baseline por balde de posição é usado para reduzir a variância.
- Atualização do Modelo de Rubrica ( $\mu$ ): O modelo é atualizado usando uma restrição de decomposição de trajetória. A soma das pontuações de passo previstas deve ser igual ao resultado binário terminal $R(\tau)$ :
  $\mathcal{L}_{\mu}^{rl} = \sum_{\tau} \left( \sum_{t} s_t - R(\tau) \right)^2 + \beta \cdot \text{KL}(\mu \| \mu_{ref})$
  Isso permite que $\mu$ aprenda a atribuição de crédito ao nível do passo sem rótulos de passo "gold", enquanto o termo KL mantém as rubricas geradas coerentes com a distribuição de warmup.

3. Escolhas de Design Chave

Backbone Compartilhado: As cabeças de geração e pontuação compartilham parâmetros. Isso garante que os critérios sejam escritos no mesmo espaço de representação usado para a pontuação, permitindo que os gradientes do objetivo de decomposição moldem as características para ambos os estágios.
Mesma Escala de Código Aberto: O ARCO usa modelos de código aberto (ex: Qwen3-4B, Llama-3.2-3B) tanto para o agente quanto para o avaliador, eliminando a dependência de juízes externos de código fechado.

Principais Contribuições

Framework de Rubrica Adaptativa ao Nível de Passo: O ARCO introduz um framework de recompensa de processo onde tanto a rubrica em linguagem natural quanto a função de pontuação coevoluem com a política ao nível de parâmetros, removendo a necessidade de um juiz estático de código fechado.
Modelo Hierárquico com Decomposição: Os autores projetam um modelo que gera critérios específicos ao contexto e pontua ações sob eles. Ao impor uma restrição de decomposição de trajetória, o modelo aprende a atribuir crédito a passos individuais baseando-se apenas no resultado terminal.
Validação Empírica: Experimentos extensos em benchmarks de QA de múltiplos saltos demonstram que o ARCO supera fortes baselines, e análises confirmam que as rubricas geradas são específicas por passo, robustas e úteis para diagnosticar o comportamento do agente.

Resultados Experimentais

Os autores avaliaram o ARCO em três benchmarks de QA de múltiplos saltos: HotpotQA, 2WikiMultiHopQA e MuSiQue, usando dois backbones de código aberto (Qwen3-4B e Llama-3.2-3B).

Desempenho: O ARCO alcançou as melhores pontuações de Exact Match (EM) em todas as seis configurações (dataset, backbone) e as melhores pontuações de F1 em cinco de seis. Ele superou consistentemente:
- Modelos de Recompensa de Resultado (ORMs): Incluindo métodos de recompensa binária (Search-R1, R1-Searcher) e ORMs baseados em rubricas com juízes congelados (RaR, CARMO, RLER).
- Modelos de Recompensa de Processo (PRMs): Especificamente o AgentPRM, que utiliza valores escalares opacos por passo.
Estudos de Ablação:
- Remover a geração de texto da rubrica ("w/o Rubric") causou uma queda significativa no desempenho, confirmando que as rubricas fornecem estrutura semântica essencial em vez de apenas decoração.
- Usar critérios fixos ao nível do dataset ("w/o Adaptive") teve desempenho inferior ao da geração adaptativa, indicando que critérios fixos não conseguem acompanhar a evolução dos modos de falha.
- Condicionar as rubricas apenas na pergunta/ação sem o prefixo da trajetória ("w/o Prefix") reduziu a correção da resposta, mostrando a importância do contexto completo.
Qualidade da Rubrica: Testes diagnósticos mostraram que as rubricas do ARCO são altamente vinculadas à ação (42–55% de precisão em identificar a ação específica que pontuaram, significativamente acima do acaso) e foram bem avaliadas em especificidade (aprox. 4.0/5.0).
Sensibilidade: Descobriu-se que o número de critérios ( $K$ ) é sensível; $K=3$ gerou o desempenho ideal, enquanto valores de $K$ mais altos introduziam redundância sem melhorar as pontuações.

Significância e Alegações

O artigo afirma que o ARCO representa uma mudança de modelos de recompensa estáticos e opacos para sistemas adaptativos, interpretáveis e co-evolutivos.

Interpretabilidade: Ao gerar critérios em linguagem natural para cada passo, o ARCO fornece um sinal "legível" que explica por que uma ação foi recompensada ou penalizada, auxiliando no diagnóstico do comportamento do agente.
Adaptabilidade: Ao contrário de métodos que usam juízes congelados, o avaliador do ARCO evolui junto com a política. À medida que o agente aprende a evitar certos erros, o modelo de rubrica se adapta para identificar modos de falha mais sutis (ex: direcionamento para a entidade errada ou recuperação redundante).
Eficiência e Acessibilidade: Ao usar modelos de código aberto de mesma escala tanto para o agente quanto para o avaliador, o ARCO evita o custo e a dependência de APIs de código fechado, mantendo alto desempenho.

Os autores concluem que o ARCO oferece uma base para construir sistemas de aprendizado de recompensa de processo interpretáveis para agentes de linguagem, transformando recompensas de resultado esparsas em sinais densos e conscientes de cada passo, sem a necessidade de juízes externos.