From Self-Evolving Synthetic Data to Verifiable-Reward RL: Post-Training Multi-turn Interactive Tool-Using Agents

Este artigo apresenta o EigenData, um quadro unificado que combina um agente de dados auto-evolutivo para síntese de diálogos com ferramentas e verificação, com um treinamento por reforço baseado em verificador, permitindo o desenvolvimento escalável de agentes interativos de uso de ferramentas que superam ou igualam modelos de ponta sem necessidade de anotação humana cara.

O essencial

Imagine que você quer ensinar um robô superinteligente a ser um agente de viagens ou um atendente de suporte técnico. O desafio não é apenas fazer o robô responder perguntas, mas ensiná-lo a conversar com um cliente (humano), entender o que ele precisa, usar ferramentas (como bancos de dados e sistemas de reservas) e resolver problemas complexos em várias etapas.

O problema é que ensinar isso é muito difícil e caro. Você precisaria de milhares de humanos anotando conversas perfeitas, o que demora e custa uma fortuna. Além disso, se você usar um robô para simular o "cliente" durante o treinamento, ele pode agir de forma estranha, confundindo o robô que está aprendendo.

Os autores deste artigo criaram uma solução genial chamada AReaL-SEA. Vamos explicar como funciona usando analogias do dia a dia:

1. O "Estágio de Chefes" (Geração de Dados Autoevolutiva)

Em vez de contratar humanos para criar exercícios, eles criaram um sistema de robôs que se ensinam.

• A Analogia: Imagine uma escola onde os alunos não têm um professor humano, mas sim um sistema de mentoria automática.
  • Primeiro, um "arquiteto" (um robô planejador) cria um plano de aula: "Hoje vamos ensinar o aluno a cancelar voos e lidar com clientes irritados".
  • Depois, um "aluno" (robô gerador) cria o exercício e o "cenário" (o cliente).
  • Um "chefe de qualidade" (robô verificador) olha o exercício e diz: "Isso está muito fácil" ou "O cliente agiu de forma estranha".
  • O Pulo do Gato (Autoevolução): Se o exercício falhar, o sistema não joga fora. Ele analisa por que falhou e atualiza o próprio plano de aula para fazer melhor na próxima vez. É como um jogo de videogame onde o jogo fica mais difícil e inteligente automaticamente conforme você joga, criando milhões de cenários perfeitos sem precisar de um humano escrevendo cada um.

2. O "Treinador de Atleta" (Reforço com Verificadores)

Depois de ter milhões de exercícios gerados, eles precisam treinar o robô principal. Aqui entra a Aprendizagem por Reforço (RL).

• O Problema do "Cliente Falso": Para treinar o robô, você precisa simular um cliente conversando com ele. Se o robô que faz de conta ser o cliente for ruim (ex: esquece o que pediu, pede coisas impossíveis), o robô aluno fica confuso e aprende errado.
• A Solução: Eles primeiro treinaram o "robô cliente" para ser perfeito e seguir regras. Só então usaram esse cliente confiável para treinar o robô principal.
• O Sistema de Pontuação (Verificadores): Em vez de um humano dizer "bom trabalho", o sistema usa um verificador automático. Ele olha o resultado final: "O voo foi cancelado? O cliente ficou satisfeito? A regra foi seguida?". Se sim, ponto positivo. Se não, ponto negativo. Isso é como um juiz de futebol que usa o VAR para garantir que a decisão é 100% baseada nos fatos, não em opiniões.

3. O Resultado: Um "Super Agente"

Com esse método, eles treinaram modelos de linguagem (como o Qwen) para se tornarem especialistas em três áreas:

1. Aéreo: Cancelar voos, lidar com reclamações falsas e reprogramar viagens.
2. Varejo: Gerenciar pedidos e devoluções.
3. Telecom: Mudar planos e resolver faturas.

O que eles conseguiram?

• Qualidade: Os robôs treinados com esse método ficaram tão bons quanto (e às vezes melhores) que os modelos mais caros e fechados do mercado (como os da OpenAI ou Google).
• Custo: Eles não precisaram de milhares de anotadores humanos. O sistema gerou seus próprios dados de alta qualidade.
• Confiabilidade: O robô aprendeu a não se deixar enganar por clientes que mentem ou tentam burlar regras (como o exemplo no texto onde um cliente tenta usar dois vouchers ao mesmo tempo, o que é proibido).

Resumo em uma frase:

Os autores criaram uma "fábrica de treinamento autônoma" onde robôs criam seus próprios exercícios difíceis, corrigem seus próprios erros e treinam um agente final que é capaz de lidar com clientes reais de forma inteligente, sem precisar de milhões de dólares em anotação humana.

É como se você tivesse um estagiário que, em vez de esperar você dar tarefas, cria seus próprios desafios, pratica sozinho, aprende com seus erros e, no final, se torna um funcionário sênior perfeito.

Resumo técnico

Resumo Técnico: AReaL-SEA e RL para Agentes Interativos de Ferramentas

1. O Problema

O artigo aborda os desafios de pós-treinamento (post-training) de agentes de linguagem (LLMs) capazes de realizar tarefas complexas do mundo real através de interações multi-turno com humanos e ambientes externos (chamadas de ferramentas/APIs). Diferente de agentes de ferramenta tradicionais que respondem a consultas estáticas, estes agentes operam em um cenário dinâmico onde:

• Informação é eliciada progressivamente: O agente deve fazer perguntas para obter preferências e detalhes privados do usuário antes de agir.
• Incerteza do usuário: Os usuários podem mudar de ideia, fornecer informações parciais ou reagir de forma inesperada.
• Dificuldade de Dados: A obtenção de dados de treinamento de alta qualidade para essas interações é difícil. A anotação humana é cara e não escala, enquanto a síntese automática frequentemente falha em gerar tarefas desafiadoras que respeitem regras de domínio complexas e simulem usuários coerentes.
• Ruído no RL: O Aprendizado por Reforço (RL) para esses agentes requer um simulador de usuário. Modelos de usuário "prontos" (off-the-shelf) tendem a ser instáveis, gerando comportamentos errôneos que corrompem os sinais de recompensa, penalizando erroneamente o agente por falhas do usuário.

2. Metodologia Proposta

Os autores propõem um framework unificado chamado AReaL-SEA (Self-Evolving Data Synthesis) combinado com uma receita de Reforço por Recompensa Verificável (Verifiable-Reward RL).

A. AReaL-SEA: Síntese de Dados Auto-Evolucionária
É um motor hierárquico de multi-agentes que gera e valida dados sintéticos com supervisão humana mínima:

1. Planejamento Meta: Um módulo gera pares de planos de síntese e avaliação diversificados (cobrindo diferentes domínios, complexidades e estilos de interação).
2. Pipeline de Agentes:
   • Síntese de Tarefas: Gera tarefas estruturadas usando chamadas de ferramentas.
   • Verificação de Tarefas: Filtra tarefas que não atendem aos critérios de qualidade.
   • Rolagem de Trajetória (Rollout): Simula a interação multi-turno entre um agente assistente e um simulador de usuário.
   • Verificação de Trajetória: Avalia se a interação foi bem-sucedida e atribui a causa raiz de falhas (se foi erro na tarefa ou na execução do agente).
3. Loop de Reflexão e Evolução: Falhas são analisadas por um agente de reflexão que atualiza automaticamente os planos de síntese e as regras de avaliação, criando um ciclo fechado que melhora a qualidade dos dados iterativamente.
4. Geradores de Verificadores: O sistema gera funções executáveis (checkers) por instância que servem como sinais de recompensa objetivos para o RL.

B. Receita de Reinforcement Learning (RL)
Para treinar o agente interativo, os autores utilizam uma abordagem baseada em GRPO (Group Relative Policy Optimization) com adaptações críticas:

1. Ajuste Fino do Modelo de Usuário (User Model Fine-tuning): Antes do RL, o modelo que atua como "usuário" é ajustado via SFT (Supervised Fine-Tuning) usando os dados gerados pelo AReaL-SEA. Isso garante que o simulador de usuário siga instruções e aja de forma estável, evitando que erros do simulador corrompam o treinamento do agente.
2. Vantagem Relativa em Nível de Trajetória: Utiliza GRPO para calcular vantagens normalizadas dentro de um grupo de trajetórias, mitigando a variância inerente às interações com usuários.
3. Recompensas Baseadas em Verificadores: A recompensa é binária e determinística, baseada na comparação do estado final da tarefa com o estado ground-truth usando os verificadores gerados pelo AReaL-SEA.
4. Filtragem Dinâmica: Tarefas onde todas as trajetórias do grupo têm o mesmo resultado (todas sucesso ou todas falha) são removidas do batch de treinamento, pois não fornecem sinal de gradiente útil.

3. Principais Contribuições

1. AReaL-SEA: Um sistema de síntese de dados auto-evolutivo que gera instâncias de treinamento de ferramentas multi-turno complexas, verificáveis e de alta qualidade, eliminando a dependência de anotação humana em larga escala.
2. Receita de RL Estabilizada: Uma metodologia que combina o ajuste fino do simulador de usuário, treinamento em grandes lotes (batch sizes) e recompensas verificáveis para superar a instabilidade do RL em ambientes interativos.
3. Desempenho SOTA com Modelos Open-Weight: Demonstração de que modelos abertos (Qwen3) podem igualar ou superar modelos proprietários de ponta (como GPT-5, Claude Sonnet, Gemini) em benchmarks complexos de interação com ferramentas.

4. Resultados Experimentais

O framework foi avaliado no $\tau^2$-bench, um benchmark desafiador com três domínios: Aéreo (Airline), Varejo (Retail) e Telecomunicações (Telecom).

• Modelos Testados: Qwen3-30B-A3B e Qwen3-235B-A22B.
• Desempenho Geral:
  • O SFT (ajuste fino supervisionado) com dados do AReaL-SEA já trouxe ganhos significativos (ex: no domínio Telecom, o Qwen3-30B saltou de 28,5% para 85,4% de pass@1).
  • O RL trouxe melhorias adicionais consistentes. O modelo Qwen3-235B-A22B com RL alcançou:
    • Airline: 73,0% pass@1 (igualando o Gemini 3.0 Pro e superando o GPT-5).
    • Telecom: 98,3% pass@1 (superando todos os modelos de referência, incluindo Claude Sonnet e Gemini).
    • Retail: 75,0% pass@1 (competitivo, embora o Claude Sonnet 4.5 ainda liderasse em 86,2%).
• Treinamento Misto (Mix Training): Um único modelo treinado com dados mistos de todos os domínios superou modelos de ponta em métricas de consistência (pass@4), demonstrando forte generalização cruzada.
• Ablations (Estudos de Componentes):
  • A remoção do loop de evolução ou dos agentes de verificação no AReaL-SEA reduziu drasticamente o desempenho, provando a importância da qualidade e diversidade dos dados.
  • O uso de um modelo de usuário sem ajuste fino (SFT) no RL degradou o desempenho em 20 pontos percentuais, confirmando que a estabilidade do simulador de usuário é crítica.
  • Grandes tamanhos de batch e filtragem dinâmica melhoraram a estabilidade e a eficiência do aprendizado.

5. Significado e Impacto

Este trabalho estabelece um caminho escalável para o desenvolvimento de agentes de ferramentas complexos sem a necessidade de anotação humana cara.

• Escalabilidade: Demonstra que dados sintéticos auto-evolutivos podem substituir dados humanos para tarefas de longo horizonte.
• Estabilidade no RL: Resolve o problema fundamental de ruído no RL interativo ao introduzir o ajuste fino do modelo de usuário como um pré-requisito.
• Acesso Aberto: Mostra que modelos open-weight, quando adequadamente pós-treinados com esta metodologia, podem competir com os modelos proprietários mais avançados, democratizando o acesso a agentes de IA capazes de realizar tarefas do mundo real (como suporte ao cliente e automação de fluxos de trabalho).

Em suma, o artigo propõe uma solução robusta para o "gargalo" de dados e treinamento em agentes interativos, combinando geração de dados autônoma com algoritmos de RL estabilizados.