EnterpriseBench Corecraft: Training Generalizable Agents on High-Fidelity RL Environments

O artigo apresenta o CoreCraft, um ambiente de simulação empresarial de alta fidelidade que, ao ser utilizado para treinar agentes de IA com técnicas de otimização de política, não apenas melhora o desempenho em tarefas específicas de suporte ao cliente, mas também transfere ganhos significativos para benchmarks externos, demonstrando que a qualidade, diversidade e realismo dos ambientes são fundamentais para o desenvolvimento de capacidades generalizáveis.

O essencial

Imagine que você quer ensinar um estagiário muito inteligente, mas inexperiente, a trabalhar no atendimento ao cliente de uma grande loja de computadores.

A maioria das empresas de IA hoje treina esses "estagiários" (os agentes de IA) em simulações de brinquedo. É como se você ensinasse o estagiário a resolver um quebra-cabeça de 5 peças em uma sala branca e vazia. Ele fica ótimo naquele quebra-cabeça específico, mas quando chega no mundo real, cheio de barulho, clientes irritados e peças faltando, ele trava.

Este artigo, chamado Corecraft, propõe uma abordagem diferente. Em vez de um quebra-cabeça de brinquedo, eles criaram um simulador de realidade virtual ultra-realista de uma empresa inteira.

Aqui está a explicação do que eles fizeram, passo a passo:

1. O Cenário: A "Fábrica de Caos" Controlada

Os pesquisadores criaram um ambiente chamado Corecraft. Pense nele como um simulador de voo para atendentes de suporte, mas em vez de aviões, é uma loja de peças de PC.

• O Mundo: Eles construíram uma empresa fictícia com mais de 2.500 "pessoas" (clientes), pedidos, produtos, regras de garantia e ferramentas. Tudo está conectado. Se você muda um preço, afeta o estoque, que afeta o pedido, que afeta o cliente.
• A Missão: A IA não pode apenas "adivinhar". Ela precisa usar ferramentas reais (como bancos de dados) para resolver problemas complexos, como: "O cliente quer trocar uma peça, mas o pedido foi feito há 35 dias e a peça não tem mais estoque. O que fazer?"

2. O Problema: Os "Gênios" que Falham no Mundo Real

Eles testaram os modelos de IA mais famosos do mundo (como Claude, GPT e Gemini) nesse simulador.

• O Resultado: Mesmo os "gênios" da tecnologia acertaram menos de 35% das tarefas.
• Por que falharam? Eles tinham vícios de comportamento.
  • Exemplo: Se precisavam buscar um produto, eles faziam uma busca genérica em vez de olhar o pedido específico do cliente primeiro.
  • Exemplo: Se a busca retornava 10 resultados (o limite máximo), eles paravam, achando que era tudo, mesmo que o cliente tivesse 20 pedidos. Eles não tinham "persistência".

3. A Solução: Treinamento com "Mestre Rigoroso"

Em vez de apenas deixar o estagiário tentar e errar, eles usaram uma técnica de aprendizado chamada Reforço (RL) com uma regra de ouro: Rubricas de Especialistas.

Imagine um treinador de esportes que não apenas grita "corra", mas tem uma planilha detalhada:

• ✅ Você verificou o histórico do cliente?
• ✅ Você aplicou a regra de garantia corretamente?
• ✅ Sua resposta foi educada e clara?

Se o agente erra um detalhe, ele recebe uma "punição" (recompensa baixa). Se acerta tudo, ganha pontos. Eles treinaram o modelo GLM 4.6 por apenas um dia (uma "época" de treinamento) usando esse método.

4. O Milagre: O que Aprendeu no Simulador, Serve no Mundo Real?

A grande pergunta era: "Será que a IA aprendeu apenas a jogar esse jogo específico de loja de computadores, ou ela aprendeu a pensar melhor?"

A resposta foi um SIM estrondoso.
Depois de treinar apenas no simulador de loja de computadores, a IA ficou muito melhor em outras coisas que ela nunca viu antes:

• Funções Paralelas: Ficou 4,5% melhor em fazer várias tarefas ao mesmo tempo.
• Atendimento ao Cliente: Ficou 7,4% melhor em lidar com clientes de varejo (mesmo que não fosse de computadores).
• Uso de Ferramentas: Ficou 6,8% melhor em usar softwares complexos de TI e bancos de dados.

A Analogia Final: O Atleta

Pense na IA como um atleta.

• Treino Antigo: O atleta treinava apenas em uma esteira de corrida perfeita, sem vento, sem obstáculos. Ele ficava rápido na esteira, mas tropeçava no asfalto.
• Treino Corecraft: O atleta treinou em um parque de obstáculos real, com lama, pedras, vento e outros atletas correndo ao lado.
• Resultado: Quando esse atleta foi para a pista de corrida oficial (os testes externos), ele não só correu mais rápido, mas também sabia como se equilibrar na lama e como lidar com o vento.

Conclusão Simples

O papel nos diz que para criar IAs que funcionam de verdade no trabalho, não basta dar a elas mais dados ou mais poder de cálculo. É preciso treiná-las em ambientes realistas, complexos e cheios de regras, onde elas aprendam a lidar com o caos e a seguir processos profissionais.

O segredo não foi o modelo de IA em si, mas a qualidade do "campo de treinamento". Um ambiente realista ensina habilidades que se transferem para qualquer lugar, transformando um "robô de teste" em um "funcionário competente".

Resumo técnico

1. O Problema

Apesar dos rápidos avanços nos benchmarks de pesquisa, a implantação de agentes de IA em ambientes de produção permanece limitada. Um levantamento recente indica que 68% dos agentes implantados executam 10 ou menos passos antes de intervenção humana, com a confiabilidade sendo o principal desafio.

O artigo identifica que essa lacuna entre desempenho em benchmarks e prontidão para implantação decorre da natureza dos ambientes de treinamento atuais:

• Muitos utilizam simulações simplificadas, dados sintéticos ou estruturas de tarefas artificiais que não capturam a complexidade dos fluxos de trabalho reais.
• Agentes treinados nesses ambientes tendem a aprender heurísticas específicas do ambiente em vez de estratégias de resolução de problemas generalizáveis.

2. Metodologia

Os autores propõem uma abordagem alternativa: treinar agentes em ambientes de alta fidelidade baseados em fluxos de trabalho empresariais realistas.

O Ambiente: Corecraft

Corecraft é o primeiro ambiente da suíte EnterpriseBench da Surge AI. É uma simulação operacional completa de um departamento de suporte ao cliente de uma loja de componentes de PC fictícia.

• Estrutura: Contém mais de 2.500 entidades (clientes, pedidos, produtos, tickets, políticas, etc.) de 14 tipos diferentes.
• Ferramentas: 23 ferramentas únicas acessíveis via Model Context Protocol (MCP), incluindo consultas de banco de dados, APIs de gerenciamento de pedidos e utilitários de diagnóstico.
• Tarefas: Variam de consultas simples a fluxos de trabalho complexos de múltiplos passos que exigem raciocínio, aplicação de regras de negócio e comunicação estruturada.
• Avaliação: Cada tarefa possui rubricas escritas por especialistas que decompõem o sucesso em critérios verificáveis (completude, correção factual, satisfação de restrições e conformidade de formato).

Treinamento e Arquitetura

• Modelo Base: GLM 4.6 (arquitetura Mixture-of-Experts com 357B parâmetros totais e 32B ativos).
• Algoritmo: Group Relative Policy Optimization (GRPO) com adaptive clipping (inspirado no DAPO). O GRPO elimina a necessidade de uma rede critic, estimando linhas de base a partir de pontuações de grupo.
• Loop de Treinamento:
  1. Geração de Rollout: O agente interage com um container Docker stateful que mantém o estado do mundo (pedidos, inventário) durante a trajetória.
  2. Recompensa: Um LLM Judge avalia a resposta final contra as rubricas, gerando uma recompensa densa baseada na proporção de critérios satisfeitos.
  3. Atualização: O modelo é atualizado via gradientes de política.
• Dados: 1.000 tarefas para treinamento e 150 tarefas retidas para avaliação held-out.

3. Principais Contribuições

1. Evidência de Generalização: Demonstra que o treinamento em ambientes de alta fidelidade produz habilidades que se transferem para benchmarks externos não vistos durante o treinamento.
2. Melhoria Significativa no Domínio: O modelo treinado superou a lacuna de capacidade entre modelos de ponta (ex: Claude Sonnet 4.5 e Claude Opus 4.5) em tarefas de suporte ao cliente.
3. Análise Qualitativa: Identificação de três categorias de melhoria aprendidas: execução de fluxos de trabalho de múltiplos passos, tratamento de restrições e qualidade/estrutura da resposta.
4. Princípios de Design de Ambiente: Propõe que a qualidade, diversidade e realismo do ambiente são fatores críticos para o treinamento de agentes generalizáveis.

4. Resultados

Desempenho In-Distribution (Corecraft)

Após apenas um epoch de treinamento:

• A taxa de aprovação (Pass Rate) do GLM 4.6 aumentou de 25,37% para 36,76% (+11,39 pontos percentuais).
• O modelo treinado superou o Claude Opus 4.5 (33,49%) e aproximou-se do desempenho do GPT-5.1 High (36,86%).

Generalização Out-of-Distribution (Transfer Learning)

Os ganhos transferiram-se consistentemente para benchmarks externos, mesmo sem treinamento direto neles:

• BFCL Parallel (Chamada de Função): +4,5% de melhoria.
• τ 2-Bench Retail (Atendimento ao Cliente): +7,4% de melhoria.
• Toolathlon (Uso de Ferramentas de Longo Prazo): +6,8% de melhoria (Pass@1), elevando o desempenho de 18,8% para 25,6%.
  • Nota: O Toolathlon é particularmente desafiador, cobrindo 108 tarefas em 32 aplicativos diferentes (Kubernetes, Canvas, WooCommerce, etc.), indicando que o modelo aprendeu padrões de trabalho gerais e não apenas atalhos específicos de suporte ao cliente.

Análise de Comportamento Aprendido

A análise qualitativa mostrou que o modelo treinado melhorou em:

• Execução de Fluxos de Trabalho: Decomposição correta de tarefas e sequência lógica de operações (ex: validar restrições antes de calcular totais).
• Tratamento de Restrições: Aplicação correta de janelas de tempo, regras de negócio e junção de registros.
• Qualidade da Resposta: Geração de comunicações profissionais, estruturadas e acionáveis, alinhadas a padrões reais de negócios.

5. Significado e Conclusão

O trabalho sugere que a qualidade do ambiente de treinamento é tão crucial quanto o algoritmo ou o modelo base.

• Realismo vs. Sintetismo: Ambientes que refletem a complexidade, ruído e interdependência de sistemas empresariais reais (como Corecraft) ensinam agentes a lidar com falhas de contexto, paginação incompleta e exploração de ferramentas alternativas.
• Rubricas como Recompensa: O uso de rubricas escritas por especialistas permite um sinal de recompensa confiável e interpretável, essencial para o RL em tarefas complexas.
• Impacto na Indústria: Os resultados indicam que o treinamento em ambientes de alta fidelidade pode preencher a lacuna entre o desempenho em benchmarks e a confiabilidade necessária para a implantação em produção, ensinando agentes a serem robustos e generalizáveis em vez de apenas memorizadores de heurísticas específicas.

Em resumo, o artigo valida que a simulação de fluxos de trabalho profissionais realistas é um substrato eficaz para desenvolver agentes de IA capazes de operar de forma autônoma e confiável em cenários do mundo real.