Resumo Técnico: CRAFT – Aprenda o Esquema, Execute o Plano

Declaração do Problema

Agentes de codificação empresariais são cada vez mais utilizados para traduzir solicitações analíticas em linguagem natural em código executável sobre APIs e esquemas proprietários. No entanto, o padrão de implantação predominante baseia-se no "context stuffing" (enchimento de contexto), onde definições exaustivas de esquema (DDL), documentação de API e instruções de ferramentas são injetadas em cada prompt. Essa abordagem apresenta três desafios críticos para a análise em produção:

1. Sobrecarga de Inferência: Prompts de esquema longos competem com turnos do usuário e resultados intermediários pela memória de trabalho, aumentando significativamente os custos de tokens.
2. Fragilidade da Evolução do Esquema: Mudanças físicas no esquema (ex: renomeação de colunas, migrações de tabelas) exigem atualizações frequentes nos pipelines de prompt e testes de regressão.
3. Confiabilidade em Multi-turn: A reinjeção constante de contexto estático compromete a consistência e a coerência em diálogos analíticos de múltiplos turnos, onde o agente deve reter restrições e avançar na análise em vez de tratar cada turno de forma independente.

Os autores investigam se o conhecimento estável de esquema e comportamentos de uso de ferramentas podem ser adquiridos através de pós-treinamento em vez de contexto de prompt transitório, preservando assim a consistência necessária para a análise voltada à produção.

Metodologia

O artigo propõe o CRAFT, uma receita de pós-treinamento em dois estágios projetada para agentes de codificação fundamentados em esquemas. O sistema é avaliado dentro de um ambiente empresarial controlado usando APIs beta e dados de publicidade vinculados ao esquema, evitando a exposição a dados de produção sensíveis ao cliente.

1. Destilação e Filtragem de Trajetória

Para abordar a falta de verdade fundamental humana para geração de código de longo horizonte e múltiplas ferramentas, os autores tratam a geração de trajetória como um problema de busca verificável. Modelos professores geram trajetórias candidatas usando um formato de três blocos: um rascunho de raciocínio (reasoning scratchpad), um bloco <PLAN> de nível de negócio (explicando entidades/métricas sem DDL bruto) e um bloco <CODE> executável.

• Filtro Tri-Gate: Um filtro de rejeição de três estágios cura os dados de treinamento de mais de 100 mil trajetórias geradas para 15,1 mil trajetórias aceitas:
  • Gate 1: Rejeita falhas de execução, erros de sintaxe e timeouts.
  • Gate 2: Rejeita saídas vazias ou incompletas.
  • Gate 3: Utiliza um ensemble de juízes LLM para detectar discrepâncias semânticas entre o prompt, o plano e o código.

2. Estágio I: SFT de PLAN com Esquema Removido (Schema-Stripped)

O primeiro estágio treina um modelo base MoE de 120B para aprender planos estruturados de domínio e comportamentos executáveis sem a injeção exaustiva de contexto de esquema no tempo de prompt.

• Remoção de Esquema (Schema Stripping): O contexto de esquema de mais de 50 mil tokens é removido da entrada. O modelo deve confiar no domínio internalizado.
• Mascaramento de Perda (Loss Masking): As saídas das ferramentas são mascaradas da função de perda para evitar que o modelo memorize valores de tempo de execução imprevisíveis (identificadores, carimbos de data/hora, conteúdos de dataframes).
• Objetivo: Fornecer familiaridade com o domínio e ensinar relações de entidades comuns e idiomatismos de código, servindo como uma inicialização necessária para o agente.

3. Estágio II: Aprendizado por Reforço Moldado pela Execução (Execution-Shaped RL)

O segundo estágio aplica a Otimização de Política Relativa de Grupo (GRPO) para alinhar a política do agente com o feedback de execução.

• Função de Recompensa: A recompensa total ($R_{total}$) é uma combinação ponderada de:
  • $R_{outcome}$: Sucesso de execução e correção de testes unitários.
  • $R_{process}$: Estrutura de chamada de ferramenta, qualidade do código e evitar anti-padrões (ex: joins redundantes).
  • $R_{consistency}$: Concordância entre o plano declarado e o código gerado.
  • $R_{judge}$: Avaliação de juiz LLM para alinhamento de negócio.
• Infraestrutura: O sistema utiliza extensões do VERL e SLIM para suportar rollouts multi-turn assíncronos, propagando recompensas de ferramenta por passo e lidando com turnos de resposta de ferramenta com estado.

Principais Contribuições

1. Sistema de Rollout Planejado para Empresas: Uma descrição de um cenário de implantação para análise de publicidade cobrindo 25 entidades vinculadas ao esquema e 30 fluxos de trabalho agênticos, avaliados contra APIs beta.
2. Receita de Pós-Treinamento com Esquema Removido: Uma combinação inovadora de PLAN SFT e RL moldado pela execução que reduz a dependência de injeção exaustiva de contexto de esquema no tempo de prompt.
3. Avaliação Orientada à Produção: Uma avaliação abrangente medindo qualidade de tarefa, consistência, interação multi-turn e eficiência, reportando deltas confidenciais sobre uma linha de base de preenchimento de esquema (schema-stuffed).
4. Lições de Implantação: Documentação de trade-offs de design, modos de falha e extensões de infraestrutura (VERL/SLIM) necessárias para RL de uso de ferramentas multi-turn em ambientes empresariais.

Resultados

Avaliado contra uma linha de base de preenchimento de esquema (schema-stuffed), o CRAFT demonstra melhorias significativas em qualidade e eficiência:

• Métricas de Desempenho:
  • Pontuação do Agente: Melhorou em +9,6 pontos percentuais (pp).
  • Consistência: Melhorou em +4,1 pp.
  • Coerência Multi-turn: Melhorou em +4,2 pp.
• Métricas de Eficiência:
  • Carga de Tokens de Entrada: Reduzida em aproximadamente 9x (0,11x da linha de base) devido à remoção de esquema.
  • Loops de Descoberta de Esquema: Reduzidos em até 5x (0,20x da linha de base), indicando que o agente requer menos rodadas de exploração para encontrar caminhos de execução válidos.
• Análise de Componentes: As melhorias foram distribuídas entre sucesso de execução, correção de uso de ferramenta, alinhamento plano-código e precisão da resposta final, em vez de estarem concentradas em uma única métrica.
• Capacidades Gerais: Benchmarks públicos (IFEval, GSM8K, GPQA) mostraram deltas próximos de zero, indicando que não houve regressão material nas capacidades de raciocínio geral.

Significância e Alegações

O artigo afirma que o CRAFT oferece um caminho viável para implantar agentes de codificação confiáveis em ambientes empresariais onde os esquemas são proprietários e estáveis. Ao mover o conhecimento estável do esquema do contexto do prompt para os pesos do modelo via pós-treinamento, o sistema alcança:

• Escalabilidade: Redução drástica no overhead de tokens, tornando as interações multi-turn economicamente viáveis.
• Robustez: Capacidade aprimorada de lidar com refinamentos multi-turn e recuperar-se de falhas de execução sem a necessidade de reinjetar contexto massivo.
• Manutenibilidade: Desacoplamento do raciocínio central do agente de versões específicas do esquema, reduzindo a necessidade de atualizações de pipelines de prompt durante a evolução do esquema.

Os autores posicionam modestamente o CRAFT como uma "receita de pós-treinamento para agentes de codificação operando sobre esquemas proprietários estáveis em um cenário de rollout planejado", observando explicitamente que não é um substituto para recuperação ou fundamentação de ferramentas em contexto para domínios de mundo aberto arbitrários. O trabalho enfatiza que, embora o SFT forneça a familiaridade de domínio necessária, o RL moldado pela execução é crítico para alinhar a política de decisão interativa do agente em relação à seleção de ferramentas e resolução de ambiguidades.