ScaleBox: Enabling High-Fidelity and Scalable Code Verification for Large Language Models

1. Declaração do Problema

O artigo identifica dois gargalos críticos nos sistemas atuais de treinamento e avaliação de Grandes Modelos de Linguagem (LLMs) para código, particularmente aqueles que utilizam Aprendizado por Reforço com Recompensas Verificáveis (RLVR):

• Lacuna de Precisão na Verificação (A "Armadilha da Correspondência Exata"): Os ambientes de teste (sandboxes) existentes dependem predominantemente de Correspondência Exata (EM) ou correspondência heurística de strings para verificar a correção do código. Essa abordagem falha em tarefas com múltiplas soluções válidas (saídas não determinísticas) ou aquelas que exigem precisão numérica (comparações de ponto flutuante).
  • Evidência: Uma análise de 34.757 problemas revelou que 14,57% exigem verificação especializada (Juízes Especiais). Crucialmente, 59,01% das soluções verdadeiras logicamente corretas são falsamente rejeitadas pela EM, injetando ruído significativo nos sinais de recompensa do RL e causando gradientes enviesados.
• Gargalos de Escalabilidade e Eficiência: Sistemas atuais frequentemente utilizam implantação estática e agendamento de tarefas grosseiro. Isso leva a um desequilíbrio host-acelerador, onde GPUs/NPUs são fortemente utilizadas enquanto as CPUs do host permanecem subutilizadas para a execução paralela de código. Isso limita a vazão em clusters de grande escala com múltiplos nós.

2. Metodologia: O Sistema ScaleBox

O ScaleBox é uma infraestrutura de sandbox de alta fidelidade e escalável projetada para abordar essas questões. Sua arquitetura consiste em três componentes sinérgicos:

A. Síntese e Gerenciamento Automatizado de Juízes Especiais

Para resolver a lacuna de precisão, o ScaleBox introduz um pipeline para gerar e gerenciar automaticamente Juízes Especiais (SPJ):

1. Detecção de Taxonomia: Um LLM classifica problemas para identificar aqueles onde a EM é insuficiente (por exemplo, caminhos não determinísticos ou requisitos de tolerância numérica).
2. Síntese de Programas: Um LLM sintetiza programas juízes baseados em Python (validate_solution) que leem entradas, saídas de referência e saídas dos participantes para produzir um veredito binário baseado em lógica personalizada.
3. Loop de Verificação: Juízes sintetizados passam por uma etapa de validação pré-implantação (testes de fidelidade e robustez) dentro do sandbox para garantir que aceitem soluções verdadeiras e rejeitem as incorretas antes de serem usados no treinamento.

B. Paralelismo Híbrido e Implantação Distribuída

Para resolver o gargalo de eficiência, o ScaleBox implementa uma arquitetura distribuída:

• Paralelismo Híbrido: Diferente de sistemas que paralelizam apenas no nível de instância, o ScaleBox paraleliza tanto no nível de instância (múltiplas solicitações de LLM) quanto no nível de teste unitário (múltiplos casos de teste dentro de uma única solicitação) nos nós de trabalho.
• Otimização de Recursos: Ele aproveita recursos de CPU ociosos para execução e teste de código, equilibrando a carga entre processadores do host e aceleradores (GPUs/NPUs).
• Gerenciamento: Um painel centralizado baseado na web permite atualizações em tempo real, monitoramento de recursos em tempo real e coordenação perfeita entre múltiplos nós via um balanceador de carga NGINX.

C. Suite de Avaliação Orientada a Configuração

O ScaleBox fornece um framework unificado que suporta principais benchmarks de código (por exemplo, LiveCodeBench, HumanEval, AetherCode) com fluxos de trabalho reproduzíveis, incluindo despacho padronizado de casos de teste e verificação multi-estágio (otimizando EM primeiro, depois recorrendo a SPJ).

3. Contribuições Principais

1. Sistema ScaleBox: Um sistema de sandbox de alta fidelidade e escalável especificamente projetado para treinamento de RLVR de código em grande escala, apresentando síntese automatizada de SPJ e execução paralela híbrida.
2. Pipeline Automatizado de SPJ: Um método inovador para sintetizar e validar juízes especializados, reduzindo significativamente o ruído de recompensa causado por falsos negativos na avaliação de correspondência exata.
3. Infraestrutura Eficiente: Uma arquitetura distribuída que alcança alta vazão ao utilizar paralelismo híbrido e equilibrar cargas de trabalho entre host e aceleradores.
4. Avaliação Abrangente: Uma suite orientada a configuração para benchmarking reproduzível em conjuntos de dados de código padrão.

4. Resultados Experimentais

A. Precisão da Verificação

• Fidelidade: Em 27 problemas complexos do AetherCode, juízes especiais sintetizados alcançaram uma Taxa de Verdadeiros Positivos (TPR) ≥ 90,0% e Taxa de Verdadeiros Negativos (TNR) ≥ 84,0% em vários LLMs (incluindo Qwen3-235B e Claude-3.7-Sonnet).
• Impacto: Isso confirma que a síntese automatizada pode distinguir de forma confiável código correto de incorreto, mesmo para tarefas de programação competitiva de elite.

B. Eficiência e Escalabilidade

• Vazão: Em um único nó (Intel Xeon 64 núcleos), o ScaleBox alcançou 39,31 tarefas/s, representando um aceleramento de 1,59× sobre o framework verl e 2,63× sobre o SandboxFusion.
• Escalonamento: O sistema escala linearmente para 62,10 tarefas/s em um cluster de 3 nós, demonstrando utilização eficaz de recursos de múltiplos nós.

C. Desempenho de Treinamento RL (RLVR)

Experimentos usando Qwen3-8B com o algoritmo GRPO mostraram:

• Ganhos de Desempenho: No subconjunto de 1,2K SPJ, a incorporação de juízes especiais melhorou o Pass@1 no LiveCodeBench (LCB-v5) em +5,91% (de 27,24% para 33,15%).
• Generalização: Mesmo no conjunto de dados completo de 26K (onde casos SPJ são apenas ~10%), o desempenho no LCB-v6 melhorou em +1,91%.
• Estabilidade: Curvas de treinamento mostraram que recompensas de alta fidelidade reduziram a variância na atribuição de crédito, levando a uma convergência mais estável e prevenindo a "supressão de recompensa" observada com bases de correspondência exata.

5. Significado

O ScaleBox aborda uma limitação fundamental no ecossistema atual de inteligência de código de LLMs: a dependência de verificação frágil e de correspondência exata. Ao fornecer uma infraestrutura confiável e de alta vazão que suporta lógica de verificação especializada, o ScaleBox permite:

• Treinamento de RL Mais Eficaz: Permite que modelos aprendam com problemas complexos e não determinísticos que anteriormente eram intratáveis ou ruidosos devido a falsos negativos.
• Pesquisa Escalável: Remove o gargalo computacional da execução de código, facilitando experimentos de RL em maior escala e benchmarking mais robusto.
• Fundação para Agentes Futuros: Estabelece as bases para agentes de código avançados em engenharia de software automatizada e resolução de problemas multi-turno, onde feedback preciso é crítico.

Em resumo, o ScaleBox preenche a lacuna entre a necessidade de sinais de recompensa de alta fidelidade no RL e as restrições práticas da execução escalável de código, avançando significativamente o estado da arte na geração de código baseada em LLM.