ScaleBox: Enabling High-Fidelity and Scalable Code Verification for Large Language Models

1. Declaración del Problema

El artículo identifica dos cuellos de botella críticos en los sistemas actuales de entrenamiento y evaluación de código para Modelos de Lenguaje Grande (LLM), particularmente aquellos que utilizan Aprendizaje por Refuerzo con Recompensas Verificables (RLVR):

• Brecha de Precisión en la Verificación (La Trampa de la "Coincidencia Exacta"): Los entornos de prueba (sandboxes) existentes dependen predominantemente de la Coincidencia Exacta (EM) o de la coincidencia heurística de cadenas para verificar la corrección del código. Este enfoque falla en tareas con múltiples soluciones válidas (salidas no deterministas) o aquellas que requieren precisión numérica (comparaciones de punto flotante).
  • Evidencia: Un análisis de 34.757 problemas reveló que el 14,57% requiere verificación especializada (Jueces Especiales). Crucialmente, el 59,01% de las soluciones de referencia lógicamente correctas son rechazadas falsamente por la EM, inyectando un ruido significativo en las señales de recompensa del RL y causando gradientes sesgados.
• Cuellos de Botella de Escalabilidad y Eficiencia: Los sistemas actuales suelen utilizar despliegue estático y programación de tareas de grano grueso. Esto conduce a un desequilibrio entre el anfitrión y el acelerador, donde las GPUs/NPUs están fuertemente utilizadas mientras que las CPUs del anfitrión permanecen subutilizadas para la ejecución paralela de código. Esto limita el rendimiento en clústeres grandes de múltiples nodos.

2. Metodología: El Sistema ScaleBox

ScaleBox es una infraestructura de entorno de prueba (sandbox) de alta fidelidad y escalable diseñada para abordar estos problemas. Su arquitectura consta de tres componentes sinérgicos:

A. Síntesis y Gestión Automatizada de Jueces Especiales

Para resolver la brecha de precisión, ScaleBox introduce un pipeline para generar y gestionar automáticamente Jueces Especiales (SPJ):

1. Detección de Taxonomía: Un LLM clasifica los problemas para identificar aquellos donde la EM es insuficiente (por ejemplo, rutas no deterministas o requisitos de tolerancia numérica).
2. Síntesis de Programas: Un LLM sintetiza programas jueces basados en Python (validate_solution) que leen entradas, referencias de salida y salidas de los participantes para producir un veredicto binario basado en lógica personalizada.
3. Bucle de Verificación: Los jueces sintetizados pasan por una etapa de validación previa al despliegue (pruebas de fidelidad y robustez) dentro del entorno de prueba para asegurar que acepten las soluciones de referencia y rechacen las incorrectas antes de ser utilizados en el entrenamiento.

B. Paralelismo Híbrido y Despliegue Distribuido

Para resolver el cuello de botella de eficiencia, ScaleBox implementa una arquitectura distribuida:

• Paralelismo Híbrido: A diferencia de los sistemas que solo paralelizan a nivel de instancia, ScaleBox paraleliza tanto a nivel de instancia (múltiples solicitudes de LLM) como a nivel de prueba unitaria (múltiples casos de prueba dentro de una sola solicitud) en los nodos trabajadores.
• Optimización de Recursos: Aprovecha los recursos de CPU inactivos para la ejecución y prueba de código, equilibrando la carga entre los procesadores del anfitrión y los aceleradores (GPUs/NPUs).
• Gestión: Un panel de control web centralizado permite actualizaciones en caliente, monitoreo de recursos en tiempo real y coordinación fluida de múltiples nodos mediante un equilibrador de carga NGINX.

C. Suite de Evaluación Impulsada por Configuración

ScaleBox proporciona un marco unificado que soporta las principales referencias de código (por ejemplo, LiveCodeBench, HumanEval, AetherCode) con flujos de trabajo reproducibles, incluyendo la distribución estandarizada de casos de prueba y la verificación multi-etapa (optimizando primero la EM y luego recurriendo a SPJ).

3. Contribuciones Clave

1. Sistema ScaleBox: Un sistema de entorno de prueba de alta fidelidad y escalable diseñado específicamente para el entrenamiento de RLVR de código a gran escala, que cuenta con síntesis automatizada de SPJ y ejecución paralela híbrida.
2. Pipeline Automatizado de SPJ: Un método novedoso para sintetizar y validar jueces especializados, reduciendo significativamente el ruido en las recompensas causado por los falsos negativos en la evaluación de coincidencia exacta.
3. Infraestructura Eficiente: Una arquitectura distribuida que logra un alto rendimiento mediante el uso de paralelismo híbrido y el equilibrio de cargas de trabajo entre anfitrión y acelerador.
4. Evaluación Exhaustiva: Una suite impulsada por configuración para la evaluación de referencia reproducible en conjuntos de datos de código estándar.

4. Resultados Experimentales

A. Precisión de Verificación

• Fidelidad: En 27 problemas complejos de AetherCode, los jueces especiales sintetizados lograron una Tasa de Verdaderos Positivos (TPR) ≥ 90,0% y una Tasa de Verdaderos Negativos (TNR) ≥ 84,0% en diversos LLM (incluyendo Qwen3-235B y Claude-3.7-Sonnet).
• Impacto: Esto confirma que la síntesis automatizada puede distinguir fiablemente el código correcto del incorrecto, incluso para tareas de programación competitiva de élite.

B. Eficiencia y Escalabilidad

• Rendimiento: En un solo nodo (Intel Xeon de 64 núcleos), ScaleBox logró 39,31 tareas/s, lo que representa una aceleración de 1,59× sobre el framework verl y 2,63× sobre SandboxFusion.
• Escalado: El sistema escala linealmente hasta 62,10 tareas/s en un clúster de 3 nodos, demostrando una utilización efectiva de los recursos de múltiples nodos.

C. Rendimiento de Entrenamiento RL (RLVR)

Los experimentos utilizando Qwen3-8B con el algoritmo GRPO mostraron:

• Ganancias de Rendimiento: En el subconjunto de 1,2K SPJ, incorporar jueces especiales mejoró el Pass@1 en LiveCodeBench (LCB-v5) en +5,91% (de 27,24% a 33,15%).
• Generalización: Incluso en el conjunto de datos completo de 26K (donde los casos SPJ son solo ~10%), el rendimiento en LCB-v6 mejoró en +1,91%.
• Estabilidad: Las curvas de entrenamiento mostraron que las recompensas de alta fidelidad redujeron la varianza en la asignación de créditos, lo que llevó a una convergencia más estable y previno la "supresión de recompensas" observada con las líneas base de coincidencia exacta.

5. Significado

ScaleBox aborda una limitación fundamental en el ecosistema actual de inteligencia de código para LLM: la dependencia de una verificación frágil por coincidencia exacta. Al proporcionar una infraestructura fiable y de alto rendimiento que soporta lógica de verificación especializada, ScaleBox permite:

• Entrenamiento RL Más Efectivo: Permite que los modelos aprendan de problemas complejos y no deterministas que anteriormente eran inentrenables o ruidosos debido a los falsos negativos.
• Investigación Escalable: Elimina el cuello de botella computacional de la ejecución de código, facilitando experimentos de RL a mayor escala y una evaluación de referencia más robusta.
• Fundamento para Agentes Futuros: Sienta las bases para agentes de código avanzados en ingeniería de software automatizada y resolución de problemas de múltiples turnos, donde la retroalimentación precisa es crítica.

En resumen, ScaleBox cierra la brecha entre la necesidad de señales de recompensa de alta fidelidad en RL y las limitaciones prácticas de la ejecución de código escalable, avanzando significativamente el estado del arte en la generación de código basada en LLM.