ScaleBox: Enabling High-Fidelity and Scalable Code Verification for Large Language Models

다음은 "ScaleBox: Enabling High-Fidelity and Scalable Code Verification for Large Language Models" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

이 논문은 강화 학습 기반 검증 보상 (RLVR) 을 활용하는 현재 대규모 언어 모델 (LLM) 코드 훈련 및 평가 시스템에서 두 가지 치명적인 병목 현상을 식별합니다.

• 검증 정확도 격차 ("정확 일치" 함정): 기존 샌드박스는 주로 코드 정확성을 검증하기 위해 정확 일치 (Exact Match, EM) 또는 휴리스틱 문자열 매칭에 의존합니다. 이 접근법은 여러 유효한 해법이 존재하는 작업 (비결정적 출력) 이나 수치적 정밀도가 필요한 작업 (부동소수점 비교) 의 경우 실패합니다.
  • 증거: 34,757 개의 문제를 분석한 결과, **14.57%**가 특수 검증 (Special Judges) 을 필요로 하는 것으로 나타났습니다. 특히, 논리적으로 올바른 정답 솔루션 중 **59.01%**가 EM 에 의해 잘못 거부되어 RL 보상 신호에 상당한 노이즈를 주입하고 편향된 기울기를 유발합니다.
• 확장성 및 효율성 병목 현상: 현재 시스템은 종종 정적 배포와 세분화된 작업 스케줄링을 사용합니다. 이로 인해 GPU/NPU 는 집중적으로 활용되는 반면, 호스트 CPU 는 병렬 코드 실행을 위해 충분히 활용되지 않는 호스트 - 가속기 불균형이 발생합니다. 이는 대규모 멀티 노드 클러스터에서의 처리량을 제한합니다.

2. 방법론: ScaleBox 시스템

ScaleBox 는 이러한 문제를 해결하기 위해 설계된 고정밀 확장형 샌드박스 인프라입니다. 그 아키텍처는 세 가지 시너지 구성 요소로 이루어져 있습니다.

A. 자동화된 특수 판정자 (Special Judge) 생성 및 관리

정확도 격차를 해결하기 위해 ScaleBox 는 **특수 판정자 (Special Judges, SPJ)**를 자동으로 생성하고 관리하는 파이프라인을 도입합니다.

1. 분류 탐지: LLM 이 EM 이 불충분한 문제 (예: 비결정적 경로 또는 수치 허용 오차 요구 사항) 를 식별하도록 문제를 분류합니다.
2. 프로그램 합성: LLM 은 입력, 참조 출력 및 참가자 출력을 읽고 사용자 정의 논리에 기반한 이진 판정을 생성하는 Python 기반 판정 프로그램 (validate_solution) 을 합성합니다.
3. 검증 루프: 합성된 판정자는 훈련 전에 정답 솔루션을 수용하고 잘못된 솔루션을 거부하는지 확인하기 위해 샌드박스 내에서 배포 전 검증 단계 (정확성 및 견고성 테스트) 를 거칩니다.

B. 하이브리드 병렬화 및 분산 배포

효율성 병목 현상을 해결하기 위해 ScaleBox 는 분산 아키텍처를 구현합니다.

• 하이브리드 병렬화: 인스턴스 수준에서만 병렬화하는 기존 시스템과 달리, ScaleBox 는 워크러 노드에서 인스턴스 수준(여러 LLM 요청) 과 단위 테스트 수준(단일 요청 내 여러 테스트 케이스) 모두에서 병렬화를 수행합니다.
• 리소스 최적화: 코드 실행 및 테스트에 유휴 CPU 리소스를 활용하여 호스트 프로세서와 가속기 (GPU/NPU) 간의 부하를 균형 있게 조정합니다.
• 관리: NGINX 로드 밸런서를 통해 핫 업데이트, 실시간 리소스 모니터링 및 원활한 멀티 노드 조정을 가능하게 하는 중앙 집중식 웹 기반 대시보드를 제공합니다.

C. 구성 기반 평가 스위트

ScaleBox 는 표준화된 테스트 케이스 배분 및 다단계 검증 (먼저 EM 최적화, 그 후 SPJ 로 백업) 을 포함한 재현 가능한 워크플로우로 주요 코드 벤치마크 (LiveCodeBench, HumanEval, AetherCode 등) 를 지원하는 통합 프레임워크를 제공합니다.

3. 주요 기여

1. ScaleBox 시스템: 자동화된 SPJ 합성 및 하이브리드 병렬 실행을 특징으로 하는 대규모 코드 RLVR 훈련을 위해 특별히 설계된 고정밀 확장형 샌드박스 시스템.
2. 자동화된 SPJ 파이프라인: 정확한 일치 평가에서의 위음성으로 인한 보상 노이즈를 크게 줄이기 위해 특수 판정자를 합성하고 검증하는 새로운 방법.
3. 효율적인 인프라: 하이브리드 병렬화를 활용하고 호스트 - 가속기 워크로드를 균형 있게 조정하여 높은 처리량을 달성하는 분산 아키텍처.
4. 종합 평가: 표준 코드 데이터셋 전반에 걸쳐 재현 가능한 벤치마킹을 위한 구성 기반 스위트.

4. 실험 결과

A. 검증 정확도

• 정확성: 27 개의 복잡한 AetherCode 문제에서 합성된 특수 판정자는 다양한 LLM(Qwen3-235B 및 Claude-3.7-Sonnet 포함) 에 걸쳐 True Positive Rate (TPR) ≥ 90.0% 및 **True Negative Rate (TNR) ≥ 84.0%**를 달성했습니다.
• 영향: 이는 자동화된 합성이 정교한 경쟁 프로그래밍 작업에서도 정확하고 부정확한 코드를 신뢰성 있게 구별할 수 있음을 확인시켜 줍니다.

B. 효율성 및 확장성

• 처리량: 단일 노드 (Intel Xeon 64 코어) 에서 ScaleBox 는 초당 39.31 개 작업을 달성하여 verl 프레임워크 대비 1.59 배의 속도 향상과 SandboxFusion 대비 2.63 배의 속도를 기록했습니다.
• 확장성: 이 시스템은 3 노드 클러스터에서 초당 62.10 개 작업으로 선형적으로 확장되어 멀티 노드 리소스의 효과적인 활용을 입증했습니다.

C. RL 훈련 성능 (RLVR)

GRPO 알고리즘을 사용한 Qwen3-8B 실험 결과는 다음과 같습니다.

• 성능 향상: 1.2K SPJ 부분집합에서 특수 판정자를 통합한 결과, LiveCodeBench (LCB-v5) 의 Pass@1이 27.24% 에서 33.15% 로 5.91% 증가했습니다.
• 일반화: SPJ 사례가 약 10% 에 불과한 전체 26K 데이터셋에서도 LCB-v6 성능이 +1.91% 향상되었습니다.
• 안정성: 훈련 곡선은 고정밀 보상이 신용 할당 (credit assignment) 의 분산을 줄여 더 안정적인 수렴을 유도하고 정확한 일치 기준선에서 관찰된 "보상 억제"를 방지함을 보여주었습니다.

5. 의의

ScaleBox 는 현재 LLM 코드 지능 생태계의 근본적인 한계인 취약한 정확한 일치 검증에 대한 의존성을 해결합니다. 특수 검증 논리를 지원하는 신뢰할 수 있고 높은 처리량의 인프라를 제공함으로써 ScaleBox 는 다음과 같은 것을 가능하게 합니다.

• 더 효과적인 RL 훈련: 이전에는 위음성으로 인해 훈련이 불가능하거나 노이즈가 많았던 복잡하고 비결정적인 문제에서 모델이 학습할 수 있게 합니다.
• 확장 가능한 연구: 코드 실행의 계산 병목 현상을 제거하여 더 대규모의 RL 실험과 더 견고한 벤치마킹을 촉진합니다.
• 미래 에이전트의 기반: 정밀한 피드백이 필수적인 자동화 소프트웨어 공학 및 다턴 문제 해결을 위한 고급 코드 에이전트의 토대를 마련합니다.

요약하자면, ScaleBox 는 RL 에서의 고정밀 보상 신호 필요성과 확장 가능한 코드 실행의 실제 제약 사이의 격차를 메워, LLM 기반 코드 생성 분야의 최첨단 기술을 크게 발전시킵니다.