A-Evolve-Training: Autonomous Post-Training of a 30B Model

기술 요약: A-Evolve-Training

문제 정의
"AI Scientist" 계열의 연구와 같은 기존의 자율 연구 시스템은 (GPT-2 급, 약 1억 2,400만 파라미터 규모와 같이) 단일 실험 시도의 비용이 미미한 규모에서 작동합니다. 이 체제에서는 루프가 저렴한 재시도(retries), 철저한 탐색(exhaustive sweeping), 그리고 중간 상태를 전달하는 특화된 에이전트에 의존할 수 있습니다. 그러나 프런티어급 사후 학습(post-training, 예: 30B+ 파라미터)은 근본적으로 다른 비용 구조를 제시합니다. 단일 학습 실행에는 H200 GPU 클러스터에서 수 주가 소요되며, 단일 실행에서의 노이즈는 평균화할 수 있는 수준이 아니라 구속적인(binding) 변수가 됩니다. 핵심 문제는, 작은 규모에서는 무료였던 움직임들(재시도, 상태 누적 등)이 매우 비싸지는 프런티어 제약 조건 하에서 자율 루프가 효과적으로 종결될 수 있는지 여부입니다. 또한, 여기서의 탐색 공간은 고정된 하이퍼파라미터가 아니라 복잡한 코드와 데이터 레시피를 포함합니다.

방법론: A-Evolve-Training 시스템
저자들은 프런티어급 사후 학습의 비용 구조에서 살아남기 위해 특별히 설계된 시스템을 제안합니다. 이 아키텍처는 비대칭적 자유(asymmetric freedom) 원칙에 의해 통합된 세 가지 기둥으로 구축됩니다. 즉, 비교 가능성을 위해 불변으로 유지되어야 하는 축에는 자유를 전혀 허용하지 않고, 탐색이 가치를 창생하는 축에는 최대한의 자유를 부여하는 것입니다.

1. 불변의 참조 기질 (Immutable Reference Substrate):
   시스템은 베이스 체크포인트, 데이터 구축 파이프라인, 그리고 학습/평가 코드를 포함하는 인간이 검증한 단일 작업 공간(default/)에 기반을 둡니다. 모든 라운드는 이 불변의 기질로부터 포크(fork)됩니다. 결정적으로, 기질은 "승리한" 레시피에 의해 덮어쓰여지지 않으며, 이전 라운드의 승리자로부터 포크되지도 않습니다. 이는 모든 후보군이 동일한 지면을 기준으로 측정되도록 보장하며, 이전의 설계에서 특화된 에이전트들이 중간 상태를 전달할 때 발생했던 드리프트(drift)와 관찰되지 않은 분산을 방지합니다.

2. 동질적이고 메모리가 없는 워커 (Homogeneous, Memory-Free Workers):
   특화된 에이전트(예: 데이터를 다루는 에이전트가 학습 담당에게 전달하는 방식) 대신, 각 라운드는 $N=8$개의 동일한 풀스택(full-stack) 에이전트를 실행합니다. 각 워커는 특정 탐색 축(예: 데이터 혼합, 스케줄, 필터링)을 할당받으며, 라운드 간에 상태를 공유하지 않고 독립적으로 작동합니다. 이 설계는 에이전트들이 서로의 중간 상태 위에 구축될 때 발생하는 관찰되지 않은 분산의 누적을 방지합니다.

3. 라운드 단위의 증거 집계 및 정책 중심 승격 (Round-Level Evidence Aggregation & Policy-Only Promotion):
   선택은 개별 후보 수준이 아닌 라운드 수준에서 이루어집니다. "원샷(one-shot)" 수집 에이전트가 모든 워커의 결과를 취합하여 고정된 스키마의 보고서를 작성합니다. 메타 에이전트는 수정할 수 없는 고정된 "헌법(constitution, 읽기 전용 시스템 프롬프트)"에 의해 제약된 상태에서, 이 증거를 바탕으로 다음 라운드를 위한 *롤링 탐색 정책(rolling search policy)*을 재작성합니다.

   • 승격 메커니즘: 시스템은 특정 레시피를 기질로 승격시키지 않습니다. 대신, 정책(예: 어떤 축을 탐색할지, 기본 레시피는 무엇인지, 노이즈 임계값은 얼마인지)을 업데이트합니다. 기질은 정적 상태를 유지하며, 오직 탐색 전략만이 진화합니다.

주요 기여

• 프런티어급 규모로의 자율 루프 확장: 본 논문은 초기 기질 설정 후 인간의 개입 없이 GPU 클러스터에서 수 주간 작동한, 최초로 공개된 프런티어급 규모(30B 파라미터)의 자율 사후 학습 실행을 보고합니다.
• 고비용 환경을 위한 아키텍처 전환: 저자들은 "특화된 에이전트" 패러다임이 상태 누적으로 인해 규모가 커짐에 따라 실패함을 입증합니다. 대신 "메모리 없는 동질적 워커"와 "불변의 기질"을 고비용, 저재시도 환경에 필요한 설계 패턴으로 제안합니다.
• 대리 실패(Proxy Failure)의 자율적 발견: 시스템은 단순히 고정된 틀 내에서 최적화하는 데 그치지 않았습니다. 시스템은 내부 개발 지표가 외부 성능에 대한 오도된 대리 지표(misleading proxy)가 되었음을 감지했습니다. 구체적으로, 루프는 특정 "취약한" 추론 도메인에서의 성능을 극대화하는 것이 외부 리더보드 점수로 이어지지 않는다는 것을 발견했습니다. 결과적으로, 루프는 해당 도메인의 내부 대리 지표를 낮추는 대신 외부 타겟을 개선하는 방향으로 탐색 정책을 자율적으로 수정함으로써, 스스로의 탐색 전제를 반증했습니다.

결과

• 성능: 자율적으로 생성된 모델은 NVIDIA Nemotron-Reasoning Challenge에서 0.86의 홀드아웃 리더보드 점수를 기록했습니다. 이는 최고 인간 제출 점수인 0.87과 비교되는 수치로, 약 4,000개의 항목 중 8위를 차지했습니다.
• 수렴: 시스템은 4번의 라운드를 거치며 단조로운 개선(monotonic improvement)을 보여주었습니다.
• 전략적 역전: 후기 라운드에서 시스템은 내부 지표(특히 취약한 추론 도메인)를 밀어붙이는 것이 더 이상 인과적 병목이 아님을 발견했습니다. 시스템은 목적을 반전시켜, 내부 대리 지표를 낮추더라도 외부 타겟을 개선하는 개입을 추구했는데, 이는 고정된 최적화 에이전트에게는 직관에 어긋나는 움직임일 것입니다.
• 규모 확장 증거: 동일한 시스템이 120B 및 550B Nemotron 모델에 적용되었으며, 이를 통해 루프가 이러한 규모에서도 종결됨을 입증했습니다. 다만, 저자들은 인간 레시피와의 경쟁력에 대한 주장은 공적인 인간 베이스라인의 부재로 인해 유보합니다.

의의 및 주장
본 논문은 "재귀적 자기 개선(RSI)"에 대해 신중하고 운영적인 관점을 취합니다. RSI를 해결했다거나 일반적인 의미에서 인간 연구자를 능가했다고 주장하는 것이 아닙니다. 대신, 프런티어급 모델의 엔드 투 엔드 사후 학습을 수행할 수 있는 능력이라는 구체적이고 감사 가능한 기준을 통과했음을 주장합니다.

저자들은 가장 중요한 발견이 최종 점수가 아니라, 자신의 탐색 규칙을 수정하는 능력이라고 주장합니다. 자신의 측정 프레임이 오도되었다는 것을 감지하고, 무엇이 유효한 증거인지를 자율적으로 변경함으로써(내부 대리 지표를 극대화하는 것에서 외부 타겟을 최적화하는 것으로 전환), 시스템은 단순한 "최적화"를 넘어 "발견"을 보여주었습니다. 이는 확장된 자율 루프가 운영자의 사전 가정(무엇이 유효한 증거인지에 대한 가정) 밖에 있는 결과물을 도출할 수 있음을 시사합니다.

결론적으로, 본 논문은 현재의 결과가 단일 데이터 포인트이며 한계(단일 베이스 모델, 단일 벤치마크, 사전 감사된 기질)가 있지만, 프런티어급 사후 학습을 위한 장벽이 도달 가능하다는 것과 이러한 루프가 자신의 탐색 전략에 대해 자기 교정적 행동을 보일 수 있음을 증명한다고 밝힙니다.