기술 요약: 검증기가 곧 커리큘럼이다

문제 정의

학습된 판사(예: LLM 또는 프롬프트된 멀티모달 모델)를 사용하는 사후 학습(post-training) 코드 생성기는 구조적 취약성을 초래한다. 이러한 판사들은 종종 실제 결과물의 근본적인 개선 없이도 조작 가능한 표면적 특징에 의존하기 때문이다. 이는 모델이 기능적 정확성이 아닌 판사의 맹점을 최적화하는 "보상 해킹(reward hacking)"으로 이어진다. 게임 생성의 맥락에서, 학습된 판사는 게임 코드가 깨졌거나 멈춘 상태임에도 불구하고 시각적 에셋이 존재한다는 이유만으로 높은 점수를 줄 수 있다.

본 논문은 훈련 신호가 대신 **결정론적이고, 판사가 개입하지 않으며, 속이기 불가능한 필터(deterministic, judge-free, and ungameable filter)**가 될 때 어떤 현상이 발생하는지에 대한 질문을 다룬다. 구체적으로, 생성된 프로젝트가 헤드리스 엔진(headless engine) 환경에서 깔끔하게 실행되는지 확인하는 엄격한 실행 체크(execution check)가 효과적인 자기 증류(self-distillation)와 교차 계열 일반화(cross-family generalization)를 유도할 수 있는지 조사한다.

방법론

본 연구는 모델이 자연어 브리프(brief)로부터 완전하고 실행 가능한 Godot 4 프로젝트를 생성하도록 요구하는 벤치마크인 GameCraft-Bench를 활용한다. 이 과업은 본질적으로 결합적(conjunctive)인 난이도를 가진다. 단 하나의 파싱 에러, 누락된 리소스, 혹은 런타임 크래시만으로도 전체 프로젝트는 작동 불능 상태가 되기 때문이다.

검증 계층 (The Verification Ladder)

저자들은 검증 신호의 계층 구조(그림 1)를 다음과 같이 정의한다:

1. BUILD (관대한 단계): 프로젝트가 열리고 즉각적인 파싱 에러 없이 종료되는지 확인한다. 이는 "거의 무의미한(near-vacuous)" 단계로, 많은 고장 난 프로젝트들을 허용한다(통과율 99.9%).
2. Strict-Launch (훈련 게이트): 프로젝트가 헤드리스 엔진 하에서 깔끔하게 실행되는지(종료 코드 0, 파싱/로드/런타임 에러 없음)를 요구하는 결정론적 체크이다. 이는 속이기 불가능하며 정밀하다.
3. Execution Grounding (동적 감사): SceneTree를 구동하고 런타임 상태 변화를 측정하여 기능적 실체가 있는지 확인하는 보조 신호이다.
4. Visual Judge (속이기 가능한 단계): 벤치마크의 공식 지표로, 조작 가능함이 입증되었다(예: 코드를 얼려둔 채 에셋만 교체하는 방식).

반복적 자기 증류 (Iterative Self-Distillation)

핵심 방법론은 **strict-launch 게이트에 의해 필터링된 거부 샘플링 자기 증류(rejection-sampling self-distillation)**이다:

1. 초기화: 10개의 게임 계열에서 추출한 111개의 골드(gold) 프로젝트로 학습된 지도 학습 모델($M_0$)로 시작한다.
2. 생성: 각 훈련 계열의 브리프에 대해 $K=8$개의 후보 프로젝트를 생성한다.
3. 필터링: 후보들을 실체화(materialize)하고 strict-launch 체크를 실행한다. 깔끔하게 실행되며 3개 이상의 파일을 보유한 후보만을 유지한다.
4. 연료 생성: 유지된 후보들은 다음 라운드의 "연료($F_t$)"가 된다.
5. 재학습: 새로운 LoRA 어댑터를 기존 골드 풀과 새로운 연료의 합집합($D_{t+1} = D_t \cup F_t$)을 사용하여 베이스 모델에 학습시킨다.
6. 반복: 이 과정은 세 라운드($RFT-r1, r2, r3$) 동안 반복된다.

대조군 (Controls)

성능 향상의 원인을 격리하기 위해 저자들은 세 가지 매칭된 대조군을 사용한다:

• Gold-Duplication (CTRL): 자가 생성된 연료 대신 골드 훈련 프로젝트의 정확한 복제본을 추가한다.
• Count-Matched: 생성기(generator)를 $M_0$ 대신 $M_1$으로 교체하여, 연료의 질(quality)과 양(quantity)의 효과를 분리한다.
• BUILD-Gated: 생성기와 예산을 동일하게 유지하면서, strict-launch 필터를 관대한 BUILD 체크로 대체한다.

주요 결과

연구는 **교차 계열 일반화(cross-family generalization)**에 초점을 맞추며, 네 가지 미학습 게임 계열(공포, 리듬, 퍼즐, 슈팅)의 25개 홀드아웃 태스크를 평가한다.

• 누적되는 이득 (Compounding Gains): strict-launch 게이트 하에서 자기 증류는 성능을 크게 누적시킨다:

  • 후보당 clean-launch 비율: 8.8%(SFT)에서 13.6%(r1), 30.9%(r2), 42.2%(r3)로 증가한다.
  • Best-of-K 커버리지: 18/25(SFT)에서 25/25(r3)로 증가하여, 모든 홀드아웃 태스크가 적어도 하나의 clean 후보를 갖는 "골드 천장(gold ceiling)"에 도달한다.
  • 모든 개선 사항은 통계적으로 유의미하다 ($p < 10^{-4}$ for later rounds).

• 이득의 귀인 (Attribution of Gains):

  • 데이터 중복이 아님: Gold-Duplication 대조군(CTRL)은 오히려 성능을 5.6%로 퇴보시켰으며, 이는 단순한 데이터 양이나 반복만으로는 불충분하며 오히려 해로울 수 있음을 증명한다.
  • 필터 정밀도가 인과적임: 관대한 필터를 사용한 BUILD-gated 대조군은 모든 이득을 상쇄하여 성능을 베이스라인(8.6%)으로 되돌렸다. 이는 최적화 도구나 데이터 양이 아닌, **검증기의 정밀도(verifier precision)**가 인과적 요인임을 격리해 보여준다.
  • 질 vs 양: 라운드 1에서 2 사이의 도약을 분해해 보면, 질적 채널(+8.8 퍼센트 포인트)과 양적 채널(+8.5 퍼센트 포인트)이 모두 나타나며, 질적 측면이 주요 동력임을 알 수 있다.

• 기능적 타당성 (Functional Validity):

  • 정적 감사 (Static Audit): 후기 라운드의 clean 프로젝트들은 더 풍부하며(GDScript 중앙값 473 라인 vs SFT 331 라인), 더 많은 파일을 포함하고 있다.
  • 동적 그라운딩 (Dynamic Grounding): 독립적인 실행-그라운딩 신호는 이러한 이득이 기능적임을 확인해 준다. "그라운디드(grounded, 기능적으로 활성화된)" 후보를 가진 태스크의 수는 단조 증가하며(10 $\to$ 15/25), 자기 증류는 골드 중복(matched budget 시 5개)보다 훨씬 더 많은 그라운디드 후보(16개)를 생성한다.

의의 및 주장

본 논문의 핵심 논지는 **"검증기가 곧 커리큘럼이다"**라는 것이다.

1. 결정론적 필터는 누적을 가능케 한다: 학습된 판사와 달리, 속이기 불가능한 결정론적 실행 체크는 모델이 기능적 정확성을 학습하도록 강제하는 훈련 분포를 정의한다.
2. 정밀도가 전이를 주도한다: 자기 증류가 미학습 계열로 능력을 누적시키는 능력은 수용 필터의 정밀도와 직접 연결되어 있다. 높은 거짓 양성(false-positive)을 가진 필터(예: BUILD)는 고장 난 프로젝트를 누적시키지만, 정밀한 필터는 작동하는 프로젝트를 누적시킨다.
3. 기능적 실체: 개선 사항은 단순히 "스텁으로 부풀려진(stub-inflated)" 것(실행은 되지만 아무것도 하지 않는 프로젝트)이 아니다. 이는 실제적인 기능적 복잡성과 런타임 동작의 진정한 증가를 의미한다.

저자들은 자기 개선 루프에서 능력의 천장은 단순히 데이터의 양이 아니라, **검증기의 무결성(integrity of the verifier)**에 의해 결정된다고 결론짓는다. 비록 본 연구가 검증 가능한 테스트베드로서 게임 생성에 특화되어 있으나, 이 원리는 결정론적이고 속이기 불가능한 체크가 존재하는 모든 도메인에서 반복적인 자기 증류가 강력한 교차 도메인 일반화를 이끌 수 있음을 시사한다.