Steerable Instruction Following Coding Data Synthesis with Actor-Parametric Schema Co-Evolution

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 자동 프로그래밍 분야에서 탁월한 성과를 보이고 있으나, 자연어로 표현된 인간의 지시 (Instruction) 를 정확하게 해석하고 따르는 능력 (Instruction Following, IF) 은 여전히 중요한 과제로 남아 있습니다. 이를 향상시키기 위해서는 고품질의 지시 - 코드 쌍 데이터가 필요하지만, 기존 방식에는 다음과 같은 한계가 존재했습니다.

• 논리적 일관성 및 검증의 병목: 여러 개의 제약 조건 (Constraints) 을 동시에 가진 코딩 문제를 생성할 때, 지시 사항 간 논리적 모순이 발생하거나 문제가 해결 불가능 (Unsolvable) 해지는 경우가 많습니다. 또한, 생성된 코드의 정확성을 검증하는 유닛 테스트를 자동으로 만드는 것 자체가 오류가 발생하기 쉽습니다.
• 구조화되지 않은 난이도 탐색: 기존 자동 데이터 생성 방식은 정적인 브루트포스 샘플링이나 적대적 자기 진화 프레임워크에 의존하는데, 이는 데이터 패턴의 반복성을 초래하거나, 모델이 보상 함수를 우회하여 해결 불가능한 문제를 생성하는 등의 문제를 야기합니다.

2. 제안 방법: IFCodeEvolve (Methodology)

저자들은 IFCodeEvolve라는 새로운 프레임워크를 제안합니다. 이는 지시 스키마 (Instruction Schema) 와 생성 모델 (Actor) 이 서로 협력하여 진화하는 공진화 (Co-evolution) 패러다임을 기반으로 합니다.

핵심 구성 요소

1. 매개변수형 지시 스키마 (Parametric Instruction Schema):

   • 고정된 텍스트가 아닌, 변수 슬롯과 검증 함수 (AST 기반) 를 포함하는 함수 스키마 형태로 지시를 표현합니다.
   • 예: "변수 이름이 {style} 컨벤션을 따라야 한다"에서 {style} 을 snake_case, camelCase 등으로 동적으로 인스턴스화할 수 있습니다.
   • 이를 통해 제한된 스키마 라이브러리로 방대한 지시 공간을 효율적으로 커버할 수 있습니다.

2. MCTS 기반 샘플러 (Monte Carlo Tree Search Sampler):

   • 방대한 스키마 조합 공간을 탐색하기 위해 MCTS 를 적용합니다.
   • 각 노드 확장은 스키마 인스턴스화에 해당하며, 루트에서 리프까지의 경로는 최종 지시 집합을 구성합니다.
   • 동적 종료 신호: 생성된 데이터가 현재 Actor 모델에게 해결하기 어렵게 만드는지 (Actor 가 실패하는지) 를 실시간으로 확인하여 탐색을 종료하거나 계속합니다.

3. 구현을 통한 증명 (Proof-by-Construction) 및 실행 기반 라우팅:

   • 지시를 추가할 때마다 LLM 이 기존 코드를 수정하여 새로운 제약 조건을 만족하는 '증거 코드 (Witness Solution)'를 생성하도록 합니다.
   • 이 코드가 기능적 유닛 테스트와 지시 사항 검증 (AST 기반) 을 모두 통과해야만 데이터가 유효한 것으로 간주됩니다.
   • Actor 가 해결하지 못한 문제는 최종 데이터셋에 포함시키고, 해결한 문제는 더 어려운 지시를 추가하여 다음 라운드로 전달합니다.

4. Actor-Schema 공진화 (Co-Evolution Paradigm):

   • Actor 진화: 생성된 데이터로 Actor 모델을 후속 학습 (Post-training) 시켜 성능을 향상시킵니다.
   • 스키마 진화:
     • 조합 (Composition): MCTS 통계 데이터를 기반으로 시너지 효과가 있는 스키마 쌍을 찾아 새로운 복합 스키마로 합칩니다.
     • 돌연변이 (Mutation): Actor 가 쉽게 통과하는 (성공률이 높은) 스키마를 분석하여, 약점을 파고드는 더 강력한 제약 조건으로 변형합니다.

3. 주요 기여 (Key Contributions)

• IFCodeEvolve 프레임워크: 지시 코딩 데이터 생성을 위한 최초의 공진화 프레임워크로, 논리적 유효성을 보장하면서도 점진적으로 문제 난이도를 높이는 조종 가능한 (Steerable) 데이터 생성 프로세스를 정립했습니다.
• IFCodeBench 벤치마크: 생성된 데이터를 기반으로 인간 검증과 AST 기반 검증을 거친 고품질 벤치마크를 공개했습니다. 이는 다양한 지시 수 (1~10 개 이상) 와 난이도를 포함하며, 실행 가능한 테스트와 AST 검증 프로토콜을 제공합니다.
• 약한 모델에서 강한 모델로의 확장성 (Weak-to-Strong Scalability): 작은 모델 (8B) 로 생성된 데이터로 큰 모델 (32B) 을 학습시켰을 때, 독점적 SOTA 모델과 동급의 성능을 달성함을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: IFCodeEvolve 로 생성된 데이터로 학습한 32B 모델은 GPT-5.2, Claude-4.5 등 최신 독점 모델들과 경쟁력 있는 성능을 보였습니다.
• 벤치마크 평가: IFEvalCode, CodeIF, 그리고 새로 제안한 IFCodeBench 에서 기존 오픈소스 모델 대비 지시 준수율 (Instruction-level pass rate) 과 프롬프트 전체 준수율 (Prompt-level pass rate) 에서 큰 개선을 보였습니다.
• 데이터 오염 방지: 생성된 데이터가 기존 벤치마크와 겹치지 않음을 n-gram 분석을 통해 확인했습니다 (n=13 기준 0% 오염).
• Ablation Study: MCTS 샘플링, Actor 진화, 지시 스키마 진화 중 어느 하나라도 제거할 경우 성능이 저하됨을 확인하여 각 모듈의 중요성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 단순한 데이터 증강을 넘어, 데이터 생성 프레임워크의 핵심 구성 요소 (모델과 스키마) 자체가 진화하는 메커니즘을 제시했습니다. 이는 수학 문제 해결이나 과학적 발견과 같은 다른 추론 집약적 영역에서도 적용 가능한 일반적인 방법론을 제공합니다. 특히, 논리적 일관성을 보장하면서 모델의 능력을 지속적으로 자극하는 '자기 적응형 커리큘럼 (Self-adapting curriculum)'을 구축함으로써, 차세대 지시 준수 코드 LLM 학습의 새로운 표준을 제시했다는 점에서 의의가 큽니다.