OpenSIR: Open-Ended Self-Improving Reasoner

기술 요약: OpenSIR: 개방형 자기 개선 추론 모델 (Open-Ended Self-Improving Reasoner)

문제 정의

DeepSeek-R1 및 OpenAI o1과 같은 최근의 대규모 언어 모델(LLM) 추론 기술의 발전은 광범별한 인간 주석 데이터셋을 사용하는 검증 가능한 보상 기반 강화 학습(RLVR)에 크게 의존하고 있습니다. 이러한 의존성은 확장성의 병목 현상을 초고하며, 모델의 성능을 인간 수준에 가두는 잠재적 한계를 만듭니다. 셀프 플레이(Self-play)는 명확한 보상 신호(Go나 Poker와 같은 게임에서 볼 수 있듯이)를 통해 인간의 성능을 능가할 수 있는 경로를 제공하지만, 이를 수학적 추론에 적용하는 데는 근본적인 장애물이 존재합니다. 즉, 생성된 문제에 피드백을 줄 정답(Ground-truth)이 없다는 점입니다.

기존의 셀프 플레이 방식은 외부 검증기(예: 컴파일러)나 휴리스틱 신호(예: 다수결 투표)를 사용하여 이를 우회하려고 시도합니다. 그러나 이미 상당한 양의 인간 큐레이션 데이터로 사후 학습(Post-training)을 거친 모델에 이를 적용할 경우, 이러한 방식은 미미하거나 심지어 부정적인 결과를 낳습니다. 본 논문은 기존 방식들이 **개방형 학습(Open-ended learning)**을 지원하지 못한다는 더 깊은 한계를 지적합니다. 즉, 새로움(Novelty)에 대한 명시적인 인센티브가 없다면, 셀프 플레이의 "교사(Teacher)" 구성 요소는 익숙한 문제 템플릿에 안주하게 되어 새로운 학습 신호를 생성하는 것을 멈추게 됩니다. 결과적으로, 이러한 방식은 잘 훈련된 모델을 현재의 역량 너머로 밀어 올릴 수 없습니다.

방법론: OpenSIR

저자들은 단일 모델 $\pi_\theta$가 외부의 감독이나 주석 데이터 없이 교사(문제 생성)와 학생(문제 해결) 역할을 번갈아 수행하는 셀프 플레이 프레임워크인 **OpenSIR (Open-Ended Self-Improving Reasoner)**를 제안합니다. 이 프레임워크는 하나의 사소한 시드 문제(예: "1+1은 무엇인가?")로부터 부트스트래핑(Bootstrapping)을 시작합니다.

각 학습 반복은 네 단계로 구성됩니다:

1. 문제 생성 (Problem Generation): 교사는 축적된 문제 풀(Pool)에서 샘플링된 참조 문제를 바탕으로 $G$개의 새로운 문제를 생성합니다.
2. 솔루션 샘플링 (Solution Sampling): 학생은 문제당 여러 개의 솔루션을 시도합니다. 참조 정답은 다수결 투표를 통해 결정되며, 신뢰도를 측정하기 위해 "해결률(Solve rate)"을 계산합니다.
3. 스코어링 (Scoring):
   • 교사 스코어링 (신선도/Novelty): 문제는 **난이도(Difficulty)**와 **다양성(Diversity)**을 기준으로 점수가 매겨집니다.
     • 난이도: 최적의 해결률(예: 0.5~0.9)에서 정점을 찍는 삼각 함수와 솔루션 길이를 통해 측정됩니다 (다단계 추론을 장려함).
     • 다양성: 새로운 개념을 탐색하기 위해 새로운 문제와 기존 문제 풀 사이의 임베딩 거리(코사인 거리)를 통해 측정됩니다.
   • 학생 스코어링 (정확도/Correctness): 파싱된 정답이 참조 정답과 일치하는지 및 적절한 형식을 갖추었는지에 따라 결정됩니다.
4. 모델 업데이트 (Model Update): GRPO(Group Relative Policy Optimization) 스타일의 목적 함수를 사용하여 정책을 업데이트합니다. 신선도 점수에 따라 고품질의 문제-솔루션 쌍을 선택하며, 배치(Batch)의 절반은 교사 학습에, 나머지 절반은 학생 학습에 할당됩니다.

결정적으로, OpenSIR은 교사와 학생이 함께 진화하는 **이중 역할 학습(Dual-role training)**을 채택합니다. 이를 통해 교사는 학생의 능력이 향상됨에 따라 문제 난이도를 동적으로 조정할 수 있으며, 너무 쉽거나 너무 어려워서(따라서 유효하지 않은) 문제가 생성되는 것을 방지합니다.

주요 기여

1. 실패 모드 식별: 본 논문은 기존의 셀프 플레이 방식이 새로움을 유지하는 메커니즘이 부족하여, 반복적인 문제 생성과 성능 저하를 초래함으로써 잘 훈련된 사후 학습 모델에서 실패함을 입증했습니다.
2. OpenSIR 프레임워크: 단 하나의 사소한 시드로부터 개방형 자기 개선이 가능한 최초의 셀프 플레이 프레임워크를 도입했습니다. 이는 외부 검증기 없이도 난이도 조정(Calibration)과 다양성(Exploration)을 공동으로 최적화합니다.
3. 경험적 우월성: OpenSIR은 수천 개의 인간 주석 예시로 훈련된 모델보다 일관되게 높은 성능을 보이며, 수학적 추론 분야에서 Instruction-tuned 모델 및 추론 특화 모델 모두에서 우수한 성과를 거두었습니다.

결과

저자들은 7개의 수학 벤치마크(GSM8K, MATH-500, Minerva, OlympiadBench, College Math, AIME 2024/2025)와 3개의 일반 추론 벤치마크(BBEH, MMLU-Pro, SuperGPQA)에서 OpenSIR을 평가했습니다.

• Instruction 모델: Llama-3.2-3B-Instruct 및 Llama-3.1-8B-Instruct에서 OpenSIR은 수학적 추론에서 각각 평균 +3.99 및 +3.27의 이득을 달升했습니다. 이는 7,000개 이상의 인간 주석 예시로 훈련된 GRPO 베이스라인(+2.69 및 +1.91)과 미미하거나 부정적인 이득을 보인 다른 셀프 플레이 방식(Absolute Zero, R-Zero)을 능가했습니다.
• 추론 모델: 고도로 사후 학습된 추론 모델(DeepSeek-R1-Distill-Llama-8B 및 Qwen3-8B)에서 OpenSIR은 수학적 추론을 각각 +3.71 및 +2.41 개선했습니다. 반면, 데이터 기반 GRPO 베이스라인은 최소한의 이득만을 제공했으며, 다른 셀프 플레이 방식은 종종 성능을 저하시켰습니다.
• 일반 추론 전이: OpenSIR은 일반적인 추론 능력을 일관되게 향상시킨 유일한 방법으로, 추론 모델에서 +4.79 및 ++4.41의 이득을 보였습니다. 이는 다양하고 스스로 생성한 새로운 문제에 대한 학습이 단순한 수학적 숙련도가 아닌, 전이 가능한 추론 기술을 발달시킨다는 것을 시사합니다.
• 절제 연구 (Ablation Studies):
  • 다양성 보상 (Diversity Reward): 다양성 보상을 제거하면 수학 정확도는 약 2.7포인트, 일반 추론은 약 2.5포인트 감소했으며, 탐색된 고유 개념의 수도 절반으로 줄어들었습니다.
  • 이중 역할 학습 (Dual-Role Training): 고정된 교사를 사용하여 학생만 훈련했을 경우 성능이 크게 하락하고 문제 난이도가 불안정해졌으며, 이는 공진화(Co-evolution)의 필요성을 확인시켜 주었습니다.
  • 시드 강건성 (Seed Robustness): 초기 시드가 사소한 산술 문제이든, 기하학 문제이든, 혹은 경시대회 수준의 문제이든 관계없이 일관된 성능을 보였습니다.

의의

본 논문은 OpenSIR이 개방형 자율 수학적 추론 개발을 위한 강력한 패러다임을 제시한다고 주장합니다. 난이도 조정과 다양성 보상을 결합함으로써, 모델이 인간 주석 데이터의 경계를 넘어 재귀적으로 자신의 역량을 확장할 수 있게 합니다.

저자들은 이 접근 방식이 확장성의 병목인 광범위한 큐레이션 데이터셋에 대한 의존성을 제거한다고 강조합니다. 결과는 모델이 익숙한 것을 반복하기보다 새로운 개념을 탐색하도록 명시적으로 유도될 때, 재귀적 자기 개선을 통해 수학적 추론을 효과적으로 부트스트래핑할 수 있음을 보여줍니다. 비록 긴 훈련 후에 성능이 결국 정체된다는 점을 언급하고 있지만, 본 연구는 새로움 중심의 셀프 플레이가 LLM을 추론 작업에서 인간 수준 이상으로 밀어 올리기 위한 실행 가능하고 필수적인 경로임을 확립했습니다.