[기술 요약] 대규모 언어 모델의 과학적 추론을 위한 데이터 및 보상 설계 개선

1. 문제 정의 (Problem Statement)

최근 LLM은 수학, 코드 등 구조화된 영역에서는 뛰어난 성능을 보이지만, 자유 형식(free-form)의 텍스트로 답해야 하는 '개방형 과학 질문(Open-ended science questions)' 해결에는 여전히 취약합니다. 이 문제의 핵심 병목 현상은 다음과 같습니다.

• 불확실한 감독(Unreliable Supervision): 과학적 답변은 참조 답안이 자유 형식이며, 단순한 문자열 매칭이나 규칙 기반 검증이 어렵습니다.
• 보상 설계의 어려움(Reward Design Challenges): 강화 학습(RL)을 적용할 때, 개방형 질문에 대해 안정적이고 정보가 풍부한(informative) 보상 신호를 생성하기 어렵습니다. 기존의 생성형 보상 모델(GenRM)은 '보상 해킹(Reward Hacking)'에 취약하거나, 부분 점수만을 쫓는 '포인트 체이싱(Point-chasing)' 현상을 유발합니다.
• 데이터 품질 및 난이도 조절 부족: 기존 오픈소스 과학 데이터셋은 난이도 주석이 없거나, 검증 가능한 질문과 개방형 질문의 구분이 모호하여 체계적인 커리큘럼 학습이 어렵습니다.

2. 제안 방법론 (Methodology)

본 논문은 데이터 구축부터 사후 학습(Post-training)까지 아우르는 통합 파이프라인인 Dr. SCI를 제안합니다.

A. Dr. SCI 데이터셋 구축

• 데이터 정제: 다양한 오픈소스 STEM 데이터를 수집하여 8개 분야, 약 100만 개의 질문으로 구성된 데이터셋을 구축했습니다.
• 이원화된 구조: 질문을 '규칙 기반 검증 가능(Rule-verifiable)' 질문과 '개방형(Open-ended)' 질문으로 명확히 분리했습니다.
• 난이도 주석: Qwen3-32B를 활용해 성공률 기반의 확장 가능한 난이도 점수를 부여했습니다.
• 세밀한 루브릭(Fine-grained Rubrics) 생성: OpenAI o3를 사용하여 개방형 질문에 대해 7~20개의 세부 평가 항목(Essential, Important, Optional, Pitfall)을 생성했습니다.

B. Dr. SCI 사후 학습 파이프라인 (Post-training Pipeline)

1. Exploration-Expanding SFT (EESFT): RL 단계에서 모델의 탐색 범위를 넓히기 위해, 4-gram 중복도를 기준으로 데이터의 다양성(Lexical/Structural diversity)을 극대화하는 방식으로 SFT 데이터를 선택합니다.
2. Dynamic Difficulty Curriculum: 모델의 현재 능력에 맞춰 학습 데이터를 동적으로 조절합니다. 모델이 마스터한 쉬운 문제는 제외하고, 너무 어려운 문제는 뒤로 미루며 점진적으로 난이도를 높여 학습 효율을 극대화합니다.
3. SciRubric-Guided RL: 개방형 질문에 대해 루브릭 기반 보상을 제공합니다. 단순히 루브릭 점수만 합산하는 것이 아니라, '최종 정답의 정확성(Final-answer correctness)'에 압도적인 가중치를 부여하여, 모델이 정답을 맞히지 않은 채 설명만 길게 늘어놓는 보상 해킹을 방지합니다.

3. 주요 기여 (Key Contributions)

• 체계적인 데이터 파이프라인: 이질적인 과학 데이터를 검증 가능/개방형 분리, 난이도 주석, 세부 루브릭이 포함된 고품질 데이터셋(Dr. SCI)으로 변환하는 방법론을 제시했습니다.
• 새로운 RL 보상 메커니즘: 개방형 과학 추론을 위해 루브릭과 최종 정답 검증을 결합한 안정적인 보상 설계(SciRubric-Guided RL)를 제안했습니다.
• 통합 학습 프레임워크: SFT의 다양성 확보, 커리큘럼 학습, 루브릭 기반 RL을 하나로 묶은 일관된 사후 학습 워크플로우를 구축했습니다.

4. 실험 결과 (Results)

• 압도적 성능: Qwen3-4B-Base 모델을 기반으로 학습한 Dr. SCI-4B-think 모델은 GPQA-diamond에서 63.2점을 기록하며, 훨씬 거대한 모델인 o1-mini 및 GPT-4o를 능가하는 성과를 보였습니다.
• 개방형 질문 강점: 특히 자유 형식의 답변을 요구하는 GPQA-general 벤치마크에서 기존 모델 대비 비약적인 성능 향상을 입증했습니다.
• 효율성 입증: Ablation study를 통해 EESFT가 탐색 범위를 넓히고, Dynamic Curriculum이 학습 효율을 높이며, SciRubric-Guided RL이 보상 해킹 없이 안정적인 학습을 가능하게 함을 증명했습니다.

5. 의의 (Significance)

본 연구는 LLM의 과학적 추론 능력을 높이는 데 있어 단순히 모델의 크기를 키우는 것보다, 데이터의 구조화된 설계와 정교한 보상 신호의 설계가 훨씬 더 결정적임을 보여주었습니다. 특히 정답 검증이 어려운 개방형 과학 문제에 대해 '루브릭'과 '정답 강제'를 결합한 방식은 향후 복잡한 추론 모델의 학습을 위한 실질적인 레시피를 제공한다는 점에서 큰 의의가 있습니다.