기술 요약: 다양한 사고 스키마(Schemata)가 대규모 언어 모델의 추론 능력을 향상시킨다

문제 정의

대규모 추론 모델(LRM)은 긴 사고 사슬(Chain of Thought)을 생성함으로써 복잡한 수학 문제를 해결하는 데 있어 상당한 능력을 입증해 왔습니다. 그러나 현재의 접근 방식은 엄격하게 선형적인 사슬이나 명시적으로 조직된 트리 구조와 같이 지나치게 미리 정의된 추론 구조에 의존하는 경우가 많으며, 이는 인지적 유연성을 제한할 수 있습니다. 저자들은 추론 과정의 두 가지 핵심적이면서도 아직 충분히 탐구되지 않은 측면인 추론 전환(Reasoning Transitions) (예: "다른 접근 방식을 시도해 보자"와 같은 중간 추론 단계 사이의 뚜렷한 변화)과 정답 후보(Answer Candidates) (모델이 제안하는 솔루션 경로 또는 중간 결론의 다양성)를 식별했습니다. 본 논문은 기존 모델들이 좁은 추론 패턴에 수렴하여 솔루션 공간을 충분히 탐색하지 못하며, 이로 인해 복잡한 과업에서 오류를 복구하거나 최적의 솔루션을 찾는 능력이 제한된다고 주장합니다.

방법론: DiScO 프레임워크

이러한 한계를 해결하기 위해, 저자들은 훈련 및 추론 과정 모두에서 "사고 스키마"(전환 및 솔루션 경로를 지배하는 잠재적 추론 구조)의 다양성을 높이도록 설계된 프레임워크인 **DiScO (Diverse Schemata Policy Optimization)**를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 스키마 인식 지도 학습 기반 미세 조정 (Schemata-Aware SFT)

모델이 자신의 추론 사슬을 명시적으로 주석(annotation) 달도록 훈련함으로써 먼저 "스키마 인식" 능력을 갖추게 합니다. 이를 위해 두 가지 특수 토큰이 도입되었습니다:

• \ReasoningTransition: 추론 관점이나 전략의 변화를 표시합니다.
• \AnswerCandidate: 잠ential한 최종 정답 또는 중간 결론을 표시합니다.
  이 단계는 잠재적인 사고 구조를 관찰 가능하고 분석 가능하게 만들며, 모든 훈련 단계마다 외부의 인간 주석을 요구하지 않습니다 (주석은 LLM 주석기인 Qwen3-Max에 의해 생성됩니다).

2. 다양성 지향 강화 학습 (Diversity-Oriented RL)

SFT 이후, 모델은 수정된 그룹 상대 정책 최적화 (GRPO) 알고리즘을 사용하여 강화 학습을 수행합니다. 핵심 혁신은 정확도와 다양성의 균형을 맞추는 복합 보상 함수($R$)입니다:
$$R = W_{div}R_{div} + W_{acc}R_{acc} + W_{form}R_{form}$$

• 다양성 보상 ($R_{div}$): 서로 다른 추론 전환과 정답 후보 생성을 장려합니다. 이는 전환 횟수($N_{thought}$), 정답 후보 수($N_{ans}$), 솔루션의 고유성($N_{uniq}$), 그리고 중간 후보의 정답 여부($N_{true}$)를 측정합니다. 마커 반복을 통한 보상 해킹(reward hacking)을 방지하기 위해 절단 캡(truncation caps)이 적용됩니다.
• 정확도 보상 ($R_{acc}$): 최종 정답에 대한 표준 이진(binary) 보상입니다.
• 형식 보상 ($R_{form}$): 모델이 요구된 주석 태그와 최종 정답 형식을 준수하도록 보장합니다.

3. 추론 시 다양성 향상 (Inference-Time Diversity Enhancement, ITDE)

추론 중에 모델이 최종 정답에 도달하지 못한 채 최대 생성 길이에 도달했을 때, 다양성을 더욱 촉진하기 위해 두 가지 전략이 사용됩니다:

• 초기 절단 (Initial Truncation): 초기 토큰의 20%를 버림으로써 "인지적 리셋(cognitive reset)"을 시뮬레이션하여, 모델이 새로운 관점에서 문제를 재구성할 수 있도록 합니다.
• 반복 제거를 포함한 절단 (Truncation with Repetition Elimination): 반복적인 추론 패턴(예: 동일한 15단어 구절)을 감지하고 제거하여 로컬 루프를 깨뜨리고 새로운 경로를 탐색하도록 유도합니다.

주요 기여

1. 개념 정의: 본 논문은 "사고 스키마"라는 개념을 도입하고, 이를 관찰 가능한 추론 전환과 정답 후보를 통해 정의합니다. 또한 이러한 스키마의 다양성과 다양한 LRM의 성능 사이의 양의 상관관계를 실증적으로 보여줍니다.
2. DiScO 프레임워크: 스키마 인식 SFT, 다양성 지향 RL, 그리고 추론 시 전략을 통합하여 다양한 추론을 체계적으로 촉진하는 새로운 프레임워크를 제안합니다.
3. 실증적 검증: 5개의 수학적 추론 벤치마크와 3개의 도메인 외(OOD) 벤치마크에 대한 광범적인 실험을 통해, DiScO가 표준 GRPO 및 기타 다양성 지향 베이스라인 모델들을 일관되게 능가함을 입증했습니다.

실험 결과

저자들은 DeepSeek-R1-Distill-Qwen 모델을 7B 및 32B 규모로 사용하여 DiScO를 평가하였으며, 이를 프런티어 독점 모델(예: GPT-5, Claude 3.5) 및 오픈 소스 베이스라인과 비교하였습니다.

• 성능 향상: DiScO는 오픈 소스 모델들 사이에서 일관되게 최첨단(SOTA) 결과를 달 기록했습니다. 예를 들어, DiScO-7B는 MATH-500에서 95.6%, AIME 2024에서 **70.0%**를 달성하여 다른 7B 모델들을 크게 앞질렀습니다. DiScO-32B는 벤치마크 전반에 걸쳐 평균 정확도 **83.5%**를 기록하며 기본 DeepSeek-R1-Distill-Qwen-32B를 능가했습니다.
• 어려운 과업에서의 개선: 성능 향상은 개선 여지가 큰 도전적인 경시대회 수준의 벤치마크(AIME, AMC)에서 가장 두드러졌습니다. DiScO-32B는 AIME 2024와 2025에서 기본 모델 대비 **6.7%**의 절대적 성능 향상을 보였습니다.
• 일반화: 수학 데이터로만 훈련되었음에도 불구하고, DiScO는 도메인 외 과업(ARC-c, GPQA-diamond, MMLU-Pro)에 효과적으로 일반화되었으며, 이는 스키마 수준의 다양성이 전이 가능한 추론 행동을 촉진함을 시사합니다.
• 오류 복구: 인간이 주석을 단 분석 결과, DiScO는 오류가 있는 초기 시도로부터 회복하는 능력(FWFC 지표: First Wrong, Final Correct)을 유의미하게 개선함이 밝혀졌습니다. DiScO 모델은 베이스라인에 비해 올바른 중간 답변을 버릴 가능성이 낮았고, 스스로 교정할 가능성이 더 높았습니다.
• Pass@k 성능: DiScO는 다중 시도 시나리오(Pass@k)에서 향상된 성능을 보여주었으며, 이는 단순히 단일 샷 분포를 재형성하는 것이 아니라 추론의 경계를 진정으로 확장했음을 나타냅니다.

의의 및 주장

본 논문은 사고 스키마의 다양성이 문제 해결에 있어 결정적인 역할을 하며, 표준적인 모델 스케일링(파라미터 및 데이터)의 보완적 축으로 작용한다고 주장합니다. 저자들의 논지는 다음과 같습니다:

• 다양성은 확장 가능한 자원이다: 다양한 사고 스키마를 촉진하면 모델이 대안적인 추론 경로를 탐색하고 오류로부터 더 효과적으로 복구할 수 있게 하여, 반드시 모델 크기를 키우지 않고도 복잡한 과업에 대한 성능을 높일 수 있습니다.
• 토큰 수준의 다양성을 넘어: 토큰 수준의 엔트로피나 독립적인 롤아웃 간의 궤적 수준 샘플링에 집중하는 기존 방법과 달리, DiScO는 단일 추론 궤적 내부의 다양성을 목표로 하여 인간의 문제 해결 방식과 유사한 의미론적 변화와 관점의 변화를 유도합니다.
• 실질적 영향: 이 프레임워크는 오픈 소스 추론 모델을 개선하고, 프런티어 독점 시스템과의 격차를 줄이며, 명시적인 스키마 주석을 통해 추론 과정의 해석 가능성을 높이는 실질적인 경로를 제공합니다.

저자들은 LLM 기반 주석의 적지 않은 비용, 추론 지연 시간의 완만한 증가(약 10% 더 많은 토큰), 그리고 현재 수학적 추론에 집중되어 있다는 점을 한계점으로 인정하면서도, 도메인 외 과업에서도 일관된 이점이 있음을 언급했습니다. 또한 향-후 연구에서는 더 저렴한 주석 방법(예: 은닉 상태 프로빙)과 이러한 원리를 다른 추론 체계에 적용하는 것을 탐구할 수 있다고 제안했습니다.