기술 요약: 추론 흔적(Reasoning Traces)에서 재사용 가능한 모듈로

문제 정의

최근 지도 미세 조정(SFT)과 강화 학습(RL)을 결적으로 결합한 사후 학습(post-training) 파이프라인은 대규모 언어 모델(LLM)의 추론 능력 향상을 견인해 왔습니다. 경험적으로, SFT 단독으로는 모델이 전형적인 "골든(golden)" 추론 흔적을 암기하게 만들지만, 익숙한 단계를 익숙하지 않은 방식으로 재조합해야 하는 상황(분포 외(OOD) 구성)에서는 실패하는 경향이 있습니다. 반면, SFT 이후에 RL을 수행하면 이러한 OOD 구성에서도 더 안정적으로 작동합니다. 그러나 이러한 결합된 성공을 이끄는 근저의 메커니즘은 여전히 불분명합니다. 구체적으로, SFT와 RL이 각각 어떤 차별적인 기여를 하는지, 그리고 각 단계에 최적화된 데이터 구성은 무엇인지가 명확하지 않습니다.

방법론

이론적 프레임워크: 계층적 잠재 선택 모델 (Hierarchical Latent Selection Model)

저자들은 추론을 계층적 잠한 선택 모델로 정식화합니다. 이 프레임워크에서:

• 문제 기술자 ($P$): 입력 프롬프트는 일련의 이산적 잠재 선택 변수의 계층 구조를 유도합니다.
• 잠재 변수 ($S$): 이 변수들은 재사용 가능한 원자적 모듈(atomic modules) 라이브러리로부터 선택을 수행합니다.
  • 기술(Skills): 국소적 연산 (예: 산술 단계, 재작성 규칙).
  • 라우팅 메커니즘(Routing Mechanisms): 중간 정보가 어떻게 선택되고, 재사용되며, 구성되는지에 대한 결정 (예: 이전 출력 전달, 분기).
• 관측 가능한 흔적 ($D$): 최종 추론 흔적은 이러한 선택들의 연쇄(cascade)에 의해 생성됩니다.

핵심 가설은 추론 흔적이 이러한 원자적 모듈들을 구성함으로써 생성된다는 것입니다. SFT는 원료(이러한 모듈들을 포함하는 흔적)를 제공하며, RL은 이러한 복합적인 흔적을 분해하여 잠재적 모듈을 식별하고 유연한 재조합을 가능하게 하는 역할을 합니다.

이론적 기여

본 논문은 두 가지 핵심적인 이론적 결과를 확립합니다:

1. 식별 가능성 (Theorem 3.1): 완만한 조건(충실성, 순위 충실성, 제한된 선택 집합, 이웃 커버리지) 하에서, 잠재 선택 계층(기술 및 라우팅)은 관측된 흔적 분포로부터 식별 가능합니다.
2. 구성적 일반화 (Theorem 3.4): 일단 모듈이 식별되면, 새로운 프롬프트의 모든 국소적 구성이 훈련 데이터 내에 "국소적 증거(local witness)"를 가지고 있다면(즉, 모듈 간의 인터페이스가 훈련 중에 관찰되었다면), 이들은 새로운 구성으로 재조합될 수 있습니다.

저자들은 또한 지원 분석(support analysis)을 통해 SFT와 RL의 역할을 규명합니다:

• SFT의 한계 (Proposition 3.2): 전형적인 흔적에 대한 SFT는 원자적 모듈들을 특정 문맥과 "엉키게(entangled)" 만드는 경우가 많은데, 이는 SFT가 유효한 흔적의 일부만을 보여주기 때문입니다. 모듈을 분리(disentangle)할 수 있는 결정적인 국소적 사건들이 SFT의 지원 범위(support) 밖에 존재할 수 있습니다.
• RL 메커니즘 (Proposition 3.3): RL은 보상을 기반으로 롤아웃(rollout)을 재샘플링함으로써 분포를 풍부하게 합니다. 만약 "숨겨진" 국소적 사건(예: 특정 라우팅 선택)이 더 높은 보상으로 이어진다면, RL은 그 확률을 높여 엉킨 흔적을 효과적으로 분해하고 원자적 모듈을 식별 가능하게 만듭니다.

실험 설정

이러한 이론을 검증하기 위해, 저자들은 합성 문자 변환 작업(Yuan et al., 2025 기반)에 대해 통제된 실험을 수행했습니다.

• 원자적 기술: 24개의 결정론적 문자 변환 함수.
• 라우팅 메커니즘: 10개의 서로 다른 입력 구조 정의 (다음 단계로 어떤 중간 출력이 전달될지를 결정).
• 프로토콜: 모델들을 다양한 깊이($L$)의 흔적에 대해 훈련시켰습니다. 연구는 다음을 테스트하기 위해 데이터 구조에 체계적으로 개입했습니다:
  • 복합 흔적을 원자 단위로 분해하기.
  • 구성적 노출(compositional exposure) 대 고립된 원자 노출(isolated atomic exposure)의 필요성.
  • SFT와 RL 데이터 사이의 최적의 분포 관계 (중첩 여부).
• 보충 증거: 실제 수학 벤치마크(MATH, AIME)에서 오픈 소스 모델(Qwen3-4B)을 분석하여 기술 토큰화 및 n-gram 다양성을 관찰했습니다.

주요 결과

1. RL은 분해하고 재조합한다: 복합 흔적($L=3$)에 대해 RL을 수행한 모델은 미경험 구성($L=4$에서 $8$)에서 SFT 전용 모델보다 성능이 크게 향상되었습니다. RL은 모델이 복합 흔적으로부터 원자적 기술과 라우팅 메커니즘을 회복하고, 이를 재조합하여 일반화할 수 있도록 했습니다.
2. 복합 흔적이 더 우수하다: RL을 고립된 원자 모듈($L=1$)에 대해 훈련시켰을 때보다 복합 흔적($L=3$)에 대해 훈련시켰을 때 OOD 정확도가 훨씬 높았습니다 ($L=1$ 시 +10.0% 이득 대비 $L=3$ 시 +37.8% 이득). 이는 모듈의 인터페이스(구성)에 대한 노출이 이들을 재조합하는 법을 배우는 데 매우 중요하다는 것을 확인시켜 줍니다.
3. 재주입에는 구성이 필요하다: 특정 원자적 기술이나 라우터가 RL 훈련에서 제외되었을 때 성능이 하락했습니다. 단순히 고립된 원자적 기술($L=1$)을 재주입하는 것만으로는 성능을 회복할 수 없었습니다. 성능은 제외된 원자들을 포함하는 구성적 흔적을 재주입했을 때만 회복되었으며, 이는 원자가 재사용 가능하려면 반드시 구성적 문맥 내에서 학습되어야 함을 입증합니다.
4. 최적의 SFT-RL 데이터 쌍: 가장 강력한 OOD 일반화는 SFT와 RL 데이터 분포가 **서로소(disjoint)**일 때($C_{SFT} \cap C_{RL} = \emptyset$) 발생했습니다.
   • SFT의 역할: 구성적 흔적을 통해 모든 원자적 모듈에 대한 커버리지를 확보해야 합니다.
   • RL의 역할: 새로운 인터페이스를 탐색하고 식별하기 위해 SFT의 지원 범위를 벗어난 새로운 구성에 집중해야 합니다.
   • 중첩된 데이터($C_{SFT} \supset C_{RL}$)는 가장 낮은 일반화 성능을 보였습니다.
5. 실제 모델의 증거: Qwen3 모델 분석 결과, RL 튜닝된 모델은 짧은 기술 n-gram(n=2, 3)에서 더 높은 다양성을 보였습니다. 이는 추상화된 단계들의 더 유연한 국소적 재조합을 나타내며, 모듈 재사용이라는 이론적 모델과 일치합니다.

의의 및 주장

본 논문은 SFT+RL 파이프라인이 구성적 추론에서 성공하는 이유에 대해 **잠재 변수적 설명(latent-variable explanation)**을 제공한다고 주장합니다. 이 연구의 주요 의의는 다음과 같습니다:

• 메커니즘의 정식화: 단순한 경험적 관찰을 넘어, SFT는 "재료"(엉킨 흔적)를 공급하고 RL은 "분해"(보상 기반 지원 확장을 통한 잠재 모듈 식별)를 수행한다는 이론적 프레임워크를 구축했습니다.
• 커리큘럼 설계: 사후 학습을 위한 구체적인 프로토콜을 제시합니다. 즉, SFT는 구성을 통해 모든 원자적 모듈을 포함해야 하며, RL은 새로운 인터페이스를 탐색하기 위해 새로운 구성에 타겟을 맞춰야 합니다.
• 식별 가능성 조건: 잠재적 추론 구조가 관측된 데이터로부터 회복될 수 있는 충분 조건을 제공하여, RL의 성공을 구성적 일반화에 필요한 "국소적 증거"의 확립과 연결 지었습니다.

저자들은 이 연구를 LLM이 어떻게 구성적으로 추론하는 법을 배우는지 이해하기 위한 단계로 규정하며, RL이라는 "블랙박스"가 사실은 재사용 가능한 원자적 추론 단위를 발견하고 재조합하는 메커니즘임을 시사합니다.