기술 요약: 오프라인 추론 학습의 가중치 공간 기하학 (Weight-Space Geometry of Offline Reasoning Training)

문제 정의

RFT, RIFT, DFT, Offline GRPO, DPO와 같은 오프라인 강화 학습(RL) 손실 함수는 대규모 교사 모델의 추론 능력을 더 작은 학생 모델로 증류하는 데 점점 더 많이 사용되고 있습니다. 이러한 방법들은 다운스트림 벤치마크 정확도를 기준으로 일상적으로 비교되지만, 그 기계적 구별 가능성은 알려져 있지 않습니다. 특히, 서로 다른 손실 공식이 질적으로 다른 가중치 업데이트를 생성하는지, 아니면 단순히 가중치 공간에서 유사한 방향으로 수렴하는지는 불분명합니다. 이러한 구별은 실무자가 손실 함수를 선택할 때와 연구자가 "오프라인 RL"이 단일 메커니즘인지 아니면 다양한 접근 방식의 패밀리인지를 해석할 때 매우 중요합니다.

방법론

저자들은 SFT(지도 미세 조정), RFT(보상 미세 조정), DFT(가중치 감소 미세 조정), RIFT(보상 가중치 인컨텍스트 미세 조정), Offline GRPO, 그리고 DPO(직접 선호 최적화)라는 6가지 오프라인 추론 학습 방법을 대상으로 통제된 가중치 공간 비교를 수행했습니다.

실험 설정:

• 기본 모델: Qwen3-4B-Instruct.
• 데이터: DeepScaleR 프롬프트에 대해 교사 모델(DeepSeek-V4-Flash)이 생성한 동일한 수학 롤아웃(DeepScaleR로부터 검증된 약 4만 개의 수학 문제). DPO는 동일한 롤아웃에서 파생된 약 1,800개의 쌍(선택됨, 거절됨) 데이터를 사용한 것을 제외하고, 모든 방법은 동일한 데이터를 사용했습니다(약 7.5만 행).
• 아키텍처: 144개 모듈 전체에 걸쳐 rank 32 및 $\alpha=64$로 어텐션 프로젝션(q, k, v, o)에만 LoRA를 적용했습니다.
• 학습 프로토콜: 학습률(LR)을 제외하고 동일한 하이퍼파라미터(배치 크기 32, 코사인 스케줄, 5% 웜업)를 사용했습니다. 모든 방법은 피크 학습률 $5 \times 10^{-6}$을 사용했으나, DPO는 표준 관례에 따라 10배 작은 $5 \times 10^{-7}$을 사용했습니다. 학습은 1,500 스텝 동안 진행되었으며, 결과는 1,000 스텝 시점에서 보고되었습니다.
• 분석 지표: 저자들은 다음을 사용하여 LoRA 가중치 델타($\Delta W$)를 분석했습니다:
  1. 코사인 유사도 (전역 및 레이어별).
  2. 주각 부공간 분석 (상위 10개 특이 벡터의 SVD).
  3. 선형 모드 연결성 (델타를 보간하고 GSM8K에 대한 교차 엔트로피 측정).
  4. 은닉 상태의 중심 커널 정렬(CKA).

주요 기여 및 결과

1. 보상 가중치 MLE 방법들의 수렴

저자들은 SFT, RFT, RIFT가 거의 공선(colinear)인 가중치 델타로 수렴한다는 것을 발견했습니다.

• 기하학: 이 방법들 사이의 코사인 유사도는 $\ge 0.97$이며, 상위 1번째 주각은 약 $7^\circ$(중앙값)입니다.
• 성능: 이들은 통계적으로 구별 불가능한 GSM8K 정확도(87–88%, McNemar 테스트 기준 $p \ge 0.15$)를 달성합니다.
• 함의: 부정적 샘플을 필터링(RFT)하거나 가중치를 부여(RIFT)하는 것은 일반 SFT에 비해 업데이트의 방향을 바꾸지는 않으며, 주로 스텝 크기(Frobenius norm)를 조절할 뿐입니다.

2. DFT의 발산

DFT는 (단일 곱셈 인자를 통해 확신도가 높은 토큰의 가중치를 낮추는) SFT의 최소한의 수정임에도 불구하고, 명시적인 보상 가중치 방법들보다 훨씬 더 독특한 업데이트를 생성합니다.

• 기하학: DFT는 SFT에 대해 $\sim 0.57$의 코사인 유사도를 보이며, 보상 가중치 방법들보다 더 크게 발산합니다.
• 성능: 정확도는 SFT/RFT/RIFT와 유사하게 유지되는데, 이는 방향의 변화에도 불구하고 손실 베이슨(loss basin)은 공유됨을 시사합니다.

3. Offline GRPO: 베이슨 내의 직교 성분

Offline GRPO는 동일한 손실 베이슨 내에 머물면서 SFT 방향과 실질적으로 직교하는 성분을 도입합니다.

• 기하학: 이는 전역적으로 $\sim 67\%$의 직교 성분을 추가하며, 후기 레이어에서는 $\sim 86\%$까지 상승합니다. SFT 클러스터와의 코사인 유사도는 $\sim 0.74$입니다.
• 연결성: Offline GRPO와 SFT 간의 선형 보간은 장벽이 나타나지 않으며, 이는 두 방법이 동일한 최적화 베이슨을 공유함을 나타냅니다.
• 성능: 정확도는 SFT/RFT/RIFT와 대등합니다(87.3%).

4. DPO: 독자적인 부공간 및 정확도 정점

DPO는 거의 직교하는 부공간을 점유하며 본 연구의 프로토콜에서 가장 높은 정확도를 달성합니다.

• 기하학: DPO는 모든 다른 방법들과 거의 직교합니다(SFT/RFT/RIFT에 대해 코사인 $\le 0.065$). DPO는 더 높은 유효 랭크 부공간(다른 방법들의 랭크 $\sim 16$ 대비 랭크 $\sim 24.5$)에서 작동하지만, Frobenius norm은 훨씬 작습니다.
• 연결성: DPO와 다른 방법들 사이의 선형 보간은 날카로운 장벽(손실의 비단조적 증가)을 드러내며, 이는 별개의 솔루션 베이슨을 나타냅니다.
• 표현 유사성: CKA는 후기 레이어에서 $\sim 0.46$으로 붕괴되며, 이는 독특한 내부 표현을 확인시켜 줍니다.
• 성능: DPO는 GSM8K에서 93.5%, AIME26에서 30.0%를 달성하여 다른 모든 방법을 유의미하게 앞섭니다 (GSM8K에서 $p < 10^{-9}$).
• 주의사항: 저자들은 DPO의 우수한 성능이 10배 작은 학습률 및 약 40배 적은 훈련 행 수와 얽혀 있음을 언급합니다. 정확도 격차를 학습률이 매칭된 비교 없이 손실 함수만으로 깔끔하게 귀속시킬 수는 없습니다.

5. 온폴리(On-Policy) 샘플링의 역할

Offline GRPO와 Online GRPO 사이의 비교는 중요한 발견을 제공합니다.

• Offline GRPO(고정된 롤아웃으로 학습)는 SFT와 부분적으로 정렬된 상태를 유지합니다(직교 분율 0.67).
• Online GRPO(온폴리 롤아웃으로 학습)는 SFT와 거의 완전히 직교하게 됩니다(직교 분율 0.998).
• 결론: SFT와 Offline GRPO 사이에서 관찰된 방향적 수렴은 부분적으로 동일한 고정 롤아웃으로 학습한 결과 발생하는 아티팩트입니다. 이를 온폴리 샘플로 교체하면 이 수렴이 깨지며, 업데이트를 완전히 다른 부공간으로 밀어넣습니다.

의의 및 주장

본 논문은 "오프라인 추론"의 지형이 단일한 형태가 아니라 구별되는 기하학적 영역들로 구성되어 있다고 주장합니다:

1. 보상 가중치 MLE 클러스터: SFT, RFT, RIFT는 기계적으로 유사하며, 스텝 크기만 다릅니다.
2. 중간 단계의 이동자(Intermediate Shifters): DFT와 Offline GRPO는 방향을 이동시키지만 SFT 손실 베이슨 내에 머뭅니다.
3. 직교 영역: DPO와 온폴리 방법(Online GRPO와 같은)은 거의 직교하는 부공간에서 작동하며 독특한 표현 기하학을 가집니다.

저자들은 DPO가 가장 높은 정확도를 달성하지만, 이 결과는 옵티마이저 설정(특히 학습률)에 의해 혼동될 수 있음을 강조합니다. 따라서 본 논문은 DPO가 손실 함수 자체 때문에 인과적으로 우월하다고 주장하는 것이 아니라, 특정 프로토콜 하에서 더 나은 결과를 낳는 독특한 기하학적 공간을 점유하고 있다는 점을 밝히는 데 목적이 있습니다. 이 연구는 "오프라인 RL"이 단일 메커니즘을 의미하지 않으며, 데이터의 선택(고정 vs 온폴리)과 손실 함수가 가중치 공간 궤적을 공동으로 결정한다는 점을 강조합니다.

한계점: 본 연구는 단일 도메인(수학), 단일 기본 모델 체크포인트, 그리고 어텐션 전용 LoRA로 제한됩니다. DPO 비교의 경우 학습률 불일치로 인해 불완전함이 인정되었으며, 대조적 패밀리(IPO, KTO, SimPO)에 대한 전체적인 탐색은 향후 과제로 남겨두었습니다.