기술 요약: GRACE – 효율적인 사후 학습을 위한 기울기 정렬 추론 데이터 큐레이션

문제 제기

기존의 추론 데이터 (Chain-of-Thought, CoT) 큐레이션 파이프라인은 일반적으로 샘플 수준에서 작동하며, 최종 답변의 정확도나 보상 모델 점수와 같은 지표를 기반으로 전체 추론 궤적에 단일 점수를 부여합니다. 이 접근법은 궤적 내의 모든 중간 단계를 동등하게 가치 있는 것으로 간주합니다. 그러나 추론 궤적은 이질적입니다. 일부 단계는 최종 답변을 직접 지원하지만, 다른 단계들은 내용을 반복하거나 관련 없는 딴길로 빠르거나 노이즈를 도입합니다. 이러한 궤적에 균일하게 학습하는 것은 저가치 단계에 컴퓨팅 예산을 낭비하고 유용한 단계들의 기여도를 희석시킵니다. 더 나아가, 현재 방법들은 궤적 내의 "단계별 최적화 역할"을 종종 간과하면서 개별 추론 단계가 최적화 과정에 어떻게 기여하는지 평가할 메커니즘이 부족합니다.

방법론: GRACE

저자들은 GRACE(효율적인 사후 학습을 위한 기울기 정렬 추론 데이터 큐레이션) 를 제안합니다. 이는 큐레이션의 세분성을 샘플 수준에서 단계 수준으로 전환하는 방법입니다. GRACE 는 추론 궤적을 정적인 감독 목표로 보지 않고, 최적화 이벤트의 시퀀스로 간주합니다.

1. 단계별 최적화 유틸리티

GRACE 는 목표 목적함수를 최적화하는 데 대한 기여도에 기반하여 추론 단계의 유틸리티를 정의합니다. 모델의 내부 최적화 역학에서 도출된 두 가지 보완적 신호를 사용하여 각 단계 $k$에 점수를 매깁니다:

• 답변 지향 정렬 ($A_{ans}^k$): 현재 단계가 유도한 기울기 ($g_k$) 와 최종 답변 세그먼트가 유도한 기울기 ($g_{ans}$) 사이의 코사인 유사도를 측정합니다. 이는 해당 단계가 최종 목적을 건설적으로 지원하는지 여부를 결정합니다.
• 궤적 일관성 ($A_{hist}^k$): 현재 단계의 기울기와 이전 단계들의 기울기 가중 평균인 역사적 기준 방향 ($r_k$) 사이의 코사인 유사도를 측정합니다. 이는 해당 단계가 진화하는 추론 궤적과 일관성을 유지하도록 보장합니다.

최종 단계별 점수는 가중 조합으로 계산됩니다:
$$\text{Score}_k = \alpha A_{ans}^k + (1-\alpha) A_{hist}^k$$
여기서 $\alpha$는 두 신호의 균형을 맞춥니다. 이러한 단계 점수들은 집계되어 샘플 수준 값 $V(z)$를 계산하는 데 사용되며, 이를 통해 상위 $\rho$ 비율의 데이터 하위 집합을 선택합니다.

2. 표현 수준 기울기 대리

주요 과제는 진정한 단계별 기울기를 계산하려면 궤적을 분해하고 반복적인 역전파를 수행해야 하므로, 대규모 규모에서 계산적으로 실현 불가능하다는 점입니다. 이를 해결하기 위해 GRACE 는 표현 수준 기울기 대리를 도입합니다:

• 매개변수 공간 기울기 ($\nabla_\theta L$) 를 계산하는 대신, 이 방법은 출력 프로젝션 이전의 표현 인터페이스에서 상류 신호를 기반으로 작동합니다.
• 각 토큰 $t$에 대해, 예측 확률 $p_t$와 정답 $y_t$를 사용하여 상류 신호 $u_t = W_{out}(p_t - y_t)$를 계산합니다.
• 단계별 기울기는 이러한 토큰 수준 신호들을 평균화하여 근사합니다 ($g_k = \frac{1}{|T_k|} \sum u_t$).
• 핵심적으로, 이 대리는 샘플당 단일 순전파만을 사용하여 단계별 정렬을 추정할 수 있게 하며, 단계별 역전파와 외부 보상 모델 또는 단계 주석이 필요하지 않습니다.

주요 기여

1. 최적화 기반 관점: 이 논문은 궤적을 최적화 이벤트의 시퀀스로 모델링함으로써 추론 데이터 큐레이션을 재정의하며, 목표 목적함수 및 궤적과의 단계별 정렬이 효과적인 학습에 중요함을 강조합니다.
2. GRACE 프레임워크: 정교한 하위 집합 선택을 위해 단계별 최적화 신호 (답변 정렬 및 궤적 일관성) 를 집계하는 새로운 큐레이션 방법입니다.
3. 확장 가능한 대리: 단계별 기울기 계산의 컴퓨팅 비용 없이 효율적인 단계별 데이터 가치 평가를 가능하게 하는 표현 수준 기울기 대리 개발입니다.

실험 결과

저자들은 MMathCoT-1M데이터셋 (대규모 멀티모달 수학 추론 말뭉치) 에서 Qwen3-VL-2B-Instruct를 사후 학습하고, 수학 추론 (MathVista, MathVision) 과 일반 시각적 질문 답변 (HallusionBench, MMBench, MME) 을 포함한 다양한 벤치마크에서 테스트하여 GRACE 를 평가했습니다.

• 성능 대비 데이터 양:
  • 큐레이션된 데이터의 **20%**만을 사용하여 GRACE 는 전체 데이터 성능의 **108.8%**를 달성했습니다 (벤치마크 평균). 이는 전체 데이터셋과 모든 베이스라인을 크게 능가했습니다.
  • 데이터의 **5%**만을 사용하여 GRACE 는 전체 데이터 성능의 **100.2%**를 유지했습니다.
• 베이스라인 비교: GRACE 는 휴리스틱 선택기 (Random, Longest, Stepmax) 와 최첨단 기울기 기반 데이터 선택 방법 (LESS, ICONS, CADC) 을 일관되게 능가했습니다. 예를 들어, 20% 데이터에서 GRACE(108.8%) 는 CADC(102.6%) 와 LESS(101.7%) 를 능가했습니다.
• 전이성: Qwen3-VL-2B 점수 모델을 사용하여 GRACE 가 선택한 하위 집합은 다른 백본 (Qwen2.5-VL-3B, LLaVA-1.5-7B, Qwen3-VL-8B) 으로 효과적으로 전이되었으며, 각각의 전체 데이터 베이스라인을 일관되게 능가했습니다. 이는 포착된 데이터 가치가 모델 고유의 것이 아니라 추론 구조에 내재되어 있음을 시사합니다.
• 효율성: 대리 추출 과정은 경량화되어 순전파만 필요합니다. 저자들은 후보 풀을 위한 신호 수집에 단일 노드 기준 6.5 시간과 5.7GB 의 저장 공간이 소요되었다고 보고했으며, 기울기 투영 방법이 요구하는 비싼 역전파를 피했습니다.

중요성 및 주장

이 논문은 추론 데이터의 가치가 단순히 외부 품질 지표 (정확도, 길이, 또는 선호도 점수) 에만 의존하는 것이 아니라, 중간 단계들이 최적화 궤적을 건설적으로 지원하는지 여부에 달려 있다고 주장합니다.

GRACE 는 다음을 입증합니다:

1. 단계별 세분성은 필수적입니다: 추론 궤적을 불가분한 단위로 취급하는 것은 중간 단계들의 다양한 유틸리티를 간과합니다.
2. 내부 신호만으로도 충분합니다: 외부 보상 모델이나 인간 주석 없이 모델의 내부 최적화 신호 (기울기/대리) 만으로도 고품질 데이터 큐레이션을 달성할 수 있습니다.
3. 효율성과 성능: 최적화 인지 큐레이션은 모델이 훈련 데이터의 일부만을 사용하여 전체 데이터 성능에 맞먹거나 능가하게 하여, 하류 능력을 유지하거나 향상시키면서 사후 학습 비용 (GPU 시간) 을 크게 줄입니다.

저자들은 고정된 점수 모델 구성에 대한 의존성과 현재 멀티모달 CoT 데이터에 초점을 맞추고 있다는 한계를 지적하며, 향후 연구가 이러한 원칙을 순수 언어 추론이나 강화 학습 기반 사후 학습으로 확장할 수 있음을 시사합니다.