기술 요약: 정제를 통한 견고한 추론을 위한 비판 유도 증류

문제 제기

지도 미세 조정 (SFT) 은 대규모 언어 모델 (LLM) 을 하류 작업에 적응시키는 주된 접근법으로 남아 있습니다. 그러나 표준 SFT 는 종종 모델이 근본적인 추론 과정을 내면화하지 않고 전문가의 출력을 모방하게 만들어, 분포 외 (out-of-distribution) 일반화 능력 저하, 할루시네이션 증가, 그리고 더 어려운 문제 사례로 확장하는 데 어려움을 초래합니다.

비판과 수정을 활용하는 대안적 패러다임 (예: Self-Refine, Reflexion) 은 가능성을 보이지만, 다중 패스 프롬핑으로 인해 상당한 추론 비용을 수반합니다. 비판 미세 조정 (CFT) 은 비판 생성을 훈련 단계로 이동시키려 시도하지만, 상당한 단점을 도입합니다: 모델을 비판 생성하도록 훈련시키는 것은 종종 출력 형식의 편향 (drift) 과 일반 능력 (예: 지시 따르기) 의 치명적 망각을 초래합니다. furthermore, 기존 증류 방법들은 종종 올바른 솔루션에 대한 일반적인 교사 설명에 조건을 두거나, 실행 가능한 진단 정보가 부족한 암시적 감독 신호 (토큰 확률 등) 에 의존하여 학생의 특정 오류를 해결하지 못합니다.

방법론: 비판 유도 증류 (CGD)

저자들은 비판 유도 증류 (Critique-Guided Distillation, CGD) 를 제안합니다. 이는 비판 소비와 비판 생성을 분리하는 훈련 프레임워크입니다. 핵심 직관은 학생 모델이 스스로 비판을 생성할 필요 없이, 자신의 오류에 대한 교사가 제공한 비판으로 훈련함으로써 자기 수정 능력을 내면화할 수 있다는 것입니다.

훈련 절차

CGD 파이프라인은 훈련 샘플당 세 단계로 구성됩니다:

1. 학생 답변 생성: 학생 모델 ($S_{\theta_{init}}$) 이 프롬프트 ($x$) 에 대해 초기의, 잠재적으로 결함이 있는 응답 ($y'$) 을 생성합니다.
2. 비판 생성: 교사 모델 ($T_\phi$) 이 $y'$을 분석하여 구체적인 오류, 오개념, 또는 추론의 공백을 식별하는 텍스트 비판 ($c$) 을 생성합니다.
3. 정제된 답변 생성: 교사 모델은 프롬프트, 학생의 초기 답변, 그리고 비판에 조건을 두어 골드 스탠다드 정제 답변 ($\hat{y}$) 을 생성합니다.

그런 다음 학생은 정제된 답변의 부정 로그 가능도를 최소화하는 표준 언어 모델링 목적 함수를 사용하여 증강된 데이터셋 $((x, y', c), \hat{y})$ 에 대해 미세 조정됩니다:
$$\mathcal{L}(\theta) = \mathbb{E}_{(x,y',c,\hat{y})}[-\log S_\theta(\hat{y} \mid x, y', c)]$$

추론 행동

중요하게도, 비판은 훈련 중에만 사용됩니다. 추론 시점에 모델은 프롬프트 ($x$) 만을 수신하고 단일 순전파 (forward pass) 로 정제된 답변을 생성합니다. 모델은 비판을 생성하지 않으며, 입력으로 비판을 필요로 하지 않습니다. 이 설계는 제로 아키텍처 오버헤드를 보장하고 CFT 에서 관찰된 형식 편향을 피하면서 표준 추론 형식을 유지합니다.

주요 기여

1. 새로운 훈련 프레임워크: 모델을 비판을 생성하도록 훈련하는 대신, 설명 피드백을 소비하여 자신의 응답을 정제하도록 훈련시키는 CGD 의 도입.
2. 역할 분리: 비판 생성 (교사) 과 비판 소비 (학생) 의 역할을 분리하여, 학생이 자기 수정 루프의 추론 시점 지연 없이 오류 인식 추론을 내면화할 수 있게 함.
3. 일반 능력 보존: 지시 따르기 능력을 저하시키는 CFT 와 달리, CGD 는 일반 능력을 보존하면서 추론 성능을 크게 향상시킵니다.
4. 크로스 패밀리 일반화: 이 방법은 다양한 모델 패밀리 (LLaMA, Qwen, S1.1, Mixtral, OLMo) 와 규모에서 견고성을 보여주며, 오픈 소스 교사를 사용하더라도 최첨단 결과를 달성합니다.
5. 실증 분석: 비판의 구체성, 관련성, 정확성의 역할을 특징짓는 포괄적인 제거 실험 (ablation studies) 과 내부 주의 메커니즘 및 기울기 노름에 대한 진단 분석.

실험 결과

저자들은 표준 SFT, 증류된 SFT, 그리고 비판 미세 조정 (CFT) 과 비교하여 다섯 가지 모델 패밀리와 여러 벤치마크에서 CGD 를 평가했습니다.

• 수학적 추론: CGD 는 일관되게 베이스라인을 능가했습니다. LLaMA3.1-8B 에서 CFT 대비 수학 추론 벤치마크에서 평균 +5.4% 향상되었으며, 구체적으로 AMC23 에서 +15.0%, MATH-500 에서 +12.2% 의 향상을 보였습니다. S1.1-3B 모델에서는 CFT 대비 +7.2% 의 향상을 기록했습니다.
• 일반 능력: CFT 가 지시 따르기 성능에서 치명적인 하락 (IFEval 정확도가 76.9% 에서 55.6% 로 하락) 을 초래한 반면, CGD 는 성능을 유지 (76.1%) 하여 일반 능력을 효과적으로 보존했습니다.
• 분포 외 전이: 코드가 포함된 데이터로 훈련되지 않았음에도 불구하고, CGD 모델은 코드 생성 작업 (HumanEval) 으로 전이되어 베이스 모델 대비 +4.9% 의 향상을 이루었고, CFT 를 능가했습니다.
• 추론 품질 vs 검색: 까다로운 경쟁 벤치마크 (AIME24) 에서 CGD 는 낮은 샘플링 예산에서 상당한 향상을 보였습니다 (Pass@1 이 3.3% 에서 16.7% 로 향상). 이는 광범위한 검색에 의존하기보다는 샘플당 추론 품질이 향상되었음을 나타냅니다. 모델들은 또한 훨씬 더 긴 추론 체인을 생성했습니다 (AIME 에서 4.4 배 더 길어짐).
• 제거 실험 통찰:
  • 비판의 필요성: 훈련 컨텍스트에서 비판을 제거하면 AMC23 에서 최대 114% 의 성능 저하가 발생하여, 비판이 중요한 학습 발판으로 작용함을 확인했습니다.
  • 구체성과 관련성: 구체적이고 관련 있는 비판은 일반적인 플레이스홀더보다 우수한 성과를 거두었습니다. 관련 없는 비판 (문제에 대해 구체적이지만 잘못된 비판) 은 모델을 오도하여 일반적인 플레이스홀더보다 더 나쁜 성과를 냈습니다.
  • 견고성: 올바른 학생 답변과 잘못된 학생 답변의 균형 잡힌 혼합물 (50/50) 로 훈련된 모델은 가장 높은 견고성을 보였으며, 유효한 안내와 무효한 안내를 구분하는 내부 능력을 개발했습니다.

중요성과 주장

이 논문은 CGD 를 추론 중심 작업을 위한 실용적이고 계산 효율적인 중간 훈련 패러다임으로 위치시킵니다. 그 주요 중요성은 추론 시점 오버헤드나 아키텍처 변경을 도입하지 않고 상당한 추론 향상을 달성하는 데 있습니다.

저자들은 CGD 가 표준 SFT (얕은 모방) 와 CFT (형식 편향 및 능력 저하) 의 한계를 성공적으로 해결했다고 주장합니다. 비판을 훈련 시간에만 존재하는 의미적 발판으로 취급함으로써, CGD 는 모델이 오류에서 수정으로의 변환을 내면화할 수 있게 합니다. 결과는 이 접근법이 추론 작업을 위한 강화 학습 (RL) 에 대한 안정적이고 지도된 대안을 제공함을 시사하며, 저자들은 CGD 와 RL 이 경쟁하기보다 상호 보완적일 수 있다고 지적합니다. 이 방법은 특히 자원 제약 환경에서 효과적이며, RL 기반 추론 방법과 비교하여 훨씬 낮은 계산 비용으로 강력한 성능을 달성합니다.