🤖 machine learning

Consensus as Privileged Context for Label-Free Self-Distillation

이 논문은 여러 모델 출력 간의 합의를 활용하여 조밀한 토큰 수준의 감독을 제공함으로써 추론 정확도를 크게 향상시키고 기존의 레이블 없는 방식들을 능가하며 골드 레이블 학습의 성능에 근접하는, 레이블이 필요 없는 자기 증류 방법인 CANON을 소개한다.

원저자: John Gkountouras, Josip Jukić, Ivan Titov

게시일 2026-07-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: John Gkountouras, Josip Jukić, Ivan Titov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하지만 약간 산만한 학생에게 복잡한 수수께끼를 푸는 법을 가르치고 있다고 상상해 보세요. 당신에게는 정답지가 없고, 정답을 그냥 알려줄 수도 없습니다. 대신 당신은 학생에게 같은 수수께끼에 대해 열 가지 서로 다른 해답을 써보라고 요청합니다. 만약 그중 아홉 개의 해답이 최종 결론에 대해 일치한다면, 당신은 그 정답이 왜 맞는지 그 이유를 알지 못하더라도 그 답이 아마도 맞을 것이라는 사실을 알게 됩니다. 이것이 바로 '합의(consensus)'의 마법입니다. 스마트한 시스템이 스스로와 의견이 일치할 때, 그것은 대개 올바른 궤도에 올라와 있는 것입니다.

오랫동안 과학자들은 컴퓨터 프로그램인 거대 언어 모델(LLM)을 더 똑똑하게 만들기 위해 이 아이디어를 사용해 왔습니다. 이 모델들은 이야기를 쓰거나 수학 문제를 풀고 과학 질문에 답할 수 있는 거대한 디지털 뇌와 같습니다. 하지만 이들도 실수를 합니다. 선생님 없이 이를 수정하는 표준적인 기술은 모델에게 같은 문제를 여러 번 시도하게 한 뒤 가장 흔하게 나오는 답을 선택하는 것입니다. 이 방법은 효과적이지만, 매번 답을 얻기 위해 모델에게 계속 다시 시도하도록 요청해야 하므로 속도가 느립니다. 현재 인공지능 분야의 큰 질문은 이것입니다. "우리가 모델에게 단 한 번만 똑똑해지도록 가르쳐서, 나중에 그렇게 여러 번 시도할 필요가 없게 만들 수 있을까? 그 '집단적 합의'를 영구적인 교훈으로 바꿀 수 있을까?"

여기에서 CANON이라는 새로운 방법이 등장합니다. 모델을 연습 시험을 치르는 학생이라고 생각해 보세요. 보통 학생이 문제를 틀리면 그냥 다음 문제로 넘어갑니다. 하지만 CANON을 사용하면, 학생은 심호흡을 하고 자신이 방금 써 내려간 모든 답변을 살펴본 뒤, 자신의 '내면의 목소리'들이 가장 많이 동의한 하나의 답을 찾아냅니다. 그러면 얼어붙은 상태의, 매우 똑똑한 버전의 자기 자신(즉, '선생님')이 이렇게 말합니다. "이봐, 네가 그 합의된 답에 도달하기 위해 택했던 바로 그 경로를 봐. 그게 생각하는 올바른 방식이야." 그러면 학생은 그 특정 경로를 반복해서 연습하며, 합의된 방식대로 생각하는 법을 배웁니다.

연구진은 이 방법이 게임 체인저라는 것을 발견했습니다. 그들은 까다로운 수학 경시 대회와 대학원 수준의 과학 질문들을 대상으로 테스트를 진행했습니다. 결과는 놀라웠습니다. CANON은 모델이 문제를 해결하는 능력을 현저히 향상시켜, 어려운 수학 테스트에서 성공률을 최대 12포인트까지 높였습니다. 더욱 인상적인 것은, 이 방법이 다른 인기 있는 방법들에 필요한 컴퓨터 전력의 아주 작은 부분만을 사용하면서도 이 일을 해냈다는 점입니다. 다른 기술들이 비슷한 결과를 얻기 위해 몇 시간이고 몇 시간 동안 실행되어야 했던 반면, CANON은 약 한 시간 만에 임무를 완수했습니다.

이 연구는 이러한 학습이 단순히 우연이 아니라는 점도 보여주었습니다. 모델은 단순히 정답을 맞히는 요령을 배운 것이 아니라, 32번을 시도한 후에도 이전에 전혀 풀 수 없었던 문제들을 해결하는 법을 실제로 배웠습니다. 이는 마치 학생이 정답지를 암기한 것이 아니라, 논리를 통해 생각하는 법을 배웠다는 것과 같습니다. 연구진은 이 방법이 모델이 정답을 찾을 때 대부분의 경우 이미 꽤 잘하고 있지만, 확신을 갖기 위해 약간의 자극이 필요할 때 가장 효과적이라고 제안합니다. 그러나 만약 모델이 자신 있게 틀린 답을 내놓는 상황이라면, 이 방법이 실수로 모델에게 틀린 것을 더 빠르게 배우도록 가르칠 수도 있다고 경고합니다.

요약하자면, CANON은 모델의 '집단 사고'를 강력한 스승으로 바꾸어, 인간이 숙제를 채점해 줄 필요 없이 모델 스스로 자신의 실수와 합의로부터 배울 수 있게 하는 영리한 방법입니다. 이는 때때로 컴퓨터가 가질 수 있는 최고의 스승은 바로 자기 자신의 가장 뛰어난 모습일 수 있음을 시사합니다.

기술 요약: CANON (Consensus-Anchored Self-Distillation)

문제 정의

대규모 언어 모델(LLM)은 검증 가능한 보상을 활용한 강화 학습(RL)을 통해 추론 능력이 향 향상되었음을 입증해 왔습니다. 그러나 이러한 표준적인 접근 방식은 검증을 위한 정답(gold answers)에 대한 접근을 전제로 하며, 이는 비지도 또는 라벨이 없는 환경에서는 불가능합니다. "자기 일관성(self-consistency)"(여러 솔루션을 샘플링하고 다수결을 선택하는 방식)은 신뢰할 수 있는 비지도 프록시 역할을 하지만, 이 신호를 활용하는 기존 방법들은 효율성과 정보 밀도 측면에서 한계가 있습니다. 현재의 라벨 프리(label-free) 접근 방식은 일반적으로 합의 신호를 다음 중 하나로 축소합니다:

지도 미세 조정(SFT)을 위한 솔루션 필터링.
정렬(alignment)을 위한 쌍별 선호도(pairwise preferences)의 원천.
RL을 위한 스칼라 의사 보상(pseudo-reward).

이러한 방법들은 합의된 솔루션 내에 포함된 풍부한 토큰 수준의 정보를 버리게 됩니다. 또한, RL 기반 접근 방식은 새로운 생성을 동반하는 수백 번의 최적화 단계를 필요로 하는 경우가 많아 계산 비용이 높습니다. 본 논문이 다루는 핵심 과제는, 정답 라벨 없이도 모델 자신의 합의를 밀도 높은 토큰 수준의 감독 신호로 변환하여, 골드 라벨 조건부 방법들과 대등한 효율적인 자기 증류(self-distillation)를 가능하게 하는 방법입니다.

방법론: CANON

저자들은 합의된 다수결을 밀도 높은 감독으로 변환하는 라벨 프리 사후 학습 방법인 CANON(Consensus-Anchored self-distillatiON)을 제안합니다. 이 프레임워크는 라벨이 없는 프롬프트당 세 단계로 작동합니다:

합의 추출(Consensus Extraction): 프롬프트 $x$ 가 주어지면, 모델은 $N$ 개의 솔루션(rollouts)을 샘플링합니다. 다수 답변을 식별한 후, 다수 집합 내에서 가장 확신도가 높은 솔루션(가장 높은 평균 토큰 로그 확률을 가진 솔루션)을 합의 솔루션( $s_x$ )으로 선택합니다.
교사 모델 구축(Teacher Construction): 학습 에포크 시작 시점에 찍은 모델의 고정된 스냅샷( $\bar{\pi}$ )이 교사 역할을 합니다. 이 교사는 프롬프트 $x$ 와 합의 솔루션 $s_x$ (템플릿을 통해 삽입됨)에 의해 조건화됩니다. 결정적으로, 교사는 생성하지 않고 오직 점수만 매깁니다.
밀도 높은 증류(Dense Distillation): 학생 모델( $\pi_\theta$ )은 프롬프트에만 조건화된 자체 롤아웃 $y^{(i)}$ 를 생성합니다. 학생 모델은 동일한 롤아웃에 대해 교사의 다음 토큰 분포를 따르도록 학습됩니다. 목적 함수는 모든 토큰 위치에서 학생의 분포와 교사의 분포 사이의 전체 어휘 집합에 대한 옌센-섀넌 발산(Jensen–Shannon Divergence, JSD)을 최소화합니다:
$L(\theta) = \mathbb{E}_{x \sim D} \frac{1}{N} \sum_{i=1}^{N} \frac{1}{|y^{(i)}|} \sum_{t=1}^{|y^{(i)}|} D_{JS} \left( \pi_\theta(\cdot | x, y^{(i)}_{<t}) \parallel \bar{\pi}(\cdot | x, s_x, y^{(i)}_{<t}) \right)$

주요 차이점:

밀도 높은 감독: 스칼라 보상과 달리, CANON은 합의와 일치하지 않는 솔루션을 포함하여 모든 롤아웃의 모든 토큰에 대해 전체 다음 토큰 분포를 제공합니다.
고정된 교사: 교사는 정적인 스냅샷이며, 이를 통해 교사와 학생 간의 퇴보적인 공동 적응(degenerate co-adaptation)을 방지합니다.
효율성: 이 방법은 단 한 번의 생성 패스(추론 시 자기 일관성에 사용되는 것과 동일)와 한 번의 학습 에포크만을 필요로 하여, 반복적인 생성 주기를 요구하는 RL을 피할 수 있습니다.

주요 기여

CANON 프레임워크: 다수결을 밀도 높은 토큰 수준의 감독으로 전환하여 합의에 기반한 교사를 모델에 증류하는 새로운 라벨 프리 방법론을 제시합니다.
효율성 및 성능: 통제된 비교 실험을 통해 CANON이 정확도-연산량 경계면(accuracy-compute frontier)에서 기존의 라벨 프리 대안들(예: self-consistency fine-tuning, test-time RL)보다 우수하며, 골드 조건부 교사와 대등한 성능을 훨씬 적은 계산 비용으로 달성함을 입증했습니다.
전이 가능성: 개선 사항이 홀드아웃(held-out) 및 더 어려운 벤치마크로 전이된다는 증거를 제시하며, 골드 라벨을 사용하는 학습 방법의 성능에 부합함을 보여줍니다.
메커니즘 분석: 성능 향상이 단순히 분포의 날카로움(기존 답변에 확률을 집중시키는 것) 때문이 아니라, 여러 번의 시도에도 해결되지 않았던 문제를 해결하는 진정한 능력 확장을 포함한다는 분석을 제공합니다.

실험 결과

저자들은 다양한 모델 제품군(Qwen, SmolLM, Gemma, LFM)을 사용하여 수학적(AMC 2023, AIME 2024/2025, MATH500) 및 과학적(GPQA-Diamond) 추론 벤치마크에서 CANON을 평가했습니다.

전이적 성능 (테스트 타임 트레이닝): AMC 벤치마크에서 CANON은 단 1.2 GPU-시간만 사용하여 pass@1을 10.5 포인트(66.0에서 76.5로) 향상시켰습니다. 이는 6~~10 GPU-시간이 소요되며 4~~5 포인트의 향상만을 보인 라벨 프리 RL 베이스라인(예: TTRL, SCRL)을 크게 압도한 결과입니다. CANON은 골드 검증 솔루션에 조건화된 "오라클" 교사의 성능(76.9 vs 76.5)에 근접했습니다.
귀납적 전이 (Inductive Transfer): 라벨이 없는 AMC 프롬프트로 학습하고 홀드아웃 벤치마크(AIME 2024/2025, GPQA)에서 평가했을 때, CANON은 상당한 이득을 유지하며 라벨 프리 RL을 능가하고 골드 보상 RL과 대등한 성능을 보였습니다. 예를 들어, AIME 2024에서 CANON은 베이스 모델 대비 avg@32를 7.0 포인트 향상시킨 반면, TTRL은 4.2 포인트 향상에 그쳤습니다.
계산 효율성: CANON은 골드 보상 GRPO(19.2 GPU-시간 필요)와 대등한 결과를 단 1.2 GPU-시간(약 1/16의 계산량) 만에 달성했습니다.
커버리지 및 역량: 사후 학습 분석 결과, 모델의 다수결 정확도가 증가했으며 어려운 벤치마크에서 pass@32가 크게 개선되었습니다. 모델이 이전에는 32번의 시도 중 단 한 번도 풀지 못했던 문제들을 해결했다는 점은, 이러한 이득이 단순한 확률 집중을 넘어 확장된 것임을 나타냅end.

의의 및 주장

본 논문은 CANON이 모델 자신의 합의가 전통적으로 골드 라벨만이 수행해 온 역할인 **특권적 문맥(privileged context)**으로서 자기 증류에 효과적으로 기능할 수 있음을 보여준다고 주장합니다. 교사를 합의 솔루션에 고정함으로써, 이 방법은 계산적으로 효율적이면서도 매우 효과적인 밀도 높은 감독 신호를 추출합니다.

저자들은 이러한 개선이 단순히 이미 풀 수 있는 문제에 대한 출력 분포를 "날카롭게" 만드는 결과가 아님을 강조합니다. 대신, 이 방법은 이전에 실패했던 문제를 해결할 수 있게 함으로써 진정한 추론 능력의 확장을 가능하게 합니다. 이 연구는 추출 가능한 정답이 존재하는 도메인(수학 및 객관식 과학 등)에서 작은 인스트럭트 모델(instruct models)을 대상으로 할 때, 합의 기반 자기 증류가 골드 감독 학습의 효능에 도달하거나 이에 근접할 수 있음을 입증하며, 완전한 라벨 없이도 작동함을 보여줍니다.

저자가 언급한 한계점:

이 방법은 합의를 형성하기 위해 추출 가능한 최종 답변이 필요하므로, 검증 가능한 출력이 있는 도메인으로 제한됩니다.
모델-벤치마크 쌍이 이미 높은 정확도를 달성한 "포화된(saturated)" 상태인 경우 이득이 거의 없습니다.
샘플들이 자신 있게 틀린 답에 대해 결탁할 경우 오류를 강화할 수 있으나, 이러한 실패 모드는 분석된 프롬프트의 약 2.7%에서만 관찰되었습니다.
전이적(transductive) 환경은 답변 전 테스트 프롬프트에 대한 접근을 가정하므로 상호작용형 사용 사례에는 적합하지 않을 수 있으나, 귀납적(inductive) 결과는 이 가정을 완화할 수 있음을 시사합니다.