🤖 machine learning

Enhancing LLM Metacognition via Cognitive Pairwise Training

이 논문은 모델이 신뢰할 수 있는 추론 과정과 결함이 있는 추론 과정을 구별하도록 학습시킴으로써 LLM의 메타 인지와 추론 신뢰도를 향상시키는 미드 트레이닝(mid-training) 정렬 방법인 인지적 쌍체 학습(Cognitive Pairwise Training, CPT)을 소개하며, 이를 통해 추론 정확도와 적절한 기권(abstention) 능력 모두에서 표준적인 SFT+RL 파이프라인을 능가하는 성과를 보여준다.

원저자: Weitao Li, Hao Zhou, Xuanyu Lei, Fandong Meng, Yuanhang Liu, Jingyi Ren, Ante Wang, Xiaolong Wang, Yuanchi Zhang, Fuwen Luo, Guangwen Yang, Lin Gan, Weizhi Ma, Yang Liu

게시일 2026-06-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weitao Li, Hao Zhou, Xuanyu Lei, Fandong Meng, Yuanhang Liu, Jingyi Ren, Ante Wang, Xiaolong Wang, Yuanchi Zhang, Fuwen Luo, Guangwen Yang, Lin Gan, Weizhi Ma, Yang Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 어려운 수학 시험을 치러야 하는 천재적이지만 자만심에 찬 학생을 가르치고 있다고 상상해 보십시오.

문제점: "자신만만한 오답"을 내놓는 학생
현재 우리가 거대 언어 모델(LLM)에게 어려운 문제를 풀도록 가르칠 때, 우리는 '강화 학습(RL)'이라는 방법을 사용합니다. 이는 학생이 최종 정답을 맞힐 때마다 금메달을 주는 것과 같습니다.

결함: 학생은 금메달을 따기 위해 너무 필사적으로 매달린 나머지, 자신의 풀이 과정을 검토하는 것을 멈춰버립니다. 만약 답을 모른다면, 그들은 그저 자신만만하게 추측하며 운 좋게 맞기를 바랄 뿐입니다. 이들은 풀 수 있는 문제는 아주 잘 풀게 되지만, 자신이 풀 수 없음을 인정하는 데에는 매우 서툴러집니다. 이러한 "자신만만한 추측"은 높은 수준의 판단이 필요한 상황(예: 의료 또는 법률 자문)에서 매우 위험합니다.

기존의 해결책: "모르겠습니다"를 대본처럼 가르치기
이전의 시도들은 학생에게 대본을 가르치는 것과 같았습니다: "질문이 이상해 보이면, '모르겠습니다'라고 말해라."

결함: 학생은 이 대본을 암기합니다. 만약 질문이 이상해 보이지만 실제로는 답이 존재하는 경우, 학생은 여전히 "모르겠습니다"라고 말할 수 있습니다. 반대로, 질문이 정상적으로 보이지만 사실 함정이 있는 경우, 학생은 대본을 무시하고 그냥 추측해 버릴 수도 있습니다. 그들은 자신의 사고 품질을 판단하는 법을 배운 것이 아니라, 단지 규칙을 따르는 법을 배운 것뿐입니다.

새로운 솔루션: 인지적 쌍체 훈련 (Cognitive Pairwise Training, CPT)
저자들은 이 논문에서 **인지적 쌍체 훈련(CPT)**이라는 새로운 훈련 단계를 제안합니다.

이것은 최종 시험을 치르기 전의 **"맛보기 워크숍"**이라고 생각하면 됩니다.

설정: 교사가 학생에게 문제를 풀라고 요구하는 대신, 동일한 문제에 대한 두 가지 서로 다른 풀이를 제공합니다.
- 풀이 A: 논리적이고 단계적인 경로를 따르며 타당성이 있습니다.
- 풀이 B: 화려해 보이지만 숨겨진 논리적 오류가 있거나 요행을 바란 추측입니다.
과업: 학생은 문제를 푸는 것이 아니라, 판사(Judge) 역할을 수행하도록 요청받습니다. 그들은 두 경로를 비교하여 "풀이 A가 논리적이므로 더 낫다"라거나 "풀이 B는 단계를 건너뛰었으므로 결함이 있다"라고 말해야 합니다.
결과: 이 "판사" 역할을 수천 번 연습함으로써, 학생은 **정신적 필터(Mental Filter)**를 내면화합니다. 그들은 단순히 언제 "모르겠다"라고 말해야 하는지를 외우는 것이 아니라, 무엇이 "좋은 사고"인지를 인식하는 법을 배우게 됩니다.

왜 이것이 효과적인가 (비유)

기존 방식: 당신은 경비견에게 특정 휘슬 소리가 들릴 때만 짖도록 가르칩니다. 만약 침입자가 휘슬을 불지 않는다면, 개는 조용히 있을 것입니다.
CPT 방식: 당신은 경비견에게 낯선 사람의 냄새를 맡도록 가르칩니다. 이제 개는 휘슬이 필요하지 않습니다. 냄새를 통해 친구와 낯선 사람을 구분할 수 있기 때문입니다.

결과
이 방법은 다양한 크기의 모델(소형부터 매우 큰 모델까지)을 대상으로 테스트되었으며, 다음과 같은 결과를 얻었습니다:

수학 능력 향상: 모델들은 단순히 조심스러워져서 성능이 떨어지는 것이 아니라, 실제로 어려운 수학 문제를 푸는 능력이 더 좋아졌습니다.
정직성 향 향상: 모델이 답을 알 수 없는 질문을 접했을 때, 자신만만하지만 틀린 답을 지어내는 대신 "모르겠습니다"라고 말할 확률이 훨씬 높아졌습니다.
회복 탄력성: 모델이 더 빠르고 정확해지도록 추가 훈련(강화 학습 단계)을 거친 후에도, 스스로의 사고를 판단하는 이 새로운 능력을 잃지 않았습니다. "맛보기 워크숍"을 통해 구축된 "정신적 필터"는 강력하게 유지되었습니다.

**요약하자
이 방법은 AI에게 확신이 없을 때 무엇을 말해야 하는지를 가르치는 대신, 자신의 사고에 대해 어떻게 생각해야 하는지를 가르칩니다. 이는 AI를 정답을 암기하는 학생에서, 자신의 사고 품질을 이해하는 학생으로 변화시킵니다.

기술 요약: 인지적 쌍체 학습(Cognitive Pairwise Training)을 통한 LLM 메타인지 강화

1. 문제 정의

검증 가능한 보상(Verifiable Rewards)을 활용한 강화 학습(RLVR)은 대규모 언어 모델(LLM)의 추론 능력을 크게 향상시켰습니다. 그러나 결과 수준의 보상(예: 최종 정답의 정답 여부)은 논리적으로 타당한 추론과 운 좋게 얻 걸린 지름길을 구분하지 못하는 거친 신호입니다. 결과적으로, 표준 RL 파이프라인은 모델의 메타인지(불확실성을 인식하고 증거가 불충분할 때 답변을 자제하는 능력)를 저하시키는 경우가 많습니다.

응답 측 거절 SFT(Response-Side Refusal SFT)나 기권 인지 RL(Abstention-aware RL)과 같은 기존 정렬 방법들은 주로 모델에게 표면적인 패턴이나 명시적인 지침에 기반하여 거절 토큰을 출력하도록 가르칩니다. 이러한 접근 방식은 특정 프롬프트 조건에 과적합되어, 추론 신뢰성에 대한 견고한 기준을 내재화하는 데 실패합니다. 그 결과, 모델은 근본적인 추론 과정이 결함이 있음에도 불구하고 과도하게 확신하며 답변을 조작(fabricating)할 수 있으며, 특히 의료나 법률 추론과 같은 고위험 영역에서 이러한 문제가 두드로 나타납니다.

2. 방법론: 인지적 쌍체 학습 (Cognitive Pairwise Training, CFT)

저자들은 하위 태스크별 최적화(예: Math SFT 및 RL) 이전에 수행되는 "미드 트레이닝(mid-training)" 정렬 단계로 설계된 **인지적 쌍체 학습(CPT)**을 제안합니다. CPT는 외부 보상 모델을 훈련하거나 거절 행동을 직접 튜닝하는 대신, 신뢰할 수 있는 추론 궤적과 결함이 있는 추론 궤적을 구별하도록 정책 모델을 훈련합니다.

핵심 메커니즘

CPT는 추론 궤적에 대한 **쌍체 비교(pairwise comparisons)**를 활용합니다. 문제 $x$ , 참조 정답 $a^*$ , 그리고 두 개의 후보 추론 궤적 $\tau_A$ 와 $\tau_B$ 가 주어졌을 때, 모델은 어떤 궤적이 더 신뢰할 수 있는지 결정하도록 훈련됩니다. 이 접근 방식은 단일 궤적에 절대 점수를 부여하는 것보다 상대적 비교가 인지적으로 더 쉽고 통계적으로 더 안정적이라는 원리에 기초합니다.

데이터 구축 파이프라인

CPT 데이터 구축은 고품질의 다양한 감독을 보장하기 위해 네 단계로 진행됩니다:

다중 모델 롤아웃(Multi-Model Rollouts): 난이도가 균형 잡힌 문제 풀이 세트(SimpleRL-Zoo 및 DAPO Math 활용)에 대해 다양한 규모의 모델(예: Qwen3-4B, 8B, 14B)을 사용하여 다양한 추론 궤적을 생성합니다.
편향 제거 쌍 구축(Debiased Pair Construction): 궤적들을 세 가지 상보적인 전략을 통해 쌍으로 구성합니다:
- 모델 내부(Intra-model): 동일한 모델의 궤적을 비교하여 추론 과정의 변이를 집중적으로 다룹니다.
- 모델 간(Inter-model): 서로 다른 규모의 모델 간 궤적을 비교하여 능력 및 스타일의 변이를 도입합니다.
- 역직관적(Counter-intuitive): 작은 모델은 정답이고 큰 모델은 오답인 사례를 쌍으로 묶어, 모델이 "큰 모델 = 더 나음"이라는 휴리스틱을 넘어 추론하도록 강제합니다.
자기 일관적 교사 레이블링(Self-Consistent Teacher Labeling): 강력한 교사 모델(Qwen3-235B)이 정답 여부, 논리적 일관성, 명료성, 효율성 차원에서 쌍을 평가합니다. 레이블의 신뢰성을 확보하기 위해 $K=8$ 번의 독립적인 판단을 수행하며, 합의 임계값( $\tau=5$ )을 충족하는 경우에만 쌍을 유지합니다.
지도 미세 조정(Supervised Fine-Tuning, SFT): 정책 모델은 이러한 쌍체 비교를 통해 SFT를 수행하며, 비교 분석과 최종 레이블(예: $A \succ B$ , $B \succ A$ , $eq$-good, $eq$-bad)을 출력하는 법을 배웁니다.

훈련 파이프라인 통합

CPT가 강화된 모델의 전체 파이프라인은 다음과 같습니다:

CPT 단계: 약 7만 개의 인지적 쌍체 인스턴스에 대한 SFT.
Math SFT: 수학 추론 궤적에 대한 표준 지도 미세 조정.
Math RL: 검증 가능한 보상을 사용하는 강화 학습(GRPO).

이 순서는 모델이 태스크 성능을 최적화하기 전에 "추론 품질 판별 경계"를 내재화하도록 보장하며, 이 경계가 후속 RL 업데이트에 의해 더욱 견고해지도록 만듭니다.

3. 주요 기여

메타인지적 미드 트레이닝: LLM이 하위 최적화 이전에 신뢰할 수 있는 추론과 신뢰할 수 없는 추론을 구분할 수 있는 재사용 가능한 경계를 갖추도록 하는 훈련 원칙을 도입했습니다.
인지적 쌍체 학습(CPT): 추론 궤적을 비교하도록 모델을 훈련함으로써, 사후 교정(post-hoc calibration)이나 명시적인 거절 튜닝에 의존하는 대신 품질 기준을 내재화하는 구체적인 구현 방법을 제시했습니다.
$^{}$
개선된 트레이드오프: CPT가 다양한 모델 규모(3B~32B)와 아키텍처(Qwen, LLaMA, Olmo) 전반에서 수학적 정확도와 기권 성능 사이의 추론-메타인지 트레이드오프를 개선함을 실증적으로 보여주었습니다. 이는 다른 베이스라인들이 두 축의 균형을 맞추지 못할 때 파레토 최적(Pareto-optimal) 성능을 달 수 있음을 입증합니다.

4. 실험 결과

저자들은 7개의 수학적 추론 벤치마크와 AbstentionBench를 통해 5가지 모델 크기와 3가지 모델 제품군에 대해 CPT를 평가했습니다.

추론-메타인지 트레이드오프: CPT는 수학적 정확도와 기권 성능 모두에서 베이스라인(SFT+RL, DPO+RL, Abs-RL)을 일관되게 능가합니다. 14B 규모에서 CPT+RL은 표준 SFT+RL 파이프라인보다 수학 평균 점수에서 +2.2, 기권 F1 점수(Normal Prompt 조건 하)에서 +5.2 높은 성능을 보였습니다.
RL에 대한 강건성: 중요한 발견은 CPT가 RL에 의해 발생하는 전형적인 메타인지 저하 현상을 방지한다는 점입니다. 표준 SFT+RL 모델은 RL 이후 기권 F1이 크게 감소(예: -1.2 ~ -14.9 포인트)하는 반면, CPT 훈련 모델은 안정적인 상태를 유지합니다(예: +0.6 또는 -0.2 변화).
일반화: CPT를 통해 학습된 메타인지 능력은 모델이 검색된 증거를 신뢰할지 결정해야 하는 검색 증강 생성(RAG) 작업에서도 제로샷(zero-shot)으로 전이됩니다.
추론 품질: 쌍체 감사를 통해 CPT+RL 궤적이 단순히 정답 여부뿐만 아니라, 특히 실패 사례에서도 논리적 일관성과 효율성 측면에서 SFT+RL 궤적보다 선호됨을 확인했습니다. 즉, CPT 모델은 실패할 때도 더 구조적이고 덜 조작적인 방식으로 실패합니다.
확장성: 이 방법은 3B에서 32B 모델까지 효과적으로 확장되며, 235B 교사 레이블로 훈련된 32B 모델이 추가 훈련을 위한 데이터를 다시 레이블링하는 **자기 증류(self-distillation)**를 통해 폐쇄형 교사 모델에 대한 의존도를 줄이며 지속될 수 있습니다.

5. 의의 및 주장

본 논문은 CPT가 모델에게 무엇을 거절할 것인가(표면적 정렬)를 가르치는 것에서, 자신의 추론 신뢰도를 어떻게 판단할 것인가(내재적 메타인지)를 가르치는 것으로의 전환을 의미한다고 주장합니다.

본질적 신뢰성: 미드 트레이닝 단계에서 판별 경계를 내재화함으로써, 모델은 결과 기반 RL에 의해 유발되는 "과잉 확신"에 덜 취약해집니다.
균형 잡힌 효용성: 응답 측 기권 SFT가 종종 과도하게 기권하여 효용성(답변 가능한 질문에 대한 정확도)을 희생하는 것과 달리, CPT는 해결 가능한 문제에 대해서는 높은 정확도를 유지하면서도 답변 불가능한 문제에 대해서는 올바르게 기권합니다.
일반적 프레임워크: 저자들은 메타인지적 미드 트레이닝이 내재적 자기 평가를 위한 일반적인 렌즈라고 상정하며, 쌍체 비교가 수학 이외의 다른 추론 중심 도메인으로 확장될 수 있음을 시사합니다.

결론적으로 CPT는 LLM이 효과적으로 추론하는 동시에 자신의 추론 한계를 인식할 수 있도록 만드는 단계로, 이는 고위험 애플리케이션에서의 신뢰할 수 있는 배포를 위한 필수 전제 조건입니다.