Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B

"자신감의 언어적 표현으로의 자기일관성 증류: Gemma 3 4B 에 대한 사전 등록된 부정적 결과 및 사후 구제"에 대한 상세한 기술 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM), 특히 3~9B 파라미터 범위의 모델들은 "퇴행성 언어적 자신감 (degenerate verbal confidence)" 문제를 보입니다. 자신의 확신을 백분율로 명시하라고 요청받으면, 이러한 모델들은 답변이 정확한지 여부와 관계없이 일관되게 최대에 가까운 자신감 (90% 이상의 천정률) 을 보고합니다.

• 격차: 내부 표현 (은닉 상태) 과 단일 패스 로그트 엔트로피는 정답 여부에 대한 상당한 정보를 포함하고 있음 (AUROC2 약 0.6~0.8) 에도 불구하고, 언어적 채널은 이러한 정보를 전달하지 못합니다 (AUROC2 약 0.5, 우연 수준).
• 목표: 본 연구는 **자신감 조건부 지도 미세 조정 (CSFT)**이 강력하지만 계산 비용이 큰 다중 샘플 자기일관성 (multi-sample self-consistency) 의 정보를 신뢰할 수 있는 단일 패스 언어적 자신감 신호로 증류할 수 있는지 조사합니다.

2. 방법론

본 연구는 Gemma 3 4B-it을 활용하였으며, CMM 프로그램 (2 형 신호 감지 이론) 에 기반한 엄격한 심리측정 평가 파이프라인을 따랐습니다.

실험 설계

• 데이터: TriviaQA(보정/훈련 및 홀드아웃 평가) 와 MMLU(교차 벤치마크 전이) 에서 추출된 항목들.
• 타겟 도출: 각 훈련 항목에 대해 온도 $T=0.7$에서 10 개의 샘플을 생성했습니다. 정답 샘플 수 ($n_{correct}$) 를 자신감 타겟으로 매핑했습니다 (예: $n_{correct}=10 \rightarrow 95\%$, $n_{correct}=0 \rightarrow 5\%$).
• 훈련: 채팅 프롬프트에 대한 LoRA 미세 조정 (랭크 16) 을 수행하여 모델이 답변 다음에 도출된 자신감 백분율을 출력하도록 훈련시켰습니다.
• 통제: 형식을 학습하는 것과 신호를 학습하는 것을 구분하기 위해, 동일한 아키텍처를 사용하지만 자신감 레이블을 무작위로 순열한 셔플된 타겟 제어 (shuffled-target control) 모델을 훈련시켰습니다.

두 단계

1. 사전 등록 프로토콜 (Phase 0): 10 개 샘플 중 가장 빈번한 답변이 정답인 항목으로 훈련 데이터를 제한하는 **모드 필터 (modal filter)**를 포함했습니다.
2. 사후 구제: 모드 필터를 제거하여 모델이 모달 답변이 잘못된 이분산 분포를 포함한 모든 2,000 개의 보정 항목 (잘못된 모달 답변 포함) 으로 훈련할 수 있도록 했습니다.

3. 주요 결과

A. 사전 등록 결과 (부정적)

• 결과: 프로토콜이 실패했습니다.
• 지표: 언어적 AUROC2 가 기준선 0.554 에서 0.509로 하락했습니다. 정확도는 7.6% 감소했습니다. 유효성 등급 척도 (VRS) 는 "무효"로 유지되었습니다.
• 진단: 레이블 엔트로피 붕괴 (Label-Entropy Collapse). 모드 필터는 모델이 불확실하거나 틀린 ($n_{correct} < 10$) 모든 항목을 제거했습니다. 결과적으로 훈련 세트는 거의 균일한 고신뢰 타겟 (대부분 95%) 을 갖게 되었습니다. 모델은 입력을 무시하고 모드 (95%) 를 출력하도록 학습하여 언제 낮은 자신감을 표현해야 하는지 학습하지 못했습니다.

B. 사후 구제 (탐색적 긍정적)

모드 필터를 제거함으로써 훈련 세트는 이분산 분포를 포함하게 되었습니다: 항목의 48.2% 가 $n_{correct}=10$(타겟 95%) 이었고, 36.5% 가 $n_{correct}=0$(타겟 5%) 이었습니다.

• TriviaQA 성능:
  • AUROC2: 기준선 0.554 에서 0.774로 크게 향상되었습니다.
  • 천정률: 97.7% 에서 **49.8%**로 붕괴되었으며, 이는 모델이 자신감을 다양화하는 법을 학습했음을 나타냅니다.
  • 신호의 본질: 모델은 연속적인 보정 (calibration) 이 아닌 **이진 판별기 (5% 또는 95% 중 하나 출력)**를 학습했습니다. 이는 10 샘플 자기일관성 신호 (AUROC2 = 0.999) 를 단일 패스 언어적 판독으로 성공적으로 압축하여 약 77.5% 의 판별력을 회복했습니다.
  • 비교: 증류된 언어적 신호 (0.774) 는 단일 패스 로그트 엔트로피 (0.701) 보다 우수했습니다.
• MMLU 교차 벤치마크 전이:
  • 정확도: **54.2% 에서 77.4%**로 극적으로 향상되었습니다.
  • AUROC2: 0.535 에서 0.616 으로 향상되었습니다.
  • 통제: 셔플된 타겟 모델은 향상되지 않았으며 (정확도 56.1%, AUROC2 0.523), 장황하고 파싱 불가능한 출력을 생성하여 성취가 LoRA 절차 자체가 아닌 자신감 타겟의 내용에 기인했음을 확인시켰습니다.

4. 주요 기여 및 설계 원칙

1. 레이블 엔트로피의 중요성: 본 연구는 레이블 엔트로피 붕괴를 자신감 훈련의 주요 실패 모드로 식별합니다. 모델이 불확실성을 표현하도록 훈련시키려면 훈련 세트에 불확실성의 예시 (낮은 자신감 타겟) 가 반드시 포함되어야 합니다. "어려운" 또는 "틀린" 예시를 필터링하면 실패가 보장됩니다.
2. 자기일관성의 증류: 다중 샘플 자기일관성 정보 (보통 10 회 순방향 패스 필요) 를 단일 패스 언어적 신호로 증류하는 것이 가능합니다. 압축 손실 (약 22.5%) 이 있더라도, 결과 신호는 표준 로그트 엔트로피보다 더 유익하며 표준 API 를 통해 접근 가능합니다.
3. 형식 정규화: 올바른 자신감 타겟으로 훈련하는 것은 출력 형식을 정규화하는 것으로 나타났습니다. 실제 타겟 모델은 간결하고 파싱 가능한 응답을 생성한 반면, 셔플된 타겟 모델은 장황하고 비구조적인 텍스트를 생성했습니다. 이는 자신감 타겟이 출력 구조에 대한 정규화제로 작용할 수 있음을 시사합니다.
4. 정확도 - 자신감 트레이드오프: 개입은 판별력을 향상시켰지만 TriviaQA 정확도는 7.5% 하락시켰습니다. 이는 모델이 원시 답변 생성보다 판별적 신호를 우선시하는 새로운 "답변 - 자신감 정책"을 채택했거나, 자신감 신호가 다른 벤치마크 (MMLU) 에서의 허구 (confabulations) 를 필터링하는 데 도움이 되었음을 시사합니다.

5. 의의 및 한계

• 의의: 이 작업은 내부 로그트나 다중 샘플 패스에 접근할 필요 없이 LLM 이 불확실성을 신뢰할 수 있게 "말하게" 하는 실용적인 경로를 제공합니다. "언어적 채널"은 훈련 가능하지만 작동하려면 특정 데이터 분포 (높은 엔트로피) 가 필요함을 강조합니다.
• 한계:
  • 이진 출력: 모델은 연속적인 보정 (예: 60% 자신감) 이 아닌 이진 분류기 (5% 대 95%) 를 학습했습니다.
  • 사후적 성격: 긍정적 결과는 사전 등록되지 않았으며 재현이 필요합니다.
  • 단일 모델/시드: 결과는 Gemma 3 4B 와 단일 무작위 시드에 특화되어 있습니다.
  • 정확도 하락: MMLU 정확도 향상과 TriviaQA 정확도 하락은 자신감 훈련과 답변 생성 정책 간의 복잡한 상호작용을 시사하며, 추가적인 애블레이션 연구가 필요합니다.

결론

이 논문은 작은 LLM 이 본질적으로 불확실성을 보고하지 못하지만, 훈련 데이터가 레이블 엔트로피를 보존한다면 CSFT 를 통해 이를 시정할 수 있음을 보여줍니다. 실패를 포함한 자기일관성 결과의 전체 스펙트럼으로 훈련함으로써, 모델은 복잡한 다중 샘플 추론을 신뢰할 수 있는 단일 패스 언어적 자신감 신호로 증류할 수 있으며, 이는 표준 엔트로피 기준선보다 우수하고 MMLU 와 같은 교차 벤치마크 작업에서 성능을 향상시킵니다.