🤖 AI

When Mean CE Fails: Median CE Can Better Track Language Model Quality

본 논문은 분포의 대다수에 초점을 맞추고 꼬리 부분의 이상치에 의해 왜곡되지 않기 때문에 작업 성능과 더 높은 상관관계를 보이는 중간값 교차 엔트로피가 합성 사실 학습 및 상위 K 개 증류와 같은 시나리오에서 언어 모델의 품질을 추적할 때 표준 평균 교차 엔트로피보다 종종 더 우수한 성능을 보임을 입증한다.

원저자: Hao Guo, Simon Dennis, Rivaan Patil, Kevin Shabahang

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hao Guo, Simon Dennis, Rivaan Patil, Kevin Shabahang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 학생의 에세이를 채점하는 교사라고 상상해 보세요. 보통은 학생의 성적이 얼마나 좋은지 판단하기 위해 "평균" 점수를 계산합니다. 평균 점수가 오르면 학생이 더 나아지고 있다고 가정하죠.

이 논문은 AI 언어 모델의 경우 "평균" 점수 (Mean Cross-Entropy) 가 끔찍한 거짓말쟁이가 될 수 있다고 주장합니다. 때로는 평균 점수가 오를 때 (AI 가 나빠지고 있다는 신호) 실제로는 AI 가 더 좋은 이야기를 쓰거나 질문에 더 정확하게 답하고 있습니다.

이 현상이 왜 발생하는지, 그리고 저자들이 제안하는 대안이 무엇인지 몇 가지 창의적인 비유를 통해 간단히 설명해 드리겠습니다.

1. 문제: "평균"은 쉽게 속아 넘어갑니다

AI 세계에서는 모델의 성능을 "손실 (loss)"을 확인함으로써 측정합니다 (점수가 낮을수록 좋습니다). 이를 측정하는 표준적인 방법은 모델이 저지르는 모든 실수의 **평균 (Mean)**을 계산하는 것입니다.

비유: "한 개의 나쁜 사과" 효과
100 개의 사과가 들어있는 바구니를 상상해 보세요.

99 개의 사과는 완벽합니다.
1 개의 사과는 썩어서 끔찍한 냄새가 납니다.

바구니의 "평균 신선도"를 계산하면, 그 한 개의 썩은 사과가 전체 점수를 끌어내립니다. 바구니의 99% 는 완벽함에도 불구하고 바구니는 나빠 보입니다.

이 논문은 AI 모델이 종종 이런 바구니처럼 행동한다고 발견했습니다. 학습 과정에서 모델은 "일반적인" 단어 (99 개의 완벽한 사과) 를 예측하는 데 매우 능숙해집니다. 하지만 몇몇 드물고 까다로운 단어 (1 개의 썩은 사과) 에서는 이상하고 오류가 큰 실수를 하기 시작합니다.

**평균 (Mean)**은 썩은 사과를 보고 "모델이 나빠지고 있다!"라고 말합니다.
현실은 모델이 실제로 해야 할 일을 더 잘 해내고 있다는 것입니다.

2. 해결책: "중앙값"은 진실 말하기

저자들은 평균 대신 **중앙값 (Median)**을 사용할 것을 제안합니다.

비유: "중간 아이"
사과들을 가장 좋은 것부터 나쁜 것까지 줄 세우면, 중앙값은 정중앙에 있는 사과입니다.

100 개의 사과가 들어있는 우리 바구니에서 50 번째 사과는 완벽합니다.
썩은 사과는 줄의 맨 끝에 있습니다.
중앙값은 그 한 개의 썩은 사과를 신경 쓰지 않습니다. 바구니의 "전형적인" 사과는 신선하다고 알려줍니다.

이 논문은 평균 대신 중앙값 점수를 살펴보면, AI 가 이야기하기나 사실 회상과 같은 실제 작업에서 수행하는 능력과 완벽하게 일치한다고 보여줍니다.

3. 논문에서 제시한 두 가지 실제 사례

저자들은 두 가지 다른 시나리오에서 이를 테스트했습니다.

시나리오 A: "과도한 학습"을 한 학생 (Qwen 모델)

무슨 일이 일어났는지: 그들은 AI 에게 가짜 사실 목록을 가르쳤습니다.
함정: 학습을 계속할수록 AI 는 그 사실들을 더 잘 익혔지만, 몇 가지 매우 구체적이고 이상한 문장 구조에서는 혼란을 겪기 시작했습니다.
결과: 평균 점수는 올라갔습니다 (나빠 보임), 하지만 중앙값은 낮게 유지되었습니다 (좋아 보임). 실제 시험 점수 (사실을 얼마나 잘 기억했는지) 는 평균이 아닌 중앙값을 따랐습니다. 평균은 그 몇 가지 혼란스러운 문장에만 반응했을 뿐입니다.

시나리오 B: "Top-K" 증류 (TinyStories)

무슨 일이 일어났는지: 그들은 작은 AI 가 큰 AI 를 모방하도록 가르치려 했지만, 작은 AI 에게 큰 AI 가 선택할 확률이 가장 높은 상위 5 개 단어에만 주의를 기울이도록 했습니다 (나머지는 무시).
함정: 이로 인해 작은 AI 는 일반적인 단어에서는 매우 자신감 있게 작동했습니다 (훌륭한 중앙값) 하지만 드문 단어에서는 끔찍했습니다 (나쁜 평균).
결과: 인간 (또는 심사관 역할을 하는 다른 AI) 이 이야기를 읽었을 때, "Top-5" 학생의 이야기를 사랑했습니다. 그것은 최고의 이야기꾼이었습니다. 하지만 평균 점수를 보면 최악의 학생처럼 보였습니다. 중앙값 점수는 이를 올바르게 최고의 학생으로 식별했습니다.

4. "일치성 (Concordance)" 확인: 평균을 언제 신뢰할지

저자들은 **Concordance (일치성)**라는 개념을 소개합니다. 이는 "팀 합의" 확인이라고 생각하세요.

높은 일치성: 평균, 중앙값, 그리고 "95 백분위수 (최악의 시나리오)"가 모두 어떤 모델이 가장 좋은지 동의합니다. 이 경우 평균을 사용해도 괜찮습니다.
낮은 일치성: 평균은 "모델 A 가 최고"라고 말하지만, 중앙값은 "모델 B 가 최고"라고 말합니다. 이는 적신호입니다! 이는 오류의 분포가 모양을 바꿨다는 뜻입니다 (사과 바구니처럼).

논문의 조언:
단순히 평균 점수만 보고하지 마세요. 소수의 점수 세트를 보고하세요:

평균 (Mean) (평균)
중앙값 (Median) (전형적인 경우)
95 백분위수 (95th Percentile) (최악의 꼬리)

이 세 숫자가 서로 다른 이야기를 전달한다면, "평균"이 당신을 속이고 있다는 것을 알게 됩니다. 실제 세계 작업에서 더 잘 수행할 모델을 선택하려면 중앙값을 신뢰해야 합니다.

요약

평균 CE (평균): 몇 가지 나쁜 실수에 속아 넘어갈 수 있습니다. 한 학생이 어려운 시험에 낙제한 것을 기준으로 전체 학급을 판단하는 것과 같습니다.
중앙값 CE (중간): 이상치를 무시하고 "전형적인" 토큰이 어떻게 수행하는지 알려줍니다. 실제 세계 성능을 훨씬 잘 추적합니다.
해결책: 항상 "평균" 점수와 함께 "중앙" 점수를 확인하세요. 둘이 일치하지 않으면, 최고의 AI 모델을 선택할 때 신뢰해야 할 것은 보통 "중앙" 점수입니다.

기술 요약: 평균 교차 엔트로피 (CE) 가 실패할 때: 중앙값 CE 가 언어 모델 품질 추적을 더 잘 수행할 수 있음

문제 제기

평균 교차 엔트로피 (CE) 는 언어 모델의 표준 검증 지표이며, 퍼플렉시티와 동일합니다. 그러나 경험적 토큰별 CE 분포가 "재구성 (reshaping)"될 때, 특히 하류 작업 성능을 추적하는 데 자주 실패합니다. 이러한 시나리오에서 분포의 대다수 (일반 토큰) 와 꼬리 (고손실 토큰) 는 서로 반대 방향으로 이동합니다. 평균은 질량 평균 통계량이므로, 고손실 토큰의 무거운 꼬리에 의해 지배될 수 있으며, 이는 대다수의 개선을 가리거나 특정 작업에 대한 모델의 실제 유용성을 왜곡할 수 있습니다. 본 논문은 평균 CE 가 모델 품질을 예측하는 데 실패하는 시기를 조사하고, 더 강력한 진단 도구로서 백분위 기반 요약 (특히 중앙값) 의 사용을 제안합니다.

방법론

저자들은 두 가지 명확한 시나리오에 걸쳐 평균 CE 와 백분위 CE 요약 (중앙값, p95) 간의 상호작용을 분석합니다:

암묵적 재구성 (지도 미세 조정):
- 설정: LoRA 를 사용하여 합성 사실 학습 데이터 (120 개의 새로운 사실, 2,400 개의 훈련 쌍) 로 Qwen2.5-1.5B 를 미세 조정합니다.
- 분석: 저자들은 12 에포크에 걸쳐 탐욕적 부분 문자열 일치 정확도와 샘플링 기반 pass@1 정확도에 대해 평균 CE, 중앙값 CE, p95 CE 를 추적합니다.
- 지표: 그들은 CE 요약 집합 ( $S$ ) 이 모델 체크포인트를 서로에 대해 얼마나 일관되게 순위 매기는지를 측정하는 "일치도 (concordance)"( $\pi(S)$ ) 를 도입합니다.
의도적 재구성 (Top-K 증류):
- 설정: 고정된 교사 모델을 사용하여 TinyStories 코퍼스에서 지식 증류를 수행합니다. 학생 모델은 재규격화된 교사의 상위- $K$ 개 토큰 확률을 맞추도록 훈련되며, $K$ 는 전체 어휘에서 5 까지 변합니다.
- 분석: 이 연구는 다양한 $K$ 로 증류된 모델과 다른 크기와 학습률로 처음부터 훈련된 제어 모델 군을 비교합니다.
- 평가: 모델 품질은 일관성, 문법, 창의성, 전반적 품질에 대한 연속성을 평가하는 LLM-as-a-judge (Claude Sonnet 4) 점수를 통해 평가됩니다.
- 분포 분석: 저자들은 $K$ 가 감소함에 따라 토큰별 CE 분포가 어떻게 이동 (질량 재분배) 하는지, 특히 대다수와 꼬리 사이의 밀도를 살펴봅니다.

주요 기여 및 결과

1. 세 가지 영역의 식별

본 논문은 CE 요약의 일치도에 기반하여 훈련 역학을 세 가지 영역으로 분류합니다:

방향적 균일 개선: 높은 일치도; 평균과 백분위수가 모델 선택에 동의합니다.
의도적 재구성: 증류 (예: Top-K 증류) 와 같은 훈련 목표에 의해 유발된 낮은 일치도.
암묵적 재구성: SFT 와 같은 훈련 역학에 의해 유발된 낮은 일치도.

2. Qwen 미세 조정 사례 연구 (암묵적 재구성)

발산: 초기 학습 단계 (1~5 에포크) 이후 평균 CE 는 약 60% 크게 상승하는 반면, 홀드아웃 사실 회상 정확도는 정점에 머무릅니다.
상관관계: 중앙값 CE 는 정확도 실패율과 강력하게 상관관계가 있습니다 ( $r \ge +0.84$ ), 반면 평균 CE 는 약한 상관관계를 보입니다 ( $r \approx +0.12$ ~ $+0.27$ ).
메커니즘: 분포의 대다수는 빠르게 포화되어 (중앙값 CE 가 바닥까지 떨어짐) 상단 꼬리가 확장됩니다 (p95 상승). 평균은 꼬리를 따라가며 일반 토큰의 안정적인 성능을 반영하지 못합니다.

3. Top-K 증류 사례 연구 (의도적 재구성)

"교차" 현상: $K$ $K$ 가 감소함에 따라 학생의 손실 분포가 양극화됩니다: 질량이 극단적 저손실 대다수와 극단적 고손실 꼬리 모두로 이동합니다.
- 결과: 더 작은 $K$ 는 더 낮은 중앙값 CE (더 나은 대다수 성능) 를 산출하지만 더 높은 평균 CE (더 나쁜 꼬리 성능) 를 보입니다.
- 성능: Top-5 학생은 최악의 평균 CE(1.708) 를 가짐에도 불구하고 가장 높은 LLM-judge 점수 (2.06) 를 달성합니다. 훈련 중 교사보다 더 높은 평균 CE 를 가지면서도 교사보다 중앙값 CE 아래로 교차하기도 합니다.
일치도 붕괴: 증류된 군 내에서 평균 CE 는 judge 점수에 대한 순위 능력을 완전히 상실합니다 ( $\rho = -0.186$ ), 반면 중앙값 CE 는 강력한 상관관계를 유지합니다 ( $\rho = -0.911$ ). 반면, 증류되지 않은 제어 군에서는 평균과 중앙값 CE 가 거의 완벽하게 일치합니다 ( $\pi \approx 0.96$ ).
강건성: 이러한 발견은 선형 어텐션 아키텍처에서도 질적으로 재현됩니다.

4. 진단적 유용성

본 논문은 평균과 중앙값 CE 간의 발산이 저비용 진단 도구로 작용함을 보여줍니다. 일치도가 낮을 때, 요약 통계량의 선택은 모델 선택에 중대한 영향을 미칩니다. 증류 실험에서 LLM-judge(생성 품질을 대표함) 는 평균이 아닌 대다수 백분위수와 일치합니다.

중요성 및 주장

본 논문은 SFT 및 지식 증류와 같은 일반적인 훈련 시나리오에서 평균 CE 가 모델 품질의 불완전한 설명자라고 주장합니다. 작업 성능에 대한 대리 지표로서의 신뢰성은 경험적 손실 분포의 진화에 달려 있습니다.

실용적 권장사항: 저자들은 평균 alongside 평균, 중앙값, p95 와 같은 소수의 백분위 CE 요약을 보고할 것을 권장합니다.
진단 도구: 이러한 요약 간의 일치도를 모니터링하면 실무자가 분포 재구성을 감지할 수 있습니다.
- 높은 일치도: 평균 CE 가 모델 선택에 충분합니다.
- 낮은 일치도: 대상 평가 (예: 생성 품질) 가 꼬리가 아닌 대다수 (또는 그 반대) 에 민감할 수 있음을 나타내며, 더 의도적인 지표 선택이 필요합니다.
한계: 주장은 TinyStories, 합성 사실과 같은 특정 데이터셋 내의 상대적 모델 선택과 최대 15 억 파라미터 규모에 기반합니다. 본 논문은 평균 CE 가 가능도 추정이나 희귀 토큰 보정에 쓸모없다고 주장하는 것이 아니라, 손실 분포가 재구성될 때 작업별 성능에 대해 오해의 소지가 있을 수 있다고 주장합니다.