기술 요약: Perplexity는 항상 옳고 그름을 구별할 수 없다

문제 정의

Perplexity는 자기회귀 언어 모델(autoregressive language models)을 평가하는 표준 지표로, 손실 함수(loss function)이자 모델 품질의 대리 지표(proxy) 역할을 합니다. 이는 모델이 정답 데이터(ground-truth data)를 마주했을 때 느끼는 '놀라움(surprise)'을 측정합니다. 계산적 단순성 덕분에 널리 사용되지만, 경험적 관찰에 따르면 perplexity가 샘플의 품질이나 정확도와 항상 상관관계를 갖는 것은 아닙니다. 구체적으로, 정확도는 낮더라도 더 잘 보정된(또는 과도하게 높은) 확신을 가진 모델이, 더 정확하지만 주저하는 모델보다 더 낮은 perplexity 점수를 달est할 수 있습니다.

본 논문은 이러한 괴리의 이론적 근거를 다룹니다. 특히 디코더 전용 트랜스포머(decoder-only Transformers)의 맥락에서 perplexity가 모델 선택을 위한 신뢰할 수 있는 목적 함수인지 조사합니다. 핵심 문제는 perplexity가 확신(confidence)과 정답 여부(correctness)를 혼동하여, 특히 오류 신호가 희석될 수 있는 롱 컨텍스트(long-context) 시나리오에서 '확신에 찬 오답'을 내놓는 모델에게 유리하게 작용할 수 있다는 점입니다.

방법론

저자들은 perplexity의 한계를 입증하기 위해 엄격한 이론적 증명, 분석적 모델링, 그리고 경험적 검증을 결합하여 사용합니다.

1. 이론적 프레임워크 (연속성과 붕괴):

   • 저자들은 트랜스포머 표현의 연속성에 관한 최근의 이론적 결과(Pasten et al., 2025)를 활용합니다.
   • 이 연구는 RoPE와 같은 일반적인 임베딩을 포함하는 클래스인 Compact Position Embeddings(CPE)를 사용하는 디코더 전용 트랜스포머에 집중합니다.
   • 저자들은 모델이 비트 시퀀스를 정확하게 재현해야 하는 **비트스트링 복사 작업(bitstring copy task)**을 분석합니다. 이 작업은 명확한 정답(ground truth)이 존재하며, LLM이 견고하게 학습하기 어려운 것으로 알려져 있습니다.
   • 저자들은 강건한 주장을 확립하기 위해 **그리디 디코딩(greedy decoding, 결정론적 샘플링)**을 베이스라인으로 사용하며, 이후 온도 스케일링(temperature scaling)을 통한 확률적 샘플링으로 분석을 확장합니다.

2. 분석적 모델링 (등-Perplexity 곡선):

   • 저자들은 **등-Perplexity 곡선(iso-perplexity curves)**을 도출하기 위해 단순화된 이진 분류 프레임워크를 구축합니다.
   • **정확도($a$)**와 확신($1-\gamma$) 사이의 관계를 스칼라 변수로 모델링합니다.
   • perplexity를 높이지 않으면서 확신을 높이는 것을 정당화하기 위해 필요한 '임계 정확도(critical accuracy)'를 구함으로써, perplexity가 더 정확한 모델을 선택하지 못하는 확신/정확도 공간의 영역을 매핑합니다.

3. 경험적 검증:

   • 복사 작업 실험: 저자들은 비트스트링 복사 작업에 대한 커스텀 CPE 트랜스포머를 훈련시키고, 사전 훈련된 Gemma 3 4B 모델을 평가했습니다. 이들은 모델이 올바른 시퀀스($\alpha_N$)와 모델이 복사에 실패하는 섭동된(perturbed) 시퀀스($\beta_N$)에 대해 각각 어떻게 수행되는지 비교했습니다.
   • 패리티(Parity) 작업 실험: 더 복잡한 설정에서 모델 선택을 연구하기 위해, 패리티(XOR) 작업에 대한 트랜스포머를 훈련시켰습니다. 훈련 과정 중 체크포인트들을 추적하며, 분포 내(IID) 및 분포 외(OOD) 데이터에 대해 평가했습니다. 또한 로그-perplexity, 마이크로-F1 점수, 그리고 평균 섀넌 엔트로피(확신의 대리 지표) 사이의 상관관계를 분석했습니다.

주요 기여

1. 연속성을 통한 Perplexity 실패의 증명:
   저자들은 컴팩트한 디코더 전용 트랜스포머의 경우, 모델이 충분히 긴 시퀀스를 정확하고 확신 있게 예측한다면, 모델이 실패하는 또 다른 시퀀스가 반드시 존재하며, 시퀀스 길이가 길어짐에 따라 해당 실패의 로그-perplexity가 0에 수렴한다는 것을 증명합니다. 이는 정확한 입력에 대해 높은 확신을 갖는 것이, 모델이 확신을 가지고 틀리는 '혼란스러운(confounding)' 입력의 존재를 필연적으로 수반함을 의미하며, 이 경우 평균화 과정으로 인해 에러가 perplexity 지표에서 보이지 않게 됩니다.

2. 오답 샘플에서의 그래디언트 소멸:
   논문은 모델이 올바른 시퀀스에 대해 완벽한 손실(perfect loss)을 달성함에 따라, 대응하는 '혼란스러운' 오답 시퀀스에 대한 그래디언트 신호가 사라짐을 보여줍니다. 결과적으로, 이 오답 샘플들에 대한 훈련 신호가 사라지게 되어, 모델이 올만한 것들에 대해 높은 확신을 유지하면서 동시에 이 오답들을 교정하는 법을 공동으로 학습하는 것이 불가능해집니다.

3. 분석적 등-Perplexity 곡선:
   저자들은 확신-정확도 공간에서의 등-Perplexity 곡선에 대한 분석적 표현식을 도출합니다. 이들은 다음과 같은 **"불리한 영역(unfavourable regions)"**을 식별합니다:

   • 모델이 정확도를 높이지 않고도 확신을 높일 수 있으며, 그러면서도 perplexity를 낮출 수 있는 영역 ("부당한 공짜 점수(unjustified free lunch)").
   • 반대로, 모델이 정확도를 개선하더라도 확신의 증가가 정확도 향상과 충분히 일치하지 않으면 perplexity를 낮추는 데 실패할 수 있는 영역.
   • 구체적으로, 완벽하게 확신에 찬 모델이 perplexity에 의해 선택되려면 반드시 완벽하게 정확해야 하며, 그렇지 않으면 거부될 것입니다.

4. 분포 변화 민감성에 대한 경험적 증거:
   패리티 작업 실험을 통해, 저자들은 perplexity가 분포 내(IID) 데이터에서는 정확도와 잘 상관관계가 있지만, 분포 외(OOD) 데이터에서는 이 관계가 무너진다는 것을 보여줍니다. OOD 체제에서 높은 확신(낮은 엔트로피)을 가진 모델들은 종종 더 낮은 정확도를 가짐에도 불구하고 최상의 perplexity 점수를 얻으며, 이는 효과적으로 등-Perplexity 곡선의 "잘못된 쪽"에 위치하게 됩니다.

결과

• 이론적 한계: 증명 결과, 트랜스포머 표현의 연속성은 모델이 올바른 시퀀스 $\alpha_N$에 대해 매우 확신을 가지면서도 근처의 시퀀스 $\beta_N$에서 실패할 수 있는 시나리오를 생성하며, $\beta_N$의 perplexity는 $N \to \infty$일 때 0으로 수렴함을 확인했습니다.
• 경험적 경향:
  • 복사 작업 실험에서, 섭동된 시퀀스 $\beta_N$을 올바르게 복사할 확률은 0에 가깝게 붕괴된 반면, 올바른 시퀀스와 오답 시퀀스 사이의 로그-perplexity는 수렴했습니다. 이는 이론적 예측을 검증합니다.
  • 패리티 작업에서, 로그-perplexity와 정확도 사이의 피어슨 상관계수는 분포 내 데이터에 대해서는 강한 음의 상관관계($r \approx -0.94$)를 보였으나, 분포 외(OOD) 데이터에 대해서는 양의 상관관계로 변했습니다.
  • 가장 높은 OOD 정확도를 가진 체크포인트들은 종종 가장 나쁜 OOD perplexity를 가졌으며, 이러한 체크포인트들은 낮은 엔트로피(높은 확신)라는 특징을 보였습니다.

의의 및 주장

본 논문은 perplexity가 단순히 집계 과정의 부산물(긴 컨텍스트의 평균화에 초점을 맞춘 이전 연구들이 제안한 방식)이 아니라, 확신과 로그-우도(log-likelihood) 목적 함수 사이의 수학적 관계 때문에 본질적으로 편향되어 있음을 주장합니다.

• 모델 선택의 위험: 저자들은 perplexity에만 의존하여 모델을 선택하는 것이, 특히 분포 변화나 롱 컨텍스트가 포함된 체제에서 '확신은 높지만 틀린' 모델을 선택하게 만들 수 있다고 주장합니다.
• 훈련 역학: 이 연구는 perplexity를 최소화하려는 동기가 모델로 하여금 정확도를 확신과 맞바꾸도록 유도하며, 모델이 정확도를 높이지 않고도 확신만 높여서 지표 점수를 개선할 수 있는 "불리한 영역"을 만들어낸다는 점을 시사합니다.
• 주의 사항: 본 논문은 perplexity를 대체할 새로운 지표를 제안하는 것이 아닙니다. 대신, 진단적 경고를 제공하는 데 목적이 있습니다. 저자들은 정확도를 직접 측정할 수 없는 상황에서 perplexity를 모델 품질의 대리 지표로 사용할 때 적절한 주의를 기울여야 한다고 조언하며, 모델 선택 프로토콜에서 모델의 확신과 분포 변화를 고려할 필요가 있음을 강조합니다.

요약하자면, 본 논문은 perplexity가 항상 옳고 그름을 구별할 수 없음을 보여주는 엄격한 이론적, 경험적 토대를 제공합니다. 즉, 확신을 가지고 틀리는 모델에 의해 perplexity가 최소화될 수 있으므로, 일반화 성능을 위한 신뢰할 수 있는 선택 도구로서 실패할 수 있음을 입증합니다.