기술 요약: 온도 전후의 분포적 관점: 창의적 LLM 생성에 대한 고찰

문제 정의

참조 텍스트가 없는 개방형 작업에서 거대 언어 모델(LLM) 생성의 창의성을 평가하는 것은 지속적인 과제이다. 퍼플렉시티(perplexity)와 같은 전통적인 참조 없는 지표들은 흔-빈도가 높은 텍스트에 보상을 주는 경향이 있어, "신경 텍스트 퇴화(neural text degeneration)"(단조롭고 반복적인 출력)를 유발한다는 점에서 한계가 있다. 모델 임베딩이나 LLM-as-judge 프롬프트를 활용하는 최근의 접근 방식들이 개선을 이루었으나, 이들은 텍스트가 샘플링되는 근간이 되는 확률 분포 자체가 아니라 생성된 텍스트의 표면 형태(surface form)에 기반하여 작동한다. 분포를 분석하는 기존 방식들은 대개 이를 스칼라 값(예: 엔트로피, 마진)으로 축소하거나 여러 샘플을 비교하는 데 의존하며, 토큰이 방출되기 전 적용되는 샘플링 온도($T$)에 의한 구체적인 구조적 변형을 간과한다.

방법론

저자들은 모델의 가공되지 않은 신념 분포(raw belief distribution)와 온도로 재구성된 분포 사이의 격차를 주요 평가 신호로 취급하는 프레임워크를 제안한다.

실험 설정

• 모델 및 프롬프트: WritingPrompts, Alternative Uses Task, HellaSwag에서 추출한 500개의 개방형 창의적 프롬프트를 사용하여 Llama-3.1-8B-Instruct로 실험을 수행하였다.
• 샘플링 조건: 세 가지 온도 $T \in \{0.3, 0.8, 1.5\}$에서 생성을 수행하였다.
• 로짓 캡처(Logit Capture): 생성된 모든 토큰에 대해, 샘플링 전의 상위-$K$ 가공되지 않은 로짓을 캡처하였다. $K$는 $T \le 0.8$일 때 100, $T=1.5$일 때 200이다. 결정적으로, 시스템은 샘플링된 토큰이 반드시 캡처된 집합에 포함되도록 보장하여(필요 시 추가), 분포가 평탄해지는 고온에서도 명확한 분석이 가능하도록 하였다.
• 분포 구축: 토큰당 두 가지 분포를 계산한다:
  1. 온도 전($p$): 모델의 가공되지 않은 신념, $p = \text{softmax}(z)$.
  2. 온도 후($q$): 실제 토큰이 샘플링된 재구성된 분포, $q = \text{softmax}(z/T)$.
• 정답(Ground Truth): 다음을 통해 평가 순위를 설정하였다:
  • LLM 심사위원 앙상블(500개 프롬프트 전체에 대해 gpt-4o와 gemini-2.5-pro의 평균 순위)
  • 인간 다수결 순위(150개 프롬프트 하위 집합에 대해 3명의 독립적인 평가자)
  • 두 정답 모두 "일관성 우선(coherence-first)" 규칙을 적용하여, 비일관성 및 단절된 전문 용어를 페널티로 부여하였다.

지표

본 연구는 $p$와 $q$를 비교하는 일련의 분포적 특징을 계산하며, 여기에는 다음이 포함된다:

• 정보 이론적 발산(Information-Theoretic Divergences): KL, Jensen-Shannon.
• 기하학적 거리(Geometric Distances): Total Variation, L2, Hellinger.
• 상위 속성(Top-End Properties): 상위-1 확률 및 정체성 변화.
• 누적 질량 폭($n_\alpha$): 확률 질량 $\alpha$를 커버하는 데 필요한 토큰 수 (예: $n_{90}$).
• 질량 누출(Mass Leakage): 온도 전의 그럴듯한 집합에 남아 있는 온도 후의 확률 질량 비율 (예: $S(p)_{90}$).
• 집계(Aggregation): 생성 궤적의 다양한 측면을 포착하기 위해 백분위수(p10, p90), 최댓값, 평균을 사용하여 특징을 집계한다.

주요 기여 및 결과

1. 전-후 온도 특징의 우수한 예측력

주요 발견은 온도 재구성 과정에서 발생하는 전-후(pre-vs-post) 특징으로부터 도출된 단일 토근별 특징이 표준 참조 없는 베이스라인보다 유의미하게 우수하다는 것이다.

• 최고의 특징: 전-온도 상위-90% 폭의 10번째 백분위수인 $n_{90}(p)_{\text{p10}}$은 평균화된 LLM 심사위원에 대해 0.918, 인간 다수결에 대해 0.870의 스피어먼 상관계수($\rho$)를 달성하였다.
• 베이스라인 비교: 네 가지 표준 베이스라인(self-perplexity, mean predictive entropy, top-1 margin, gzip 압축률)은 모두 $|\rho| \approx 0.76$에서 정체되었다.
• 격차: 제안된 방법은 베이스라인 중 최고치보다 LLM 심사위원 기준 +0.165, 인간 다수결 기준 +0.110 더 높은 성능을 보였으며, 이는 베이스라인들 사이의 변동폭보다 훨씬 큰 차이다.

2. 메커니즘적 통찰: 비일관성 시그니처

성능 향상은 "비일관성 영역"($T=1.5$)과 일관된 영역($T=0.3, 0.8$)을 구분하는 뚜렷한 분포적 시그니처에 의해 주도된다.

• 질량 누출: $T=1.5$에서 약 13 퍼센트 포인트의 확률 질량이 온도 전 상위-90%의 그럴듯한 집합에서 "누출"된다. 온도 후의 질량이 원래의 그럴듯한 집합에 남아 있는 비율은 $T=0.8$일 때의 ~0.982에서 $T=1.5$일 때 ~0.868로 감소한다.
• 폭 팽창: 누적 질량 폭($n_{95}(q)$)은 $T=1.5$에서 $\sim 1$ 토큰에서 $\sim 131$ 토큰으로 팽창한다.
• 균일성: 이러한 왜곡은 고립된 토큰에 국한되지 않고 생성 궤적 전반에 걸쳐 균일하게 나타난다.

3. 토큰별 집계의 한계

본 방법은 비일관적인 생성($T=1.5$)과 일관된 생성($T=0.3, 0.8$)을 분리하는 데는 탁-월하지만, 토큰별 집계만으로는 두 일관된 영역 사이($T=0.8$ vs. $T=0.3$)를 구분하지 못한다. $p$와 $q$의 분포가 이 영역들에서 유사한 형태를 유지한다는 점은, "중간-단조로움"의 구분이 단일 단계의 분포 재구성이 아닌 시퀀스 수준의 특징(내용의 참신함, 궤적)에 의존함을 시사한다.

의의 및 주장

본 논문은 "전-후 온도 관점"이 생성 품질에 미치는 샘플링 온도의 구조적 영향을 포착하는 저렴하고, 단일 패스(single-pass)이며, 참조가 필요 없는 지표를 제공한다고 주장한다.

• 효율성: Semantic Entropy와 같이 여러 번의 샘플링을 요구하거나 외부 참조가 필요한 방법과 달리, 이 방식은 텍스트를 생성하는 데 사용된 동일한 순방향 패스(forward pass)로부터 신호를 추출한다.
• 해석 가능성: 메커니 \즘은 해석 가능하다: 높은 창의성(또는 이 경우 비일관성)은 모델의 원래 그럴듯한 집합에서 꼬리(tail) 부분으로 질량이 누출되는 현상과 상관관계가 있다.
• 벤치마킹: 본 연구는 평균화된 LLM 심사위원(gpt-4o/gemini-2.5-pro)이 인간의 판단에 대한 신뢰할 수 있는 대리자임을 입증하였으며, 인간 간 합의 수준인 $\rho=0.771$을 상회하는 $\rho=0.832$를 달s성하였다.

저자들은 전-후 온도 변화가 비일관성의 경계를 나타내는 강력한 지표이지만, 미묘한 차이를 보이는 일관된 창의성을 구분하기 위해서는 이러한 분포적 특징과 시퀀스 수준의 분석을 결합한 하이브리드 접근 방식이 필요할 것이라고 결론지었다.