LLMs Exhibit Significantly Lower Uncertainty in Creative Writing Than Professional Writers

1. 연구 배경 및 문제 제기 (Problem)

• 창의적 글쓰기에서의 LLM 한계: 대규모 언어 모델 (LLM) 은 사실성 (factuality) 과 환각 (hallucination) 감소를 위해 정렬 (alignment) 과정에서 불확실성과 모호함을 제거하도록 훈련됩니다. 그러나 문학 이론에 따르면, 창의적 표현의 핵심은 '불확실성 (uncertainty)', '모호성 (ambiguity)', '불결정성 (indeterminacy)'에 있습니다.
• 핵심 모순: 현재 LLM 의 정렬 전략 (RLHF, SFT 등) 은 안전한 답변과 명확성을 추구하여 확률 분포를 좁은 '모드 (mode)'로 수렴시킵니다. 이는 문학적 풍부함을 위한 필수 조건인 '개방성 (openness)'과 '해석의 여지'를 제거하여, LLM 이 생성한 스토리가 진부하고 (trite), 반복적이며, 클리셰에 의존하게 만듭니다.
• 연구 질문: LLM 의 체계적인 불확실성 회피가 창의적 글쓰기 품질 저하로 이어지는가? 인간 작가는 LLM 에 비해 얼마나 더 높은 불확실성을 보이는가?

2. 방법론 (Methodology)

이 연구는 정보 이론 (Information Theory) 과 문학 이론을 결합하여 인간과 모델 간의 '불확실성 격차 (Uncertainty Gap)'를 정량화했습니다.

• 실험 설계 (Story Completion):

  • 데이터셋: 전문 작가들이 작성한 고품질 단편 소설 코퍼스인 **The New Yorker (2010-2019)**와 Tell-Me-A-Story를 사용했습니다. (일반 웹 크롤링 데이터가 아닌, 저작권 보호 및 전문가 검증을 거친 데이터로 훈련 데이터 기억 위험 최소화).
  • 프로세스: 동일한 컨텍스트 (T1) 를 입력으로 주어, **인간의 원문 (Ground Truth, T2)**과 **LLM 이 생성한 이어쓰기 (Model Continuation, $\hat{T}_2$)**를 비교했습니다.
  • 평가자: 동일한 LLM 을 사용하여 인간이 쓴 텍스트와 모델이 생성한 텍스트 모두의 확률 분포를 평가함으로써, 평가 모델과 생성 모델 간의 분포 불일치를 배제했습니다.

• 불확실성 측정 지표 (Uncertainty Metrics):

  • Token Entropy (Surprisal): 토큰별 로그 확률을 기반으로 한 평균 놀라움 (Negative Log-Likelihood, NLL).
  • Perplexity (PPL): 토큰 엔트로피를 지수화한 시퀀스 예측 불확실성.
  • Pointwise Mutual Information (PMI): 컨텍스트에 따른 예측 가능성과 내재적 토큰 빈도를 분리하여 측정. 높은 PMI 는 컨텍스트에 과도하게 의존함을 의미합니다.
  • Conditional PMI (CPMI): 고엔트로피 결정 지점 (중요한 서사적 전환점) 에서의 불확실성을 집중적으로 측정.

• 모델 범위: OLMo, Llama, Qwen, Mistral, Gemma, Phi 등 다양한 아키텍처의 베이스 (Base), 인스트럭트 (Instruct), 추론 (Thinking/Reasoning) 모델을 28 개 이상 평가했습니다.

3. 주요 결과 (Key Results)

• 일관된 불확실성 격차 (Human-Model Uncertainty Gap):

  • 모든 모델, 데이터셋, 지표에서 **인간 작가가 쓴 텍스트가 LLM 생성 텍스트보다 2~4 배 더 높은 엔트로피 (놀라움)**를 보였습니다.
  • PPL 비율: 인간 텍스트는 모델 생성물보다 2.76~8.82 배 더 예측하기 어려웠습니다.
  • PMI 차이: 인간 텍스트는 컨텍스트에 덜 의존하는 경향이 있었으며 (PMI 차이 -1.44~-2.60), LLM 은 주어진 컨텍스트에 과도하게 의존하여 통계적으로 가장 확률 높은 다음 토큰을 선택했습니다.

• 정렬 (Alignment) 의 부정적 영향:

  • Instruct 및 Thinking 모델: 베이스 모델에 비해 인스트럭트 튜닝 및 추론 강화 모델이 불확실성 격차를 더욱 확대했습니다. (예: Gemma-3 모델에서 인스트럭트 버전은 베이스 대비 NLL/PPL 비율이 2 배 이상 증가).
  • 크기 효과: 모델 크기 증가는 격차를 완전히 해결하지 못했으며, 오히려 정렬된 모델들은 더 안전한 (낮은 엔트로피) 출력으로 수렴하는 경향이 있었습니다.

• 도메인 특이성:

  • 불확실성 격차는 모든 도메인 (뉴스, 에세이) 에서 존재하지만, 창의적 글쓰기 (Creative Writing) 에서 가장 극명하게 나타났습니다.
  • 특히 컨텍스트 의존성 지표 (PMI) 에서 창의적 글쓰기의 격차가 에세이나 뉴스보다 25~30% 더 컸습니다. 이는 LLM 이 서사적 긴장감이나 예상치 못한 전개를 생성하는 데 실패함을 의미합니다.

• 불확실성과 품질의 상관관계:

  • 양적 상관관계: 토큰 수준의 불확실성 (NLL, PPL) 이 높을수록 자동화된 품질 점수가 높았습니다.
  • 역 U 자형 곡선 (Sweet Spot): 불확실성과 품질 사이에는 선형 관계가 아닌 역 U 자형 (Inverted-U) 관계가 존재함이 확인되었습니다. 즉, 품질은 불확실성이 어느 정도 높을 때 정점을 찍고, 지나치게 높으면 (무작위성) 떨어집니다.
  • LLM 의 위치: 현재 LLM 은 이 '최적의 불확실성 구간 (Sweet Spot)'의 왼쪽 (너무 낮은 엔트로피) 에 위치해 있어, 창의적 품질을 달성하지 못합니다. 반면 인간 작가는 더 높은 엔트로피 영역에서 최적의 품질을 유지합니다.

4. 주요 기여 (Key Contributions)

1. 이론적 정립: 문학 이론 (불확실성, 모호성, 공창의성) 과 정보 이론을 결합하여 LLM 의 창의적 실패 원인을 '불확실성 부재'로 체계적으로 설명했습니다.
2. 정량적 측정: 인간과 LLM 의 창의적 글쓰기 간 '불확실성 격차'를 정보 이론적 지표 (NLL, PMI 등) 를 통해 최초로 정량화했습니다.
3. 정렬 전략의 재검토: 현재 RLHF 와 SFT 기반의 정렬 전략이 '환각 (hallucination)'을 줄이는 대신 '창의적 모호성 (constructive ambiguity)'까지 제거하여 문학적 가치를 훼손함을 입증했습니다.
4. 품질 예측: 불확실성 수준이 글쓰기 품질과 강한 상관관계를 가지며, 최적의 창의성은 높은 엔트로피 영역에서 발생함을 실험적으로 증명했습니다.

5. 의의 및 시사점 (Significance)

• 새로운 정렬 패러다임 제안: LLM 이 창의적 글쓰기에서 인간 수준에 도달하기 위해서는 '파괴적인 환각 (destructive hallucination, 예: 의료 진단 오류)'과 '건설적인 모호성 (constructive ambiguity, 예: 시적 은유)'을 구별할 수 있는 불확실성 인지형 정렬 (uncertainty-aware alignment) 전략이 필요합니다.
• 창의성 보존: 단순히 모델의 예측 정확도나 사실성을 높이는 것이 모든 목적은 아니며, 문학적 표현을 위해서는 의도적인 불확실성과 예측 불가능성을 허용하는 생성 메커니즘이 필요함을 강조합니다.
• 학제간 연구: 컴퓨터 과학 (NLP/ML) 과 인문학 (문학 이론) 의 협력이 AI 창의성 연구에 필수적임을 보여주었습니다.

결론적으로, 이 논문은 LLM 이 창의적 글쓰기에서 실패하는 근본적인 원인이 '지식 부족'이 아니라, 안전성을 위해 학습된 **'불확실성 회피 (aversion to uncertainty)'**에 있음을 증명하며, 더 풍부하고 인간적인 스토리텔링을 위해서는 모델이 불확실성을 수용하고 생성할 수 있도록 재설계되어야 함을 주장합니다.