Elias in the Lighthouse, Again? Diagnosing Low Diversity in LLM Stories

기술 요약: 등대 속의 엘리아스, 다시? LLM 이야기의 낮은 다양성 진단

문제 제기
대형 언어 모델 (LLM) 은 생성된 출력이 특히 창의적 글쓰기 작업에서 점점 더 동질화되는 '모드 붕괴 (mode collapse)'라는 현상을 보입니다. 이전 연구에서 이 경향을 확인했지만, 동일한 이야기 구조로 수렴하게 만드는 구체적인 메커니즘은 여전히 잘 이해되지 않고 있습니다. 본 논문은 "이야기를 써라"와 같은 간단한 지시어로 프롬프트를 입력했을 때 최신 최첨단 모델들이 생성한 이야기에서 놀라울 정도로 다양성이 부족하다는 점을 조사합니다. 저자들은 OpenAI, Anthropic, Google, 그리고 앨런 인공지능 연구소 (AI2) 의 모델들이 출판된 문학과 사전 학습 데이터 모두에서 드문 특정 캐릭터 이름, 배경, 직업을 일관되게 포함하는 내러티브를 생성한다는 것을 관찰했습니다.

방법론
이러한 반복성을 특징짓기 위해 저자들은 대규모 샘플링 실험을 수행했습니다:

• 데이터 생성: 네 가지 최신 모델 (Claude Haiku 4.5, Gemini 3.1 Flash-Lite, GPT-5.4-Mini, OLMo 7b Thinking) 을 사용하여 20,000 개의 이야기를 생성했습니다. 각 모델은 "이야기를 써주세요", "내게 이야기를 들려줘요"와 같은 "이야기를 써라"의 변형으로 5 회씩 프롬프트를 입력받아 모델당 1,000 개의 이야기를 생성했습니다.
• 어휘 추출: GPT-5.4-nano 를 사용하여 이야기 배경, 캐릭터 이름, 직업을 나타내는 토큰 범위를 추출했습니다. 이러한 후보들을 토큰화, 이야기/카테고리당 가장 높은 빈도의 토큰 유지, 그리고 최소한 절반 이상의 모델에서 방출된 토큰만 유지하는 3 단계 과정을 거쳐 필터링했습니다.
• 핵심 토큰 식별: 말뭉치 전반에 걸쳐 가장 빈번하게 등장하는 최소 11 개의 토큰으로 구성된 '핵심 (Core)' 어휘를 식별하기 위해 변화점 분석 (changepoint analysis) 을 적용했습니다.
• 비교 분석: 이러한 핵심 토큰의 빈도를 백만 분율 (PPM) 로 측정하고 다음 데이터와 비교했습니다:
  • 현대 영어 문학 (CONLIT 말뭉치).
  • 아마추어 소설 (Reddit 의 r/writingprompts).
  • 사전 학습 데이터 (OLMo 3 의 웹 데이터 및 소설 하위 집합).
  • 사후 학습 데이터 (OLMo 3 의 SFT, DPO, RL 데이터셋).
• 주제 모델링: "등대" 이야기들이 특정 장르를 형성하는지 아니면 다양한 주제에 분포되어 있는지 확인하기 위해 OLMo 3 의 사후 학습 이야기 말뭉치에 LDA 주제 모델을 훈련시켰습니다.

주요 결과

• 극심한 동질성: 생성된 20,000 개 이야기 중 88.3% 가 11 개의 핵심 토큰 중 적어도 하나를 포함했습니다. 전체 이야기의 절반 이상 (51.2%) 이 "등대"를 특징으로 했으며, 66.6% 는 "등대"라는 위치, "엘리아스"라는 이름, "지배인"이라는 직업을 포함한 특정 조합을 포함했습니다.
• "핵심" 어휘: 11 개의 토큰에는 이름 (엘리아스, 마라, 엘라라), 직업 (지배인, 시계공, 제빵사, 어부, 사서, 시장, 지휘자), 그리고 위치 "등대"가 포함됩니다.
• 학습 데이터와의 불일치:
  • 문학/웹: 핵심 토큰은 출판된 소설 (예: "엘리아스"는 생성된 말뭉치에서 CONLIT 보다 900 배 더 빈번함) 이나 일반 웹 데이터보다 생성된 이야기에서 훨씬 더 빈번하게 나타났습니다.
  • 사전 학습: OLMo 3 의 사전 학습 데이터에서 핵심 토큰 비율은 미미했습니다.
  • 사후 학습: OLMo 3 의 사후 학습 데이터가 사전 학습 데이터보다 핵심 토큰을 더 높은 비율로 포함하고 있었지만, 절대적 prevalence 는 여전히 낮았습니다. 사후 학습 세트의 78,958 개 이야기 중 3,053 개 (3.8%) 만이 어떤 핵심 토큰을 포함했습니다.
• 정렬 단계 영향: 정렬 데이터셋 (SFT, DPO, RL) 에서의 핵심 토큰 밀도는 WildChat 에서 파생된 이야기보다 5~8 배 높았으며, 이는 정렬 데이터가 전체 사후 학습 볼륨의 일부에 불과함에도 불구하고 발견되었습니다. 구체적으로 DPO 및 RL 단계가 초기 SFT 단계보다 더 높은 비율의 핵심 이야기를 기여했습니다.
• 주제 분포: "등대" 이야기는 사후 학습 데이터 내에서 단일 주제로 군집화되지 않았습니다. 대신 팬픽션, 기술 문서, 심지어 부적절한 유머 등 다양한 주제에 흩어져 있었으며, 이는 모델이 주변 맥락과 관계없이 이러한 특정 토큰을 "안전한" 또는 "선호되는" 출력과 연관시키도록 학습했음을 시사합니다.

의의 및 주장
본 논문은 창의적 글쓰기에서 모드 붕괴의 특정 사례를 그 학습 입력으로 추적한 최초의 연구라고 주장합니다. 저자들은 "등대 속의 엘리아스" 내러티브의 지배력은 원시 학습 말뭉치에서 이러한 단어들의 빈도로 설명될 수 없다고 주장합니다. 대신, 이 현상은 소규모의 특정 데이터셋과 강력한 정렬 알고리즘 (SFT, DPO, RL) 간의 상호작용에 의해 주도된다고 가정합니다.

저자들은 정렬 과정에서 모델이 저작권이 있는 캐릭터와 성인용 콘텐츠에 대한 언급을 피하도록 훈련되면서, 우연히 선호 데이터에서 발견되는 "안전하고", 일반적이며, 근대 이전의 소박한 소재 (예: 등대, 시계공) 의 좁은 집합으로 모델을 유도한다고 제안합니다. 그 결과, 학습 데이터의 극히 일부 (사후 학습 이야기의 4% 미만) 가 모델의 최종 출력 행동에 불균형적인 영향을 미치게 됩니다. 이 연구는 현재 모델이 단순히 말뭉치 내의 지배적인 패턴을 모방하는 것이 아니라, 인간의 이야기 전달의 다양성을 반영하지 않을 수 있는 특정하고 안전한 생성 모드에 수렴한다는 점을 강조합니다.