Lost in Stories: Consistency Bugs in Long Story Generation by LLMs

이 논문은 장편 스토리 생성 시 발생하는 일관성 오류를 체계적으로 분석하기 위해 새로운 벤치마크 'ConStory-Bench'와 자동 검증 도구 'ConStory-Checker'를 제안하고, 다양한 LLM 들의 일관성 오류가 사실 및 시간적 차원에서 주로 발생하며 이야기의 중간 부분과 높은 토큰 엔트로피 구간에서 빈번하게 나타난다는 사실을 규명했습니다.

핵심

1. 문제: "이야기에 빠진 작가" (Lost in Stories)

최근 AI 는 책 한 권 분량 (수만 단어) 의 긴 이야기를 척척 써냅니다. 하지만 문제는 **일관성 (Consistency)**입니다.

• 상황: AI 가 10,000 단어로 긴 소설을 썼다고 가정해 봅시다.
• 문제: 앞부분에서는 주인공이 "고양이를 키운다"고 했는데, 뒷부분에서는 "개만 키운다"고 하거나, "1982 년 겨울"에 시작했는데 중간에 갑자기 "여름"이 되기도 합니다.
• 기존 연구의 한계: 예전에는 "글이 얼마나 매끄러운가?"만 평가했지, "이 이야기가 논리적으로 맞는지"는 제대로 확인하지 못했습니다.

2. 해결책: "ConStory-Bench" (일관성 테스트장)

연구팀은 이 문제를 해결하기 위해 ConStory-Bench라는 새로운 시험지를 만들었습니다.

• 시험지 구성: 2,000 개의 다양한 이야기 주제 (예: "1982 년 겨울, 차가 고장 난 모녀의 이야기") 를 준비했습니다.
• 오류 분류: AI 가 저지르는 실수를 5 가지 큰 카테고리와 19 가지 세부 유형으로 나누어 꼼꼼히 분류합니다.
  • 시간/줄거리: "어제 비가 왔는데, 오늘 아침에 비가 그쳤다" (시간 순서 오류)
  • 캐릭터: "주인공은 무서움을 모른다"고 했는데, "공포에 떨었다"고 함.
  • 세계관: "마법 세계"인데 갑자기 "스마트폰"이 등장함.
  • 사실/세부: "눈이 파란색"이었다가 "초록색"으로 바뀜.
  • 스타일: "진지한 분위기"였다가 갑자기 "개그 코미디"로 변함.

3. 도구: "Constory-Checker" (AI 편집자)

이제 AI 가 쓴 글을 사람이 일일이 다 읽을 수는 없죠. 그래서 연구팀은 Constory-Checker라는 자동 감시 로봇을 개발했습니다.

• 역할: 이 로봇은 AI 가 쓴 글을 읽으며 "어? 여기와 저기 말이 안 되네?"라고 찾아냅니다.
• 특징: 단순히 "틀렸다"고만 말하는 게 아니라, **"어디서 (페이지 번호), 어떤 문장과 충돌하는지"**를 정확히 인용하며 증거를 제시합니다. 마치 "3 페이지 2 줄에 '파란 눈'이라고 썼는데, 50 페이지 5 줄에 '초록 눈'이라고 썼네요"라고 지적하는 것입니다.

4. 연구 결과: AI 가 실수하는 패턴

수십 개의 최신 AI 모델을 이 시험지에 풀어보게 했더니, 재미있는 패턴들이 발견되었습니다.

• 실수 위치: 실수는 이야기의 **중간 부분 (40~60%)**에서 가장 많이 발생합니다. 시작할 때는 기억력이 좋다가, 이야기가 길어지자 기억이 흐려지는 것입니다.
• 실수 유형: '사실 확인 (눈 색깔, 이름)'과 '시간/줄거리' 관련 실수가 가장 많습니다.
• 예상 신호: AI 가 글을 쓸 때, **어떤 단어를 고르기 가장 망설이는 구간 (불확실성이 높은 구간)**에서 실수가 자주 발생합니다. 마치 작가가 "아, 이 부분 뭐라고 쓸까?" 고민할 때 실수를 저지르는 것과 같습니다.
• 모델 비교: 어떤 AI 는 10,000 단어를 길게 쓰지만 실수가 많고, 어떤 AI 는 짧게 써서 실수는 적지만 이야기가 반으로 잘리기도 합니다. 현재는 GPT-5 Reasoning이 가장 일관성 있게 긴 이야기를 잘 쓰는 것으로 나타났습니다.

5. 결론 및 의의

이 연구는 **"AI 가 긴 글을 쓸 때, 단순히 글자 수만 늘리는 게 아니라 기억력을 어떻게 강화할지"**에 대한 중요한 지도를 제공합니다.

• 비유: 우리는 이제 AI 에게 "더 긴 글을 써라"라고 시키기 전에, "너가 쓴 이야기의 앞뒤가 맞는지 스스로 점검할 수 있는 안목"을 키워줘야 한다는 것을 알게 되었습니다.
• 미래: 이 연구 결과를 바탕으로, 앞으로는 AI 가 글을 쓰다가 "잠깐, 내가 앞서서 고양이라고 했잖아?"라고 스스로 깨닫고 수정하는 더 똑똑한 작가가 나올 수 있을 것입니다.

한 줄 요약:

"AI 가 긴 소설을 쓸 때 앞뒤가 맞지 않는 실수를 범하는 이유를 찾아내고, 이를 자동으로 잡아내는 '꼼꼼한 편집자'를 개발하여 더 나은 이야기를 만들 수 있는 길을 열었습니다."

기술 요약

1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 이제 수만 단어로 이어지는 긴 서사 (Long-form narrative) 를 생성할 수 있게 되었으나, 일관성 (Consistency) 유지에 심각한 결함이 존재합니다.

• 핵심 문제: 모델이 긴 이야기를 생성하는 과정에서 이전에 설정한 사실, 캐릭터의 특성, 세계관 규칙 등을 잊어버리거나 모순되는 내용을 생성합니다.
• 기존 연구의 한계: 기존의 스토리 생성 벤치마크는 주로 플롯의 질 (Plot quality) 과 유창성 (Fluency) 에 집중하여, 전역적 일관성 오류 (Global consistency errors) 를 체계적으로 평가하거나 재현 가능한 메커니즘을 제공하지 못했습니다. 또한, 자동 평가 (LLM-as-a-judge) 방식이 존재하지만, 구체적인 텍스트 증거 (Explicit textual evidence) 와 해석 가능한 근거가 부족했습니다.

2. 방법론 (Methodology)

이 논문은 일관성 오류를 체계적으로 평가하고 분석하기 위해 ConStory-Bench와 ConStory-Checker를 제안했습니다.

가. ConStory-Bench (벤치마크)

• 데이터 구성: 7 개의 공개 코퍼스 (LongBench, WritingPrompts 등) 에서 수집한 원본 이야기를 기반으로, 4 가지 작업 시나리오에 맞춰 2,000 개의 프롬프트를 생성했습니다.
  • 4 가지 작업 유형: 생성 (Generation), 이어쓰기 (Continuation), 확장 (Expansion), 완성 (Completion).
  • 목표 길이: 8,000~10,000 단어.
• 오류 분류 체계 (Taxonomy): 5 가지 상위 카테고리와 19 가지 세부 하위 유형으로 구성된 계층적 분류 체계를 정의했습니다.
  1. 타임라인 및 플롯 논리: 절대적 시간 모순, 지속 시간 모순, 인과 관계 위반 등.
  2. 캐릭터 (Characterization): 기억 모순, 지식 모순, 능력 변동 등.
  3. 세계관 및 설정 (World-building): 핵심 규칙 위반, 사회적 규범 위반, 지리적 모순 등.
  4. 사실 및 세부 사항 (Factual & Detail): 외모 불일치, 명칭 혼동, 정량적 불일치 등.
  5. 서술 및 스타일 (Narrative & Style): 시점 혼동, 톤 불일치, 스타일 변화 등.

나. ConStory-Checker (자동 평가 파이프라인)

• 구조: 4 단계로 구성된 자동화된 LLM-as-a-judge 파이프라인입니다.
  1. 카테고리 기반 추출: 5 가지 차원별로 모순이 발생하기 쉬운 텍스트 구간을 추출.
  2. 모순 쌍 매칭 (Contradiction Pairing): 추출된 구문을 쌍으로 비교하여 '일관됨' 또는 '모순됨'으로 분류 (CheckEval, ProxyQA 방식 참조).
  3. 증거 체인 구축 (Evidence Chains): 각 모순에 대해 추론 (Reasoning), 텍스트 인용 (Evidence), 결론 (Conclusion) 을 포함하는 구조화된 보고서를 생성.
  4. JSON 리포트: 모든 판단을 정확한 문자 단위 오프셋 (Character-level offsets) 에 근거하여 표준화.
• 평가 모델: 정확도와 효율성의 균형을 위해 o4-mini 모델을 사용했습니다.

다. 평가 지표

• 일관성 오류 밀도 (CED, Consistency Error Density): 생성된 10,000 단어당 오류 수를 정규화하여 길이 편향을 제거.
• 그룹 상대 순위 (GRR, Group Relative Rank): 프롬프트 난이도를 통제하기 위해 각 프롬프트 그룹 내에서 모델의 품질 점수 (길이와 오류 수를 고려) 를 기반으로 상대적 순위를 산출.

3. 주요 결과 (Key Results)

다양한 상용 및 오픈소스 모델을 대상으로 한 실험을 통해 다음과 같은 통찰을 얻었습니다.

• 모델 성능:

  • GPT-5-Reasoning이 가장 낮은 CED(0.113) 와 최상의 GRR(2.80) 을 기록하며 가장 우수한 일관성을 보였습니다.
  • Gemini-2.5-Pro와 Claude-Sonnet-4.5도 비교적 좋은 성적을 보였으나, 많은 오픈소스 모델과 특수 목적 모델 (Capability-enhanced, Agent-enhanced) 은 여전히 상당한 오류를 발생시켰습니다.
  • 작업 유형별 차이: 사전 맥락 없이 자유롭게 이야기를 생성하는 Generation 작업이 다른 작업 (이어쓰기, 확장 등) 보다 일관성 오류가 훨씬 많이 발생했습니다.

• 오류의 분포 및 패턴:

  • 주요 오류 유형: **사실 및 세부 사항 (Factual & Detail)**과 타임라인 및 플롯 논리 (Timeline & Plot Logic) 오류가 가장 빈번하게 발생했습니다.
  • 길이와의 상관관계: 오류 수는 생성된 텍스트 길이에 비례하여 선형적으로 증가하는 경향이 있었습니다.
  • 위치적 분포: 오류는 이야기의 **중반부 (4060% 구간)**에 집중되는 경향이 있으며, 사실 (Fact) 은 초기 (1530%) 에 설정되고 모순은 이후에 발생하는 경우가 많았습니다. 특히 지리적/시간적 오류는 긴 간격 (Long-range) 에서 발생했습니다.

• 예측 신호 (Uncertainty):

  • 엔트로피 분석: 오류가 포함된 텍스트 구간은 전체 텍스트 대비 Shannon 엔트로피가 유의미하게 높음 (약 12~19% 증가) 을 확인했습니다. 이는 모델이 불확실성이 높은 구간에서 실수를 범할 가능성이 높음을 시사하며, 엔트로피를 일관성 오류의 조기 경고 신호로 활용할 수 있음을 보여줍니다.

• 오류의 공존 (Co-occurrence):

  • 사실 및 세부 사항 오류는 캐릭터, 세계관, 타임라인 오류와 강한 상관관계를 보이며 함께 발생하는 경향이 있었습니다. 반면, 서술 및 스타일 오류는 다른 오류 유형과 독립적으로 발생하는 것으로 나타났습니다.

4. 주요 기여 (Contributions)

1. ConStory-Bench 도입: 긴 형식의 스토리 생성 일관성을 평가하기 위한 최초의 체계적인 벤치마크를 제시했습니다 (2,000 개 프롬프트, 5 개 카테고리, 19 개 세부 유형).
2. ConStory-Checker 개발: 모순을 탐지하고 각 판단을 명시적인 텍스트 증거 (인용 및 위치) 와 함께 제공하는 자동화 평가 파이프라인을 개발했습니다.
3. 체계적 분석: 5 가지 연구 질문 (RQ) 을 통해 다양한 LLM 아키텍처의 일관성 오류 분포, 길이 의존성, 발생 원인 (불확실성), 오류 간 상관관계, 그리고 텍스트 내 위치적 분포를 심층적으로 분석했습니다.

5. 의의 및 의의 (Significance)

• 연구 방향 제시: 현재 LLM 이 긴 텍스트 생성에서 직면한 '일관성'이라는 핵심 과제를 정량화하고, 오류가 무작위가 아니라 예측 가능한 패턴 (중반부 집중, 엔트로피 상승, 특정 오류 유형의 군집화) 을 가진다는 것을 입증했습니다.
• 실용적 적용: 엔트로피 기반의 조기 경고 시스템이나, 특정 오류 유형 (사실/시간) 에 특화된 검증 메커니즘을 통해 향후 긴 형식 생성 모델의 성능을 개선하는 데 기여할 수 있습니다.
• 평가 표준 확립: 단순한 유창성 평가를 넘어, 텍스트 증거에 기반한 엄격한 일관성 평가 표준을 제시하여 향후 관련 연구의 기준이 될 것입니다.

이 논문은 "이야기를 잊어버리는 이야기꾼"이라는 비유처럼, LLM 이 장편 생성에서 겪는 근본적인 한계를 드러내고 이를 해결하기 위한 구체적인 도구와 통찰을 제공한다는 점에서 중요한 의미를 가집니다.