Attention Flows: Tracing LLM Conceptual Engagement via Story Summaries

1. 연구 배경 및 문제 정의 (Problem)

• 문맥 길이 확장 vs. 이해 능력의 불일치: 최근 대규모 언어 모델 (LLM) 의 컨텍스트 윈도우가 수백만 토큰까지 확장되었으나, 긴 텍스트에 걸친 정보를 통합하여 이해하는 능력은 이를 따라가지 못하고 있습니다.
• 검색 (Retrieval) 과 이해 (Comprehension) 의 차이: 기존 벤치마크 (예: Needle in a Haystack) 는 특정 토큰을 찾아내는 '검색' 능력은 우수하게 평가하지만, 문서 전체에 걸쳐 정보를 일관되게 통합하는 '이해' 능력을 측정하지 못합니다. 이를 '컨텍스트 부패 (Context Rot)' 현상이라고 부릅니다.
• 중간 정보 소실 (Lost in the Middle): 모델이 문맥의 시작과 끝에만 주의를 집중하고 중간 부분을 무시하는 경향이 있다는 기존 연구가 있지만, 이는 단순한 위치 편향 이상으로 장문 텍스트에 대한 지속적인 개념적 참여 (Conceptual Engagement) 실패를 반영합니다.
• 연구 목적: 인간과 LLM 이 장편 소설을 요약할 때 어떻게 다른지 분석하여, 모델이 텍스트의 개념적 구조를 얼마나 잘 파악하고 있는지 평가하는 새로운 프레임워크를 제시하는 것입니다.

2. 방법론 (Methodology)

이 연구는 150 권의 공개 도메인 소설 (Public Domain Novels) 과 이에 해당하는 위키백과 플롯 요약을 기반으로 한 데이터셋을 구축하고 분석했습니다.

• 데이터셋 구성:

  • 150 권의 소설 (Project Gutenberg) 과 해당 위키백과 요약 (150 개).
  • 9 개의 최첨단 LLM (Qwen, Llama, Gemini, GPT 시리즈 등) 을 사용하여 각 소설에 대해 4 가지 다른 프롬프트 조건 (전체 텍스트 제공/미제공, 지침 포함/미포함) 으로 생성된 요약본 5,400 개를 생성.
  • 총 5,550 개의 요약본 (인간 + 모델) 이 포함된 데이터셋 공개.

• 정렬 (Alignment) 작업:

  • 핵심 아이디어: 요약문의 각 문장이 원작 소설의 어느 장 (Chapter) 을 참조하는지 매핑하여 '개념적 지도 (Conceptual Map)'를 생성합니다.
  • 자동 정렬 도구: 요약 문장을 소설 장에 매핑하는 것은 인간에게도 어려운 작업이므로, GPT-OSS (120b) 를 사용하여 자동 정렬 알고리즘을 개발하고 검증했습니다 (F1 점수 80% 달성).
  • 비교 지표: 인간과 모델이 생성한 요약의 문장 - 장 매핑 분포를 비교하여 개념적 참여의 패턴을 분석했습니다.

• 분석 지표:

  • 통계적 차이: 토큰 수, 문장 수, 의존성 거리 (Dependency Distance), 고유명사 수 등 문법적/통계적 특성 비교.
  • 개념적 참여 패턴:
    • 선형성 (Linearity): 요약이 시간 순서대로 진행되는지.
    • 왜도 (Skew) 및 평균 매칭 위치: 요약이 소설의 시작, 중간, 끝 중 어디에 집중하는지.
    • 건너뜀 (Skipping): 요약되지 않은 장이나 매칭되지 않은 문장의 비율.

3. 주요 기여 (Key Contributions)

1. 개념적 참여 (Conceptual Engagement) 프레임워크: 단순한 정보 검색이 아닌, 장문 텍스트의 개념적 구조를 이해하는지 평가하기 위해 요약을 통한 주시 추적 (Attention Tracing) 을 제안했습니다.
2. 대규모 정렬 데이터셋 공개: 150 권의 소설에 대해 인간과 9 개의 LLM 이 생성한 5,550 개의 요약을 문장 - 장 (Sentence-to-Chapter) 수준에서 정렬한 데이터셋과 분석 코드를 공개했습니다.
3. 새로운 편향 발견: 기존 장문 컨텍스트 벤치마크로는 감지되지 않았던 LLM 의 구조적 편향 (특히 끝부분 집중 현상) 을 발견했습니다.
4. 인간 - 모델 비교 분석: 인간과 LLM 이 이야기를 요약할 때의 스타일적, 개념적 차이를 체계적으로 규명했습니다.

4. 주요 결과 (Key Results)

• 스타일적 차이:

  • 모델 생성 요약은 인간 요약보다 평균적으로 짧고, 문장 구조가 단순하며 (의존성 거리 감소), 고유명사 (특히 인물) 사용 빈도가 낮았습니다.
  • 전체 텍스트를 프롬프트에 포함할 경우 모델의 요약 길이가 인간과 더 비슷해졌으나, 여전히 차이가 존재했습니다.

• 개념적 참여의 차이 (핵심 발견):

  • 끝부분 집중 (End-Weighting): 인간은 소설의 시작, 중간, 끝을 비교적 균등하게 요약하는 반면, 대부분의 LLM 은 소설의 끝부분에 과도하게 집중하는 경향을 보였습니다. 모델이 클수록 이 편향이 심해졌습니다.
  • 선형성 저하: 모델은 인간보다 사건을 시간 순서대로 나열하는 선형성이 낮았으며, 특히 전체 텍스트 없이 제목만 제공된 경우 더 심했습니다.
  • 건너뜀 (Skipping): 모델은 인간보다 더 많은 장 (Chapters) 을 요약에서 생략하거나, 매칭되지 않는 문장 (할루시네이션 등) 을 더 많이 생성했습니다.

• 주의 메커니즘 (Attention Mechanism) 분석:

  • Qwen 3.5 (9b) 모델의 어텐션 매트릭스를 분석한 결과, 요약 문장이 실제로 다루는 장에 대한 어텐션 집중도가 낮았습니다.
  • 특히 긴 텍스트일수록 모델이 해당 장에 주의를 기울이는 정확도가 떨어졌으며, 이는 요약 실패의 원인이 될 수 있음을 시사했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 평가 패러다임의 전환: 단순한 토큰 검색 능력을 넘어, 모델이 장문 텍스트의 개념적 구조를 통합적으로 이해하는지를 평가하는 새로운 기준을 제시했습니다.
• 모델 설계 및 평가에 대한 시사점: LLM 이 장문 텍스트를 처리할 때 '중간 정보 소실'뿐만 아니라 '끝부분 과잉 집중'과 같은 구조적 편향을 가지고 있음을 밝혔습니다. 이는 향후 모델 아키텍처 개선 (예: 균일한 어텐션 분산) 과 평가 벤치마크 개발에 중요한 방향을 제시합니다.
• 실용적 함의: LLM 을 장편 문서 분석에 활용할 때, 모델이 텍스트의 전체적인 흐름을 놓치고 끝부분 정보에만 의존할 수 있음을 경고하며, 이러한 한계를 인지한 활용이 필요함을 강조합니다.

이 연구는 LLM 의 장문 이해 능력을 평가하는 데 있어 요약 생성과 정렬 (Alignment) 이 강력한 도구임을 입증하였으며, 공개된 데이터셋을 통해 향후 관련 연구의 기반을 마련했습니다.