Large Language Models and Book Summarization: Reading or Remembering, Which Is Better?

논문 요약: 대형 언어 모델 (LLM) 과 책 요약 - 읽기 (Reading) 대 기억 (Remembering)

1. 연구 배경 및 문제 제기 (Problem)

최근 대형 언어 모델 (LLM) 의 발전과 수백만 토큰 (token) 에 달하는 대규모 컨텍스트 윈도우의 도입으로, 이제 단일 프롬프트로 책 전체를 처리하여 요약하는 것이 가능해졌습니다. 동시에, 잘 알려진 책들의 경우 LLM 은 훈련 과정에서 습득한 내부 지식 (Internal/Parametric Memory) 만으로도 요약을 생성할 수 있습니다.
이로 인해 다음과 같은 핵심 질문이 제기되었습니다:

• 내부 지식만으로 생성된 요약과 책 전체 텍스트를 입력으로 받아 생성된 요약 중 어느 것이 더 우수한가?
• 책 전체 텍스트를 입력으로 제공받더라도, 모델의 사전 지식 (내부 기억) 이 요약 결과에 영향을 미쳐 오히려 성능을 저하시키거나 향상시킬 수 있는가?
• 장문 텍스트 요약에서 LLM 의 실제 능력과 한계는 어디까지인가?

2. 연구 방법론 (Methodology)

이 연구는 최첨단 (State-of-the-Art) LLM 을 사용하여 내부 지식 기반 요약과 외부 텍스트 기반 요약을 비교 평가했습니다.

• 데이터셋 (Books):
  • 공개 도메인에 속하고 널리 알려진 25 권의 고전 문학 작품 (예: 《오만과 편견》, 《돈키호테》, 《율리시스》, 《몽테크리스토 백작》 등) 을 선정했습니다.
  • 다양한 장르 (소설, 시, 희곡), 길이, 작가 스타일을 포함하여 평가의 일반성을 확보했습니다.
• 사용 모델 (LLMs):
  • 생성 및 평가 모델: 컨텍스트 윈도우가 100 만 토큰 이상인 GPT-4.1과 Gemini-2.5-Flash를 사용했습니다.
  • 실험 설계: 두 모델이 서로의 요약을 평가하고, 또한 자기 자신의 요약을 평가하도록 하여 평가 편향 (Self-bias) 을 탐지했습니다.
• 실험 프로세스:
  1. 내부 지식 요약 (Internal): 책 제목과 저자만 프롬프트에 포함하고, 텍스트는 제공하지 않음.
  2. 외부 텍스트 요약 (External): 책의 전체 텍스트를 프롬프트에 포함하고, 내부 지식 사용을 금지하는 지시어 추가.
  3. 평가 (LLM-as-a-Judge): 생성된 두 요약 (내부 vs 외부) 을 비교하여 '완전성', '주요 사건 포함 여부', '결말 포함 여부' 등을 기준으로 점수 (-1: 외부가 더 좋음, 0: 동일, 1: 내부가 더 좋음) 를 부여.
  4. 반복 실험: 각 모델별로 5 회씩 생성하여 총 25 개의 쌍을 비교하고 평균 점수를 산출. 온도 (Temperature) 파라미터는 0.4 와 0.9 로 설정하여 창의성의 영향을 검증.

3. 주요 기여 (Key Contributions)

1. 최초의 비교 평가: 대규모 컨텍스트 윈도우를 가진 최첨단 LLM 을 사용하여, 잘 알려진 책에 대한 내부 지식 기반 요약과 외부 텍스트 기반 요약을 체계적으로 비교한 최초의 연구입니다.
2. 오픈 리포지토리 구축: 실험에 사용된 코드, 책 데이터, 생성된 요약본을 공개하여 연구의 재현성 (Reproducibility) 을 확보했습니다.
3. 성능 차이 발견: 대부분의 책에서는 전체 텍스트를 사용하는 것이 내부 지식만 사용하는 것보다 성능이 우수함을 보였습니다.
4. 예외적 발견 (핵심): 일부 책 (특히 시, 희곡, 복잡한 서사 구조를 가진 작품) 에서는 내부 지식 기반 요약이 전체 텍스트를 입력받은 요약보다 더 높은 점수를 받았습니다.
5. 성능 요인 분석: 내부 요약이 더 잘 수행된 이유에 대한 잠재적 원인을 논의했습니다.

4. 실험 결과 및 분석 (Results & Analysis)

• 전반적 경향: 대부분의 책에서 외부 텍스트 (전체 책) 를 입력으로 받은 요약이 내부 지식 기반 요약보다 우세했습니다. 이는 일반적으로 '읽기 (Reading)'가 '기억 (Remembering)'보다 더 정확한 세부 정보를 제공함을 의미합니다.
• 예외적 사례 (기억이 읽기를 이긴 경우):
  • 《신곡 (The Divine Comedy)》, 《햄릿 (Hamlet)》, 《율리시스 (Ulysses)》, 《몽테크리스토 백작 (The Count of Monte Cristo)》과 같은 특정 작품에서는 내부 지식 기반 요약이 더 높은 점수를 받았습니다.
  • 원인 분석:
    • 구조적 복잡성: 시나 희곡, 비선형적 서사 구조 (율리시스 등) 를 가진 작품은 전체 텍스트를 입력받을 때 모델이 문맥을 놓치는 'Lost in the Middle' 현상이나 문맥 분열 (Context Fragmentation) 에 취약했습니다.
    • 내부 지식의 효율성: 반면, 모델이 훈련 데이터에서 이미 해당 작품의 핵심 구조와 줄거리를 잘 기억하고 있는 경우, 이를 바탕으로 생성된 요약이 전체 텍스트를 처리하는 과정에서 발생하는 오류를 피하고 더 간결하고 정확하게 요약할 수 있었습니다.
• 모델별 차이:
  • Gemini-2.5-Flash 는 전체 텍스트 기반 요약 시 GPT-4.1 보다 더 낮은 점수를 받는 경향이 있었으며, 내부 지식 기반 요약 시에는 일관된 성능을 보였습니다.
  • GPT-4.1 평가자는 내부 지식 기반 요약을 상대적으로 더 선호하는 경향이 있었습니다.

5. 연구의 의의 및 결론 (Significance & Conclusion)

• 핵심 결론: "읽기 (Reading)"가 항상 "기억 (Remembering)"보다 우월한 것은 아닙니다. 특정 유형의 텍스트 (장편, 시, 복잡한 구조) 에서는 모델의 내부 기억이 전체 텍스트를 읽는 것보다 더 나은 요약 성능을 발휘할 수 있습니다.
• 의의: 이 연구는 LLM 의 장문 텍스트 요약 능력이 단순히 컨텍스트 윈도우의 크기만으로 결정되지 않으며, 텍스트의 특성과 모델의 내부 지식 간의 상호작용에 크게 의존함을 보여줍니다.
• 한계 및 향후 과제:
  • 실험이 두 개의 폐쇄형 상용 모델 (GPT-4.1, Gemini-2.5) 과 서양 고전 25 권에 국한되어 있어, 다른 모델이나 장르로 일반화하기 위해서는 추가 연구가 필요합니다.
  • 'LLM-as-a-judge' 방식의 편향성을 완전히 배제하기 위해 인간 전문가에 의한 검증이 병행되어야 합니다.

이 논문은 LLM 이 장문 텍스트를 처리할 때 발생할 수 있는 'Lost in the Middle' 문제와 내부 지식의 역할을 재조명하며, 향후 더 정교한 요약 전략 수립에 중요한 통찰을 제공합니다.