ThreadSumm: Summarization of Nested Discourse Threads Using Tree of Thoughts

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 온라인 포럼 (Reddit, StackOverflow 등) 의 토론 스레드는 사용자가 서로에게 답장하거나 인용 (quote) 하는 방식으로 중첩된 (nested) 구조를 가집니다.
• 문제점:
  • 복잡한 구조: 주제와 관련된 내용이 여러 가지 답장, 인용, 오프-topic(주제 이탈) 답변들이 얽혀 있어 선형적으로 읽기 어렵습니다.
  • 기존 방법의 한계: 기존의 LLM 기반 요약기는 주로 문서의 내용을 선택하고 축소하는 데 초점을 맞추어, 중첩된 구조의 논리적 흐름, 다양한 관점의 균형, 그리고 주제 간 교차 (interleaving) 를 제대로 반영하지 못합니다.
  • 위치 편향 (Positional Bias): 요약 모델이 문서의 앞부분에 있는 내용을 과도하게 반영하거나, 특정 순서에만 의존하여 중요한 관점이 누락될 수 있습니다.
  • 메타데이터 부재: 실제 환경에서는 타임스탬프나 reply 관계 같은 메타데이터가 불완전한 경우가 많아, 단순한 정렬 규칙을 적용하기 어렵습니다.

2. 제안 방법론: ThreadSumm (Methodology)

저자들은 중첩된 담론 스레드 요약을 '계층적 추론 문제'로 재정의하고, **Tree of Thoughts (ToT)**를 활용한 다단계 LLM 파이프라인인 ThreadSumm을 제안합니다.

핵심 단계:

1. Aspects 및 Atomic Content Units (ACUs) 추출:
   • Aspect Extraction: 문서에 등장하는 '누가, 무엇을, 어디서' (Who, What, Where) 와 같은 핵심 측면 (aspects) 을 추출하여 정보의 균형을 맞춥니다.
   • ACU Generation: 각 측면에 대해 더 이상 분해할 수 없는 최소한의 의미 단위인 '원자적 콘텐츠 단위 (ACU)'를 생성합니다. 이는 정보 손실을 방지하고 세밀한 분석을 가능하게 합니다.
2. 문장 재배열 (Sentence Ordering):
   • 추출된 ACUs 를 논리적 흐름과 담론 구조에 맞게 재배열합니다.
   • 단순한 시간순 정렬이나 헤더 기반 규칙 대신, LLM 을 사용하여 전역적인 담론 맥락을 고려한 자연스러운 서사 구조를 구성합니다.
3. Tree of Thoughts (ToT) 기반 문단 생성 및 선택:
   • 다중 제안 (Multi-proposal): 재배열된 문장들을 기반으로 여러 개의 문단 후보 (paragraph candidates) 를 생성합니다.
   • 평가 및 최적화: 각 후보 문단에 대해 **일관성 (Coherence)**과 **포괄성 (Coverage)**을 LLM 을 통해 점수화합니다.
   • 반복적 개선: ToT 알고리즘을 사용하여 여러 가지 사고 경로 (thoughts) 를 탐색하고, 가장 높은 점수를 받은 문단을 선택하여 최종 요약을 완성합니다. 이 과정은 미리 정의된 스레드 순서에 의존하지 않습니다.

3. 주요 기여 (Key Contributions)

1. ThreadSumm 프레임워크: 중첩된 다중 문서 요약을 위한 다단계 LLM 파이프라인을 최초로 제안했습니다.
2. 계층적 추론 구조: Aspect 추출과 ACU 생성을 통한 콘텐츠 계획 (Content Planning) 과 ToT 를 통한 반복적 정제를 결합하여, 단일 선형 요약이 아닌 다중 관점을 포착하는 요약을 가능하게 했습니다.
3. 메타데이터 불감성 (Metadata Agnostic): 외부 메타데이터 (타임스탬프, reply ID 등) 없이도 LLM 의 추론 능력만으로 복잡한 스레드 구조를 처리할 수 있음을 입증했습니다.
4. 광범위한 실험: GPT-4, Claude, LLaMA 3 등 3 가지 LLM 과 Reddit, StackOverflow, Bitcoin 포럼 등 3 가지 데이터셋을 통해 방법론의 유효성을 검증했습니다.

4. 실험 결과 (Results)

• 성능 향상: 제안된 ThreadSumm 은 기존 베이스라인 (Vanilla, arg-graph, CHRONOS, mRedditSumm) 보다 QAGS(사실성), SummaC(일관성), ROUGE-1(커버리지) 모든 지표에서 일관되게 우수한 성능을 보였습니다. 특히 Claude 모델과 결합했을 때 가장 높은 성능을 기록했습니다.
• 위치 편향 해소: 생성된 요약이 소스 문서의 특정 위치 (예: 상단) 에 치우치지 않고, 전체 문맥에 골고루 분포된 중요한 문장들을 포함함을 확인했습니다.
• 관점 다양성 (Opinion Diversity): 다양한 의견 클러스터를 포착하는 능력이 기존 방법보다 뛰어나며, 소수 의견이나 대립되는 관점도 요약에 잘 반영되었습니다.
• 인간 평가: 일관성과 포괄성 측면에서 인간 평가자들이 ThreadSumm 을 가장 높게 평가했습니다 (일관성 4.6/5, 포괄성 4.9/5).
• Ablation Study: Aspect 추출, 문장 재배열, Tree of Thoughts 단계 중 ToT가 가장 큰 성능 향상에 기여했으며, 문장 재배열이 일관성 확보에 핵심적임을 확인했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 복잡한 온라인 토론 스레드를 요약할 때 발생하는 정보 손실과 논리적 단절을 해결하여, 사용자가 다양한 관점을 빠르고 정확하게 파악할 수 있도록 돕습니다.
• 기술적 혁신: LLM 을 단순한 생성 도구가 아닌, 구조화된 추론 에이전트로 활용하여 (ToT), 비정형적이고 중첩된 텍스트 데이터 처리의 새로운 패러다임을 제시했습니다.
• 한계 및 향후 과제: 현재는 텍스트 데이터 (영어) 에만 적용되었으며, 멀티모달 데이터나 비용 - 품질 트레이드오프를 고려한 ToT 최적화 등 향후 연구가 필요하다고 언급했습니다.

이 논문은 중첩된 담론 구조를 가진 텍스트 요약 분야에서 구조적 이해와 다양한 관점의 포괄을 동시에 달성하기 위한 강력한 프레임워크를 제시했다는 점에서 의의가 큽니다.