StrucSum: Graph-Structured Reasoning for Long Document Extractive Summarization with LLMs

기술 요약: StrucSum

문제 정의

대규모 언어 모델(LLM)은 일반적인 요약 작업에서 강력한 제로샷(zero-shot) 능력을 입증해 왔으나, 길고 구조화된 문서를 처리할 때는 상당한 어려움에 직면합니다. 구체적으로, LLM은 문서 구조를 모델링하고, 긴 컨텍스트 내에서 중요한 정보를 식별하며, 제한된 컨텍스트 창과 내재적인 담화 인식(discourse awareness)의 부재로 인해 사실적 일관성을 유지하는 데 어려움을 겪는 경우가 많습니다. 기존의 추출적 요약 방법들은 종종 인간이 작성한 골드 서머리(gold summaries)를 이용한 지도 학습(supervised training)에 의존하므로, 도메인 간의 확장성과 적응성이 제한적입니다. 또한, Chain-of-Thought와 같은 프롬프팅 전략이 다른 분야의 추론 능력을 향상시킨 반면, 긴 문서의 추출적 요약을 위한 프롬프트에 구조적 추론을 통합하는 연구는 여전히 미개척 영역으로 남아 있습니다.

방법론: StrucSum

저자들은 제로샷 추출적 요약을 위한 LLM의 추론 능력을 향상시키기 위해 설계된, 훈련이 필요 없는 구조 인지형 프롬프팅 프레임워크인 StrucSum을 제안합니다. 핵심 메커니즘은 각 문서에 대해 **텍스트 속성 그래프(Text-Attributed Graph, TAG)**를 구축하는 것입니다. 여기서 문장은 노드 역할을 하며, 엣지(edge)는 (Sentence-BERT 임베딩과 코사인 유사도를 통해 도출된) 의미적 또는 위치적 관계를 나타냅니다.

StrucSum은 세 가지 차별화된 전략을 통해 이 그래프로부터 추출된 구조적 신호를 LLM 프롬프트에 주입합니다:

1. 이웃 인지 프롬프팅 (Neighbor-Aware Prompting, NAP):

   • 메커니즘: 프롬프트 내의 각 문장에 TAG 상의 1-hop 이웃들을 명시적으로 나열하여 보강합니다.
   • 목표: 국소적인 문맥 단서를 제공하여 단거리 담화 인식을 강화함으로써, LLM이 문장의 즉각적인 의미적 의존 관계를 이해하도록 돕습니다.

2. 중심성 인지 프롬프팅 (Centrality-Aware Prompting, CAP):

   • 메커니즘: TAG 내의 연결 수를 기반으로 계산된 정규화된 차수 중심성(degree centrality) 점수를 각 문장에 추가합니다.
   • 목표: 전역적으로 중요한 문장(담화 허브)을 강조하여, LLM이 구조적으로 두드러진 콘텐츠와 주변부 정보를 구분할 수 있도록 유도합니다.

3. 중심성 가이드 마스킹 (Centrality-Guided Masking, CGM):

   • 메커니즘: 누적 중심성 임계값(예: 85%)이 충족될 때까지 중심성 점수에 따라 상위 순위에 있는 문장들만 선택적으로 포함하고, 나머지 낮은 중요도의 문장들은 마스킹 처리합니다.
   • 목표: 입력 길이를 줄이고 토큰 사용량을 최적화하면서도 핵심적인 정보 콘텐츠를 보존하여, 추론의 집중도와 효율성을 높입니다.

이 프레임워크는 밑바탕이 되는 LLM의 파라미터 업데이트나 파인튜닝 없이 완전히 제로샷 설정에서 작동합니다.

주요 기여

• 프레임워크 제안: 그래프 기반의 구조적 사전 지식(NAP, CAP, CGM)을 LLM 입력에 통합하는 새로운 프롬프팅 프레임워크인 StrucSum을 소개합니다.
• 실증적 검증: 세 가지 롱폼 벤치마크(ArXiv, PubMed, Multi-News)를 통해, 구조 인지형 프롬프팅이 요약 품질과 사실적 일관성 측면에서 기존의 베닐(vanilla) 프롬프팅 및 비지도 학습 기반 베이스라인(예: Lead, LexRank, TextRank)보다 일관되게 우수한 성능을 보임을 입증했습니다.
• 전략적 통찰: 서로 다른 구조적 전략이 각기 다른 목표를 수행함을 확인했습니다:
  • CGM은 참조 서머리와의 중첩을 극대화(콘텐츠 커버리지)하는 데 가장 효과적입니다.
  • NAP는 사실적 일관성을 유지하고 환각(hallucination)을 줄이는 데 가장 효과적입니다.
  • CAP는 성능과 입력 길이 사이의 균형을 제공합니다.
  • 본 연구는 모든 전략을 결합한다고 해서 반드시 추가적인 이득이 발생하는 것은 아니라는 점을 언급하며, 이는 각 전략이 서로 다른 최적화 측면을 다루고 있음을 시사합니다.

실험 결과

실험은 GPT-4o-mini, GPT-4o, LLaMA3-70B를 사용하여 ArXiv, PubMed, Multi-News 데이터셋에서 수행되었습니다.

• 요약 품질: StrucSum은 ROUGE 및 BERTScore 지표에서 베닐 프롬프팅보다 일관되게 향상된 성능을 보였습니다. 예를 들어, ArXiv 데이터셋에서 GPT-4o-mini를 사용했을 때, CAP 전략은 R-2 점수 15.39를 달성하여 베닐 베이스라인(14.14)을 앞질렀습니다.
• 사실적 일관성: 충실도(faithfulness) 지표에서 유의미한 개선이 관찰되었습니다. ArXiv에서 NAP는 FactCC를 19.2 퍼센트 포인트(38.44에서 57.67로), SummaC를 8.0 포인트 향상시켜, 생성된 요약과 소스 콘텐츠 간의 더 강력한 정렬을 입증했습니다.
• 효율성: CGM은 성능을 유지하거나 오히려 향상시키면서 베닐 프롬프팅 대비 토큰 사용량을 40–50% 감소시켜, 지연 시간 제약이 있는 시나리오에서 실행 가능한 옵션임을 보여주었습니다.
• 인간 평가: PubMed 데이터셋에 대한 인간 평가자들은 StrucSum 전략, 특히 NAP가 베닐 프롬프트에 비해 유창성, 정보성 및 충실도 점수를 개선했음을 확인했습니다.
• 절제 실험 및 분석:
  • 여러 전략을 결합(NAP + CAP + CGM)하는 것이 개별 전략보다 명확한 성능 이득을 주지는 않았으며, 이는 각 전략이 서로 다른 최적화 목표를 겨냥하고 있음을 나타냅니다.
  • 텍스트 없이 그래프 형태의 입력만 사용했을 때의 분석 결과, 구조적 단서가 도움이 되기는 하지만 최적의 결과를 위해 텍스트 정보를 대체할 수는 없음을 보여주었습니다.
  • 상관관계 분석을 통해, 중심성 단서(CAP)가 명시적으로 제공될 때 LLM이 이를 따른다는 것을 확인했으나, 이것이 항상 NAP나 CGM보다 높은 전체 ROUGE 점수로 직결되지는 않는다는 점을 확인했습니다.

의의 및 주장

본 논문은 StrucSum이 제로샷 추출적 요약을 발전시키기 위한 유망하고도 아직 충분히 탐구되지 않은 방향임을 주장합니다. 단순하고 상징적인 그래프 사전 지식을 프롬프트에 통합함으로써, 이 프레임워크는 추가적인 훈련이나 감독 없이도 블랙박스 형태의 LLM이 문서 구조를 바탕으로 추론하도록 유도합니다. 저자들은 이 접근 방식이 LLM의 긴 문서 컨텍스트에서의 특정 한계점, 즉 구조적 인식의 부족과 사실적 불일치 경향을 해결하며, 요약의 품질과 신뢰성을 모두 높일 수 있는 확장 가능하고 모델 불가지론적인(model-agnostic) 솔루션을 제공한다고 강조합니다. 이 연구는 구조적 추론이 복잡한 롱폼 태스크에서 LLM의 성능을 향상시키는 데 있어 핵심적인 구성 요소임을 시사합니다.