Text Summarization With Graph Attention Networks

논문 요약: 그래프 어텐션 네트워크를 활용한 텍스트 요약

저자: Mohammadreza Ardestani, Yllias Chali (University of Lethbridge)
주제: 텍스트 요약 (Text Summarization) 과 그래프 신경망 (GNN) 의 결합, 특히 RST(수사적 구조 이론) 와 코레퍼런스 (Coref) 그래프 정보의 활용.

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 자동 텍스트 요약은 70 년 이상 연구되어 왔으나, 여전히 인간 수준의 성능을 달성하지 못하고 있습니다. 최근 시퀀스 - 투 - 시퀀스 (seq2seq) 모델과 트랜스포머 (Transformer) 기반 모델 (BERT, BART 등) 이 주류를 이루고 있으나, 긴 의존성 관리와 문장 중요도 추론과 같은 복잡한 작업에는 한계가 있습니다.
• 문제점:
  • 문서 내의 장거리 관계 (long-range relationships) 를 이해하기 위해 다양한 그래프 (RST, Coref 등) 를 활용하려는 시도가 있었으나, 이를 효과적으로 통합하는 방법론이 부족합니다.
  • 특히, 그래프 정보를 통합하기 위해 Graph Attention Network (GAT) 와 같은 복잡한 GNN 아키텍처를 사용하는 기존 연구들 (예: DiscoBERT) 은 항상 성능 향상을 보장하지 못했습니다.
  • 텍스트 요약을 위한 그래프 주석이 달린 데이터셋 (Graph-annotated datasets) 이 부족합니다.

2. 제안된 방법론 (Methodology)

저자들은 하이브리드 요약 모델을 제안하며, 이는 추출 (Extraction) 과 추상화 (Abstraction) 의 두 단계로 구성됩니다.

가. 인코더 (Encoder) - 추출 단계

• 목표: 문서를 Elementary Discourse Units (EDU) 단위로 나누고, 각 EDU 가 요약에 중요한지 여부를 분류합니다.
• 아키텍처:
  • Base 모델: Longformer 또는 BERT 를 사용하여 토큰 표현을 생성합니다.
  • Span Representation: SelfAttentiveSpanExtractor 를 사용하여 EDU 내 토큰들을 하나의 벡터로 집계합니다.
  • 그래프 정보 통합 (핵심 실험):
    1. GAT 기반: 기존 연구와 유사하게 Graph Attention Network 를 사용하여 RST 및 Coref 그래프 정보를 통합하려 시도했으나, 성능이 향상되지 않았습니다.
    2. MLP 기반 (제안): GAT 대신 **Multi-Layer Perceptron (MLP)**을 사용하여 그래프 정보를 통합했습니다.
       • 입력: 각 EDU 에 대한 RST 관계 (43 가지 유형, 원-핫 인코딩) 와 Coref 공유 비율 (Coref share) 을 169 차원의 EDU 위치 벡터와 함께 MLP 에 입력합니다.
       • 결과: 복잡한 GNN 구조보다 단순한 MLP 가 그래프 정보를 더 효과적으로 활용하여 성능을 향상시켰습니다.
• 학습 전략: 불균형 데이터 (중요한 EDU 가 약 10% 만 존재) 를 해결하기 위해 양수 레이블에 가중치를 부여하고, MSE 손실 함수를 사용하며, 드롭아웃 (Dropout) 과 학습률 스케줄러를 적용했습니다.

나. 디코더 (Decoder) - 추상화 단계

• 추출된 중요한 EDU 들을 연결하여 BART(Bidirectional and Auto-Regressive Transformers) 모델을 통해 최종 요약을 생성합니다.
• CNN/DM 데이터셋에는 BART-base, XSum 데이터셋에는 BART-large 를 사용했습니다.

3. 주요 기여 (Key Contributions)

1. XSum 데이터셋의 그래프 주석 (Graph Annotation):
   • 기존에 그래프 정보가 없었던 XSum 데이터셋에 RST(수사적 구조) 및 Coref(코레퍼런스) 그래프 정보를 주석으로 추가했습니다.
   • 이를 통해 향후 그래프 기반 요약 모델 연구를 위한 벤치마크를 구축했습니다. (GitHub 에 코드 및 데이터 처리 파이프라인 공개)
2. GAT 대 MLP 의 성능 비교 및 통찰:
   • 그래프 정보 통합을 위해 GAT 를 사용하는 것이 항상 최선은 아님을 증명했습니다.
   • 오히려 단순한 MLP 아키텍처가 RST 관계 유형과 Coref 비율과 같은 그래프 특성을 효과적으로 학습하여 더 높은 성능을 달성했습니다.
3. 하이브리드 모델의 성능 향상:
   • 제안된 모델 (Longformer + MLP + BART) 은 CNN/DM 데이터셋에서 기존 추출형, 추상형, 하이브리드 기반의 SOTA 모델들을 능가하는 성능을 보였습니다.

4. 실험 결과 (Results)

• 데이터셋: CNN/DM (CNN/DailyMail) 과 XSum.
• 성능 지표: ROUGE-1, ROUGE-2, ROUGE-L.
• 주요 발견:
  • CNN/DM: 제안된 모델 (Longformer + MLP for RST & Coref) 은 ROUGE-1 43.73, ROUGE-2 20.91, ROUGE-L 40.72 를 기록하여 기존 DiscoBERT 및 BERTSUMEXTABS 등의 베이스라인을 상회했습니다.
  • XSum: MLP 를 사용한 모델이 GAT 를 사용한 모델보다 성능이 좋았으나, 전체적으로 CNN/DM 에 비해 그래프 정보의 영향력이 작았습니다. 이는 XSum 이 매우 추상적이고 간결한 특성을 가지기 때문으로 분석됩니다.
  • GAT vs MLP: GAT 를 사용한 실험은 GNN 과 엣지 레이블을 통합했음에도 불구하고 ROUGE 점수 향상을 가져오지 못했습니다. 반면, MLP 를 사용한 실험은 그래프 정보를 효과적으로 인코딩하여 성능을 개선했습니다.
  • 추출 - 추상화 한계: 오라클 (Oracle) EDU 를 사용하여 BART 를 테스트한 결과, CNN/DM 에서는 큰 향상이 있었으나 XSum 에서는 그렇지 않았습니다. 이는 긴 문서 요약 (CNN/DM) 에는 추출 전략이 효과적이지만, 매우 추상적인 요약 (XSum) 에는 한계가 있음을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 통찰: 복잡한 GNN 아키텍처 (GAT) 가 항상 그래프 정보를 처리하는 데 최선은 아니며, 특정 태스크에서는 단순한 MLP 가 더 효율적이고 효과적일 수 있음을 실증했습니다.
• 데이터셋 확장: XSum 데이터셋에 RST 및 Coref 그래프 정보를 추가함으로써, 추상적 요약과 긴 문서 요약 간의 차이를 연구할 수 있는 새로운 기회를 제공했습니다.
• 향후 방향:
  • 추출과 요약을 하나의 모듈로 통합하는 엔드 - 투 - 엔드 (End-to-End) 모델 개발 (SimpleTOD 모델에서 영감).
  • ROUGE 대신 BERTScore 와 같은 의미 기반 평가 지표 활용.
  • 더 긴 문서와 다양한 데이터셋을 위한 그래프 생성 및 Coref 그래프 확장.

이 논문은 그래프 정보를 텍스트 요약에 통합할 때 "어떤 아키텍처를 사용할 것인가"에 대한 중요한 실증적 증거를 제시하며, 단순한 구조가 복잡한 구조보다 더 나은 결과를 낼 수 있음을 보여줍니다.