Evaluating LLM-Driven Summarisation of Parliamentary Debates with Computational Argumentation

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 의회 토론은 정책 결정의 핵심 과정이지만, 방대한 양과 복잡한 논증 구조로 인해 일반 시민이나 연구자가 내용을 이해하기 어렵습니다. 대규모 언어 모델 (LLM) 은 이러한 토론을 자동으로 요약하여 접근성을 높일 수 있습니다.
• 문제점:
  • 기존 자동 요약 평가 지표 (ROUGE, BERTScore 등) 는 어휘 중첩이나 의미적 유사성에만 의존하여, 요약이 원문의 논증적 내용 (argumentative content) 을 얼마나 충실하게 전달하는지 (Faithfulness) 를 평가하는 데 한계가 있습니다.
  • 특히 논리적 이해가 필요한 영역에서 LLM 요약은 사실적 일관성 (factual consistency) 이 부족하다는 인간 평가 결과가 존재합니다.
  • 현재까지 의회 토론 요약의 '논증적 충실도'를 체계적이고 해석 가능한 방식으로 평가하는 프레임워크가 부재했습니다.

2. 방법론 (Methodology)

저자들은 계산적 논증론 (Computational Argumentation) 을 기반으로 한 새로운 평가 프레임워크를 제안합니다.

A. 양적 양극성 논증 프레임워크 (Quantitative Bipolar Argumentation Framework, QBAF)

의회 토론과 그 요약을 수학적 모델인 QBAF 로 표현합니다.

• 구조: $\langle X, A, S, \tau \rangle$
  • $X_p$: 토론 중인 정책 제안 (Provisions) 에 해당하는 논증 노드.
  • $X_s$: 연사들의 발언에 해당하는 논증 노드.
  • $A$: 공격 (Attack) 관계, $S$: 지지 (Support) 관계.
  • $\tau$: 기본 점수 (Base score). 제안 논증 ($X_p$) 은 0.5 로 고정하여 중립을 가정하고, 공격/지지에 따라 강도가 결정되도록 설계했습니다.
• 특징: 원문 토론 ($Q$) 과 LLM 요약본 ($Q^*$) 에서 각각 QBAF 를 추출한 후, 두 프레임워크 간의 논증 구조를 비교합니다.

B. 5 가지 공식적 평가 속성 (Formal Properties)

요약의 충실도를 평가하기 위해 제안 논증 ($X_p$) 을 중심으로 5 가지 속성을 정의했습니다.

1. Speech Argument Relevance ($\pi_{sar}$): 요약본에서 제안 논증과 연결된 발언 논증의 비율. (연결성 평가)
2. Pro-Con Ratio ($\pi_{pcr}$): 특정 제안에 대한 찬성/반대 논증의 균형 비율. 원문의 균형이 유지되었는지 확인.
3. d-Preferability Consistency: 확장 기반 의미론 (d-preferred semantics) 에 따른 논증의 수용 상태 (Acceptability) 가 요약본에서 유지되었는지 확인.
4. Balance Consistency: 점진적 의미론 (Gradual semantics, DF-QuaD) 을 사용하여 논증의 최종 강도 (Strength) 가 0.5(중립) 를 기준으로 찬성/반대 방향이 유지되었는지 확인.
5. $\epsilon$-Accuracy: 요약본의 논증 강도가 원문의 강도에서 오차 범위 ($\epsilon$) 내에 있는지 정밀하게 측정.

C. 실험 설정

• 데이터: 유럽 의회 (EP) 의 2006~2008 년 토론 3 건 (총 511 개 논증) 과 해당 LLM 요약본.
• 논증 마이닝 (Argument Mining): 문장 쌍의 관계 (공격, 지지, 무관) 를 분류하기 위해 LLM(Claude Sonnet, Haiku 등) 을 활용. 인간 코더의 주석 데이터를 기반으로 모델 성능을 검증.
• 비교 대상: 기존 NLP 기반 지표 (ROUGE, BERTScore, NLI) 와 제안된 논증 기반 지표 비교.

3. 주요 결과 (Results)

A. 논증 마이닝 성능

• 모델 비교: 제로샷 (Zero-shot) 및 퓨샷 (Few-shot) 설정의 대형 추론 모델 (Claude Sonnet 4.5 등) 이 기존에 파인튜닝된 소형 모델 (Llama 3.1 8B) 보다 새로운 데이터에 대해 훨씬 우수한 성능을 보였습니다.
• 선택: 비용과 성능의 균형을 고려하여 Claude Haiku 4.5를 사용하여 요약본의 QBAF 를 구축했습니다.

B. 요약 평가 결과 (기존 지표 vs. 제안된 지표)

• 기존 지표의 한계:
  • ROUGE 점수는 낮았으나 (추상적 요약 특성), BERTScore 와 NLI 점수는 높게 나와 요약이 원문과 의미적으로 일관되어 있다고 판단되었습니다.
  • 그러나 이러한 지표들은 논증 구조의 왜곡을 감지하지 못했습니다.
• 제안된 지표의 발견:
  • Pro-Con Ratio (속성 2): LLM 요약본은 원문의 찬성/반대 논증 균형을 심각하게 왜곡했습니다. 특히 반대 논증이 누락되거나 약화되는 경향이 있었습니다.
  • Strength Accuracy (속성 4, 5): 원문에서 논쟁적이었던 (강도 $\approx$ 0.5) 정책 제안들이 요약본에서는 압도적으로 지지받는 것으로 ($\gg$ 0.5) 잘못 표현되었습니다.
  • 모델 간 차이: 더 큰 모델 (Sonnet) 이 작은 모델 (Haiku) 보다 모든 속성에서 더 나은 점수를 보였으나, 여전히 논증적 충실도 측면에서 원문과 큰 차이가 있었습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 평가 프레임워크 제안: 의회 토론 요약을 평가하기 위해 논증 구조를 중심에 둔 QBAF 기반의 공식적 프레임워크를 최초로 도입했습니다.
2. 해석 가능한 평가 지표: 단순한 유사도 점수가 아닌, 정책 제안의 수용 여부, 논증 균형, 강도 정확도 등 정책적 함의가 있는 5 가지 구체적 속성을 정의하여 평가의 해석 가능성을 높였습니다.
3. LLM 요약의 논증적 편향 발견: 기존 NLP 지표로는 발견되지 않았던 LLM 요약의 '논증적 불일치' (특히 반대 의견의 누락 및 정책 제안의 과장된 지지) 를 정량적으로 증명했습니다.
4. 확장성 있는 마이닝 접근법: 대규모 데이터셋에서 논증 관계를 추출하기 위해 대형 LLM 의 제로샷/퓨샷 능력을 효과적으로 활용하는 방법을 제시했습니다.

5. 의의 및 결론 (Significance)

• 민주적 투명성 강화: 이 연구는 LLM 이 생성한 요약이 시민들에게 의회 토론의 실제 논리를 왜곡 없이 전달하는지 검증할 수 있는 도구를 제공합니다.
• 평가 패러다임의 전환: 요약 평가가 '어떤 단어가 겹치는가'에서 '어떤 논증이 어떻게 전달되는가' 로 전환되어야 함을 시사합니다.
• 향후 연구 방향: 향후에는 원문과 요약본 간의 유사 논증 매칭 (Matching) 기술을 발전시켜, 누락되거나 할루시네이션된 발언 논증 (Speech arguments) 을 정밀하게 식별하고 정밀도 - 재현율 분석을 수행하는 것을 목표로 합니다.

요약하자면, 이 논문은 LLM 기반 의회 요약의 품질을 평가할 때, 단순한 텍스트 유사도가 아닌 논증의 구조적 충실도를 측정하는 새로운 수학적 프레임워크를 제시하며, 현재 LLM 요약이 중요한 논증적 뉘앙스를 왜곡할 수 있음을 경고하고 있습니다.