1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 의회 회의록을 요약하여 민주적 참여의 접근성을 높일 잠재력이 있습니다. 그러나 이러한 시스템이 정치 정보에 대한 접근을 중재 (필터링 및 프레임 설정) 하는 과정에서 공정성 (Fairness) 문제가 대두되고 있습니다.

기존의 요약 평가 지표 (ROUGE, BERTScore 등) 는 전체적인 의미 일치도를 측정할 뿐, 누구의 목소리가 포함되었는지, 누가 배제되었는지, 그리고 발언 내용이 정확하게 귀속되었는지를 평가하지 못합니다. 특히 의회 토론 요약에서 다음과 같은 세 가지 주요 편향이 발생할 수 있습니다:

1. 위치 편향 (Positional Bias): LLM 이 문맥의 중간 부분에 있는 정보를 무시하는 "Lost-in-the-middle" 현상으로 인해, 토론 중반에 발언한 연사들이 체계적으로 배제될 수 있습니다.
2. 언어 편향 (Cross-lingual Bias): 저자원 언어 (Low-resource languages) 로 발언한 연사들이 고자원 언어 (예: 영어) 연사보다 덜 정확하게 대표될 수 있습니다.
3. 당파성 편향 (Partisan Bias): 특정 정치적 성향 (예: 좌파/우파) 을 가진 연사들의 발언이 체계적으로 과대 또는 과소 대표될 수 있습니다.

2. 방법론 (Methodology)

2.1 데이터 및 모델

• 데이터: 유럽 의회 (EP) 제 6 기 (2005-2006 년) 본회의 토론 기록 50 건, 총 1,242 개의 발언 (인터벤션) 을 사용했습니다. 원어 텍스트와 공식 영어 번역본을 모두 포함하여 다국어 요약 환경을 구성했습니다.
• 모델: 5 가지 LLM 을 평가 대상으로 선정했습니다.
  • Proprietary: Claude Sonnet 4, Claude Haiku 4.5, GPT-5
  • Open-weight: Phi-4, Gemma3
  • 평가용 Reconstructor: Qwen3 (발언자별 내용 추출용)

2.2 요약 전략 비교 (Summarisation Approaches)

연구는 네 가지 다른 요약 방식을 비교했습니다:

1. Flat Summarisation: 모든 발언을 하나의 문서로 연결하여 직접 요약 (기저선).
2. Flat + Prompt: "모든 발언자에게 동등한 주의를 기울이세요"라는 프롬프트를 추가한 Flat 요약.
3. 1-Level Hierarchical: 개별 발언을 먼저 요약한 후, 이를 통합하여 전체 토론 요약 생성.
4. 2-Level Hierarchical: 개별 발언 요약 후, 주제별 (이슈, 입장, 논증, 제안) 로 중간 집계 단계를 거친 후 최종 요약 생성.

2.3 평가 프레임워크 (Attribution-aware Evaluation)

기존의 전체 요약 평가가 아닌 발언자 단위 (Speaker-level) 평가를 도입했습니다.

• 재구성 함수 (Reconstructor Function, $f_{REC}$): 생성된 요약 문서 ($D$) 에서 특정 발언자 ($j$) 에 관련된 내용만 추출하여 재구성된 요약 ($\hat{s}_i$) 을 만듭니다.
• 정확도 측정: 원본 발언 ($i_j$) 과 재구성된 요약 ($\hat{s}_i$) 간의 BERTScore 를 계산합니다.
  • 포함 편향 (Inclusion Bias): 재구성된 요약이 비어 있거나 내용이 누락된 경우 (Recall 저하).
  • 할루시네이션 편향 (Hallucination Bias): 요약에 없는 내용을 발언자에게 귀속시킨 경우 (Precision 저하).
• 편향 측정 변수: 발언 순서 (Relative Speaking Order), 언어 자원 수준 (Wikipedia 기사 수 기반), 정당 소속 (Political Affiliation).

3. 주요 기여 (Key Contributions)

1. 속성 인식 평가 프레임워크 개발: Steen 과 Markert 의 프레임워크를 확장하여, 다중 발언자 의회 토론에서 **포함 편향 (Inclusion Bias)**과 **할루시네이션 편향 (Hallucination Bias)**을 구분하여 측정할 수 있는 새로운 평가 체계를 제시했습니다.
2. 계층적 요약의 편향 완화 효과 입증: 단순 프롬프트 엔지니어링보다 **계층적 요약 (Hierarchical Summarisation)**이 위치 편향 (중간 발언자 배제) 을 유의미하게 완화함을 증명했습니다.
3. 당파성 편향의 새로운 분석: 기존에는 발언 순서 편향에 가려져 있던 당파성 편향을 계층적 방법을 통해 발견했습니다. 특히 좌파 성향 정당들의 발언이 더 많이 포함 (Recall 향상) 되는 경향을 발견했습니다.
4. 다국어 편향 체계적 분석: 요약 방식 (직접 번역 vs 공식 번역) 과 무관하게 저자원 언어 사용자들이 불이익을 받는 경향을 규명했습니다.

4. 실험 결과 (Results)

4.1 위치 편향 (Lost in the Middle)

• 현상: 모든 모델 (GPT-5 제외) 이 평면적 (Flat) 요약 시 토론 중반에 발언한 연사들의 정확도가 급격히 떨어지는 U 자형 편향을 보였습니다.
• 해결: 프롬프트 추가 ("동등한 주의") 는 편향을 완화하지 못했습니다. 반면, **계층적 요약 (특히 2 단계)**은 중반 발언자의 정확도를 크게 향상시켜 위치 편향을 효과적으로 제거했습니다.

4.2 언어 편향 (Lost in Translation)

• 현상: 저자원 언어 (Low-resource languages) 로 발언한 연사들은 고자원 언어 연사보다 요약 정확도가 낮았습니다.
• 특이점: 이 편향은 공식 번역본을 사용하더라도 발생했습니다. 이는 유럽 의회의 공식 번역 과정 (릴레이 번역) 에서 정보가 손실되거나 왜곡되어, 이를 요약할 때 원어 대비 불일치가 발생했기 때문으로 분석됩니다. 계층적 요약도 언어 편향을 완전히 해결하지는 못했습니다.

4.3 당파성 편향 (Lost in Partisanship)

• 현상: 위치 편향을 계층적 방법으로 보정한 후 분석한 결과, 좌파 성향 정당의 발언이 다른 정당에 비해 요약에 더 많이 포함되는 (Recall 이 높은) 편향이 관찰되었습니다.
• 원인: 이는 주로 '포함 편향 (Inclusion Bias)'으로, 특정 정당의 내용이 요약에서 누락되는 경향이 더 컸음을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 LLM 을 민주적 의사소통 도구로 활용할 때 기술적 성능뿐만 아니라 윤리적 공정성이 필수적임을 강조합니다.

• 기술적 함의: 단순한 프롬프트 조정으로는 구조적 편향을 해결할 수 없으며, **도메인 지식을 반영한 계층적 구조 (Hierarchical Structure)**가 의회 토론과 같은 복잡한 텍스트 요약에서 편향을 줄이는 데 필수적입니다.
• 한계: 계층적 구조는 '위치 편향'을 해결할 수 있으나, 훈련 데이터에 내재된 '언어 편향'이나 '당파성 편향'을 완전히 제거하지는 못합니다.
• 미래 방향: 다국어 민주적 응용 분야에서 LLM 을 배포할 때는 단순한 요약 정확도가 아닌, 발언자별 대표성과 귀속 정확도를 측정하는 도메인 특화 평가 지표와 윤리적 감독이 반드시 동반되어야 합니다.

결론적으로, 이 논문은 LLM 기반 의회 요약 시스템이 특정 연사, 언어, 정치적 성향을 차별하지 않도록 하기 위한 구체적인 평가 방법론과 완화 전략 (계층적 요약) 을 제시했다는 점에서 중요한 의의를 가집니다.