LaMSUM: Amplifying Voices Against Harassment through LLM Guided Extractive Summarization of User Incident Reports

1. 문제 정의 (Problem Statement)

• 배경: 시민 신고 플랫폼 (Citizen Reporting Platforms) 은 성희롱, 가정 폭력, 성폭력 등 다양한 사건을 신고하는 데 필수적인 도구로 자리 잡았습니다. 그러나 이러한 플랫폼에는 방대한 양의 데이터가 축적되어 있어, 모든 개별 사례를 수동으로 검토하는 것은 현실적으로 불가능합니다.
• 핵심 과제:
  1. 방대한 데이터 처리: 수천 건의 신고 글을 한 번에 처리할 수 있는 요약 알고리즘이 필요합니다.
  2. 코드믹스 (Code-mixed) 언어 처리: 인도와 같은 다국어 국가에서는 힌디어와 영어가 섞인 'HINGlish' 등 다양한 코드믹스 언어로 글이 작성되므로, 이를 이해할 수 있는 모델이 필요합니다.
  3. 추출형 요약 (Extractive Summarization) 의 필요성: 성폭력 신고와 같은 민감한 사안에서는 원문의 뉘앙스와 사실 관계를 왜곡하지 않기 위해, 원문에서 중요한 문장을 선택하여 요약하는 '추출형 요약'이 '재구성'하는 '생성형 요약 (Abstractive)'보다 적합합니다.
  4. LLM 의 한계:
     • 기본적 성향: 대형 언어 모델 (LLM) 은 기본적으로 텍스트를 재구성하는 생성형 요약을 수행하며, 추출형 요약을 지시하더라도 이를 따르지 않는 경향이 있습니다.
     • 컨텍스트 윈도우 제한: LLM 은 한 번에 처리할 수 있는 토큰 수 (컨텍스트 윈도우) 에 제한이 있어, 긴 텍스트 컬렉션을 한 번에 입력할 수 없습니다.
     • 위치 편향 (Positional Bias): LLM 은 입력 텍스트의 앞부분이나 특정 위치에 있는 문장을 선택할 확률이 높다는 편향이 존재합니다.

2. 제안 방법론: LaMSUM (Methodology)

저자들은 대규모 사용자 생성 콘텐츠 (UGC) 에서 추출형 요약을 수행하기 위해 **LaMSUM (Large Language Model based Extractive SUMmarization)**이라는 새로운 다단계 프레임워크를 제안했습니다.

A. 다단계 요약 프레임워크 (Multi-Level Summarization)

LLM 의 컨텍스트 윈도우 제한을 극복하기 위해 입력 데이터를 계층적으로 처리합니다.

1. 입력 분할 (Chunking): 전체 텍스트 집합 $T$를 크기 $s$인 작은 청크 (Chunk) 로 나눕니다.
2. 계층적 요약: 각 청크를 LLM 을 통해 요약 (크기 $q$) 하고, 이 요약된 결과들을 다음 단계 (Level 1) 의 입력으로 다시 결합합니다. 이 과정을 최종 요약 크기 $k$가 될 때까지 반복합니다.
3. 최악의 경우 대비: 모든 최종 요약 문장이 하나의 초기 청크에서 나올 수도 있으므로, 각 단계에서 추출하는 요약 크기 $q$를 최종 목표 크기 $k$와 동일하게 설정하여 모든 잠재적 후보를 놓치지 않도록 합니다.

B. 위치 편향 해결을 위한 셔플링 (Shuffling)

LLM 의 위치 편향을 완화하기 위해 각 청크의 문장 순서를 무작위로 섞은 $m$개의 변형 (Variation) 을 생성합니다. 각 변형에 대해 LLM 을 실행하여 $m$개의 다른 요약 후보를 얻습니다.

C. 사회적 선택 이론 기반 투표 알고리즘 (Voting Algorithms)

$m$개의 요약 후보를 결합하여 최종 요약을 생성하기 위해 사회적 선택 이론 (Social Choice Theory) 의 투표 알고리즘을 적용합니다. 이를 LLM 을 '유권자', 문장을 '후보'로 간주하는 선거 과정으로 모델링합니다.

• 출력 보정 (Output Calibration): LLM 이 원문과 다른 단어를 사용하거나 (Hallucination) 문장을 변경하는 경우, 편집 거리 (Edit Distance) 및 키워드 매칭을 통해 원문의 실제 문장을 찾아 대체합니다.
• 사용된 투표 방식:
  1. 다수결 투표 (Plurality Voting): 가장 많이 선택된 문순을 선정.
  2. 비례 승인 투표 (Proportional Approval Voting, PAV): 가장 우수한 성능을 보임. 단순한 승인 횟수뿐만 아니라, 각 유권자 (셔플된 버전) 가 얻는 만족도를 고려하여 중복을 줄이고 다양성을 확보합니다. (예: 이미 많이 선택된 문장은 추가 점수가 감소하는 체감 법칙 적용)
  3. 순위 선택 투표 (Ranked Choice Voting / Borda Count): LLM 이 문장에 순위를 매기게 하여 점수를 합산.

3. 주요 기여 (Key Contributions)

1. LLM 기반 추출형 요약의 선구적 시도: 대규모 사용자 생성 텍스트에 대해 LLM 을 사용하여 추출형 요약을 수행하는 최초의 연구 중 하나입니다.
2. LaMSUM 프레임워크 제안: 다단계 요약 구조와 투표 알고리즘을 결합하여 LLM 의 위치 편향을 해결하고, 긴 텍스트를 효율적으로 처리할 수 있는 새로운 아키텍처를 제시했습니다.
3. 다국어 및 코드믹스 환경 적용: 성희롱 신고와 같은 민감하고 복잡한 언어 환경 (힌디어 - 영어 혼합 등) 에서 LLM 의 실용성을 입증했습니다.
4. 사회적 책임 있는 AI 적용: 성폭력 신고 플랫폼의 데이터 분석을 통해 정책 수립과 안전한 커뮤니티 조성에 기여할 수 있는 실용적인 도구를 개발했습니다.

4. 실험 결과 (Results)

• 데이터셋: 아시아의 주요 신고 플랫폼에서 수집된 5 개 도시 (City A~E) 의 성희롱 신고 데이터 (총 3,631 건의 포스트) 를 사용했습니다. 각 데이터셋에 대해 3 명의 도메인 전문가가 작성한 골드 스탠다드 (참고) 요약을 기준으로 평가했습니다.
• 사용 모델: Llama-3.1-8B, Mistral-Nemo, Claude-3-Haiku, GPT-4o-mini 등 4 가지 LLM 을 비교 실험했습니다.
• 성능 평가 (ROUGE 점수):
  • LaMSUM 은 기존 추출형 요약 모델 (LexRank, SummBasic, BERTSUM 등) 과 비교하여 모든 지표 (ROUGE-1, ROUGE-2, ROUGE-Lsum) 에서 최상의 성능을 기록했습니다.
  • 특히 Claude-3-Haiku 모델에 **비례 승인 투표 (PAV)**를 적용한 조합이 가장 뛰어난 성능을 보였습니다.
• 품질 분석:
  • 정보량: LaMSUM 이 선택한 포스트는 다른 알고리즘보다 단어 수가 많고 더 상세한 설명을 포함했습니다.
  • 다양성 (Diversity): 엔트로피 (Entropy) 측정을 통해 LaMSUM 이 다양한 성희롱 유형 (스토킹, 성추행, 폭력 등) 을 골고루 포괄하는 더 다양한 요약을 생성함을 확인했습니다.
  • Vanilla LLM 대비 우위: 셔플링과 투표 알고리즘 없이 단순히 LLM 을 다단계로 적용한 'Vanilla LLM'보다 LaMSUM 의 성능이 통계적으로 유의미하게 높았습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 이 연구는 성희롱 신고 플랫폼과 같은 대규모 텍스트 데이터를 관리하는 기관 (정부, 경찰, 시민 단체) 에게 방대한 신고 내용을 빠르게 파악하고 핵심 사안을 식별할 수 있는 도구를 제공합니다.
• 기술적 혁신: LLM 이 본질적으로 가진 '생성형' 성향을 극복하고, '추출형' 요약의 정확성과 원문 충실도를 유지하기 위한 체계적인 방법론 (셔플링 + 투표) 을 제시했습니다.
• 윤리적 고려: LLM 의 편향성 (Bias) 과 블랙박스 성격을 인지하고 있으며, 이 도구가 최종 결정의 보조 수단으로 사용되어야 함을 강조합니다. 특히 소수이거나 드문 유형의 사건이 누락되지 않도록 주의가 필요하다고 경고합니다.

결론적으로, LaMSUM 은 LLM 의 한계를 극복하고 사회적 문제 해결에 기여할 수 있는 강력한 추출형 요약 프레임워크로, 데이터 기반의 의사결정을 통해 더 안전한 사회를 만드는 데 중요한 역할을 할 것으로 기대됩니다.