CitiLink-Summ: Summarization of Discussion Subjects in European Portuguese Municipal Meeting Minutes

논문 요약: CitiLink-Summ (유럽 포르투갈어 지자체 회의록 논의 주제 요약 데이터셋)

1. 문제 정의 (Problem)

• 배경: 지자체 회의록 (Municipal Meeting Minutes) 은 지방 정부의 논의와 결정을 기록한 공식 문서로 투명성과 책임성을 위해 필수적이지만, 내용이 방대하고 형식적이며 여러 논의 주제 (discussion subjects) 로 세분화되어 있어 일반 시민이 접근하고 이해하기 어렵습니다.
• 도전 과제: 자동 텍스트 요약 (ATS) 은 이러한 접근성 문제를 해결할 수 있는 잠재력을 가지고 있으나, **유럽 포르투갈어 (European Portuguese)**와 같은 저자원 언어 (low-resource language) 에서 행정 문서의 논의 주제를 요약하는 연구는 거의 전무한 상태입니다.
• 핵심 병목 현상: 고품질의 수동 요약이 포함된 데이터셋의 부재로 인해, 해당 도메인에 효과적인 요약 모델을 개발하고 평가하는 것이 불가능했습니다. 또한, 회의록은 단순한 대화 기록이 아닌 복잡한 행정적 결정과 맥락이 혼합된 문서라는 점에서 기존 회의 요약 데이터셋 (예: MeetingBank) 과는 다른 특성을 가집니다.

2. 방법론 (Methodology)

A. 데이터셋 구축 (CitiLink-Summ Dataset)

• 데이터 수집: 2021~2024 년 행정 기간 동안 포르투갈의 6 개 지자체 (Alandroal, Campo Maior, Covilhã, Fundão, Guimarães, Porto) 에서 수집된 120 개의 회의록을 기반으로 구성되었습니다.
• 세분화 및 요약:
  • 각 회의록은 수동으로 '논의 주제 (discussion subjects)' 단위로 세분화되었습니다.
  • 언어학 전공 4 명의 annotator(PhD 과정) 가 2 명의 전문가 감독 하에 각 주제에 대한 수동 요약본 2,880 개를 작성했습니다.
  • 품질 관리 프로세스: 3 단계 (예비 작성, 작성, 평가) 를 거쳤으며, 관련성, 결속력, 일관성, 길이 등 5 가지 파라미터를 기준으로 엄격한 검수를 수행했습니다.
  • 개인정보 보호: 민감한 정보는 수동으로 익명화 (de-identified) 되었습니다.
• 데이터 분할: 각 지자체 내에서 무작위 분할을 적용하되 비율을 유지하여 Train(60%, 1,799 개), Validation(20%, 552 개), Test(20%, 529 개) 세트로 나누었습니다.
• 추상화 수준 분석: Coverage(원문 토큰 재사용 비율) 와 Density(연속적인 추출 조각 비율) 지표를 분석한 결과, CitiLink-Summ 은 낮은 Density 와 중간~높은 Coverage 를 보여 **대부분의 요약이 추상적 (abstractive)**이며 원문 재구성이 많이 필요함을 확인했습니다.

B. 벤치마크 평가 (Benchmark Evaluation)

• 파이프라인:
  1. Chunking: 모델의 컨텍스트 윈도우 제한 (256-2048 토큰) 으로 인해 슬라이딩 윈도우 방식을 사용하여 논의 주제를 작은 청크로 분할하고 개별 요약 후 통합했습니다.
  2. 모델 선택 및 미세 조정 (Fine-tuning):
     • Encoder-Decoder 모델: BART, BART Large, PTT5, LED, PRIMERA 등 최신 모델들을 CitiLink-Summ 데이터셋으로 미세 조정했습니다.
     • 대형 언어 모델 (LLM): Qwen2.5-1.5B (오픈 소스) 와 Gemini-2.5-flash (클로즈드 소스) 를 Few-shot 프롬프팅 방식으로 평가했습니다.
  • 평가 지표:
    • 어휘적 지표: ROUGE (R-1, R-2, R-L), BLEU, METEOR.
    • 의미적 지표: BERTScore (F1, Precision, Recall).
  • 평가 조건: 모델은 주제 (theme) 정보 없이 논의 주제 텍스트만으로 요약을 생성하도록 평가하여 실제 적용 가능성을 반영했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 데이터셋: 유럽 포르투갈어 지자체 회의록의 논의 주제를 요약한 최초의 수동 작성 데이터셋 (CitiLink-Summ) 을 공개했습니다.
2. 벤치마크 확립: 해당 도메인에서의 자동 요약 성능을 평가하기 위한 기준점 (Baseline) 을 제시했습니다.
3. 리소스 공개: 코퍼스, 요약 가이드라인, 데이터 샘플, 재현성 코드 등을 GitHub 를 통해 공개하여 저자원 언어 NLP 연구의 기반을 마련했습니다.

4. 실험 결과 (Results)

• 모델 성능: 모든 모델이 일관된 추상적 요약을 생성할 수 있음을 보였으나, 절대적인 점수는 여전히 개선의 여지가 있었습니다.
• 성능 순위:
  • 최고 성능: PRIMERA, BART Large, Gemini-2.5-flash가 모든 지표에서 가장 높은 점수를 기록했습니다.
  • 구체적 수치 (예시):
    • BART Large: ROUGE-1 68.96, BERTScore F1 86.28
    • PRIMERA: ROUGE-1 66.17, BERTScore F1 85.79
    • Gemini-2.5-flash: ROUGE-1 64.16, BERTScore F1 83.09
  • LLM vs Fine-tuned: 오픈 소스 LLM(Qwen2.5) 은 미세 조정된 전통적 모델보다 성능이 낮았으며, 폐쇄형 LLM(Gemini) 은 미세 조정 모델과 유사하거나 약간 낮은 수준을 보였습니다.
• 의미: 대규모 모델일수록 복잡한 행정 문서의 맥락을 더 잘 포착하는 것으로 나타났습니다.

5. 의의 및 향후 과제 (Significance & Future Work)

• 의의:
  • 유럽 포르투갈어 행정 텍스트 처리를 위한 첫 번째 벤치마크를 제공하여, 해당 언어의 NLP 연구 활성화에 기여합니다.
  • 시민들이 복잡한 지자체 의사결정 과정을 쉽게 이해할 수 있도록 돕는 실용적인 요약 시스템 개발의 토대가 됩니다.
• 향후 과제:
  • 코퍼스 확장 및 생성된 요약의 명확성과 정확성을 검증하기 위한 인간 평가 (Human Evaluation) 도입.
  • 주제 (theme) 정보를 모델 입력에 활용하여 성능을 더욱 향상시키는 연구.
  • 데이터셋의 영어 버전 출시를 통한 크로스링구얼 (Cross-lingual) 연구 지원.

결론적으로, 이 논문은 저자원 언어인 유럽 포르투갈어에서 행정 문서 요약의 난제를 해결하기 위해 고품질 데이터셋과 벤치마크를 구축함으로써, 투명성 있는 지방 거버넌스를 위한 기술적 기반을 마련했다는 점에서 중요한 의의를 가집니다.