CitiLink-Minutes: A Multilayer Annotated Dataset of Municipal Meeting Minutes

논문 요약: CitiLink-Minutes (유럽 포르투갈어 기반 지자체 회의록 다중 레이블 주석 데이터셋)

1. 문제 제기 (Problem)

• 지배적 연구의 한계: 현재 정보 검색 (IR) 과 자연어 처리 (NLP) 연구는 주로 의회 회의록 (Parliamentary proceedings) 이나 영상 대본 (Video transcripts) 에 집중되어 있습니다. 반면, 시민의 일상생활에 직접적인 영향을 미치는 지자체 (Municipal) 회의록은 상대적으로 간과되어 왔습니다.
• 데이터 부재: 지자체 회의록은 공식 기록이지만, 비정형적이고 장문의 서술형 텍스트로 구성되어 있어 분석이 어렵습니다. 또한, 기존 데이터셋은 영어에 치우쳐 있으며, 유럽 포르투갈어와 같은 특정 언어의 고품질 주석 데이터가 부족합니다.
• 기술적 장벽: 민감한 개인정보 (PI) 처리, 저작권 문제, 그리고 다양한 지자체 간의 구조적 차이로 인해 대규모 데이터셋 구축과 모델 학습이 제한적입니다.

2. 방법론 (Methodology)

가. 데이터 수집 및 구축

• 소스: 포르투갈의 6 개 지자체 (Alandroal, Campo Maior, Covilhã, Fundão, Guimarães, Porto) 와의 파트너십을 통해 2021~2024 년 기간의 공식 회의록 120 건을 수집했습니다.
• 선정 기준: 2021 년 10 월 이후의 회의, 다양한 세션 유형 (정기/임시/공개/비공개), 15~40 개의 안건이 포함된 회의, 공개 회의 등을 기준으로 선정되었습니다.
• 규모: 총 100 만 개 이상의 토큰 (Tokens) 으로 구성되어 있으며, 모든 개인 식별 정보 (PI) 는 수동으로 익명화 (De-identified) 되었습니다.

나. 주석 체계 (Annotation Scheme)

• 표준: ISO 24617 (SemAF) 프레임워크를 기반으로 4 개의 레이어로 구성된 다중 레이블 주석 체계를 적용했습니다.
  1. L1: 개인 정보 (Personal Information): 성명, 주소 등 개인을 식별할 수 있는 모든 정보.
  2. L2: 메타데이터 (Metadata): 회의 날짜, 장소, 참석자, 시작/종료 시간, 회의 유형 등.
  3. L3: 논의 주제 (Subject of Discussion): 안건 제목, 주제 (Topic), 테마 (Theme).
  4. L4: 투표 결과 (Voting): 투표 증거, 찬성/반대/기권/불참자, 투표 결과 (만장일치/과반수 등).
• 주석 프로세스:
  • 4 명의 언어학자가 2 인 1 조로 이중 주석 (Double-annotation) 을 수행하고, 숙련된 큐레이터가 검증하여 일관성을 확보했습니다.
  • 메타데이터 레이어는 단순한 특성으로 인해 단일 주석자가 수행했으나 큐레이터 검증을 거쳤습니다.
  • LLM 을 활용한 메타데이터 사전 주석 실험을 통해 주석 효율성을 약 2 시간 단축하는 효과를 확인했습니다.

다. 데이터 구조 및 배포

• 형식: 각 지자체별로 20 개의 주석된 문서가 포함된 6 개의 JSON 파일로 구성되었습니다.
• 배포: FAIR 원칙 (Findable, Accessible, Interoperable, Reusable) 을 준수하며, CC-BY-NC-ND 라이선스 하에 GitHub 및 INESC TEC 저장소에 공개되었습니다.
• 분할: 학습 (72 건), 검증 (24 건), 테스트 (24 건) 로 시간 순서대로 분할하여 미래 데이터 시나리오를 시뮬레이션했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 다층 주석 데이터셋: 유럽 포르투갈어 기반의 지자체 회의록 120 건에 대해 개인 정보, 메타데이터, 주제, 투표 결과를 아우르는 4 레이어의 밀도 높은 주석을 제공한 최초의 데이터셋입니다.
2. 인터랙티브 대시보드: 데이터셋의 구조와 주석을 상세히 탐색할 수 있는 대시보드를 제공합니다.
3. 새로운 태스크 정의 및 베이스라인:
   • 메타데이터 식별 (Metadata Identification): 8 가지 엔티티 유형 추출.
   • 투표 식별 (Voting Identification): 투표 관련 텍스트 스팬 추출 (찬성, 반대, 기권 등).
   • 주제 분류 (Topic Classification): 22 가지 predefined 주제를 활용한 멀티레이블 분류.
   • 위 태스크에 대한 BERT 기반 인코더 모델과 생성형 모델 (Gemini-2.5-Pro) 의 베이스라인 성능을 Hugging Face 에 공개했습니다.

4. 실험 결과 (Results)

• 메타데이터 식별:
  • BERTimbau (Fine-tuned): F1-score (Macro) 0.752, (Micro) 0.959 로 우수한 성능을 보였습니다.
  • Gemini-2.5-Pro: 정밀도 (Precision) 는 높았으나 (0.833), 재현율 (Recall) 이 매우 낮아 (0.163) 전체 F1-score 가 0.273 으로 낮았습니다. 구조화된 텍스트 추출에는 인코더 기반 모델이 우세함을 보여줍니다.
• 투표 식별:
  • BERTimbau: F1-score (Macro) 0.814, (Micro) 0.705 로 강건한 성능을 보였습니다. 빈도수가 높은 'Voting'이나 'Voter-Favor'는 잘 인식되나, 드문 엔티티는 어려움이 있었습니다.
  • Gemini-2.5-Pro: F1-score 0.556~0.584 수준으로 인코더 모델보다 성능이 떨어졌습니다.
• 주제 분류 (멀티레이블):
  • BERTimbau: F1-score (Macro) 0.642, (Micro) 0.822, Hamming Loss 0.029 로 생성형 모델 (F1 Macro 0.496) 보다 월등히 높은 성능을 기록했습니다. 불균형 데이터와 멀티레이블 설정 처리에 인코더 모델이 더 효과적입니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:

  • 지배적 투명성 증진: 지자체 의사결정 과정을 NLP 기술을 통해 자동화하고 분석할 수 있는 토대를 마련하여 시민의 접근성을 높입니다.
  • 연구 기반 확립: 유럽 포르투갈어 기반의 공공 행정 텍스트 처리를 위한 표준 데이터셋과 평가 기준 (Baseline) 을 제시하여 향후 연구의 방향성을 제시합니다.
  • 윤리적 데이터 공유: 개인정보 보호와 저작권 문제를 해결한 FAIR 원칙 준수 데이터셋을 공개했습니다.

• 한계:

  • 지자체 다양성 부족: 6 개 지자체 데이터만 포함되어 있어 다른 지자체로의 일반화 (Generalization) 가능성은 제한적일 수 있습니다.
  • 투표 정보의 세분화: 현재 투표 레이어는 주요 안건 (Main Subject) 만 연결되며, 하위 안건 (Sub-subject) 에 대한 세분화된 주석은 지원되지 않습니다.
  • 개인정보 식별: 현재 PI 는 *** 로 대체되어 있으며, 향후 더 정교한 클래스별 주석이 필요할 것으로 예상됩니다.

결론적으로, CitiLink-Minutes 는 공공 행정 분야의 NLP 연구에 필수적인 자원을 제공하며, 특히 구조화된 정보 추출과 투표 분석 분야에서 인코더 기반 모델의 우월성을 입증했습니다.