MiNER: A Two-Stage Pipeline for Metadata Extraction from Municipal Meeting Minutes

MiNER: 시정 회의록 메타데이터 추출을 위한 2 단계 파이프라인

1. 문제 정의 (Problem Statement)

• 배경: 시정 회의록 (Municipal meeting minutes) 은 지방 거버넌스의 공식 기록으로, 회의 번호, 날짜, 장소, 참석자, 시작/종료 시간 등의 메타데이터를 포함하고 있습니다.
• 도전 과제:
  • 회의록의 형식과 작성 스타일이 매우 이질적 (heterogeneous) 이며 표준화되어 있지 않습니다.
  • 기존 범용 명명 개체 인식 (NER) 모델은 일반 범주 (사람, 조직, 장소 등) 에 최적화되어 있어, 회의록 특유의 세분화된 메타데이터 (예: '참석 여부', '회의 유형' 등) 를 추출하는 데 적합하지 않습니다.
  • 메타데이터가 문서 내 어디에 위치하는지 자동으로 식별하는 경계 탐지 (Boundary Detection) 문제가 해결되지 않았습니다.
  • 기존 연구들은 대부분 메타데이터 섹션이 이미 구분되어 있다고 가정하는 반면, 실제 데이터에서는 이를 자동으로 찾아내는 과정이 필요합니다.

2. 방법론 (Methodology)

저자들은 MiNER라는 2 단계 파이프라인을 제안하여 원시 문서에서 구조화된 메타데이터를 추출합니다.

• 1 단계: 메타데이터 경계 탐지 (Metadata Boundary Detection, MBD)

  • 목표: 각 문서의 메타데이터가 포함된 '시작 (opening)' 및 '종료 (closing)' 텍스트 구간을 식별합니다.
  • 기법: 추출형 질문 응답 (Extractive QA) 모델을 사용합니다. (SQuAD v2 스타일)
  • 프로세스: 문서 전체를 컨텍스트로 하여 "메타데이터가 시작되는 문장은?"과 "메타데이터가 끝나는 문장은?"이라는 프롬프트를 입력받아 해당 구간의 시작과 끝 문장 인덱스를 예측합니다.
  • 효과: 노이즈가 많은 문서 전체를 처리하는 대신, 메타데이터가 포함된 소량의 텍스트 구간 (Reduced Text Region) 만을 다음 단계로 전달하여 처리 효율성을 높입니다.

• 2 단계: 메타데이터 개체 인식 (Metadata Entity Recognition, MER)

  • 목표: 1 단계에서 추출된 텍스트 구간에서 구체적인 메타데이터 개체 (날짜, 시간, 참석자 등) 를 식별하고 분류합니다.
  • 기법: 트랜스포머 기반 모델 (BERTimbau, XLM-RoBERTa) 을 미세 조정 (Fine-tuning) 합니다. CRF(Conditional Random Field) 레이어를 추가하여 시퀀스 라벨링 성능을 향상시킵니다.
  • 강화 전략 (Deslexicalization): 도시 간 일반화 (Cross-municipality generalization) 를 촉진하기 위해 학습 전 텍스트를 탈어휘화 (Deslexicalization) 합니다.
    • 참석자 이름과 장소는 Faker 라이브러리를 사용하여 합성 값으로 대체 (60% 확률).
    • 날짜와 시간은 형식이나 내용을 무작위로 변경 (30% 확률).
    • 시정명 (Municipality) 은 @MUNICIPIO 플레이스홀더로 대체.

3. 주요 기여 (Key Contributions)

1. 새로운 2 단계 파이프라인 제안: QA 기반의 구간 분할 (Segmentation) 과 트랜스포머 기반의 NER 을 결합하여, 메타데이터 위치를 먼저 찾고 세부 정보를 추출하는 효율적인 아키텍처를 제시했습니다.
2. 초기 벤치마크 및 데이터셋 공개: 시정 회의록 메타데이터 추출을 위한 첫 번째 벤치마크를 수립했습니다.
   • CitiLink 데이터셋: 6 개 시의 포르투갈어 회의록 120 건 (총 180 개의 메타데이터 구간) 으로 구성되며, 영어 자동 번역본과 함께 공개되었습니다.
   • 모델 공개: 미세 조정된 모델과 관련 코드를 오픈소스로 제공하여 향후 연구의 기반을 마련했습니다.

4. 실험 결과 (Results)

• 데이터셋: 120 개의 포르투갈어 회의록 (6 개 시), 8 가지 메타데이터 카테고리 (회의 번호, 날짜, 장소, 시간, 참석자 등).
• 성능 평가 (MBD): XLM-RoBERTa 모델이 BM25 및 밀도 검색기 (Dense Retriever) 를 압도적으로 상회했습니다 (포르투갈어 F1: 0.826, 영어 F1: 0.714).
• 성능 평가 (MER):
  • 전체 분할 (Global Split): BERTimbau(포르투갈어) 와 XLM-RoBERTa+Deslex(영어) 가 각각 F1-score 0.96과 0.94의 높은 성능을 달성했습니다.
  • 개별 카테고리: 날짜, 시간, 회의 번호는 거의 완벽한 정확도 (F1=1.00) 를 보였으나, 참석자 상태 (참석/결석/대리) 나 회의 유형 (정기/임시) 은 데이터 불균형으로 인해 성능이 다소 낮았습니다.
  • 일반화 능력 (Leave-one-out): 특정 시를 제외하고 학습한 후 다른 시를 테스트했을 때 성능이 감소했습니다 (포르투갈어 F1 0.80, 영어 F1 0.72). 이는 시별 문체와 구조의 차이로 인한 일반화 한계를 보여줍니다.
  • 점진적 학습: 소량의 주석 데이터 (1~3 개 문서) 만으로도 모델 성능이 급격히 향상되어 (F1 > 0.95), 적은 데이터로도 지역 특화 모델 구축이 가능함을 입증했습니다.
• LLM 비교 (Phi, Gemini):
  • 범용 대규모 언어 모델 (LLM) 은 구조화된 출력 생성에 실패하거나 (JSON 오류, 단편적 출력), 매우 낮은 F1 점수 (Gemini: 0.27) 를 보였습니다.
  • 효율성: MiNER 파이프라인은 LLM 대비 추론 시간이 1,800 배 이상 빠르고, 탄소 배출량은 400 배 이상 적었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 도메인 특화 모델의 우위: 이 연구는 특정 도메인 (시정 회의록) 에 최적화된 경량 트랜스포머 모델이, 거대하고 범용적인 LLM 보다 정확도, 비용 효율성, 환경적 지속 가능성 측면에서 훨씬 우수함을 입증했습니다.
• 실용적 가치: 1 단계 (경계 탐지) 를 통해 처리할 텍스트 양을 대폭 줄여 학습 및 추론 시간을 단축시켰으며, 추출된 구간은 회의록 요약이나 투표 식별과 같은 하위 작업에도 재사용 가능합니다.
• 한계 및 향후 과제: 시별 문체 차이로 인한 일반화 성능 저하가 존재하므로, 향후 적응형 미세 조정 (Adaptive Fine-tuning) 전략이나 도메인 중립적 표현 학습을 통해 이를 해결할 필요가 있습니다.

이 논문은 비정형적인 행정 문서에서 구조화된 정보를 추출하기 위한 새로운 표준을 제시하며, 디지털 과학 및 지방 거버넌스 연구에 중요한 기여를 하고 있습니다.