제공된 논문 "CitiLink: Enhancing Municipal Transparency and Citizen Engagement through Searchable Meeting Minutes"에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 정의 (Problem)

• 비효율적인 정보 접근: 시의회 회의록 (City council minutes) 은 일반적으로 길고 형식적이며 관료적인 어조로 작성되어 있습니다.
• 투명성 장벽: 회의록은 공개되어 있지만, 복잡한 구조와 행정 용어로 인해 시민이나 언론인이 필요한 정보를 효율적으로 찾아내는 것이 매우 어렵고 시간이 많이 소요됩니다.
• 연구의 공백: 기존 연구는 회의 영상 기록에 집중해 왔으나, 특히 유럽 포르투갈어 (European Portuguese) 로 작성된 비구조화된 회의록 텍스트를 구조화하고 검색 가능하게 만드는 연구는 거의 이루어지지 않았습니다.

2. 방법론 (Methodology)

이 논문은 비구조화된 회의록을 구조화되고 검색 가능한 데이터로 변환하는 플랫폼 CitiLink를 제안합니다. 시스템 아키텍처는 다음과 같은 파이프라인으로 구성됩니다.

• 데이터 수집 및 전처리:
  • 포르투갈의 6 개 지자체 (Alandroal, Campo Maior, Covilhã, Fundão, Guimarães, Porto) 로부터 제공된 120 건의 회의록을 사용했습니다.
  • 개인정보는 수동으로 익명화되었으며, 다국어 능력을 시연하기 위해 DeepL 을 통해 영어 버전 데이터셋도 생성되었습니다.
• LLM 기반 정보 추출 파이프라인:
  • 모델: Google 의 Gemini 2.0 Flash LLM 을 활용했습니다.
  • 프롬프트 엔지니어링: 비구조화된 텍스트를 입력받아 다음 3 가지 계층의 정보를 추출하도록 프롬프트를 설계했습니다.
    1. 메타데이터: 참석자, 장소, 날짜, 회의 유형.
    2. 토의 주제: 논의된 구체적인 사안 (예: "중앙 대로 교통 규정 변경").
    3. 투표 결과: 찬성, 반대, 기권 등 의결 결과.
  • 정합성 확보: 추출된 메타데이터는 미리 정의된 데이터베이스 컬렉션 (참석자, 지자체, 주제) 과 교차 참조되어 일관성을 유지합니다.
• 시스템 아키텍처:
  • 백엔드: 추출된 데이터는 MongoDB Atlas에 저장되어 BM25 기반의 전체 텍스트 검색 및 Faceted Search(분면 검색) 를 지원합니다.
  • 프론트엔드: React 기반의 웹 애플리케이션을 통해 사용자가 지자체별, 주제별, 참석자별로 필터링하거나 타임라인으로 탐색할 수 있습니다.
  • 휴먼 - 인 - 더 - 루프 (Human-in-the-Loop): 지자체 관계자가 회의록을 업로드하고 추출된 데이터를 검증할 수 있는 제한된 백오피스 (Back-office) 를 제공하여 오류를 수정하고 품질을 관리합니다.

3. 주요 기여 (Key Contributions)

• CitiLink 플랫폼 개발: 비구조화된 시의회 회의록을 구조화하여 시민과 언론인이 쉽게 접근하고 탐색할 수 있도록 하는 최초의 종합적인 웹 플랫폼 중 하나를 구현했습니다.
• LLM 을 활용한 자동화 파이프라인: 복잡한 행정 문서에서 메타데이터, 주제, 투표 결과를 자동으로 추출하는 효과적인 LLM 기반 파이프라인을 제시했습니다.
• 실증 데이터셋: 6 개 포르투갈 지자체의 120 건 회의록으로 구성된 데이터셋과 이를 기반으로 한 평가 가이드를 공개했습니다.
• 사용자 중심 검증: 실제 지자체 직원들을 대상으로 한 가이드 세션을 통해 시스템의 사용성을 검증하고 피드백을 반영하여 시스템을 개선했습니다.

4. 평가 결과 (Results)

• 사용성 평가 (Usability):
  • 2025 년 7 월~9 월 사이에 8 명의 지자체 직원을 대상으로 한 'Think-aloud' 테스트를 수행했습니다.
  • 모든 참가자가 탐색이 직관적이라고 평가했으며, 6 명은 플랫폼을 재사용할 의사가 있다고 답했습니다.
• 성능 평가 (Performance):
  • 메타데이터 추출: 6 개 지자체 전체에서 평균 Macro F1 점수 0.84를 기록하여 일관된 성능을 보였습니다.
  • 토의 주제 추출: LLM 출력과 정답 (Ground-truth) 간의 직접적인 비교가 어렵기 때문에 BERTimbau 임베딩과 코사인 유사도를 사용하여 매칭했습니다. ROUGE-L 0.31, BLEU 0.21을 기록하여 내용과 구조를 어느 정도 포착함을 확인했습니다.
  • 투표 결과 추출: 의원의 투표 위치 (찬성/반대/기권) 식별 작업은 가장 복잡했으며, Macro F1 점수 0.67을 기록했습니다. 이는 구조화된 메타데이터 추출보다 난이도가 높음을 시사합니다.

5. 의의 및 향후 계획 (Significance & Future Work)

• 의의: CitiLink 는 NLP 및 정보 검색 (IR) 기술을 활용하여 지방 정부의 투명성을 높이고 시민 참여를 촉진할 수 있음을 입증했습니다. 특히 관료적인 문서를 일반인이 이해하기 쉬운 형태로 변환하는 데 성공했습니다.
• 향후 계획:
  • 오픈 소스 언어 모델을 다양한 계층에 통합하여 성능을 개선할 예정입니다.
  • 시민과 언론인을 대상으로 한 설문 조사 및 포커스 그룹을 통해 시스템의 실제 영향력을 더 광범위하게 평가할 계획입니다.
  • 시스템 아키텍처는 더 큰 규모의 지자체 아카이브로 확장 가능하도록 설계되었습니다.

이 연구는 비구조화된 공공 데이터를 구조화하여 민주적 투명성을 강화하는 기술적 솔루션의 중요한 사례로 평가됩니다.