CitiLink-Minutes: 自治会議議事録の多層アノテーションデータセットに関する技術的概要

本論文は、欧州ポルトガル語で書かれた自治体の会議議事録（Municipal Meeting Minutes）を対象とした、大規模かつ多層的に注釈付けされたデータセット「CitiLink-Minutes」の提案と評価を報告するものです。情報検索（IR）や自然言語処理（NLP）の分野において、議事録の分析は重要な課題ですが、既存のデータセットの不足により研究が制限されていた現状を打破することを目的としています。

以下に、問題定義、手法、主要な貢献、結果、そして意義について詳細にまとめます。

1. 問題定義 (Problem)

自治体の会議議事録は、政策議論、提案、投票結果など、地方政府の意思決定プロセスを記録する重要な公文書です。しかし、以下の理由から、IR や NLP 分野での研究利用が進んでいませんでした。

• データ不足と非構造化: 既存のデータセットは主に議会会議録（Parliamentary proceedings）や音声/動画の文字起こしに焦点が当てられており、自治体の公式な「書面議事録」を対象とした高品質な注釈データが不足しています。
• 分析の難しさ: 議事録は長文で、自治体ごとに構造が異なり、重要な情報（政策トピック、投票結果など）が長い物語的な記述の中に埋め込まれているため、人間やシステムによる情報抽出が困難です。
• プライバシーと著作権: 既存のウェブスクレイピングデータはノイズが多く、個人情報や著作権の問題を伴うため、研究用として公開・共有されにくい状況でした。
• 言語的制約: 既存の主要なリソースは英語中心であり、ポルトガル語（特に欧州ポルトガル語）の議事録分析に適したリソースが不足していました。

2. 手法とデータセット構築 (Methodology)

本研究では、6 つのポルトガル自治体（Alandroal, Campo Maior, Covilhã, Fundão, Guimarães, Porto）と連携し、2021 年から 2024 年にかけての公式議事録から 120 件を抽出・注釈付けしました。

データ収集と選定

• 合計 479 件の議事録から、以下の基準に基づき 120 件（自治体あたり 20 件）を選定しました。
  • 2021 年 10 月以降（市長の任期開始後）のもの。
  • 通常会、臨時会、公開会、非公開会などの多様なセッションタイプ。
  • 議題数が 15〜40 件のもの（注釈の現実性と代表性のバランス）。
  • 市民やメディアに公開されている会議を優先。

多層注釈スキーマ (Annotation Scheme)

ISO 24617 (SemAF) に基づき、以下の 4 つの層（Layer）で構成される多層的な注釈スキーマを採用しました。

1. L1: 個人情報 (Personal Information)
   • 個人を直接・間接的に特定できる情報（氏名、住所など）を捕捉し、公開時にすべて匿名化（*** に置換）しています。
2. L2: メタデータ (Metadata)
   • 会議の日付、場所、開始・終了時刻、参加者（議員、職員）、会議タイプ、議事録番号などを注釈します。
3. L3: 議論の主題 (Subject of Discussion)
   • 議題（Agenda Item）、議論の主題（Subject）、トピック（Topic）、テーマ（Theme）を注釈します。
4. L4: 投票結果 (Voting)
   • 各議題に対する投票結果（賛成、反対、棄権、欠席）、投票者、集計結果（全会一致、過半数など）を注釈します。

アノテーションプロセス

• 二重注釈とキュレーション: 各議事録は 2 人の注釈者が注釈し、経験豊富な言語学者がキュレーション（検証）を行いました。メタデータ層のみ 1 人の注釈者による注釈ですが、キュレーションは必須です。
• 品質保証: 注釈者間の一致率（IAA）を測定し、曖昧なケースについてはキュレーターとドメイン専門家による合意形成を行いました。
• プライバシー保護: 公開に際し、すべての個人識別情報（PI）を手動で匿名化し、著作権とプライバシー規制に準拠しています。

3. 主要な貢献 (Key Contributions)

1. CitiLink-Minutes データセットの公開:
   • 欧州ポルトガル語の自治会議議事録 120 件（100 万トークン以上）からなる、高密度に注釈付けされた初のデータセットです。
   • FAIR 原則（検索可能、アクセス可能、相互運用可能、再利用可能）に基づき、CC-BY-NC-ND ライセンスで公開されています。
   • 個人データはすべて匿名化されており、研究目的での無制限アクセスを可能にしています。
2. インタラクティブ・ダッシュボード:
   • データセットの構造や注釈を詳細に探索できるダッシュボードを提供しています。
3. 新規タスク定義とベンチマーク:
   • 以下の 3 つのタスクを定義し、ベースラインモデルの結果を公開しました（Hugging Face で利用可能）。
     • メタデータ抽出: 会議の構造化情報の抽出。
     • 投票識別 (Voting Identification): 投票関連の実体（投票者、結果など）の抽出。
     • トピック分類: 多ラベル分類タスク（22 のトピックカテゴリ）。

4. 結果 (Results)

データ統計

• 規模: トークン数 1,016,825、エンティティ 20,375、関係性 11,162。
• 注釈量: 合計 38,000 件以上の個別注釈。
• 分布: 自治体ごとにトークン数やエンティティ密度にばらつきがあり、モデルの堅牢性評価に適しています。

ベースライン実験結果

• メタデータ抽出: 事前学習済みエンコーダーモデル（BERTimbau Large）が、生成モデル（Gemini-2.5-Pro）よりも遥かに高い性能（F1 スコア 0.959 vs 0.273）を示しました。構造化されたテキスト抽出にはエンコーダーモデルが優れていることが示されました。
• 投票識別: BERTimbau が生成モデルを上回る性能（F1 スコア 0.705 vs 0.584）を達成しましたが、頻度の低いエンティティ（例：Subject）での性能差は課題として残りました。
• トピック分類: 多ラベル分類タスクにおいて、BERTimbau（F1 micro 0.822）が生成モデル（F1 micro 0.525）を大きく上回りました。クラス不均衡に対処するエンコーダーモデルの優位性が確認されました。

注釈の信頼性

• 注釈者間の一致率（Krippendorff's alpha）は、メタデータや投票層で高い値を示しましたが、主題の「テーマ（Theme）」属性ではテキストの自由記述性により一致率が低くなる傾向が見られました。

5. 意義と将来展望 (Significance & Future Work)

• 学術的意義: 自治体レベルの意思決定プロセスを NLP/IR 技術で分析するための基盤リソースを提供し、透明性のあるガバナンス研究を促進します。
• 実用性: 市民が行政決定を追跡・理解するためのツール開発や、行政文書の自動要約・検索システムの開発に寄与します。
• 限界と今後の課題:
  • 現時点では 6 つの自治体に限定されており、他の自治体への一般化にはさらなるデータ収集が必要です。
  • 投票結果が政党レベルで記録されている場合、外部知識ベースとの連携が必要です。
  • 現在の注釈スキーマでは、同一議題内の複数の投票（サブトピック）を細かく区別できていないため、より粒度の深い注釈への拡張が予定されています。
  • 将来的には、より詳細な個人情報分類の導入や、英語版との対訳データセットの作成による多言語研究への展開が計画されています。

総じて、CitiLink-Minutes は、自治体議事録の分析における新たな標準となり、構造化情報抽出や意思決定分析の分野において重要なマイルストーンとなるリソースです。