CitiLink-Minutes: A Multilayer Annotated Dataset of Municipal Meeting Minutes

以下是关于论文《CitiLink-Minutes: A Multilayer Annotated Dataset of Municipal Meeting Minutes》（CitiLink-Minutes：多层标注的市政会议记录数据集）的详细技术总结：

1. 研究背景与问题 (Problem)

• 核心痛点：市政会议记录（Municipal Meeting Minutes）是地方治理决策的关键官方记录，包含了政策讨论、提案和投票结果等丰富信息。然而，在信息检索（IR）和自然语言处理（NLP）领域，针对此类数据的深入研究非常匮乏。
• 现有挑战：
  • 数据稀缺：缺乏高质量、经过标注的市政会议数据集，限制了计算模型的开发。
  • 现有资源局限：现有的数据集多集中于议会辩论（如 EuroParl）或视频转录文本（如 CityMeetings），缺乏针对官方书面会议记录的专门研究。
  • 数据特性复杂：市政会议记录通常篇幅长、结构异构（不同市政厅格式不同），且关键信息（如议题、投票结果）往往嵌入在长篇叙述中，难以被人类或机器提取。
  • 隐私与版权：现有网络抓取数据常包含敏感信息或版权风险，且多为英语，缺乏欧洲葡萄牙语的高质量资源。

2. 方法论 (Methodology)

2.1 数据构建 (Dataset Creation)

• 数据来源：与葡萄牙六个市政厅（Alandroal, Campo Maior, Covilhã, Fundão, Guimarães, Porto）合作，获取了 2021-2024 年间的官方会议记录。
• 筛选标准：从 479 份原始记录中，依据会议类型（普通/特别）、议程数量（15-40 项）及公开性，精选出120 份具有代表性的会议记录（每市 20 份）。
• 隐私保护：所有个人身份信息（PI）均经过人工脱敏处理，替换为 ***，以符合数据敏感性和隐私法规。

2.2 标注方案 (Annotation Scheme)

该数据集采用基于 ISO 24617 语义标注框架（SemAF）的四层标注架构，包含实体（Entities）和链接（Links）两种结构：

1. L1 个人信息 (Personal Information)：标注所有直接或间接识别个人的信息（如姓名、地址等）。
2. L2 元数据 (Metadata)：记录会议的一般信息，包括日期、地点、开始/结束时间、会议类型、参与者（议员及工作人员）等。
3. L3 讨论主题 (Subject of Discussion)：标注讨论的主要议题、主题（Theme）和具体话题（Topic）。
4. L4 投票结果 (Voting)：记录每个议题的投票情况，包括投票证据（如“一致通过”）、投票者（支持/反对/弃权/缺席）及最终计票结果。

2.3 标注流程与质量控制

• 人员配置：由 4 名语言学学生进行标注，2 名资深研究员指导。
• 流程：
  • 试点阶段：每市选取 10 份记录进行预标注，并测试大语言模型（LLM）辅助元数据标注的可行性（结果显示可提升效率）。
  • 双重标注：除元数据层（由单人标注）外，其他层均由两名标注员独立标注。
  • 策展验证：由经验丰富的语言学家作为策展人（Curator）解决分歧，确保一致性。
• 一致性评估：使用 Krippendorff's alpha 计算标注者间一致性（IAA）。除“主题（Theme）”因开放文本格式导致一致性较低外，其他层（特别是投票层）表现出较高的一致性。

2.4 数据格式与划分

• 格式：数据以 JSON 格式发布，包含 120 份文档，总词数超过 100 万。
• 划分：按时间顺序划分为训练集（72 份）、验证集（24 份）和测试集（24 份），测试集使用最新数据以模拟真实部署场景。

3. 主要贡献 (Key Contributions)

1. 首个多层标注的欧洲葡萄牙语市政数据集：CitiLink-Minutes 是首个涵盖个人信息、元数据、讨论主题和投票结果四层标注的市政会议记录数据集，填补了该领域的空白。
2. 严格的隐私与合规性：在确保数据开放（遵循 FAIR 原则）的同时，通过人工脱敏解决了隐私和版权障碍。
3. 交互式探索工具：提供了一个交互式仪表板（Dashboard），供研究人员详细探索数据集结构和标注细节。
4. 基准任务与评估：定义了三个核心 NLP 任务，并提供了基于 BERT 和生成式模型（LLM）的基准结果：
   • 元数据识别 (Metadata Identification)
   • 投票识别 (Voting Identification)
   • 多标签主题分类 (Topic Classification)

4. 实验结果 (Results)

研究对比了编码器模型（BERTimbau Large，微调）与生成式模型（Gemini-2.5-Pro，Few-shot 提示）在三个任务上的表现：

• 元数据识别：

  • BERTimbau 表现优异，F1 分数（微平均）达到 0.959。
  • Gemini 虽然精确率较高（0.833），但召回率极低（0.163），导致整体 F1 仅为 0.273。
  • 结论：微调的编码器模型在处理结构化信息提取任务上显著优于生成式模型。

• 投票识别：

  • BERTimbau 再次展现优势，F1 微平均为 0.705，召回率高达 0.904。
  • Gemini 的 F1 微平均为 0.584。
  • 结论：编码器模型能更全面地覆盖投票相关的结构化实体，尤其是对于高频类别。

• 多标签主题分类：

  • BERTimbau 在宏观 F1 (0.642) 和微观 F1 (0.822) 上均大幅领先。
  • Gemini 的宏观 F1 仅为 0.496，且在处理类别不平衡和语义多样性方面表现较弱。
  • 结论：微调模型在多标签分类任务中更稳健，能有效处理类别不平衡问题。

总体发现：在结构化文本提取和分类任务中，经过领域微调的编码器模型（Encoder-based models）比生成式大模型（Generative LLMs）表现更好，尤其是在召回率和整体 F1 分数方面。

5. 意义与局限性 (Significance & Limitations)

意义

• 推动市政 NLP 研究：为信息检索、事件提取、决策分析等下游任务提供了宝贵的基准资源。
• 促进透明治理：通过技术手段降低获取和理解市政决策信息的门槛，有助于提升政府透明度。
• 跨语言与跨文化研究：作为欧洲葡萄牙语的高质量资源，支持了非英语语种的政府文本分析研究。

局限性

• 地理范围限制：目前仅包含葡萄牙 6 个市政厅的数据，可能限制模型在其他地区或市政体系中的泛化能力。
• 投票粒度：部分投票结果仅记录到政党层面，需外部知识库映射具体议员；且当前标注仅关联主要议题，未细化到子议题（Sub-subjects）。
• 脱敏粒度：目前个人身份信息仅被替换为通配符，尚未标注具体的实体类别（如“市长”、“议员”），限制了更高级的脱敏技术研究。

总结

CitiLink-Minutes 是一个高质量、多层级、经过严格隐私处理的市政会议记录数据集。它不仅填补了欧洲葡萄牙语市政文本资源的空白，还通过详细的基准测试证明了微调模型在结构化信息提取任务中的优越性，为未来的智能政府分析和公共政策研究奠定了坚实基础。