Auditable AI Assisted Semantic Completion Supports Metadata Enhancement in Digital Cultural Heritage Collections

技术摘要：面向数字文化遗产元数据的可审计 AI 辅助语义补全

问题陈述
数字文化遗产馆藏正日益转化为计算数据，但其可发现性却受到元数据不完整、结构不均衡且缺乏语义丰富性的阻碍。虽然人工智能（AI）常被提议作为元数据生成的解决方案，但在文化遗产语境下的应用引发了关于解释权威、文化偏见以及生成式模型“黑箱”性质的显著担忧。核心挑战不仅在于 AI 是否能生成标签，而在于如何创建一个由专业编目员可审计、透明且可复现的元数据增强工作流。现有记录往往在某些维度（如对象类型、材质）包含密集信息，但在其他维度（如主题、分类）则较为稀疏，因此需要一个能够推荐缺失的受控词表术语，且不会凭空捏造新术语或模糊来源（provenance）的系统。

研究方法
本研究将元数据增强重新定义为一种受限的语义补全任务，而非生成式任务。该系统并非要求模型产生流畅的描述，而是利用记录中已观察到的受控词表标签来推荐缺失维度的候选标签。

• 数据集： 研究使用了源自 Europeana 的分面层级数据集 EUFCC-340K，该数据集包含超过 34 万条记录。研究采用了一个包含 25,000 条记录的固定训练子集，以确保在普通硬件上实现可复现性。
• 实验设计： 采用了**掩码标签评估（masked-label evaluation）**协议。对于每个符合条件的记录，隐藏目标维度（对象类型、材质、主题或分类）中的一个现有标签。模型必须利用剩余的观测标签作为上下文，对该维度的候选标签进行排序。成功的衡量标准是隐藏的标签是否出现在前 k 个候选名单中（Recall@k）。
• 评估模型：
  1. 频率基准（Frequency Baseline）： 根据目标维度内全局训练频率对候选者进行排序。
  2. 直接共现（Direct Co-occurrence）： 从训练记录中构建标签-标签共现矩阵。得分基于给定观测上下文标签时，候选标签出现的平均概率。
  3. 两跳图传播（Two-Hop Graph Propagation）： 通过标签图（例如：对象 $\to$ 材质 $\to$ 分类）扩展直接证据，以捕捉间接关系。
  4. 混合排序（Hybrid Ranking）： 直接得分、两跳得分和频率先验的加权组合。
• 约束条件： 词表上限设定为 600 个叶标签（在训练中出现次数 $\ge$ 10 次的标签），以确保可审计性和效率。该工作流优先考虑确定性的、可复现的排序，而非生成式的创新。

关键结果

• 元数据不对称性： 对 EUFCC-340K 数据集的分析揭示了元数据覆盖范围存在显著的不对称性。对象类型和材质字段较为密集（覆盖率约为 77–93%），而主题和分类字段则较为稀疏（在训练拆分集中，主题和分类的覆盖率分别为 6.7% 和 12.9%）。
• 共现性能： 在内测集（inner-test split）上，直接共现模型在所有维度上均显著优于频率基准。
  • 对象类型： Recall@5 从 0.190（频率）提升至 0.732（共现）。
  • 材质： Recall@5 从 0.379 提升至 0.790。
  • 分类： Recall@5 从 0.450 提升至 0.986。
  • 主题： 虽然测试集中的主题案例较少（228 例），频率基准达到了 Recall@5 为 1.000，共现模型也达到了这一数值（同样为 1.000）。然而，共现模型在 Recall@1（0.934 对比 0.272）和 Recall@3（1.000 对比 0.781）方面表现出显著优越的精度，证明了其在顶层列表中排列正确标签的优异能力。
• 模型复杂度： 混合模型并未一致性地优于简单的直接共现模型。研究发现，最简单的透明方法往往是最强大的，这表明当直接标签关系足够强时，复杂的图传播或混合先验可能并非必要。
• 分布偏移： 代表不同馆藏构成的外测集（outer-test split）显示，频率基准在低熵分布中可能会显得具有欺骗性的强大，而直接共现模型则对关系偏移保持敏感。这强调了进行特定拆分评估而非仅看聚合得分的重要性。

意义与主张
本文声称其主要贡献在于提供了一种可复现的信息组织工作流，将 AI 辅助的元数据增强视为一个可审计的排序问题。

• 可审计性与治理： 研究认为，文化遗产领域的高价值 AI 应通过可复现性、可解释性和来源保护来衡量，而非仅仅是预测准确度。通过使用观测到的共现关系，每一项推荐都可以追溯到特定的训练数据关系，允许专业编目员检查、验证或拒绝建议。
• 人机协同设计（Human-in-the-Loop）： 该工作流将 AI 定位为决策支持层，而非编目员的替代品。它提供经过排序的候选列表供人类进行验证，在降低评审成本的同时保留了专业判断。
• 实际落地： 该方法对技术资源的要求较低（无需大型神经网络、图像处理或专有 API），使其对规模较小的机构而言也具备可行性。它支持阶段性实施路径：元数据剖析、词表规范化、图构建、候选建议以及来源记录。
• 局限性： 作者明确承认，该方法会继承数据集的偏差（即放大现有的编目失衡），并且并未评估在现实场景中添加缺失标签的必要性或文化适切性。本研究侧重于在受控词表内进行现有标签的“恢复”，而非生成新的文化阐释。

总之，本文证明了透明的、基于共现关系的排序可以有效地支持数字文化遗产元数据的富集，为应对不透明的生成式 AI 模型提供了一种保守但可扩展的替代方案。