Evaluating Multimodal Input Combinations for Zero-Shot Summarization Across Indian Languages

技术摘要：评估跨印度语言零样本摘要的多模态输入组合

问题陈述
区域性印度语言数字新闻的快速激增，产生了对能够处理异构内容的自动化摘要系统的需求。传统的摘要流水线通常仅依赖于文章文本（标题和正文），未能利用多模态新闻文章中丰富的上下文信息，特别是随附的图像和读者评论。虽然多模态摘要在英语和高资源语言领域已取得进展，但印度语言的自然语言处理（NLP）由于缺乏多模态、对评论敏感的数据集以及可复现的开源框架，仍处于研究不足的状态。现有的评估往往依赖于在输入模态组合方面透明度有限的专有大语言模型（LLM）。本研究旨在填补这一空白，研究在面对标题、内容、图像 URL 和读者评论的各种组合时，轻量级开源序列到序列模型在零样本设置下的表现。

方法论
本研究提出了一个完全自动化的端到端 Python 流水线，在 Google Colab 环境中实现，用于基准测试五种预训练序列到序列 Transformer 模型：mT5、T5、BART、mBART 和 PEGASUS。

• 数据集： 研究采用了 COSMMIC（评论敏感的多模态多语言印度语语料库）数据集，该数据集包含 4,959 个“文章-图像”对和 24,484 条读者评论，涵盖九种语言（孟加拉语、印地语、泰米尔语、泰卢固语、马拉地语、古吉拉特语、卡纳达语、马拉雅拉姆语和奥里亚语）。数据包含人工编写的参考摘要。
• 实验设计： 评估以**零样本（zero-shot）**方式进行，这意味着没有任何模型在 COSMMIC 数据集上进行微调。这隔离了模型的固有预训练能力。
• 输入模态： 系统地测试了由四种模态组成的 15 种不同的输入组合：标题 (H)、内容 (C)、图像 URL (I) 和评论 (Co)。这些组合范围从单模态输入到全四模态组合 (H+C+I+Co)。值得注意的是，图像 URL 是作为原始文本字符串而非视觉特征进行处理的。
• 评估指标： 生成的摘要通过七个指标与参考摘要进行对比评估：ROUGE-1、ROUGE-2、ROUGE-L、METEOR、BERTScore Precision、BERTScore Recall、BERTScore F1 以及 CIDEr。
• 质量分类： 使用基于混淆矩阵的分类器将生成的摘要标记为“好”（ROUGE-L $\ge$ 0.50）或“差”（< 0.50），从而提供超越聚合统计数据的二元质量评估。
• 案例研究： 对语料库中规模最大的印地语子集进行了详细分析，以调查特定评论类型（“好” vs. “坏”）以及图像 URL 的边际效用。

核心贡献

1. 可复现的开源流水线： 作者引入了第一个用于 COSMMIC 数据集多模态摘要的完全自动化的开源流水线。它实现了数据获取、拆分、模型加载、生成和多指标评估的自动化，无需手动标注或访问专有 API。
2. 全面的零样本基准测试： 本研究提供了首个针对九种印度语言，对五种不同序列到序列模型（mT5、PEGASUS、BART、mBART、T5）进行所有 15 种输入组合系统性基准测试的研究。
3. 模态贡献分析： 通过测试输入模态的所有子集，本工作量化了标题、评论和图像 URL 对摘要质量的具体贡献，为系统架构师在资源分配方面提供了指导。
4. 质量分类框架： 集成了基于混淆矩阵的质量分类器，使得可视化“好”与“坏”摘要分布成为可能，提供了比单纯原始得分更直观的模型可靠性衡量标准。

结果与分析

• 模型性能： 在评估的模型中，mBART 在零样本设置下表现最为稳健，尤其是在印地语方面。这归功于其在 CC25 语料库中针对印地语进行的显式预训练。相反，T5 和 mT5 的表现较低，可能是由于它们以英语为中心或对这些语言的针对性不足。
• 输入模态影响：
  • 仅使用内容 (C) 提供了最强的基准性能。
  • 添加读者评论通常会提升指标，但评论的质量至关重要：“好”评论增强了摘要质量，而未经筛选或“坏”评论引入的噪声则会降低性能。
  • 图像 URL 在作为文本字符串包含时，在大多数语言中对 ROUGE-L 分数提供了微弱但一致的提升，这表明 URL 元数据可以作为弱监督信号。
  • 四种模态的全组合 (H+C+I+Co) 并不总是优于仅含内容的基准，这表明在零样本语境下，未经筛选的多模态输入可能会引入噪声。
• 跨语言差异： 性能在不同语言之间存在显著差异。印地语取得了最好的结果，而具有复杂脚本或黏着形态特征的语言（如马拉雅拉姆语、泰米尔语）得分较低，凸显了“数据规模效应”和脚本复杂性的挑战。
• 零样本局限性： 研究观察到大多数模型和语言的 ROUGE-2 得分极低（接近 0.00）。这强调了针对印度语言的零样本抽象式摘要仍然是一个重大挑战，且实际部署可能需要至少最小程度的任务特定微调。
• 人工制品识别： 对 mBART 输出的分析揭示了由于模型的间隔掩码（span-masking）预训练目标而产生的特殊标记（如 <extra_id_0>）的生成，这需要后处理或提示工程（例如添加 "summarize"）以获得最佳结果。

意义
本文建立了一个用于评估低资源印度语言多模态摘要的可复现基础框架。通过证明 mBART 是目前该领域最适合零样本任务的架构，并且评论质量是一个关键变量，本研究提供了具有操作性的见解。这项工作强调，虽然多模态输入具有潜力，但其集成需要仔细的过滤以避免噪声。最终，本研究认为，虽然零样本基准对于建立极限值很有价值，但通往印度语言实用、高质量摘要系统的路径需要超越零样本推理，转向经过微调的、针对特定语言的适配。