Continual Image-Text Retrieval via Banzhaf Distillation from the Coalitional Game Perspective
本文提出了用于持续图像-文本检索的 Banzhaf 蒸馏网络（BDNet），该网络通过从联盟博弈视角出发，利用 Banzhaf 估值对高阶标记交互进行建模，以解决语义失配和知识混淆等挑战，从而在增量会话中保留结构化跨模态知识。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
互联网上充斥着图像及其描述性的文字，这是一个巨大的数字图书馆，一张日落的照片可能会与一首诗、一段新闻说明或一条随意的社交媒体帖子配对。为了让计算机理解这个世界，它们必须学会将这两种不同的语言联系起来：像素的视觉语言和句子的语言。这项被称为“图文检索”的任务，是实现通过输入描述来寻找特定照片，或为图像寻找合适说明背后的引擎。然而，现实世界并不会一次性把所有数据都交给我们。相反，信息以稳定的流形式源源不断地到来，日复一日，带来新的主题、新的风格和新的语境。一个仅在去年关于猫的照片上训练过的计算机，可能会在面对今天出现的新品种狗或对场景的不同描述方式时感到吃力。这种在学习新内容的同时又不遗忘既有知识的持续学习挑战，正是研究人员试图解决的核心谜题。
在一项新的研究中，来自北京工业大学的一个研究团队提出了一种全新的方法，旨在帮助计算机处理这种连续不断的视觉和文本信息流。他们将这种方法称为“班扎夫蒸馏网络”（Banzhaf Distillation Network）。为了理解为什么这很有必要，请想象一台计算机试图将“一家人在客厅里坐着”这样的句子与一张照片进行匹配。一台简单的计算机可能只会寻找“家庭”和“房间”这两个词，并查看它们是否出现在图像中。但人类的理解更为微妙；它依赖于这些词汇和视觉部分如何作为一个整体协同工作。研究人员意识到，现有的方法往往将这些连接处理得过于简单，即逐个观察单词和图像块，从而忽略了它们之间复杂的相互关系。当计算机学习一项新任务（例如识别医学图表）时，它往往会忘记如何处理之前的任务（例如识别动物）。这种“遗忘”之所以发生，是因为计算机未能保留不同类型数据之间图像与文字关系的深层结构化理解。
该团队的解决方案从被称为“合作博弈论”的一个数学分支中汲取了灵感，该理论研究的是群体中的玩家如何为共同目标做出贡献。在他们的框架中，研究人员将图像的每一个微小部分和句子中的每一个单词都视为一场游戏中的个体玩家。他们提出了一个特定的问题：当一个特定的词与一个特定的图像部分成对出现时，尤其是在其他词汇和图像部分环绕的情况下，该词和该图像部分对整体意义的贡献是多少？通过计算这种贡献，他们可以衡量视觉细节与文本描述之间连接的真实价值。这种被称为“班扎夫估值”（Banzhaf valuation）的方法，使计算机不仅能看到孤立的匹配，还能看到赋予场景完整意义的错综复杂的关联网。这是一种教导机器理解“坐着”这个词只有在结合了周围的人和家具时，才能获得其完整意义的方法。
研究人员构建了一个利用这种博弈论思想来引导学习过程的系统。当计算机遇到新数据时，它会使用一个特殊的模块来保留已经学到的结构化知识。该系统不仅仅是记忆哪些词匹配哪些图片，而是记住它们之间关系的强度。它通过比较当前场景的理解与之前的理解来实现这一点，从而确保细粒度的细节——例如“火车”如何与“车站”相关联，或“船”如何与“水”相关联——在接收新信息时不会丢失。该系统还采用了“提示学习”（prompt learning）技术，即添加微小的、可调节的提示来辅助数据，帮助计算机适应新的图像类型或写作风格，而无需进行完全重新训练。这使得计算机能够保持灵活性，在学习新事物的过程中保持旧知识完好无损。
为了测试他们的想法，研究人员在多个不同的数据集上进行了实验，范围涵盖了从日常照片和说明的集合到专门的医学图像和遥感图像。他们将这个新系统与用于此类持续学习的其它领先方法进行了对比。结果表明，在学习新任务的同时保留过去任务的能力方面，该方法具有显著优势。在计算机需要学习一系列不同主题的情景下，他们的系统保持了很高的准确度，而其他方法则往往会遗忘早期的课程。例如，在要求基于文本描述检索跨多个任务的图像时，他们的系统始终比竞争对手能更准确地对正确图像进行排序。研究表明，通过对单词和图像部分之间复杂的群体级交互进行建模，计算机可以进行更稳健的学习，并避免“遗忘”这一常见陷阱。
研究人员承认，他们的方法并非适用于所有情况的完美解决方案。在旧数据与新数据差异极大（例如从日常物体图片跳转到高度专业化的科学图像）的情况下，该系统仍然面临挑战。他们还指出，目前的方法要求计算机保留一些旧数据的样本以辅助学习过程，这在某些现实世界的应用场景中可能无法实现。尽管存在这些局限性，这项工作仍为计算机如何进行持续学习提供了一个引人注目的新视角。通过将图像与文本之间的连接视为许多微小部分之间的协作努力，研究人员提供了一种让计算机建立更稳定且更细腻的世界理解模型的方法，这种理解会随着遇到的每一件新信息而变得更加丰富。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。