💻 computer science

Conservative Proxy Prompting for Reliable Frozen Vision–Language Models with Missing Modalities

本文提出了保守代理提示（Conservative Proxy Prompting, CPP），这是一个参数高效的框架，通过构建特征空间代理表示并保守地调节其贡献以避免误导性信号，从而增强冻结的视觉语言模型在模态缺失情况下的可靠性。

原作者： Xiaoyong Mei, Wei Ji, Jiale Dong, Chao Duan, Mingyan Zhang, Fudan Zheng

发布于 2026-09-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaoyong Mei, Wei Ji, Jiale Dong, Chao Duan, Mingyan Zhang, Fudan Zheng

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，出现了一类被称为视觉语言模型（vision-language models）的新兴系统。这些数字大脑通过同时观察图像和阅读文本来理解世界，学习图像与文字如何相互关联。由于它们是在大规模的配对图像和文本集上进行训练的，因此在描述照片或回答有关场景的问题等任务中表现得异常出色。然而，这些系统建立在一个脆弱的假设之上：即它们将始终同时接收到图片和描述。但在混乱的现实世界中，这很难得到保证。传感器会失效，数据会在传输过程中丢失，隐私过滤器可能会剥离掉描述，导致系统只剩下它所期望的一半信息。当一个经过完整配对数据训练的模型突然被迫仅凭碎片信息进行猜测时，它的信心往往会崩溃，其答案也会变得不可靠。研究人员面临的挑战不仅是帮助模型进行猜测，而是要教会它区分什么是它真正看到的，什么是它仅仅在推断的。

来自浙江师范大学和中山大学的研究团队开发了一种名为“保守代理提示”（Conservative Proxy Prompting）的新方法来解决这个问题。他们的这种方法承认了人工智能的一个基本事实：当模型必须根据所见内容来猜测缺失的信息时，这种猜测本质上是不确定的。想象一个人在餐厅里尝试识别一道菜。如果他们既能看到食物又能看到菜单，他们是确定的；如果菜单缺失了，他们可以通过观察食物来猜测菜名，但他们应该对自己的答案保持些许不确定感。现有的方法通常试图将缺失的信息重建为真实存在，实际上是将一次猜测赋予了与直接观察同等的权重。研究人员认为这是危险的，因为重建的数据仅仅是一个估计值，将其视为事实会误导系统。相反，他们的新框架将这些猜测视为“代理”证据——有用，但需要谨慎对待。

其核心解决方案包含一个两步走的策略，可以在无需从头开始重新训练现有强大AI模型的情况下进行操作。首先，系统使用一种称为“提示学习”（prompt learning）的技术，通过仅使用极少量的可调参数，温和地引导模型的理解力向特定任务（如识别电影类型或食物种类）靠拢。这使得模型能够在不重构整个大脑的情况下，保持对特定工作的敏锐度和准备状态。第二，也是最重要的一点，系统引入了一个处理缺失数据的机制。当图片缺失时，系统利用文本来勾勒出图片可能呈现的样子；当文本缺失时，系统则利用图片来猜测文字。但关键的区别在于：在将这些猜测出的信息与真实数据混合之前，系统会刻意缩小其影响力。它应用了一个“保守”过滤器，降低猜测的权重，使其在支持决策的同时不会压倒直接证据。这确保了如果猜测错误，它不会把最终答案也带偏。

为了测试这一想法，研究人员在三个非常不同的现实世界数据集上对其进行了严格测试。他们使用了一个包含电影海报和剧情摘要的集合、一个包含大量食物图像及食谱的数据集，以及一个旨在测试系统能否识别仇恨言论的具有挑战性的网络迷因（memes）数据集。在每种情况下，他们都通过随机移除数据中的图像或文本来模拟现实世界的故障，有时甚至会移除高达百分之九十样本中的信息。结果非常明确：这种新方法始终优于那些试图简单重建缺失数据的其他方法。通过控制猜测的影响力，即使在丢失大部分信息的情况下，该系统仍能保持高准确度。它证明了模型并不需要完美地进行猜测才能保持可靠，它只需要知道该在多大程度上信任自己的猜测。

研究还表明，这种可靠性并非以沉重的代价换取。该方法仅需极少量的可调参数（大约在160万到270万之间）即可实现这些结果。相比之下，其他试图实现类似鲁棒性的方法通常需要近三倍的可调设置。这种效率意义重大，因为这意味着系统可以快速适配新任务并易于存储，而不需要庞大的计算能力。研究人员发现，特定的“引导”设置数量很重要，但并没有一个适用于所有情况的“魔术数字”，适度的调整通常是最理想的状态。此外，该系统展示了其处理从未见过的情况的能力。即使仅在完整数据上进行训练，然后在缺失数据上进行测试，它也能很好地适应，这表明“对猜测保持谨慎”这一原则具有超越特定训练案例的泛化能力。

最终，这项工作将焦点从“完美重建缺失信息”转向了“管理重建过程中的不确定性”。研究人员证明，在一个数据经常不完整的世界里，最可靠的人工智能系统并不一定是那些试图填补每一个空白的系统，而是那些理解自身知识极限的系统。通过将推断出的信息视为一种有益但次要的声音，而非直接观察的对等伙伴，系统变得更加稳定和值得信赖。这种方法为在现实世界中部署智能系统提供了一条切实可行的路径——在现实中，传感器会损坏，数据会丢失，而这一方法确保了即使在无法看到全貌时，这些工具依然能够发挥作用。

技术摘要：面向可靠冻结视觉-语言模型在模态缺失场景下的保守代理提示（Conservative Proxy Prompting）

1. 问题陈述

冻结的视觉-语言模型（VLMs），如 CLIP 和 SigLIP，通过在大规模预训练中学习对齐的图像-文本表示，展示了强大的迁移能力。然而，在实际应用场景中，由于隐私限制、传感器故障或传输中断导致其中一种模态（图像或文本）不可用时，其可靠性会显著下降。

现有的处理缺失模态的方法通常分为两类：

模态补全（Modality Completion）： 这些方法试图重建缺失的输入或潜在表示（例如，通过扩散模型或掩码学习）。虽然它们提供了补充信息，但重建的特征是估计值，可能包含不确定的信号或语义不一致性，从而可能在推理过程中引入误导性证据。
缺失感知适配（Missing-Aware Adaptation）： 这些方法将模态可用性纳入架构或提示学习策略中。然而，大多数现有的基于提示的方法假设观测是完整的，或者未能明确区分直接观测到的证据与推断出的代理表示之间的可靠性。

本研究解决的核心挑战是：如何使冻结的 VLM 能够适应不完整的观测，同时避免将不确定的、推断出的代理特征视为等同于真实的、观测到的证据，从而防止不可靠信息在多模态融合过程中的传播。

2. 方法论：保守代理提示 (CPP)

作者提出了 保守代理提示 (Conservative Proxy Prompting, CPP)，这是一个旨在使冻结的 VLM 在不完整观测下进行适配的参数高效型框架。CPP 通过三个连续阶段将任务适配与代理可靠性分离：

2.1 轻量级任务感知前缀 (LTP)

LTP 在提示适配之前，为文本输入引入任务相关的语义引导。它对输入描述进行轻量级变换，并通过原始 CLIP 分词器进行处理。至关重要的是，LTP 在不引入额外可训练参数或更新冻结文本编码器的情况下修改文本输入表示，在提供数据集级上下文的同时保留了预训练知识。

2.2 双流软提示适配 (D-SPA)

D-SPA 通过模态特定的可学习软提示来适配冻结 CLIP 主干网络的视觉和文本分支：

文本分支： 通过残差加法将可学习的提示标记（tokens）添加到标记嵌入序列中。
视觉分支： 将可学习的视觉提示标记与类别标记（class token）及图像块嵌入（patch embeddings）一起插入到图像编码器的输入序列中。
该阶段优化极少量的参数，以使冻结的表示空间与下游任务对齐，同时保持原始 CLIP 编码机制。

2.3 轻量级缺失感知可靠性控制 (LMRC)

这是处理缺失模态的核心创新。当模态 $r$ 不可用时，LMRC 利用观察到的模态通过定向仿射投影器（例如 $W_{I \to T}z_i^I + b_{I \to T}$ ）构建特征空间代理 $\hat{z}_i^r$ 。

与优化显式恢复的补全方法不同，LMRC 将生成的代理视为不确定的辅助证据。为了调节其贡献，在多模态融合之前应用了**保守衰减（conservative attenuation）**操作：
$z_i^r = (1 - \delta_i^r)z_i^r + \alpha \delta_i^r \hat{z}_i^r$
其中：

$\delta_i^r$ 是指示模态 $r$ 是否缺失的指示变量。
$\alpha$ 是一个固定的保守系数（实验中设为 0.1），用于缩减推断代理的贡献。
观测到的模态特征保持不变。

此外，缺失类型嵌入（ $E_m[m_i]$ ）被拼接到融合后的特征中，以明确告知预测头模态的可用状态，从而使模型能够区分直接观测与代理辅助的表示。

2.4 优化

该框架使用一个轻量级的两层 MLP 作为预测头。优化仅依赖于标准的交叉熵（单标签）或平衡二元交叉熵（多标签）目标函数。不使用任何辅助重建损失、对抗目标或代理监督。仅更新轻量级参数（提示、投影器、嵌入和头部）；CLIP 主干网络保持冻结。

3. 核心贡献

论文概述了三个主要贡献：

框架提出： 引入了 CPP，这是一个参数高效的框架，能够在多种不同的不完整观测条件下实现可靠的冻结 VLM 适配。
可靠性感知策略： 一种新颖的策略，通过构建轻量级特征空间代理，并在融合前通过衰减来保守地控制其贡献。这明确减少了不确定推断信息的影响，将其与观测到的证据区分开来。
实证验证： 通过广泛的实验证明了在文本缺失、图像缺失和混合缺失设置下的鲁棒性能，且仅使用了极少的训练参数。

4. 实验结果

作者在三个基准数据集上评估了 CPP：MM-IMDb（多标签电影类型）、Food-101（细粒度食物识别）和 Hateful Memes（二分类）。

性能： 与强基线模型（MMP, MaPLe, DePT, DCP, SyP）相比，CPP 在 27 个“数据集–缺失率–模态”组合中的 25 个组合中取得了最佳结果。它表现出了持续的提升，特别是在高缺失率（70% 和 90%）的情况下。
参数效率： CPP 仅需要 1.6–2.7M 个可训练参数，显著少于最接近的基线模型 SyP 的约 5.8M 参数，却在大多数设置下实现了更高的平均性能。
消融实验： 移除保守衰减（CA）会导致性能下降，证实了不受控的代理特征会引入噪声。移除提示适配（PL）或任务感知前缀（LTP）也会导致性能下降，验证了表示适配和语义引导的必要性。
泛化能力： 当在完整配对数据上训练并在缺失模态场景下测试时（训练期间未进行缺失状态增强），CPP 保持了稳定的性能，展示了对未见缺失模式的强泛化能力。
可视化： UMAP 可视化表明，即使在缺失条件下，CPP 也能学习到结构化的多模态特征分布。跨模态检索分析表明，该模型在反映转移信息的确定性的同时，保留了有意义的语义对齐。

5. 意义与主张

论文声称，CPP 的意义在于其能够解决缺失模态学习中的可靠性差距。通过将代理信息的生成与利用明确分离，CPP 避免了将重建估计值视为真值的陷阱。

作者强调，他们的方法并不依赖复杂的重建机制或大规模参数更新。相反，它利用保守衰减机制，在降低不靠谱特征传播风险的同时，安全地利用来自可用模态的互补信息。该框架为在无法保证数据完整性的现实环境中部署冻结的 VLM 提供了一个实用的解决方案，并以极高的参数效率实现了鲁棒性。

论文最后进行了谦逊的总结，指出未来的工作可以探索自适应可靠性估计（动态调整 $\alpha$ ）并将框架扩展到更大的基础模型，但同时也断言，目前的固定保守系数为各种场景提供了一个鲁棒且有效的近似方案。