Text as Partial Constraint: Core-Residual Alignment for Robust Vision-Language Learning

技术摘要：文本作为部分约束 (Text as Partial Constraint, TPC)

问题陈述
视觉-语言对齐是开放词汇识别、检索以及大型视觉语言模型（LVLMs）的基础。然而，自然语言监督本质上是不完整的：标题往往会忽略细节、依赖共享上下文或在措辞上存在显著差异。现有方法通常将每个标题视为一个完整的目标，迫使模型去对齐那些在其他有效描述中可能并不存在的特定视图细节。这导致了“脆弱”的匹配（即在面对同义改写时性能下降）、“过度自信”的预测（即模型在文本约束较弱时仍表现出高度确定性）以及下游大语言模型中的幻觉问题。本文指出，当前的模型过度承诺于“未言明”的残差（unsaid residuals）——即那些在同一图像的多个标题视图之间无法保持一致的、特定于视图的偏差。

方法论：文本作为部分约束 (TPC)
作者提出了 TPC，这是一个核心-残差对齐框架，它将自然语言标题重新定义为“部分约束”而非“完整目标”。该方法基于这样一个前提：一张图像的多个标题视图共享一个稳定的“共识核心”（consensus core），同时在“未言明”的残差空间中产生分歧。

该框架由四个关键组件组成：

1. 多视图共识核心 (Multi-View Consensus Core)： 对于具有 $K$ 个标题视图的图像，共识核心 $c_i$ 被定义为文本嵌入的归一化平均方向。该核心代表了共享的、视图不变的语义。
2. 单视图核心过滤器 (Single-View Core Filter)： 为了实现使用单个查询文本进行部署，训练了一个轻量级的线性过滤器 $\psi_\theta$，用于从单个视图嵌入 $t_{i,k}$ 预测共识核心 $c_i$。这确保了模型在推理阶段无需多个标题即可恢复鲁棒的语义目标。
3. 未言明残差抑制 (Unsaid Residual Suppression)： 文本嵌入被分解为预测的核心与正交的“未言明”残差 $r_{i,k}$。一种非承诺正则项（non-commitment regularizer）通过显式惩罚图像嵌入与这些残差之间的对齐，来防止模型过拟合于特定于视图的细节。
4. 不确定性感知对比对齐 (Uncertainty-Aware Contrastive Alignment)： 根据 $K$ 个标题视图相对于共识的核心分歧（方差）计算不确定性指标 $u_i$。该指标用于调节 InfoNCE 损失中的温度系数 $\tau_i$。当标题存在分歧（高不确定性）时，对齐过程会被“软化”以减少过度自信的更新；当它们一致时，对齐过程则会被“锐化”。

总训练目标结合了核心对齐损失、确保单视图过滤器与共识一致的协议损失，以及抑制残差的非承诺损失。

核心贡献

1. 形式化语言欠定性 (Formalization of Language Underspecification)： 本文将标题视图的变化形式化为一种语言欠定性，并指出过度承诺于“未言明”残差是导致脆弱性和幻觉的主要机制。
2. 核心-残差框架 (Core–Residual Framework)： 提出了一种优先考虑视图不变语义的训练原则，能够产生追踪文本约束强度的置信度分数，同时保持单查询的可部署性。
3. 理论证明： 作者提供了理论界限，证明通过增加核心对齐并减少残差敏感性可以提高鲁棒性。他们还证明了多视图共识作为一种去噪机制，对于不完整的文本监督具有统计学上的泛化保证。

实验结果
TPC 在零样本识别、对抗鲁棒性和 LVLM 迁移方面进行了评估：

• 零样本识别： 在 ImageNet 上，TPC 实现了 81.42% 的干净测试集和 64.05% 的鲁棒 Top-1 准确率，优于最强的鲁棒基准线 (Adv-W2S) 达 +5.58/+5.75。在 Avg-14 迁移套件上，它实现了 76.19% 的干净准确率和 52.03% 的鲁棒准确率。
• LVLM 迁移： 当作为 LLaVA-1.5-7B 的视觉编码器使用时，TPC 改善了物体幻觉指标，实现了平均 85.16 POPE F1 分数（超过 Adv-W2S +1.36）和 59.57 OKVQA 准确率。
• 鲁棒性分析： TPC 展示了对标题选择的低敏感性（较低的秩波动）以及在弱文本约束下更好的校准能力。在涉及受控标题删除的压力测试中，与标准的 CLIP 微调相比，TPC 保持了更高的准确率和更低的预期校准误差 (ECE)。

意义与主张
本文主张，将文本建模为部分约束是构建更可靠的视觉-语言表示的一种实用且有原则的途径。通过显式地分离稳定的语义核心与不稳定的、特定于视图的残差，TPC 解决了由于语言监督欠定导致的脆弱性根源。作者强调，这种方法不需要改变下游 LVLM 的架构，而是提供了一个更鲁棒的“感知骨干”，从而减少对弱信号的过度承诺。该方法被视为视觉编码器的即插即用替代方案，能够补充现有的解码端和连接器层面的幻觉修复手段。