Are Neuro-Inspired Multi-Modal Vision-Language Models Resilient to Membership Inference Privacy Leakage?

技术摘要：受神经科学启发的多种模态视觉-语言模型及其对成员推理攻击的韧性

问题陈述
多模态模型（MMs），特别是视觉-语言模型（VLMs），在智能体 AI 应用（如机器人、医疗保健、身份验证）中的快速部署引入了新的隐私漏洞。虽然现有研究已广泛分析了单模态系统和大型语言模型（LLMs）面临的成员推理攻击（MIAs），但 VLMs 对黑盒 MIA 的韧性仍有待深入探索。在黑盒 MIA 场景下，攻击者向部署的 VLM 输入一张图像，并尝试通过分析生成的描述来推断特定的“图像-文本对”是否属于该模型的训练数据集。如果成功，这将构成隐私泄露，从而暴露敏感的训练数据。以往的研究表明，受生物学启发的神经网络表示可以提高单模态模型对抗对抗性攻击的韧性，但目前尚不清楚神经启发式的结构正则化是否能减轻复杂多模态 VLM 中的隐私泄露问题。

方法论
本研究引入了一个系统性框架，用于评估并增强 VLM 对基于图像-文本 MIA 的韧性，该框架采用了神经科学启发的拓扑正则化（称为 $\tau$-正则化）。

• 威胁模型： 本研究在严格的黑盒设置下运行。攻击者无法访问模型权重、梯度或内部嵌入。他们只能向目标模型 $M_\tau$ 提交输入图像 $u$，并观察生成的描述 $v'$。攻击者拥有参考描述 $v$（地面真值），并使用相似度指标来推断成员身份。
• 拓扑正则化 ($\tau$-正则化)： 核心方法是通过修改后的损失函数对预训练的 VLM 进行微调：
  $$J_\tau = J_{cap} + \tau \cdot R_{topo}$$
  其中 $J_{cap}$ 是标准的描述损失（交叉熵），而 $R_{topo}$ 是一个拓扑正则项，它通过将特征图与模糊后的对应物进行对齐，来鼓励更平滑、空间组织更严密的内部表示。标量 $\tau$ 控制这种归纳偏置的强度。
• 实验配置：
  • 模型： 评估了三种 VLM：BLIP、PaliGemma 2 和 ViT-GPT2。
  • 数据集： 在 COCO、CC3M 和 NoCaps 上进行了实验。
  • 变体： 模型在三种配置下进行了测试：
    • 基准 (Baseline)： $\tau = 0$（标准微调）。
    • NEURO： $\tau = 2$（中度拓扑正则化）。
    • NEURO++： $\tau = 3$（强拓扑正则化）。
  • 攻击机制： 攻击者使用 MPNet（语义相似度）和 ROUGE-2（词汇重叠）计算生成的描述 $v'$ 与参考描述 $v$ 之间的相似度。高相似度得分表明该样本是训练集中的“成员”。攻击成功率通过 ROC-AUC 进行量化。

核心贡献

1. 框架引入： 本文引入了一个专门设计的拓扑正则化框架（$\tau$-正则化），用于微调多模态 VLM 以评估其对抗隐私攻击的韧性。
2. 首个神经 VLM 经验研究： 本工作首次调查了神经启发式结构正则化是否能提高 VLM 在黑盒 MIA 下的隐私韧性。
3. 广泛评估： 作者通过三种不同的 VLM 架构和三个基准数据集提供了全面的评估，对比了基准模型与神经启发式变体。
4. 隐私-效用权衡分析： 研究提供了关于隐私保护（降低攻击成功率）与模型效用（描述生成质量）之间权衡的定量证据，证明可以在不显著降低性能的情况下实现韧性。
5. 消融研究： 本文分析了不同正则化系数 $\tau$（从 0 到 3）以及攻击粒度的影响，以识别模型韧性的模式。

结果
实验表明，受神经启发式的 VLM 比其基准模型具有显著更高的 MIA 韧性，同时保持了相当的效用。

• 攻击成功率降低： 在使用 COCO 数据集的 BLIP 模型上，与基准模型相比，NEURO 变体（$\tau=2$）的 MIA 攻击成功率（以 ROC-AUC 衡量）下降了约 24%，而 NEURO++ 变体（$\tau=3$）下降了 30.5%。
  • 基准 BLIP (COCO)： ROC-AUC = 94.00%
  • NEURO++ BLIP (COCO)： ROC-AUC = 63.46%
• 跨模型与数据集的一致性： 在 CC3M 和 NoCaps 数据集上的 PaliGemma 2 和 ViT-GPT2 也观察到了类似的趋势。通常情况下，增加 $\tau$ 会降低 ROC-AUC，表明对 MIAs 的脆弱性降低。
• 效用保留： 至关重要的是，这种攻击成功率的降低并未以牺牲模型性能为代价。对于 NEURO 模型，生成的描述与参考描述之间的相似度得分（MPNet 和 ROUGE-2）与基准模型相似，甚至在某些情况下表现更好。例如，在 COCO 数据集中，成员样本与非成员样本之间的相似度差距缩小了，但整体描述生成质量（效用）得到了保留。
• 机制： 拓扑正则化似乎减少了模型对特定训练样本的记忆依赖。通过平滑内部表示，模型生成的描述对于训练数据而言不再具有明显的“记忆”特征，从而缩小了攻击者利用的成员与非成员之间的相似度差距。

意义与主张
本文声称填补了理解多模态 AI 隐私风险方面的关键空白。研究提供了经验证据，证明神经启发式拓扑正则化是一种有效的机制，可以在不损害效用的情况下减轻 VLM 中的隐私泄露。

作者得出结论，虽然 VLM 易受 MIAs 影响，但将生物学原理（特别是拓扑组织）纳入训练过程可以增强隐私韧性。这为部署“可信”的智能体 AI 解决方案提供了一条可行路径，即在保持高性能的同时保护隐私。这项工作强调了进一步研究的必要性，包括针对特定隐私-效用权衡优化 $\tau$ 参数，以及探索白盒攻击场景，但它已确立了 $\tau$-正则化作为黑盒环境下防御策略的有效性。