💬 NLP

Evaluating and Steering Modality Preferences in Multimodal Large Language Model

本文介绍了 MC² 基准测试，用于系统地评估多模态大语言模型（MLLMs）中的模态偏好，并揭示了这些偏好与任务性能相关，且可以通过一种基于表示工程的方法在无需额外微调的情况下，有效地将其引导至期望的方向。

原作者： Yu Zhang, Jinlong Ma, Yongshuai Hou, Xuefeng Bai, Kehai Chen, Yang Xiang, Jun Yu, Min Zhang

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Yu Zhang, Jinlong Ma, Yongshuai Hou, Xuefeng Bai, Kehai Chen, Yang Xiang, Jun Yu, Min Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明的助手，他能同时看图并阅读文字。你可能会认为这个助手在寻找答案时会平等地看待图片和文字。但如果这个助手其实有一个“心头好”呢？如果当图片说“红色”，而文字说“蓝色”时，这个助手每次都会盲目地信任文字，完全忽略图片呢？

这篇论文是关于发现这些 多模态大语言模型（MLLMs）——即处理图像和文字的 AI 大脑——通常拥有这些被称为 “模态偏好”（modality preferences） 的秘密偏好。

以下是研究人员的发现和做法，使用了简单的类比：

1. 问题所在：“有偏见的法官”

研究人员意识到，虽然这些 AI 在很多方面都很出色，但还没有人真正测试过当图片和文字发生冲突时它们会如何处理。

类比： 想象一个法庭，法官必须根据两名证人的证词来判定案件。证人 A（图像）说：“我看到了一辆红色的车。”证人 B（文字）说：“我看到了一辆蓝色的车。”
旧方法： 以前的测试会要求法官只听证人 A，或者只听证人 B。这并不能告诉我们当两人同时争吵时，法官更信任谁。
新方法 (MC2 基准测试)： 研究人员创建了一个名为 MC2 的特殊测试。他们设置了 2,000 个图片和文字明确矛盾的情景。
- 例子： 图片显示有四个男孩在玩飞盘。文字描述说：“有五个男孩，其中一个正在系鞋带。”
- AI 被问到：“这里有多少个人？”
- 如果 AI 说“四个”，说明它更倾向于视觉（图片）。
- 如果 AI 说“五个人”，说明它更倾向于文字。

2. 发现：大多数 AI 都是“文字崇拜者”

当他们在 20 个不同的 AI 模型上运行这项测试时，发现了一些令人惊讶的事情：

每个人都有偏好： 测试的每一个模型都表现出了明显的偏好。没有一个模型是真正中立的。
文字至上： 大多数模型（如流行的 LLaVA）都严重偏向于文字。即使图片显示的完全不同，AI 也会经常忽略图像而仅仅阅读文字。这就像一个学生忽略了教科书里的图表，只读标题，即便标题是错的。
规模越大并不一定越平衡： 有趣的是，随着模型变得越来越大（拥有更多的“大脑能力”），其中一些模型开始更多地信任图片，但许多模型仍然坚持其文字习惯。
“视觉比例”： 他们创建了一个名为 “视觉比例”（Vision Ratio） 的分数。如果一个模型的得分较高，它就是一个“视觉型思考者”；如果得分较低，它就是一个“文字阅读者”。他们发现，这个分数可以很好地预测模型在需要实际“观察”事物的任务中的表现。

3. 解决方案：AI 大脑的“遥控器”

这篇论文最令人兴奋的部分在于，他们不仅发现了问题，而且无需重新训练 AI（这就像是在尝试重新教育一个成年人）就解决了问题。

类比： 想象 AI 的内部大脑是一个充满了隐形开关的巨大房间。研究人员发现，对“文字的偏好”和“对图像的偏好”就像这个房间里两个特定的方向。
方法（表示工程/Representation Engineering）：
1. 探测（Probing）： 他们通过提问来寻找 AI 大脑中向文字倾斜的精确“方向”。
2. 转向（Steering）： 他们创建了一个数学上的“推力”（转向向量），就像一个遥控器。
3. 结果： 当他们施加这个推力时，他们可以物理性地引导 AI 的大脑，让它更信任图片或更信任文字。
- 例子： 如果一个模型通常会忽略图片并根据文字产生“幻觉”（编造事实），他们可以通过“转向”让它转而关注图片。

4. 为什么这很重要

研究人员展示了通过使用这种“遥控器”，他们可以让 AI 在困难任务上的表现大幅提升：

数学与逻辑： 当文字成为干扰项时，通过转向让 AI 信任图像，有助于它正确解决数学问题。
翻译： 在进行翻译时，他们可以转向让 AI 专注于文字，以避免被图片干扰而产生混乱。

总结

简而言之，这篇论文揭示了 AI 模型通常有一种“偏爱感官”（通常是阅读而非观察），这使得它们在信息冲突时会产生偏见。作者构建了一个测试来衡量这种偏差，并发明了一个无需训练的“转向轮”，让我们可以手动调节 AI 的注意力，使其在无需从头构建模型的情况下，变得更加可靠和准确。

技术摘要：评估与引导多模态大语言模型中的模态偏好

问题陈述

多模态大语言模型（MLLMs）在处理异构数据（文本、图像、视频）方面展现出了卓越的能力。然而，一个关键的差距在于：目前尚不清楚这些模型是否表现出模态偏好（modality preference）——即在处理冲突的多模态上下文时，是否存在系统性地偏向某一模态的倾向。现有的评估方法通常孤立地测试模态（例如，测试仅文本输入与仅图像输入的区别），或依赖于 Shapley 值，而这些方法无法反映模态共存且可能发生冲突的现实场景。此外，目前尚不清楚这些内在偏好是否是可控的，或者它们是否与下游任务的性能相关联。

研究方法

1. MC2 基准测试

为了严格评估模态偏好，作者引入了 MC2（Modality Context Conflict，模态上下文冲突）基准测试，旨在构建受控的证据冲突场景。

数据构建： 该数据集包含来自 8 个任务（如计数、属性识别、情感分析）的 2,000 个样本。数据源自 TDIUC 和 MS-COCO。
冲突机制： 对于每个样本，构建视觉上下文（ $c_v$ ）和文本上下文（ $c_t$ ），以针对特定问题（ $q$ ）提供相互矛盾的证据。
验证： 构建流程确保模型在进行冲突测试之前，能够准确理解两种模态（在单模态测试中达到 >95% 的准确率）。这消除了由于视觉识别能力差或内部知识偏差导致的混淆因素。
标注： 使用 LLM（DeepSeekV3, GPT-4o-mini）的半自动化框架生成干扰选项和冲突文本，随后通过人工验证以确保模态间的语义不一致性。

2. 评估指标：视觉比例

作者定义了视觉比例（Vision Ratio）来量化偏好：
$\text{Vision Ratio} = \frac{S_{\text{vision}}}{S_{\text{vision}} + S_{\text{text}}}$
其中 $S$ 代表模型响应与视觉或文本上下文对齐的样本比例。比例 > 0.5 表示偏向视觉；< 0.5 表示偏向文本。

3. 驱动因素分析

研究调查了驱动这些偏好的因素：

注意力模式： 作者将视觉比例与注意力比例（视觉注意力占总注意力的比例）进行了关联，发现不均匀的注意力分布驱动了偏好。
规模与训练： 实验表明，较大的模型通常表现出更强的视觉偏好。此外，使用多模态冲突数据进行微调会改变偏好，这表明在训练过程中接触冲突上下文会影响这些偏差。

4. 用于引导的表示工程

基于“模态偏好被编码在潜在表示中”这一发现，作者提出了一种无需训练的引导方法：

探测（Probing）： 使用指令查询模型，使其优先考虑视觉或文本。计算最后一层最后一个 token 的隐藏状态差异（ $x^t_{i,\ell} - x^v_{i,\ell}$ ），以确定模态偏好方向向量（ $u^\ell_t$ ）。
层选择： 分析显示，在特定模型（如 Qwen2.5VL）中，第 20–23 层表现出最稳定且显著的偏好信号。
引导（Steering）： 在推理过程中，将缩放后的引导向量（ $s^\ell = w \cdot u^\ell$ ）添加到所选层的隐藏状态中。通过计算权重 $w$ ，使探测到的方向均值与原始分布对齐，从而确保干预有效且不破坏语言能力。

核心结果

MLLMs 中的模态偏好

普遍性： 所有 20 个测试的 MLLMs 都表现出明显的模态偏好。
文本偏好： 大多数模型（如 LLaVA1.5-7B）表现出强烈的文本偏好（视觉比例约为 13.4%），符合“语言先验”假设。
视觉偏好： 像 Qwen2.5VL 和 InternVL3 这样的模型表现出更强的视觉偏好，且这种偏好随模型规模的增大而增强。
相关性： 视觉比例与下游基准测试（如 MathVista, TallyQA）中的视觉理解性能之间存在强正相关性（ $\rho = 0.964$ ），表明偏好是能力的可靠指标。

引导的有效性

所提出的表示工程方法成功地引导模型转向所需的模态，而无需微调：

MC2 表现： 该方法在调整视觉比例方面优于基线方法（Zero-shot, Instruction Design, Chain-of-Thought, Few-shot）。例如，将 Qwen2.5VL-7B 引导向文本，使其文本对齐得分从 35.4% 提升至 63.6%。
下游任务：
- 推理： 在 MathVista（62.3% vs. 59.0% 基线）和 TallyQA（76.6% vs. 74.4%）上的准确率有所提高。
- 幻觉缓解： 在 PhD 基准测试中（特别是针对具有误导性文本的子集），向视觉引导显著减少了由冲突文本引起的幻觉。
- 翻译： 在 AmbigCaps（多模态机器翻译）上，通过减少对伪视觉线索的依赖，引导向文本提高了 BLEU 分数。

内部机制

注意力分析证实，引导方法成功改变了模型的注意力分布。当被引导向文本时，文本 token 的注意力权重显著增加（例如从 ~55% 增加到 ~83%），而视觉注意力则相应减少，验证了该干预是在表示层面运行的。

意义与主张

本文提出了三个主要贡献：

评估框架： 引入了 MC2，这是第一个用于系统评估 MLLMs 模态偏好的受控、大规模基准测试，它将偏好从理解能力中解耦出来。
对潜在空间的洞察： 研究揭示了模态偏好在 MLLMs 的潜在表示中是可引导且可识别的，为多模态推理机制提供了新的视角。
无需训练的控制： 所提出的探测与引导方法实现了对模态偏好的显式、可控调整，而无需额外数据或微调。这增强了模型在特定模态依赖至关重要的下游任务中的表现（例如，避免视觉推理中由文本引起的幻觉）。

作者总结道，理解并控制模态偏对于开发更可靠、更鲁棒的多模态系统至关重要，特别是在存在冲突信息的情况下。