💬 NLP

Attention, not scale, drives human-AI alignment in multimodal language prediction

本研究表明，对信息性视觉线索的选择性注意力，而非模型规模，是使基于 Transformer 的视觉语言模型能够在多模态语境下预测后续词汇时与人类行为保持一致的主要驱动力。

原作者： Viktor Kewenig, Andrew Lampinen, Samuel A. Nastase, Christopher Edwards, Quitterie Lacome D'Elascombe, Akilles Rechardt, Jeremy I Skipper, Gabriella Vigliocco

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Viktor Kewenig, Andrew Lampinen, Samuel A. Nastase, Christopher Edwards, Quitterie Lacome D'Elascombe, Akilles Rechardt, Jeremy I Skipper, Gabriella Vigliocco

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的通俗化解释，使用了日常类比。

核心问题：AI 与人类的“视觉”方式相同吗？

想象你正和朋友一起看电影。你们都听到一个角色说：“那个人要吃……” 在句子结束之前，你们直觉上都会看向桌子上的一块蛋糕，而不是一张汽车的照片。你正在利用视觉语境（蛋糕）来预测下一个即将出现的词。

这项研究在问：现代 AI 模型也是这样做的吗？ 当 AI 看到一段视频并听到一句话时，它是否会像人类一样，利用视觉线索来猜测下一个词？如果它是这样做的，是因为 AI 更“聪明”（拥有更多的脑力/参数），还是因为它拥有一种能够关注正确事物的特定机制？

实验过程：电影测试

研究人员设计了一个大型在线游戏。他们向 600 名人类参与者展示了 100 段短片（每段 6 秒长），素材取自两部著名电影（《致命诱惑》和《猜间》）。

任务： 在每段短片之前，他们会展示一个目标词（例如：“离开”）。
问题： 在观看完短片（有或没有声音）后，人类必须评分：“这段视频在多大程度上帮助你猜到了那个词？”
眼动追踪： 在观看过程中，研究人员通过网络摄像头追踪了他们的视线移动轨迹。

与此同时，研究人员让五种不同的 AI 模型接受了完全相同的测试。有些模型只能看到文本（字幕），而另一些模型则可以看到文本加上视频。

三大核心发现

1. 视觉语境是“秘密武器”

发现： 当允许 AI 模型在看到文本的同时也能看到视频时，它们在匹配人类预测方面表现得更好。如果只看文本，它们往往会感到困惑或猜错。

类比： 把没有视频的 AI 想象成一个蒙着眼睛试图猜出悬疑小说结局的人。他们只能根据文字进行猜测。但当你摘掉他们的眼罩（加入视频）时，他们就能看到角色正在注视的线索，他们的猜测也突然变得与人类的猜测一致了。

惊喜： AI 的规模并不重要。一个能看到视频的小型、聪明的模型，表现优于一个无法看到视频的庞大“巨型”模型。这就像是一个拿着放大镜的小侦探，比一个没有任何工具的巨人更能更好地破解案件。

2. “注意力”才是真正的英雄

发现： 研究观察了 AI 是如何处理视频的。他们对比了使用**“注意力机制”**（即允许 AI 专注于图像特定部分）的模型与不使用该机制的模型。

使用注意力机制的模型（如 Transformer）与人类的步调非常一致。
没有注意力机制的模型（如较旧的 ResNet 模型）即使规模相同，也无法与人类保持一致。

类比： 想象一个嘈杂的房间，每个人都在说话。

没有注意力： AI 就像一个试图同时听取所有人说话的人，被噪音搞得不知所措。它无法从背景噪音中分辨出重要的声音。
有注意力： AI 就像一个能把耳朵聚焦在某一个人的声音上，并忽略背景噪音的人。这种“调频”到相关视觉线索（比如桌上的蛋糕）的能力，正是让 AI 表现得像人类的原因。

3. AI “看”的地方与人类一致

发现： 研究人员将 AI 的“注意力图”（显示 AI 关注点的热力图）与人类实际的眼动轨迹进行了对比。

当存在清晰的视觉线索（如蛋糕）时，AI 的注意力图与人类注视的位置几乎完全一致。
特别是，AI 的“交叉注意力”（Cross-Attention，即它如何将所见与所闻结合的过程）最能追踪人类的眼动。它解释了人类注视位置约 70% 的原因。

类比： 这就像是在观察两个人看魔术表演。

人类： 当硬币出现时，他们的眼睛会转向魔术师的手。
带有交叉注意力的 AI： 它的“数字眼睛”也会在同一时刻转向那只手。
没有交叉注意力的 AI： 它的“数字眼睛”可能会盯着魔术师的帽子或背景，从而完全错过关键线索。

这意味着什么（简而言之）

论文的结论是：如何构建 AI 比 AI 有多大更重要。

旧观念： 我们曾认为更大的 AI 模型（拥有更多参数）会自动变得更像人类。
新现实： 模型需要合适的“眼镜”（注意力机制）才能像我们一样观察世界。如果一个 AI 被训练去忽略视觉线索，或者无法专注于这些线索，那么无论它规模多大，它都无法真正理解现实世界中的语言。

这项研究表明，为了让 AI 像人类一样真正理解语言，它必须能够选择性地关注场景中最重要的视觉线索，就像我们的眼睛所做的那样。

技术摘要：注意力机制而非规模，驱动多模态语言预测中的人机对齐

问题陈述
尽管生成式人工智能的最新进展表明，大型语言模型（LLMs）可以在单模态任务中模拟人类行为，但目前尚不清楚当前的视觉语言模型（VLMs）在生态化、多模态设置下能在多大程度上复制人类的预测处理过程。人类的语言理解通常会整合视觉上下文，以约束即将出现的语义内容空间，这一过程可以通过视觉世界范式（VWP）中的眼动追踪来表征。然而，目前尚不确定向计算模型引入视觉上下文是否能提高其与人类预测的一致性，还是这种一致性主要由模型规模（参数量）或特定的架构特征（如注意力机制）所驱动。此外，模型注意力模式在多模态预测中与人类注视之间的对应程度在很大程度上仍是一个未被探索的领域。

研究方法
作者进行了一项大规模的在线实验，涉及 600 名人类参与者和五种最先进的预训练系统（FLAVA、带有视觉适配器的 LLaMA、GPT-4、CLIP 变体和 BLIP）。

实验设计： 参与者观看 100 段来自《致命魔术》（The Prestige）和《非常嫌疑犯》（The Usual Suspects）的六秒电影片段。在“多模态范式”中，他们观看带有同步音频的视频片段；而在“单模态”条件下，他们仅接收纯音频或纯视觉刺激。参与者在 0–100 的量表上对刺激物对于预测特定目标词的相关性进行评分。实验过程中通过摄像头全程追踪其眼动情况。
计算模型： 研究评估了三种范式下的模型：
1. 单模态（仅文本）： 模型处理字幕或提示词，而不处理视觉输入。
2. 多模态（文本 + 图像）： 模型处理与视频帧同步的文本。
3. 基于提示词（Prompt-based）： 对于像 GPT-4 这样的闭源模型，使用人类指令作为提示词来生成确定性的可预测性估计（温度设定为 0）。
测试的模型：
- FLAVA： 一个拥有 13 亿参数的视觉-语言编码器。
- LLaMA-Adapter： 一个拥有 70 亿参数的纯文本模型，带有一个视觉适配器层。
- GPT-4： 包括纯文本版本和文本-图像版本。
- CLIP： 具有不同规模的 ResNet（无注意力机制）和 Vision Transformer（ViT，具有注意力机制）骨干网络的变体。
- BLIP： 一个具有交叉注意力机制的模型。
分析指标：
- 对齐度（Alignment）： 模型可预测性得分与人类相关性评分之间的皮尔逊相关系数，并针对“人类天花板”（留一参与者相关法）进行了修正。
- 注意力重叠（Attention Overlap）： 将模型注意力热图（来自 Transformer 层）与人类眼动热图进行比较，使用 Spearman 相关系数、归一化扫描路径显著性（NSS）和信息增益（IG）。
- 语义对齐（Semantic Alignment）： 使用表征相似性分析（RSA）将模型的内部表示与人类对视觉线索的语义判断联系起来。
- 消融实验（Ablation）： 通过操纵 CLIP ViT 中的注意力权重（设置为均匀分布或补丁打乱），以测试学习到的注意力的因果作用。

核心结果

视觉上下文增强了对齐度： 在所有架构中，添加视觉上下文都显著提高了模型与人类预测之间的一致性（平均 $\Delta r \approx 0.18$ ）。多模态 FLAVA 实现了最高的原始相关性（ $\rho = 0.42$ ），解释了约 72% 的可解释人类方差，在多模态设置下优于 GPT-4 和 LLaMA 等更大的模型。至关重要的是，参数规模与对齐度的提升并不相关；经过精心设计的较小模型表现优于规模更大的模型。
注意力机制至关重要： 具有 Vision Transformer (ViT) 骨干网络（包含注意力机制）的模型在预测人类判断方面显著优于具有 ResNet 骨干网络（无注意力机制）的模型，尤其是在视觉线索具有信息量（高人类可预测性）时。置换检验显示，在所有可预测性百分位中，ViT 均表现出一致的优势。
注意力消融证实了必要性： 当 CLIP ViT 中的学习注意力被替换为均匀注意力或补丁打乱注意力时，模型置信度与人类评分之间的正相关关系发生了逆转，这表明学习到的注意力之“内容”而非仅仅是机制的存在，才是驱动对齐的关键。
模型注意力镜像人类注视： BLIP 交叉注意力层（特别是第 9 层）的注意力图与人类眼动数据表现出最强的重叠，解释了高达 70% 的人类天花板方差。当存在语义显著的视觉线索时，这种对齐度最高。
跨模态整合： BLIP 的交叉注意力（它显式地将语言上下文整合进视觉注意力中）在与人类注视和语义判断的对齐方面，优于纯视觉注意力机制（BLIP-Vision）和对比学习模型（CLIP）。交叉注意力使模型能够追踪人类对语义线索（如物体、动作、环境）的预期性注视。
熵减（Entropy Reduction）： 视觉输入可靠地降低了模型的预测熵（例如，FLAVA $\Delta H = 0.26$ bits），证实了视觉上下文在约束模型预测分布方面的作用，这与人类认知受到的约束方式一致。

意义与主张
本文认为，对信息性线索的选择性注意力，而非单纯的模型规模，是多模态语言预测中实现人机对齐的主要驱动力。

架构约束优于规模： 研究结果挑战了“仅靠增加参数规模即可获得类人行为”的观点。相反，研究表明，能够有效整合多模态信息的架构特征（特别是交叉注意力）对于将语言锚定在视觉语境中更为关键。
多模态锚定（Multimodal Grounding）： 结果表明，在多模态数据上进行联合训练的模型（如 FLAVA 和 BLIP）可能比仅在文本上训练并事后进行适配的模型实现更好的行为对齐，这支持了有效的多模态处理需要具身或结构化对齐的观点。
作为一种机制的注意力： 研究提供了证据，表明 Transformer 注意力机制（尤其是跨模态注意力）的功能类似于人类注意力，即通过选择性地聚焦于语义相关的视觉信息来约束语言预测。模型注意力与人类注视的重叠表明，这些模型不仅是在进行统计上的数据处理，而且正在进行一种模仿人类认知策略的预测处理。
局限性与范围： 作者指出，虽然他们的模型可以近似人类行为，但对齐并不完美。他们强调，像 CLIP 这样的模型在缺乏预测性线索时倾向于关注边缘区域，而人类和交叉注意力模型则会将注意力集中在中心，这表明目前的架构在处理人类不确定性方面仍缺乏足够的灵活性。

总之，本文提出，实现多模态环境下类人 AI 的路径不在于简单地增加模型规模，而在于优化能够实现动态、语义引导的视觉与语言信息整合的架构机制——即注意力机制。