🤖 AI

Selective LoRA for Visual Tokens and Attention Heads

本文介绍了 Image-LoRA，这是一种参数高效微调方法，它仅选择性地调整视觉令牌以及注意力头值路径的一个紧凑子集，从而在降低计算成本的同时保持冻结主干的纯文本性能。

原作者： Tiange Luo, Lajanugen Logeswaran, Jaekyeom Kim, Justin Johnson, Honglak Lee

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Tiange Luo, Lajanugen Logeswaran, Jaekyeom Kim, Justin Johnson, Honglak Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和类比对该论文的解读。

核心理念：“仅视觉裁缝”

想象你有一位非常聪明、博览群书的图书管理员（即视觉 - 语言模型或 VLM）。这位管理员擅长阅读书籍（文本），但现在被要求学习如何描述图片（图像）。

通常，当我们想教这位管理员一项新技能时，会使用一种称为LoRA（低秩自适应）的方法。把 LoRA 想象成给管理员提供一套带有新指令的便利贴。标准的做法是在每一页上都贴一张便利贴，无论那页是图片还是纯文本。

问题所在：
该论文认为，这种“每页都贴便利贴”的做法是浪费的。

很混乱：管理员的阅读理解能力（文本推理）原本已经完美无缺。在文本页上添加笔记可能会意外破坏他们的阅读技能。
很昂贵：在成千上万页文本上写笔记需要耗费大量时间和精力，尽管管理员只需要学习关于图片的内容。

解决方案：Image-LoRA
作者提出了一种名为Image-LoRA的新方法。他们不像以前那样到处贴笔记，而是像一位外科裁缝，只缝补那些需要修改的服装部分。

以下是 Image-LoRA 的工作原理，分为三个简单步骤：

1. 只触碰“图片页”（Token 选择性）

在计算机模型中，图像被分解为许多称为“视觉 Token"的小块，而文本则被分解为“文本 Token"。

标准 LoRA：更新模型中所有Token（文本和图像）。
Image-LoRA：仅将更新应用于视觉 Token（图片部分）。
类比：想象管理员正在阅读一本漫画书。标准 LoRA 会重写对话气泡（文本）和图画。而 Image-LoRA 会说：“我们只需要修正图画。让对话气泡保持原样。”这确保了管理员在学习图片知识的同时，不会忘记如何阅读文本。

2. 只使用“最好的眼睛”（Head 选择性）

在模型内部，有许多“注意力头”。可以将它们想象成不同的眼镜或专门观察数据的不同眼睛。

标准 LoRA：试图调整所有眼睛，希望其中一些能更好地看清图片。
Image-LoRA：首先进行快速测试，看看具体哪些眼睛实际上擅长看图。然后只调整那些特定的眼睛。
类比：与其给人群中的 100 个人都配新镜片，不如先找出那 20 个真正在看图的人，只给他们配新眼镜。这节省了巨大的精力。

3. 只改变“内容”（Value 路径选择性）

在模型的“眼睛”内部，有不同的部分：一部分决定看哪里，另一部分决定看到什么。

标准 LoRA：可能会试图改变眼睛看的位置以及看到的内容。
Image-LoRA：只改变眼睛看到的内容（即"Value"路径）。
类比：想象管理员正在看一张猫的照片。“看哪里”的部分决定看猫的脸。“看到什么”的部分决定猫是毛茸茸的且是橙色的。Image-LoRA 只更新“看到什么”的部分，以使对猫的描述更准确，而不会搞乱“看哪里”的部分。

为什么这很重要？（结果）

该论文在多项任务上测试了这种方法，例如在截图中查找物体（ScreenSpot-Pro）和回答关于图像的问题（TextVQA）。

更快、更便宜：因为它跳过了文本页并忽略了“不好用”的眼睛，所以训练所需的计算能力（FLOPs）要少得多。在某些情况下，其训练速度比标准方法快 4 到 5 倍。
同样聪明：尽管使用的资源更少，但在视觉任务上的表现与标准方法一样好。
保护阅读技能：在教完图片知识后，当他们用纯文本数学题（GSM8K）测试这位管理员时，Image-LoRA 管理员没有损失任何阅读能力。然而，标准方法实际上在数学方面表现稍差，因为它搞乱了文本页。

总结

Image-LoRA 是一种更智能的教 AI 模型认识图片的方法。它不是重写整本书，而是只编辑图片，只使用最好的眼睛去观察它们，并且只改变所见内容的描述。这使得训练更快、更便宜，并且对模型现有的阅读技能更安全。

以下是论文《面向视觉 Token 与注意力头的选择性 LoRA》（Image-LoRA）的详细技术总结。

问题陈述

标准低秩自适应（LoRA）是大型模型参数高效微调（PEFT）的广泛使用方法。然而，当应用于视觉 - 语言模型（VLMs）时，标准 LoRA 施加了较弱的结构先验：它对所有 Token 位置（系统文本、用户文本、视觉 Token 和输出 Token）以及所有注意力头应用相同的低秩更新。

作者认为，这种“全 Token、全头”的方法对于 VLMs 而言既低效又可能有害，原因如下：

异质性：VLM 输入混合了不同的模态。先前的研究表明，只有特定的注意力头对视觉任务（如定位、指向）至关重要，而其他头则处理语言。
不必要的扰动：适应所有 Token（包括纯文本），即使在使用多模态数据时，也可能不必要地扰动从冻结的语言骨干网络继承的强大语言推理能力。
低效性：对提示文本和答案 Token（不包含视觉信息）应用更新，会在训练期间浪费计算资源（FLOPs）和参数。

方法：Image-LoRA

作者提出了Image-LoRA，这是一种面向视觉的 PEFT 方案，将 LoRA 视为 Token 级别的残差更新（ $Y = XW + X\Delta W$ ），并根据三种形式的选择性限制该更新：

1. Token 选择性（仅限视觉）
Image-LoRA 不是将整个序列应用适配器，而是仅在视觉 Token 跨度（ $I_v$ ）上注入残差更新。

对于纯文本输入（ $I_v = \emptyset$ ），适配器处于非活动状态，模型完全遵循冻结的基础网络。
这保留了模型的纯文本推理能力，并通过跳过提示和答案 Token 的计算，减少了训练 FLOPs。

2. 头选择性（注意力头的子集）
Image-LoRA 仅更新紧凑的注意力头子集，而非所有头。选择由单次传递的影响估计决定：

在每个头上附加一个轻量级的秩 -1 探针（仅限视觉 Token）。
系统在探针集上运行单次前向 - 后向传递，以计算损失对每个头更新的敏感性（影响分数）。
头按此分数排名。为了确保多样性，在从梯度导出的多样性特征上应用“余弦最远优先”选择。
全局预算（ $K_{sel}$ ）根据温度参数（ $\tau$ ）在各层之间分配，该参数控制预算在多大程度上遵循各层的聚合重要性。

3. 投影选择性（仅值投影）
在选定的头中，适应仅限于值（Value, V）投影。

理由：从文本 Token 的角度来看，视觉键决定了在哪里关注，而视觉值决定了检索什么内容。更新视觉值会改变语言模型消耗的视觉证据，而不会直接修改注入点处的非视觉 Token 表示。
消融研究表明，这种“仅 V"设计优于适应 Q、K 或 O 投影或其组合，特别是在图像密集的场景中。

额外机制：

参数共享：LoRA 分解（ $\Delta W = AB$ ）中的矩阵 $A$ 在层内所有选定的头之间共享，而 $B$ 保持头特定。这显著减少了可训练参数。
选择大小归一化：由于每层选定的头数量不同，缩放因子应用归一化因子 $\nu(N_{chosen}) = 1/\sqrt{N_{chosen}}$ 。这稳定了层间更新的幅度，防止增量总和随选定头数量的增加而增长。

主要贡献

Image-LoRA 框架：一种新颖的 PEFT 方法，将适应限制在视觉 Token、选定子集的注意力头以及值路径上。
效率：与标准 LoRA 相比，该方法显著减少了可训练参数和仅适配器的训练 FLOPs。
文本推理的保留：通过将文本 Token 排除在适应之外，该方法确保了在视觉任务微调后，纯文本推理能力（例如在 GSM8K 上）得以保留。
信息瓶颈：作者认为，更紧密的结构约束充当了有益的信息瓶颈，迫使模型依赖视觉证据而非表面的文本线索。

实验结果

作者在 Qwen2.5-VL（7B 和 72B）、LLaVA-NeXT-7B 和 InternVL3-8B 上评估了 Image-LoRA，涵盖多个基准测试：

视觉定位（ScreenSpot-Pro, RefCOCO）：
- Image-LoRA 匹配或接近标准 LoRA（在所有 Token/头上适应 Q 和 V 投影）的准确率。
- 在图像 Token 密集的场景中（例如 1:5 的文本：图像比例），Image-LoRA 显示出有利的权衡，以显著更少的参数和 FLOPs 实现了相当的准确率。
- 对于 Qwen2.5-VL-7B 在 ScreenSpot-Pro 上，Image-LoRA 使用的参数约为标准 LoRA 的1/4，且 FLOPs 显著更少。
泛化能力（TextVQA, VideoQA）：
- 该方法泛化到富含文本的图像问答和视频问答，保持了与标准 LoRA 相当的性能。
纯文本保留（GSM8K）：
- 在视觉任务微调后，Image-LoRA 模型保留了其在 GSM8K（数学推理）上的原始性能，而标准 LoRA 模型则显示出轻微的性能下降。
信息瓶颈（ViLP）：
- 在旨在测试对语言先验与视觉证据依赖关系的 ViLP 基准测试中，Image-LoRA 比标准 LoRA 高出7.67%，表明该方法成功减少了通过语言先验进行的“捷径”行为。

意义与主张

论文声称，Image-LoRA 为 VLMs 提供了一种更具针对性和高效的适应策略。通过承认 VLM 输入的异质性，该方法：

提高效率：在不牺牲视觉任务性能的情况下，大幅降低了微调的计算成本（仅适配器的 FLOPs）和可训练参数的数量。
保护语言能力：它防止了适应所有 Token 时常见的纯文本推理技能退化。
增强视觉定位：更紧密的信息瓶颈有助于模型更多地依赖视觉证据，从而在语言先验可能产生误导的任务中提高性能。

作者指出了局限性，包括需要高效的内核级优化来处理推理期间视觉 Token 的动态路由，以及目前依赖于特定的头选择启发式方法，这一点有待进一步探索。