🤖 machine learning

Fine-tuning Multi-modal LLMs with ART: Art-based Reinforcement Training

本文提出了 ART（基于艺术的强化训练），这是一种参数高效的微调方法，通过优化原始视觉输入将信息注入冻结的多模态大语言模型中，且无需修改其计算图，从而在实现与 LoRA 相当的准确度的同时，确保了与 vLLM 等高吞吐量引擎的兼容性。

原作者： Michal Chudoba, Sergey Alyaev, Petra Galuscakova, Tomasz Wiktorski

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Michal Chudoba, Sergey Alyaev, Petra Galuscakova, Tomasz Wiktorski

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢、训练有素的图书管理员（AI 模型），他知道如何阅读书籍并回答问题。然而，这位图书管理员是“冻结”状态的——你无法改变他的大脑，无法重写他的记忆，也无法向他的私人收藏中添加新书。通常情况下，为了教这位图书管理员一项新技能（比如解数学题或使用工具），你必须物理性地重构他的大脑，但这既缓慢又混乱，还会破坏图书馆的高速交付系统。

这篇论文介绍了一种名为 ART（基于艺术的强化训练） 的新方法。ART 不再试图重构图书管理员的大脑，而是通过在他开始阅读之前递给他一张特殊的、定制绘制的图片来教导他。

以下是其工作原理的拆解，采用简单的概念进行说明：

1. 问题所在：“重构”瓶颈

通常，为了让 AI 在特定任务上表现得更好，研究人员会使用一种叫做 LoRA 的技术。把 LoRA 想象成给图书管理员戴上一副定制的眼镜。这种方法效果很好，但存在以下问题：

它需要将新的硬件（权重）物理连接到图书管理员身上。
如果有许多位图书管理员同时工作，你必须不断地更换这些眼镜，这会减慢速度并导致交通拥堵。
它会破坏图书馆标准的、高速的交付卡车（如 vLLM 等引擎所使用的“计算图”）。

2. 解决方案：“神奇图片”（ART）

作者们意识到，现代 AI 模型已经具备了“看”图片的能力。于是他们决定不再尝试改变图书管理员的大脑，而是转而优化递给他的那张图片。

过程： 他们从一张普通的图像开始（例如，一本关于数学问题的数学书，或者一个代表科学问题的脑部图像）。
神奇之处： 他们运行一个计算机程序，对这张图片的像素进行数百万次的细微调整。这就像一位艺术家在原始照片上用肉眼看不见的、高频的图案进行反复涂抹。
结果： 图书管理员看到的仍然是那本“数学书”，但画作中隐藏的图案就像是一本秘密的说明书。图书管理员的大脑保持 100% 冻结且未发生任何变化，但这张图片却能精准地告诉他如何解决问题。

3. 如何运作：两步舞步

训练过程在一个循环中进行，就像教练与运动员的关系：

测试（Pass A）： AI 查看当前版本的图片，并尝试解决一个数学问题。如果它答对了，这张图片就会获得一个“做得好”的分数。
调整（Pass B）： 计算机根据得分，稍微改变图片的像素，以便让 AI 在下次表现得更好。
重复： 这个过程不断重复，直到图片被完美调优，能够解锁 AI 处理该特定任务的潜力。

4. 令人惊讶的发现：“AI 的隐写术”

关于最终生成的图片长什么样，作者有一个非常酷的发现。

它们看起来仍然像原始图像（数学书、大脑或工具）。
但如果你仔细观察，它们覆盖着奇怪的高频“噪声”或图案，看起来就像旧电视机上的雪花点。
类比： 想象你在明信片上用隐形墨水写了一封秘密信件，只有图书管理员能读懂。对于人类来说，它看起来只是一张带有些奇怪划痕的普通明信片；但对于 AI 来说，那些划痕就是包含解决问题所需所有指令的密集代码。
证明： 作者发现，这些经过优化的图片文件体积变得大得多（例如，从一个 8KB 的小文件变成一个 98KB 的大文件）。这证明了即使图像看起来只是一张简单的图片，其中也封装了海量的“知识”。

5. 它真的有效吗？

研究人员在两种规模的 AI 模型（小型和中型）上，针对三类任务进行了测试：

数学 (GSM8K)： AI 在解决小学数学问题方面有了显著进步。
工具使用 (ToolMind)： AI 在调用特定计算机功能（如使用计算器或数据库）方面表现得更好。
硬核科学 (GPQA)： 该方法在处理非常困难、抽象的科学问题时效果并不理想。作者认为，对于这类困难任务，改变大脑（LoRA）可能仍然是更好的选择，因为“秘密图片”可能会分散 AI 的注意力。

结论：
对于数学和工具使用任务，ART 与标准的“重构大脑”方法（LoRA）一样出色，甚至有时表现更好。

为什么这很重要？

速度： 因为你没有改变大脑，所以不需要加载新的硬件。你的图书馆可以继续使用其超高速的交付卡车。
简单性： 你只需要发送一张图片和一个问题。无需复杂的工程设计即可使其运行。
便携性： “训练后的部分”仅仅是一个单一的图片文件。你可以通过电子邮件发送它、保存它或打印它。它是一个可以在任何冻结版本的 AI 模型上运行的、可移植的“技能”。

简而言之，ART 证明了你不需要为了让汽车跑得更快而去重建发动机；有时候，你只需要在仪表盘上画出一个非常特定的、秘密的图案，告诉驾驶员该如何驾驶。

技术摘要：使用 ART 对多模态大语言模型进行微调

问题陈述

虽然大语言模型（LLMs）已经演进为能够处理文本和图像的多模态大语言模型（MLLMs），但大多数下游任务（例如数学推理、代码执行、工具使用）仍然以基于文本的指令形式呈现。为了使这些模型专业化，参数高效微调（PEFT）技术（如 LoRA 和 Soft Prompting）被广泛使用。然而，这两种方法在高性能推理引擎（如 vLLM）的部署中面临着显著的障碍：

LoRA 需要动态加载适配器权重，这会导致显存碎片化、使预编译的 CUDA 图失效，并在为多个并发用户提供不同适配器服务时降低吞吐量。
Soft Prompting 需要将连续的嵌入向量注入到 Token 流中，这通常需要定制化的工程实现，从而破坏了高性能引擎中的优化，或禁用了前缀缓存（prefix caching）等功能。

本文指出，需要一种能够适配 MLLM 但无需修改模型权重，且不需要在生产环境推理引擎中进行架构规避的微调方法。

方法论：基于艺术的强化训练 (ART)

作者提出了 ART，这是一种通过仅优化原始视觉输入而非修改模型权重来适配冻结 MLLM 的方法。其核心直觉在于：视觉 Transformer (ViT) 和跨模态投影层充当了一个冻结的、预对齐的从像素坐标到模型嵌入空间的连续映射。通过通过梯度下降调整输入像素，可以在不触碰任何内部参数的情况下引导模型的文本输出行为。

技术实现

像素空间参数化：
- 可学习的图像从种子图像（或随机噪声）初始化，并在 Logit 空间中进行参数化（ $X_{raw}$ ），以确保在优化过程中像素值保持在有效的 [0, 1] 范围内。
- 在前向传播期间， $X_{raw}$ 被量化为 8 位 RGB 图像（ $X_{pixel}$ ）用于推理。
- 在反向传播期间，梯度相对于连续的 $X_{raw}$ 张量进行计算，该张量在输入冻结模型之前使用 ImageNet 统计数据进行归一化。
优化循环（两阶段）：
- 阶段 A (Rollout/展开)： 量化后的 8 位图像被发送到高性能 vLLM 引擎。引擎针对给定的文本查询生成 $N$ 个独立的补全结果。这些输出使用特定任务的奖励函数进行评分（例如，数学任务使用精确匹配，问答任务使用正确性）。
- 阶段 B (Backward/反向)： 梯度被路由回冻结的模型以更新 $X_{raw}$ 。作者利用了组相对策略优化 (GRPO) 结合 动态采样策略优化 (DAPO)。这消除了对独立评论家（Critic）模型的需求，从而节省了显存。目标函数使用带有 Token 级归一化和非对称剪切的 PPO 式代理损失，以稳定训练过程。
人工制品属性：
- 生成的优化图像是一个标准的 8 位 PNG 文件。
- 由于模型保持冻结，推理基础设施将 ART 条件下的推理视为标准的视觉语言请求，无需自定义权重管理器或内核修改。

核心贡献

新颖的微调范式： 引入了 ART，一种通过优化单张输入图像来适配冻结多模态模型的方法，绕过了权重修改的需求。
性能基准测试： 证明了 ART 在特定基准测试（数学和结构化工具使用）上可以达到或超过 LoRA 的性能，同时避免了权重空间微调带来的工程摩擦。
隐写术人工制品： 生成了“计算艺术”，其中微调信息被编码为图像中的高频视觉结构。论文指出，这些人工制品充当了一种“AI 隐写术”，存储了能够经受住从 32 位到 8 位剧烈量化影响的任务特定信息。

结果

作者在 Qwen3.5-0.8B 和 Qwen3.5-2B 模型上针对三个基准测试进行了评估：GSM8K（数学）、GPQA（研究生级问答）和 ToolMind（结构化工具使用）。

数学 (GSM8K)： 在 0.8B 模型上，ART 达到了 58.53% 的准确率，优于纯文本基线（39.65%）和 LoRA（49.51%）。在 2B 模型上，ART 与固定种子图像基线持平（81.20%），而 LoRA 略微落后（77.33%）。
工具使用 (ToolMind)： ART 在 0.8B 模型上表现出显著增益（73.80%，对比基线 36.65% 和 LoRA 69.50%）。在 2B 模型上，LoRA 略优于 ART（69.05% vs 67.15%），但两者处于重叠的置信区间内。
研究生级问答 (GPQA)： ART 在此任务上表现不佳，导致两个模型的性能均有所下降（例如，0.8B 模型从 23.44% 下降到 20.15%）。作者将其归因于该任务对高精度推理的要求，其中视觉前缀可能起到干扰作用。LoRA 在此处保持了微弱优势，但总体而言两种方法表现均较低。
效率： 在 GSM8K 上，ART 的训练速度比 LoRA 快约 2 倍；在 ToolMind 上快约 3 倍。使用 ART 进行推理也比 LoRA 更快，尤其是在 ToolMind 任务中，这可能是由于学习到的输出尺寸优化以及不存在适配器加载开销所致。
信息存储： 优化后的图像显示出无损 PNG 文件体积的大幅增加（例如，0.8B 模型在 GSM8K 上的体积从 8.5 KB 增加到 98.0 KB），表明梯度优化成功地将任务信息存储在 8 位量化后的视觉人工制品中。

重要性与主张

论文声称，ART 提供了一种非侵入式、高效的传统 PEFT 方法替代方案，特别是对于本地部署的小型 MLLM。通过将视觉输入通道重新定义为可训练接口，ART 实现了：

生产就绪性： 无缝集成到如 vLLM 等高吞吐量引擎中，无需动态权重加载或 CUDA 图失效。
竞争性性能： 在程序化任务（数学、工具使用）中，能够达到或超过 LoRA，因为在小型模型中，视觉通道的预对齐潜空间比解码器权重能更有效地提供任务信号注入点。
计算艺术： 创建了在视觉上具有显著特征的人工制品，将信息编码在高频噪声模式中，有效地将输入图像转变为一个可移植的、压缩的参数张量。

作者对泛化能力保持谨慎，指出实验仅限于 Qwen3.5 架构，并且该方法的有效性可能会因不同的视觉语言骨干网络或需要抽象推理的任务（如 GPQA）而有所不同。