💻 computer science

Once-For-All: A Train-Once and Select-Anytime Framework for Multimodal Instruction Tuning

本文提出了 OFA，这是一种一次训练即可迁移的数据选择框架，该框架在冻结的 CLIP 空间中对多模态指令进行聚类以识别信息丰富的样本，从而无需重新计算即可在不同数据集和模型规模上实现高效的指令微调。

原作者： Mingkang Dong, Hongyi Cai, Xiwen Lei, Jie Li, Tao Zhang, Muxin Pu

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Mingkang Dong, Hongyi Cai, Xiwen Lei, Jie Li, Tao Zhang, Muxin Pu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过向一个非常聪明的机器人（视觉 - 语言模型）展示数百万个“图片 - 问题”对，来教它理解世界。这就像试图通过给一个孩子朗读图书馆里的每一本书来教他一样。问题在于，这些书中的大多数要么是无趣的重复，要么是用令人困惑的语言写成的，要么干脆就是错误的。读完整个图书馆需要耗费永恒的时间，花费巨额电费，而机器人仍然可能学不到最重要的课程。

本文介绍了一种名为OFA（Once-For-All，一劳永逸）的新方法。把它想象成一位超级高效的图书管理员，他能够查看堆积如山的书籍，并瞬间挑出真正值得阅读的顶级 15%，而无需先读完整堆书。

以下是 OFA 的工作原理，分解为简单的步骤：

1. 问题：“噪音太多，信号不足”

当前挑选优质数据的方法，就像是为每一座新图书馆雇佣不同的专家。如果你想为科学图书馆挑选书籍，就雇佣一位科学家；如果你想为历史图书馆挑选书籍，就雇佣一位历史学家。如果你要教换了一个机器人，你就得雇佣一位新专家。这既缓慢又昂贵。

2. 解决方案：“一次性”图书管理员

作者构建了一个通用选择器（即图书管理员），它只需要训练一次。一旦训练完成，这位图书管理员就可以走进任何图书馆（数据集），并为任何机器人（模型）挑选出最好的书籍，而无需重新训练或重新雇佣。

3. 图书管理员如何工作（魔法技巧）

OFA 框架使用了一个巧妙的三步过程：

步骤 1：按“氛围”分组（聚类）
想象一下，利用一个已经理解图像和文本的预训练 AI（CLIP），将所有“图片 - 问题”对根据其“氛围”或主题分成 20 个不同的堆。这就像在不阅读全文的情况下将书籍按流派分类。
步骤 2：“置信度”测试
系统训练一个微小的、简单的 AI（选择器）来识别一本书属于哪个堆。但这里的技巧是：他们非常早地停止了该 AI 的训练。
- 如果 AI 对某本书非常自信（“哦，这绝对是一本‘猫’的书！”），那本书就是无聊且常见的。它是冗余的。图书管理员将其扔掉。
- 如果 AI 困惑或不确定（“嗯，这是一本‘猫’的书还是一本‘狗’的书？”），那本书就是有趣、复杂且有价值的。图书管理员将其保留。
- 类比： 想象一个学生参加练习测试。如果他们瞬间答对了一道简单的问题，说明他们已经掌握了。如果他们在一道题上挣扎，那正是他们需要学习以提高的地方。OFA 挑选的就是这些“挣扎”的问题。
步骤 3：“一劳永逸”的交接
一旦这个微小的 AI 训练完成，它就被冻结（锁定）。现在，你可以将这个冻结的 AI 用于完全不同的书籍图书馆或不同的机器人。它不需要学习任何新东西；它只需应用其“困惑=有价值”的规则。

4. 结果：更少的数据，更好的结果

该论文在两个大型数据集（LLaVA-665K 和 Vision-Flan-186K）上测试了这种方法。

在训练数据集上： 通过使用仅15%的数据（那些“困惑”的样本），OFA 达到了在 100% 数据上训练性能的98.3%。它节省了巨大的时间和金钱。
在一个新的、未见过的数据集上： 在第一个数据集上训练的图书管理员被应用到一个完全不同的数据集（Vision-Flan）上，无需任何重新训练。令人惊讶的是，在这个 15% 子集上训练的机器人，其表现实际上更好（110.6%），优于在完整数据集上训练的表现！这证明了“困惑=有价值”的规则在任何地方都适用。
在不同的机器人上： 他们使用 OFA 选择的数据来训练一种完全不同的机器人（Qwen2.5-VL-3B）。它完美运行，证明了这种选择并不局限于某一个特定模型。

5. 为什么这很重要

速度： 选择数据大约需要 9 小时，而其他方法需要 73 小时以上。
成本： 它节省了巨大的计算能力（GPU 小时）。
可重用性： 你只需训练一次选择器，就可以永远将其用于新数据和新模型。

总结： OFA 是一个智能过滤器，能在海量数据堆中找到那些“难但有用”的样本。它一次性学会这个技巧，然后就能将其应用于任何未来的数据或机器人，在节省时间、金钱和能源的同时，实际上让机器人变得更聪明。

技术摘要：用于多模态指令微调的“一次训练，通用选择”（OFA）框架

1. 问题陈述

多模态指令微调已成为将视觉 - 语言模型（VLM）适配到下游任务的标准范式。然而，大规模指令数据集（例如 LLaVA-665K、Vision-Flan）往往体量巨大、存在冗余，且偶尔包含标注错误的样本。尽管存在旨在提高训练效率的数据选择方法，但现有方法存在两个关键局限性：

计算成本：基于梯度的方法需要在整个候选池上对每个样本进行梯度计算，其成本高昂得令人望而却步。
缺乏可复用性：基于评分和基于复杂度的方法与生成信号时所使用的特定目标模型或数据集紧密耦合。因此，每当目标模型架构或候选数据集发生变化时，选择标准就必须从头重新计算，其成本往往与训练本身相当。

这造成了一个瓶颈，使得在数据集和模型频繁变化的动态现实场景中，数据选择变得不切实际。

2. 方法论：一次训练，通用选择（OFA）框架

OFA 提出了一种“一次训练，随时选择”的框架，将数据选择过程与目标 VLM 解耦。其核心洞察在于：可以在冻结的表示空间上训练一个可复用的选择器，根据样本固有的难度或歧义性来识别信息丰富的样本，而独立于被微调的模型。

该框架在三个主要阶段运行：

A. 多模态表示与聚类

冻结编码：所有图像 - 指令对均使用冻结的 CLIP 模型（ViT-B/32）进行编码。图像和文本分别编码后拼接，形成联合多模态特征向量，随后进行 $\ell_2$ 归一化。
聚类：对这些冻结特征应用 K-Means 聚类，将数据划分为 $K$ 个语义簇。这在不涉及任何目标 VLM 的情况下，揭示了数据集潜在的语义结构。

B. 基于聚类的伪标签与选择器训练

核心集构建：通过选择位于其簇中心特定半径（ $\gamma$ ）内的样本，构建“核心集”（ $D_{core}$ ）。这些样本被分配与其簇索引相对应的伪标签。
轻量级选择器：在 $D_{core}$ 上训练一个轻量级神经网络（即选择器），以预测簇伪标签。关键在于，该选择器仅训练少数几个 epoch（例如 3 个），并在收敛前被刻意早停。
信号：作者假设，一个部分训练的选择器会迅速对“典型”（冗余/简单）样本变得自信，但对“非典型”（信息丰富/困难）样本保持不确定。

C. 低置信度选择

评分：将训练好的选择器冻结，并应用于整个候选数据集。对于每个样本，选择器输出一个置信度分数，定义为最大类别概率（ $F(x_i) = \max_c p_{i,c}$ ）。
过滤：保留低置信度（低于每个簇的阈值 $\tau_k$ ）的样本作为信息丰富的子集，而丢弃高置信度（冗余）的样本。
可迁移性：由于选择器仅依赖冻结的 CLIP 表示，而不依赖目标 VLM 的梯度或参数，因此同一个冻结的选择器可以应用于：
1. 未见过的数据集：在选择器训练期间未出现的数据集。
2. 未见过的架构：不同规模和架构的目标模型。

3. 主要贡献

OFA 框架：一种数据选择框架，它在冻结的表示空间上一次训练可复用的选择器，从而消除了当数据集或目标模型发生变化时需要重新计算的必要性。
可迁移信号：识别出在冻结 CLIP 表示上选择器置信度低作为样本信息丰富性的通用信号。该信号仅取决于数据分布，而与目标模型无关。
实证验证：证明了源自单一数据集（LLaVA-665K）的单个选定子集，能够有效微调源数据集以及未见过的数据集（Vision-Flan-186K）和不同架构（Qwen2.5-VL-3B、LLaVA-v1.5-7B），且无需重新选择。

4. 实验结果

实验在 LLaVA-665K 和 Vision-Flan-186K 上进行，与全数据基线相比，使用 15% 的数据对 VLM 进行微调。

源数据集（LLaVA-665K）上的性能：
- OFA 在 10 个基准测试中达到了全数据性能的98.3%，优于 PreSel、CoIDO 和 XMAS 等最先进基线。
- 值得注意的是，OFA 在幻觉基准测试（POPE：87.5 对 86.4）上超越了全数据模型，表明所选的低置信度样本有效抑制了幻觉。
跨数据集迁移（Vision-Flan-186K）：
- 一个仅在 LLaVA-665K 上训练的选择器被直接应用于 Vision-Flan-186K，无需重新训练。
- OFA 在 Vision-Flan 上相对于全数据训练实现了**110.6%**的相对性能，超越了所有基线及全数据模型本身。这表明 Vision-Flan 中存在显著的噪声/冗余，而 OFA 成功将其过滤。
跨架构迁移：
- 从 LLaVA-665K 中选择的子集被用于微调结构不同的模型Qwen2.5-VL-3B。
- OFA 实现了**102.1%**的相对性能，超越了该架构下的随机选择和全数据训练。
效率：
- OFA 显著降低了总计算成本。虽然全量微调需要 76.0 GPU 小时，但 OFA（包括选择和微调）仅需20.0 GPU 小时。
- 选择过程本身仅耗时 9.0 GPU 小时，远快于 Self-Filter（73.5 GPU 小时）和 COINCIDE（55.5 GPU 小时）等方法。

5. 意义与主张

本文主张，OFA 解决了多模态指令微调中的一个根本性实际局限：当前数据选择信号缺乏可复用性。通过将选择过程与目标模型解耦，OFA 提供了一种单一、可复用的解决方案，在不同数据集和模型架构上均有效。

作者强调，基于在冻结 CLIP 特征上刻意欠训练的选择器所推导出的“低置信度”信号，能够泛化到训练期间从未见过的数据分布和架构。这种“一次训练，通用选择”的方法将数据选择从昂贵的、按任务进行的计算转变为一次性投入，从而实现了在资源受限或动态环境中对 VLM 的高效且稳健的训练。