💻 computer science

F-TIS: Harnessing Diverse Models in Collaborative GRPO

本文提出了过滤截断重要性采样（F-TIS），这是一种通信高效的 GRPO 训练范式，它通过有效利用离线策略样本，使异构模型能够在去中心化环境中协同工作，从而实现与在线策略训练相当的收敛性，并可能提升在分布外任务上的泛化能力。

原作者： Nikolay Blagoev, Oğuzhan Ersoy, Wendelin Boehmer, Lydia Yiyu Chen

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Nikolay Blagoev, Oğuzhan Ersoy, Wendelin Boehmer, Lydia Yiyu Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一群学生如何解决复杂的数学问题。在人工智能的世界里，这种“教学”过程被称为强化学习（RL）。具体来说，这篇论文聚焦于一种名为GRPO的流行方法，它就像一个教室：老师提出一个问题，而学生们（AI 模型）同时尝试解答。

通常，为了达到最佳效果，每个学生都需要处于完全相同的水平，并使用完全相同的教科书。如果一个是天才，另一个刚起步，或者他们使用的是不同版本的教科书，老师就会感到困惑，学习过程会放缓甚至失败。这就是本文要解决的问题：当不同规模、技能和设置的 AI 模型共同工作时，如何教导这样一个混合群体？

以下是论文提出的解决方案F-TIS的简要说明，使用了简单的类比：

问题：“不匹配的教室”

在旧的方法（称为“策略内”或 on-policy）中，训练组中的每个人都必须是完全相同的。

瓶颈：生成答案耗时很长。为了加快速度，研究人员尝试将工作分散到多台计算机上。
漂移：如果你让不同的计算机处理同一个问题，它们数学计算中的微小差异（例如使用略有不同的计算器）会导致它们的答案逐渐偏离。
结果：当“老师”试图从这些混合答案中学习时，会获得嘈杂的数据。这就像合唱团中每个人都在唱略有不同的曲调；指挥（训练算法）感到困惑，歌曲（AI 的性能）随之崩溃。

解决方案：F-TIS（智能过滤器）

作者提出了一种名为**截断重要性采样过滤（Filtered Truncated Importance Sampling, F-TIS）**的新方法。这就像一个智能的课堂管理系统，能够完美处理混合学生群体。它有两个主要技巧：

1. “截断”规则（安全上限）

想象一个学生给出的答案与老师的预期截然不同。在旧方法中，老师可能会因为这种巨大的差异而过于兴奋或恐惧，从而反应过度，毁掉课程。

F-TIS对这些狂野、不同的答案设置了权重“上限”。它表示：“好的，我们听到了你的声音，但我们不会让你的疯狂答案过于剧烈地改变我们的教学计划。”即使学生差异很大，这也保持了训练的稳定性。

2. “过滤器”（垃圾桶）

有时，学生给出的答案不仅不同，而且糟糕或令人困惑（比如胡言乱语）。

F-TIS有一个过滤器，在老师从中学习之前先检查答案。如果答案偏离太远或过于令人困惑，它就会被扔进学习的“垃圾桶”中。
关键的是：老师仍然使用这些“垃圾”答案来推断班级的平均难度，但不让它们教导学生不要做什么。这防止了班级养成坏习惯。

为什么这很重要

该论文在三种不同的“不匹配教室”场景中测试了此系统：

不同规模：混合一个小而快的 AI（如 15 亿参数模型）与一个大而强大的 AI（30 亿参数）。
不同技能：混合一个通用 AI 与一个专门用于编程的 AI。
不同设置：混合一个完整的 AI 与一个只有少数部分被修改的 AI（就像一个只换了笔颜色的学生）。

结果：

稳定性：混合群体学习得与完全相同的群体一样好。不同模型的“噪声”并没有破坏系统。
意外惊喜：在某些情况下，混合群体在解决新的、未见过的任务（分布外任务）时，实际上比完全相同的群体表现得更好。就好像小学生在向大学生学习技巧，而大学生也在向小学生学习新视角，使两者都变得更聪明。
效率：该系统对通信的需求极低。它仅在计算机之间发送最低限度的信息（答案和一个微小的分数），因此不会堵塞网络。

结论

这篇论文表明，大家不必完全相同也能共同学习。通过使用F-TIS，你可以混合搭配不同的 AI 模型——大与小、专用与通用——并让它们有效协作。它将一个由不匹配学生组成的混乱教室转变为一个高效的学習团队，产生的结果往往与由完全相同的双胞胎组成的教室一样好，有时甚至更好。

技术摘要：F-TIS——在协作式 GRPO 中利用多样化模型

问题陈述

组相对策略优化（GRPO）已成为大语言模型（LLM）后训练的主导方法，特别是在增强推理能力方面。与近端策略优化（PPO）不同，GRPO 通过计算针对单个提示生成的完成组相对于该组的优势，消除了对独立价值模型的需求。然而，LLM 生成的自回归特性在推理阶段造成了显著的计算瓶颈。

为解决这一问题，先前的工作探索了将生成步骤分布到多个节点上。现有的分布式方法大多假设同质模型（相同的架构和参数）以维持“同策略”条件。这一假设在去中心化训练场景中并不切实际，因为参与者拥有异构的资源和偏好。在此类环境中，会出现三种类型的异构性：

模型规模：节点可能运行参数数量截然不同的模型（例如，1B 对比 3B）。
模型专长：节点可能拥有规模相似但专长不同的模型（例如，通用模型对比代码模型）。
可训练参数：节点可能采用不同的微调策略（例如，全量微调对比参数高效微调如 LoRA）。

当异构模型在不进行调整的情况下协作时，训练数据会变得高度离策略。生成策略（ $\pi_{gen}$ ）与更新策略（ $\pi_{\theta}$ ）之间的差异会引入破坏性噪声，导致策略崩溃，或相较于独立训练显著降低性能。

方法论：过滤截断重要性采样（F-TIS）

作者提出了F-TIS，这是一个统一的框架，旨在实现跨异构模型的稳定协作式 GRPO 训练，同时最小化通信开销。该方法结合了两种关键机制：截断重要性采样（TIS）和样本过滤。

1. 截断重要性采样（TIS）

标准 GRPO 假设数据为同策略。为了处理离策略样本，作者利用重要性采样调整了损失函数。他们比较了三种方法：

NoIS（无重要性采样）：将所有样本视为同策略（作为失败基线）。
VIS（普通重要性采样）：对每个令牌应用重要性比率 $\frac{\pi_{\theta}}{\pi_{gen}}$ 。
TIS（截断重要性采样）：将重要性比率截断在常数 $C$ 处（例如， $C=2$ ），以防止极端权重破坏训练稳定性。比率被移至令牌内求和之外。

TIS 损失公式为：
$\mathcal{L}_{GRPO} = \frac{1}{G} \sum_{i=1}^{G} \frac{1}{|a_i|} \sum_{t=1}^{|a_i|} \min \left( \frac{\pi_{\theta}(a_{i,t}|p \circ a_{i,<t})}{\pi_{gen}(a_{i,t}|p \circ a_{i,<t})}, C \right) \cdot \min \left( R_{i,\theta} \hat{A}_i, \text{clip}(R_{i,\theta} \hat{A}_i, 1-\epsilon, 1+\epsilon) \right)$
其中 $R_{i,\theta}$ 是分离的比率， $\hat{A}_i$ 是组优势。

2. 样本过滤

作者观察到，具有负优势（ $\hat{A}_i < 0$ ）的离策略样本会放大不太可能的令牌，导致乱码完成。他们引入了一种基于以下条件的过滤机制：

优势： $\hat{A}_i < 0$ 的样本在更新步骤中被丢弃。
KL 散度：当前策略与生成策略之间的 KL 散度超过阈值 $g$ （ $D_{KL}(\pi_{\theta} \parallel \pi_{gen}) > g$ ）的样本也会被过滤。

被过滤的样本仍用于计算组优势（以维持组的相对排名），但被排除在梯度更新之外。

3. F-TIS 框架

F-TIS 集成了 TIS 和过滤。如果样本被过滤（即，如果 $\hat{A}_i \leq 0$ 或 $D_{KL} > g$ ），则损失函数中的优势项 $\hat{A}_{t,i}$ 设为 0。

通信效率：该框架需要极少的通信，仅传输令牌和对数概率（每个令牌约 8 字节），使其适用于去中心化网络。

主要贡献

异构性挑战的识别：论文通过实证证明，标准 GRPO 在去中心化异构设置（NoIS）中会失效，导致性能相较于独立训练出现下降。
F-TIS 算法：一种新颖的训练范式，成功利用来自多样化模型（不同规模、专长和 PEFT 配置）的离策略样本，而不会导致策略崩溃。
通信效率：该方法保持低通信开销，仅需对数概率和令牌，不同于需要全模型同步或重型价值模型交换的方法。
消融研究：作者系统分析了过滤阈值 $g$ 的影响，并将 F-TIS 与 F-VIS（过滤普通重要性采样）进行比较，证明了截断在训练后期阶段的优越性。

实验结果

作者在 GSM8k 数据集上评估了 F-TIS 用于训练，并在 MATH-500 数据集上进行分布外（OOD）测试，使用了 Qwen2.5 模型（1.5B 和 3B，Base 和 Coder 变体）。

收敛性：在所有异构设置中，F-TIS 实现了与纯同策略（同质）训练相同的最终模型收敛。
泛化能力（OOD）：在几种配置中，F-TIS 在 OOD 任务上优于独立的同策略训练。值得注意的是：
- 3B Coder 模型与 Base 模型配对，其 MATH-500 性能提高了 5.2%。
- 3B Coder 模型与较小的 Coder 模型配对，性能提高了 12%。
- 3B PEFT 模型在协作训练时提高了 7%。
过滤阈值（ $g$ ）：消融研究表明，较小的 $g$ 值最初有利于较小的模型（1.5B），通过去除随机噪声；而较大的模型（3B）在训练后期受益于较高的 $g$ 值（例如 50），从而允许对空间进行更广泛的探索。
垂直与水平：论文发现，垂直协作（一个节点为提示生成完整组）优于水平协作（节点生成子集）。水平协作会在相对于群体均值的优势计算中引入偏差，从而降低性能。

意义与主张

论文将 F-TIS 定位为迈向 LLM 去中心化协作强化学习的基础步骤。作者声称，他们的工作是首批成功研究并实现跨异构模型协作强化学习的成果之一。

主要主张包括：

可行性：可以在单次 GRPO 运行中共同训练多样化模型，而不会出现通常与离策略数据相关的性能崩溃。
效率：该方法通信高效，使其适用于具有不同网络约束的去中心化系统。
增强的推理：除了匹配同策略性能外，协作使用离策略样本可以作为正则化器或探索增强器，从而在分布外任务上实现更好的泛化（相较于独立训练模型，提升高达 12%）。
实用性：该框架适应了现实世界的约束，即用户拥有不同的硬件能力（模型规模）和特定需求（专家模型或 PEFT），使他们能够在无需相同基础设施的情况下为共享学习目标做出贡献。