DLLG: Dynamic Logit-Level Gating of LLM Experts

技术摘要：DLLG：大语言模型专家的动态 Logit 层级门控

问题陈述
针对特定领域（如数学推理、代码生成）优化的专业化大语言模型（LLMs）的大量涌现，带来了一个挑战：如何将独立训练的“黑盒”专家集成到一个统一的系统中，以利用它们的互补优势，同时避免高昂的重训练成本。现有方法在适应性、鲁棒性和实用性之间存在持久的张力：

• 基于路由的方法（Routing-based methods） 依赖于硬性的、早期的专家选择。这会导致过早的决策承诺；如果所选专家在单个响应内的某个子任务上失败，该错误是不可恢复的。此外，许多路由器的设计需要针对特定基准进行广泛的校准。
• 启发式集成（Heuristic Ensembling）（例如困惑度加权、Token 投票）使用推理时的代理信号。这些指标通常是经验性的，且与真实的任务正确性不一致，导致输出结果并非最优。
• 参数合并（Parameter Merging）（例如 Model Souping、任务算术）静态地融合权重。这牺牲了模块化，并在结合具有冲突梯度方向的专家时，往往会诱发破坏性干扰，导致性能下降。
• 混合专家（Mixture-of-Experts, MoE）架构 通常需要对门控和专家进行端到端的联合训练，这限制了其利用现成的、预训练好的专家模型的能力。

方法论：DLLG
作者提出了 DLLG（动态 Logit 层级门控），这是一个通过在稀疏的响应级监督下训练轻量级门控模型，来实现动态 Token 级 Logit 融合的框架。

1. 架构：

   • 冻结专家（Frozen Experts）：$K$ 个专业化 LLM 保持冻结状态。在每个解码步骤 $t$，给定提示词 $x$ 和前缀 $y_{<t}$，每个专家 $E_i$ 生成隐藏状态 $h^{(i)}_t$ 和下一个 Token 的 Logit $\ell^{(i)}_t$。
   • 门控模型（Gating Model）：轻量级模型 ($g_\phi$) 处理所有专家的拼接隐藏状态。它通过低秩投影将这些表示映射到共享嵌入空间，并通过自回归主干（例如带有 LoRA 适配器的 Qwen2.5-0.5B-Instruct）进行处理。
   • 权重预测：预测头通过 Sigmoid 变换输出 Token 级的融合权重 $w_{t,i}$。这些权重应用于专家的 Logit：$\ell_t = \sum_{i=1}^K w_{t,i} \ell^{(i)}_t$。权重不受和为一的约束，从而允许实现软性的、灵活的贡献。

2. 训练（响应级监督）：

   • 该框架解决了缺乏 Token 级标注的问题，采用了源自自动验证器（例如代码的单元测试、数学的答案检查）的响应级正确性信号 ($s_i \in \{0, 1\}$)。
   • 教师强制（Teacher Forcing）：在训练期间，专家在以 ground-truth 前缀 $y_{<t}$ 为条件的条件下生成隐藏状态。门控模型为每个 Token 位置预测权重 $w_{t,i}$。
   • 目标函数：模型通过最小化预测权重与广播的响应级正确性信号之间的均方误差（MSE）进行训练：$\mathcal{L} = \frac{1}{T} \sum_{t=1}^T \sum_{i=1}^K (w_{t,i} - s_i)^2$。这教会了门控模型将 Token 级的融合与整体轨迹的成功对齐。

3. 推理：

   • DLLG 以自回归方式运行。在每一步中，门控模型根据当前的专家隐藏状态预测融合权重，组合 Logit，并选择下一个 Token。这实现了可恢复的专家利用；如果一个专家在早期阶段犯错，门控模型可以在后续步骤中动态地将权重转移到更胜任的专家身上。

核心贡献

1. 框架提议：引入了 DLLG，一种动态的 Logit 层级集成框架，它通过弱监督将 Token 级生成与响应级监督联系起来，实现了精细化的专家利用，而无需 Token 级标注或在线强化学习。
2. 机制分析：证明了所学习的门控机制能够在生成过程中动态调整专家贡献，根据不断演进的上下文（例如在单个响应内从数学推理转向代码生成）调整权重。
3. 实证验证：在多种推理和代码基准测试（GSM8K、MATH、HumanEval 等）以及不同模型规模（0.5B、1.5B）上进行了评估，结果显示 DLLG 在路由、启发式集成和参数合并基线之上实现了持续的性能提升。

结果

• 性能：在 0.5B 和 1.5B 模型规模下，DLLG 的平均性能始终高于包括 RouterDC、EmbedLLM、各种 Logit 集成方法（GaC、UniTe）以及参数合并技术（Linear、SLERP、Task Arithmetic）在内的强基线模型。
• 鲁棒性：在个体专家较弱的低容量（0.5B）设置下，DLLG 优于脆弱的路由和启发式方法，展示了其通过软融合缓解早期错误的能力。
• 泛化能力：该方法在分布外基准测试（如 HumanEval、MBPP、BBH）中表现出强大的性能，表明学习到的融合规则能够超越特定的训练分布进行泛化。
• 消融实验：实验证实，一个足够表达能力的门控架构（包含辅助 LLM 和低秩投影）对于有效的 Token 级融合是必要的，其表现优于简单的 MLP 头。

意义与主张
论文声称 DLLG 为集成专业化专家提供了一个鲁棒且可扩展的范式。通过从弱监督中学习 Logit 层级的融合，它实现了类似 MoE 的适应性，且无需重新训练专家，也避免了参数干扰的风险。作者强调，DLLG 保留了专家的模块化，并实现了精细且可恢复的专家利用，克服了路由中的过早决策承诺以及参数合并的静态特性。这项工作表明，从弱监督中学习精细化的专家利用是利用日益专业化的语言模型的切实路径。