🤖 machine learning

Federated Nested Learning: Collaborative Training of Self-Referential Memories for Test-Time Adaptation

本文介绍了联邦嵌套学习（FedNL），这是一个新颖的框架，它将联邦学习重构为一个三级嵌套优化系统，以协同学习优化规则，使客户端能够在非独立同分布数据上以恒定的推理内存进行轻量级、零样本的测试时自适应。

原作者： Hong Chen, Pengcheng Wu, Yuanguo Lin, Peilin Zhao, Xiuze Zhou, Fan Lin, Han Yu

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Hong Chen, Pengcheng Wu, Yuanguo Lin, Peilin Zhao, Xiuze Zhou, Fan Lin, Han Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《联邦嵌套学习》的解释。

核心难题：“一刀切”的谬误

想象一下，你正在试图教一群学生（称为客户端）如何解决问题。这些学生来自截然不同的背景：一位是烹饪大师，一位是编程奇才，还有一位是医学博士。

在传统的**联邦学习（FL）**中，你试图创建一本所有人都共享的单一“主教科书”（即全局模型）。你让厨师、程序员和医生各自研读自己的笔记，将他们的重点内容发送给你，然后你将其平均处理，以制作教科书的新版本。

缺陷在于： 这本新教科书是一种妥协。它在烹饪方面尚可，在编程方面尚可，在医学方面也可行，但在任何一项上都不出色。当医生试图使用这本“平均”教科书来诊断某种特定且罕见的疾病时，这本书会失效，因为它过于关注“平均”学生，而缺乏应对这一独特时刻所需的具体细节。

新理念：教授“如何学习”而非“学什么”

这篇论文的作者，联邦嵌套学习（FedNL），提出了一种激进的转变。他们不再试图为每个人编写一本完美的教科书，而是教导学生如何即时做笔记。

他们认为，真正的技能不在于死记硬背一套静态事实，而在于拥有一个智能系统，能够瞬间适应当前正在讨论的任何主题。

三级系统（即“嵌套”部分）

该论文描述了一个三级系统，就像一家拥有 CEO、经理和员工的公司：

第 0 级（CEO / 服务器）： 服务器不收集实际的笔记（因为它们是私密的）。相反，它收集做笔记的规则。它学习组织信息的最佳方式。
第 1 级（经理 / 客户端训练）： 每个学生（客户端）利用这些规则在自己的特定数据上进行练习。他们微调这些规则，使其更适合自己的具体工作（例如，厨师调整做笔记的规则以专注于香料）。
第 2 级（员工 / 测试时适应）： 这是神奇的时刻。当学生面对一个从未见过的新问题时，他们不会仅仅打开教科书。他们会立即使用其做笔记的规则，根据当前的对话编写一个临时的、超具体的“小抄”（称为记忆状态）。

类比：

旧方法： 你携带一本厚重且静态的百科全书。如果你询问书中未包含的主题，你就束手无策。
FedNL 方法： 你携带一本智能的空白笔记本和一套关于如何在其中书写的说明。当有人问你一个问题时，你立即将对话中的相关事实写入笔记本，解决问题，然后笔记本随即消失。你之前无需死记硬背这些事实；你只需要知道如何快速捕捉它们。

技术原理（“泰坦”与“增量规则”）

该论文使用了一种名为**泰坦（Titans）**的特定技术（基于线性注意力机制）来实现这一目标。

“增量规则（Delta Rule）”： 将其视为一种“修正机制”。每当模型读取一个新词时，它都会问：“这会改变我的理解吗？”如果是，它就会对其内部的“小抄”进行微小且即时的调整。
零样本适应： 由于模型知道如何即时更新其“小抄”，因此它可以处理全新的主题（如罕见的医疗状况），而无需重新训练。它只是在阅读过程中“学习”上下文。

结果：他们发现了什么？

研究人员主要通过两种方式测试了该系统：

不同学科（非独立同分布 MMLU）： 他们模拟了仅了解特定学科（法律、数学、医学）的客户端。
- 结果： FedNL 的表现优于标准的“平均教科书”方法。它不仅仅是平均化知识，而是允许每个客户端将其“小抄”调整到其特定领域，从而提高了准确性。
长故事（长上下文检索）： 他们测试了模型是否能在巨大的 haystack（16,000 字的故事）中找到特定的 needle。
- 结果： 随着故事变长，标准模型变得困惑（其“不确定性”增加）。而 FedNL 随着故事的展开表现越来越好，因为其“小抄”正在积极吸收新信息。
- 效率： 关键在于，FedNL 无需将整个故事存储在内存中。它保持一个微小的、恒定大小的“小抄”，使其在手机或小型设备上运行得更快、成本更低。

总结

联邦嵌套学习改变了 AI 训练的目标。它不再试图构建一个对万事略知一二的巨大、静态的大脑，而是构建一个智能、可适应的系统，该系统知道如何从当前所见的任何事物中即时学习。

它通过以下方式解决了“数据不同”的问题：“不要试图强迫所有人就一套事实达成一致。相反，就最佳的做笔记方式达成一致，并让每个人在过程中写下自己的笔记。”

技术摘要：联邦嵌套学习（FedNL）

问题陈述

大语言模型（LLM）的联邦学习（FL）面临两个持久且相互交织的挑战：数据异构性（Non-IID）和长尾分布。在现实场景中，客户端数据分布高度偏斜（例如，医疗数据与代码数据），而关键知识往往存在于长尾部分，在聚合过程中容易被头部类别所掩盖。

现有方法主要集中于正则化或个性化静态模型权重（例如 FedProx、FedSSI）。虽然这些方法在缓解灾难性遗忘方面行之有效，但它们将全局模型视为静态知识的容器。因此，当部署到具有未见过的、高度异构数据的客户端时，模型缺乏测试时可塑性——即在不进行梯度更新的情况下适应当前上下文的能力。这导致模型在依赖上下文细微差别的特定领域任务上表现次优。

方法论：联邦嵌套学习（FedNL）

本文提出了联邦嵌套学习（FedNL），这是一个将联邦学习从聚合静态知识重新框架化为协作学习优化规则的框架。受**嵌套学习（NL）**理论的启发，FedNL 将推理视为一种被动的检索过程，而是一种高频的“内循环”训练过程，其中模型主动将上下文压缩为瞬态记忆状态。

核心架构

FedNL 将联邦学习重构为三级嵌套优化系统：

第 0 级（外循环 - 服务器）：协作泛化。服务器聚合元规则（参数 $\theta$ ）而非记忆内容。这些规则控制记忆如何构建和更新。
第 1 级（中间循环 - 客户端）：规则学习。在本地训练期间，客户端优化 $\theta$ （例如 LoRA 适配器、门控机制），以确保内循环为下游任务产生有用的记忆状态。这涉及对记忆轨迹进行反向传播。
第 2 级（内循环 - 客户端）：测试时适应。在推理期间，客户端利用全局规则 $\theta$ ，通过Delta 规则在线更新私有的、上下文感知的记忆状态 $S_t$ 。该状态是瞬态的，永远不会离开设备。

技术实现

基于 Titans 的线性注意力：FedNL 利用 Titans 架构，该架构采用线性化注意力机制。记忆状态 $S_t$ 通过 Delta 规则更新：
$S_t = S_{t-1} + \eta(v_t - S_{t-1}k_t)k_t^\top$
该更新在数学上等同于在关联记忆目标上执行单步梯度下降，有效地将推理视为在线优化过程。
解耦知识与规则：模型由冻结的主干（提供通用语言能力）和可训练的元参数（ $\theta$ ）组成。元参数包括用于查询/键/值生成的低秩投影（LoRA）以及用于平衡静态与动态注意力的记忆门控机制（ $\alpha$ ）。
效率：通过仅聚合少量元规则（适配器）而非完整模型权重或记忆状态，FedNL 大幅降低了通信开销。此外，线性注意力机制无论序列长度如何，均保持恒定的推理内存复杂度（ $O(1)$ ），而标准注意力机制则需要 $O(T)$ 的 KV 缓存。

主要贡献

理论重构：本文将嵌套学习视角引入联邦学习，将问题形式化为优化规则的协作训练，而非静态表示的训练。这为通过测试时适应解决 Non-IID 问题提供了理论基础。
FedNL 框架：一种将基于 Titans 的线性注意力集成到联邦学习流程中的实用算法。通过将 Delta 规则视为在线梯度下降步骤，它实现了在未见领域上的零样本测试时适应，而无需繁重的计算负担。
实证优势：实验表明，与强大的联邦基线相比，FedNL 在短上下文推理中表现出具有竞争力的性能，并在长上下文检索和流式诊断中取得了显著增益。

实验结果

作者在两个联邦设置下评估了 FedNL：一个五客户端 Non-IID MMLU 划分和一个七客户端 Non-IID Needle In A Haystack (NIAH) 长上下文基准。

Non-IID MMLU（短上下文推理）：
- 在 Qwen2.5-1.5B 主干上，FedNL 实现了最高的平均准确率（58.88%），略优于最佳基线 FedSSI（58.70%）。
- 在 STEM（+2.0 个百分点）和数学/计算机科学（+3.8 个百分点）领域观察到显著增益。
- 在 Llama-3.2-1B 主干上，FedNL 达到 42.64%，而 FedSSI 为 42.10%。
- 关键的是，FedNL 最小化了“聚合下降”（从本地模型过渡到联邦模型时的性能损失），使其在各领域均接近零，而静态基线则显示出显著的性能下降。
长上下文检索（NIAH）：
- FedNL 在七个检索模板中实现了最高的平均准确率（29.7%），优于 FedALA（28.6%）。
- 在 MK-NIAH、MV-NIAH 和 UUID 代码任务中增益最为显著。
- 流式交叉熵（CE）诊断：在 16K 令牌流式探测中，随着上下文的展开（不确定性累积），FedAvg 的归一化 CE 增加了 3.1%，而 FedNL 降低了 2.1%，表明循环记忆状态成功地在长流中吸收了有用的上下文。
- 内存效率：FedNL 保持了恒定的推理内存，避免了影响静态注意力基线的 16K 令牌时的内存溢出（Out-Of-Memory）错误。
通信效率：
- 与 FedAvg 相比，FedNL 将每轮通信减少了约 350 倍（在测试设置中，可训练参数为 0.26 MB 对比 22.5 MB）。

意义与主张

本文主张，FedNL 为联邦学习确立了一个新方向，即模型从静态知识仓库演变为持续、上下文感知学习的范式。

范式转变：通过将通用语言能力（冻结主干）与记忆构建规则（可训练适配器）解耦，FedNL 允许不同的客户端共享“学习能力”，而非冲突的“知识状态”。
对异构性的鲁棒性：全局元参数无需编码不同领域（例如代码与医疗）之间的冲突。相反，它们编码了一条通用规则：“如果上下文涉及 X，则更新记忆以存储 Y。”这缓解了参数空间中的 Non-IID 冲突。
零样本适应：该框架使模型能够在推理的前几个令牌期间，仅通过执行学习到的记忆更新规则来适应特定的本地分布，从而解决了测试时训练（TTT）方法常面临的“冷启动”问题。

作者指出，虽然结果在 1B 至 1.5B 规模上是一致的，但将 FedNL 扩展到更大的基础模型仍然是验证记忆规则聚合普遍性的必要下一步。