🤖 machine learning

Federated Nested Learning: Collaborative Training of Self-Referential Memories for Test-Time Adaptation

Dieser Beitrag stellt Federated Nested Learning (FedNL) vor, ein neuartiges Framework, das Federated Learning als ein dreistufiges verschachteltes Optimierungssystem reformuliert, um gemeinsam Optimierungsregeln zu erlernen und es Clients zu ermöglichen, eine leichte Zero-Shot-Testzeit-Anpassung mit konstantem Inferenzspeicher auf nicht-i.i.d.-Daten durchzuführen.

Ursprüngliche Autoren: Hong Chen, Pengcheng Wu, Yuanguo Lin, Peilin Zhao, Xiuze Zhou, Fan Lin, Han Yu

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hong Chen, Pengcheng Wu, Yuanguo Lin, Peilin Zhao, Xiuze Zhou, Fan Lin, Han Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der Fehler des „Einheitsmodells"

Stellen Sie sich vor, Sie versuchen, eine Gruppe von Schülern (die Clients genannt werden) darin zu unterrichten, Probleme zu lösen. Diese Schüler kommen aus sehr unterschiedlichen Hintergründen: Einer ist ein Meisterkoch, ein anderer ein Programmier-Zauberer und ein dritter ein Arzt.

Beim herkömmlichen Federated Learning (FL) versuchen Sie, ein einziges „Meister-Lehrbuch" (das globale Modell) zu erstellen, das alle teilen. Sie bitten den Koch, den Programmierer und den Arzt, ihre eigenen Notizen zu studieren, Ihnen ihre Highlights zu senden, und Sie mitteln diese aus, um eine neue Ausgabe des Lehrbuchs zu erstellen.

Der Fehler: Dieses neue Lehrbuch ist ein Kompromiss. Es ist okay beim Kochen, okay beim Programmieren und okay in der Medizin, aber es ist in keinem dieser Bereiche großartig. Wenn der Arzt versucht, dieses „durchschnittliche" Lehrbuch zur Diagnose einer spezifischen, seltenen Krankheit zu verwenden, versagt das Buch, weil es zu sehr auf den „durchschnittlichen" Schüler fokussiert ist und nicht die spezifischen Details besitzt, die für diesen einzigartigen Moment benötigt werden.

Die neue Idee: „Wie man lernt" statt „Was man wissen muss" unterrichten

Die Autoren dieses Papiers, Federated Nested Learning (FedNL), schlagen einen radikalen Wandel vor. Anstatt zu versuchen, ein perfektes Lehrbuch für alle zu schreiben, unterrichten sie die Schüler, wie sie Notizen in Echtzeit machen.

Sie argumentieren, dass die wahre Fähigkeit nicht darin besteht, einen statischen Satz von Fakten auswendig zu lernen, sondern ein intelligentes System zu besitzen, das sich sofort an das anpassen kann, worüber gerade gesprochen wird.

Das dreistufige System (Der „Nested"-Teil)

Das Papier beschreibt ein dreistufiges System, wie ein Unternehmen mit einem CEO, einem Manager und einem Arbeiter:

Ebene 0 (Der CEO / Server): Der Server sammelt nicht die eigentlichen Notizen (die privat sind). Stattdessen sammelt er die Regeln für das Notieren. Er lernt die beste Art, Informationen zu organisieren.
Ebene 1 (Der Manager / Client-Training): Jeder Schüler (Client) übt die Anwendung dieser Regeln auf seinen eigenen spezifischen Daten. Sie passen die Regeln leicht an, damit sie besser für ihren spezifischen Job funktionieren (z. B. passt der Koch die Notizregel an, um sich auf Gewürze zu konzentrieren).
Ebene 2 (Der Arbeiter / Anpassung zur Testzeit): Dies ist der magische Moment. Wenn ein Schüler auf ein neues Problem stößt, das er noch nie gesehen hat, öffnet er nicht einfach das Lehrbuch. Er nutzt sofort seine Notizregeln, um eine vorübergehende, super-spezifische „Spickzettel" (genannt Memory State) basierend auf dem aktuellen Gespräch zu schreiben.

Die Analogie:

Alter Weg: Sie tragen eine schwere, statische Enzyklopädie mit sich. Wenn Sie nach einem Thema fragen, das nicht im Buch steht, sind Sie festgefahren.
FedNL-Weg: Sie tragen ein intelligentes, leeres Notizbuch und eine Reihe von Anweisungen, wie man darin schreibt. Wenn jemand Sie eine Frage stellt, schreiben Sie sofort die relevanten Fakten aus dem Gespräch in Ihr Notizbuch, lösen das Problem, und dann verschwindet das Notizbuch. Sie mussten die Fakten nie zuvor auswendig lernen; Sie mussten nur wissen, wie man sie schnell erfasst.

Wie es technisch funktioniert (Die „Titans" und die „Delta-Regel")

Das Papier verwendet eine spezifische Technologie namens Titans (basierend auf linearer Aufmerksamkeit), um dies möglich zu machen.

Die „Delta-Regel": Stellen Sie sich dies als einen „Korrekturmechanismus" vor. Jedes Mal, wenn das Modell ein neues Wort liest, fragt es: „Verändert dies mein Verständnis?" Wenn ja, nimmt es eine winzige, sofortige Anpassung an seinem internen „Spickzettel" vor.
Zero-Shot-Anpassung: Da das Modell weiß, wie es seinen Spickzettel sofort aktualisiert, kann es ein völlig neues Thema (wie eine seltene medizinische Erkrankung) bewältigen, ohne neu trainiert werden zu müssen. Es „lernt" einfach den Kontext, während es liest.

Die Ergebnisse: Was haben sie herausgefunden?

Die Forscher testeten dieses System auf zwei Hauptwegen:

Unterschiedliche Fächer (Non-IID MMLU): Sie simulierten Clients, die nur bestimmte Fächer kannten (Recht, Mathematik, Medizin).
- Ergebnis: FedNL schnitt besser ab als die herkömmlichen Methoden des „durchschnittlichen Lehrbuchs". Es mittelte das Wissen nicht nur; es ermöglichte jedem Client, seinen „Spickzettel" an seine spezifische Domäne anzupassen, was zu einer besseren Genauigkeit führte.
Lange Geschichten (Long-Context Retrieval): Sie testeten, ob das Modell eine spezifische Nadel in einem riesigen Heuhaufen finden konnte (eine 16.000 Wörter lange Geschichte).
- Ergebnis: Standardmodelle gerieten in Verwirrung, je länger die Geschichte wurde (ihre „Unsicherheit" wuchs). FedNL wurde besser, während die Geschichte fortschritt, weil sein „Spickzettel" die neuen Informationen aktiv aufnahm.
- Effizienz: Entscheidend ist, dass FedNL nicht den gesamten Text im Speicher behalten musste. Es behielt einen winzigen, konstant großen „Spickzettel", was es viel schneller und kostengünstiger macht, um es auf Handys oder kleinen Geräten auszuführen.

Das Fazit

Federated Nested Learning verändert das Ziel des KI-Trainings. Anstatt zu versuchen, ein riesiges, statisches Gehirn zu bauen, das ein wenig über alles weiß, baut es ein intelligentes, anpassungsfähiges System, das weiß, wie es sofort aus dem lernt, worauf es gerade schaut.

Es löst das Problem „unterschiedlicher Daten", indem es sagt: „Versuchen Sie nicht, alle zu zwingen, sich auf einen Satz von Fakten zu einigen. Einigen Sie sich stattdessen auf die beste Art, Notizen zu machen, und lassen Sie alle ihre eigenen Notizen im Verlauf machen."

Technisches Fazit: Federated Nested Learning (FedNL)

Problemstellung

Federated Learning (FL) für Large Language Models (LLMs) steht vor zwei beständigen, miteinander verflochtenen Herausforderungen: Datenheterogenität (Non-IID) und Long-Tail-Verteilungen. In realistischen Szenarien sind die Datenverteilungen der Clients stark verzerrt (z. B. medizinische versus Codierungsdaten), und kritisches Wissen befindet sich häufig im Long Tail, das bei der globalen Aggregation leicht von den Hauptklassen überlagert wird.

Bestehende Ansätze konzentrieren sich primär auf die Regularisierung oder Personalisierung statischer Modellgewichte (z. B. FedProx, FedSSI). Obwohl diese Methoden effektiv dabei sind, katastrophales Vergessen zu mildern, behandeln sie das globale Modell als Behälter statischen Wissens. Folglich fehlt dem Modell, wenn es auf einem Client mit ungesehenen, hochheterogenen Daten eingesetzt wird, die Plastizität zur Laufzeit (Test-Time Plasticity) – die Fähigkeit, sich ohne Gradienten-Updates an den aktuellen Kontext anzupassen. Dies führt zu suboptimalen Leistungen bei domänenspezifischen Aufgaben, bei denen Nuancen vom Kontext abhängen.

Methodik: Federated Nested Learning (FedNL)

Die Arbeit schlägt Federated Nested Learning (FedNL) vor, ein Framework, das FL neu definiert: weg von der Aggregation statischen Wissens hin zum kollaborativen Erlernen von Optimierungsregeln. Inspiriert von der Theorie des Nested Learning (NL) betrachtet FedNL Inferenz nicht als passiven Abrufprozess, sondern als einen hochfrequenten „Inner-Loop"-Trainingsprozess, bei dem das Modell Kontext aktiv in einen transienten Speicherzustand komprimiert.

Kernarchitektur

FedNL reformuliert FL als dreistufiges verschachteltes Optimierungssystem:

Level 0 (Outer Loop – Server): Kollaborative Generalisierung. Der Server aggregiert Meta-Regeln (Parameter $\theta$ ) statt Speicherinhalte. Diese Regeln steuern, wie Speicher konstruiert und aktualisiert wird.
Level 1 (Intermediate Loop – Client): Regel-Lernen. Während des lokalen Trainings optimieren die Clients $\theta$ (z. B. LoRA-Adapter, Gating-Mechanismen), um sicherzustellen, dass der Inner-Loop nützliche Speicherzustände für nachgelagerte Aufgaben erzeugt. Dies beinhaltet die Rückwärtspropagierung durch die Speicher-Trajektorie.
Level 2 (Inner Loop – Client): Anpassung zur Laufzeit. Während der Inferenz nutzen die Clients die globalen Regeln $\theta$ , um einen privaten, kontextbewussten Speicherzustand $S_t$ online über eine Delta-Regel zu aktualisieren. Dieser Zustand ist transient und verlässt niemals das Gerät.

Technische Umsetzung

Titans-basierte lineare Aufmerksamkeit: FedNL nutzt die Titans-Architektur, die einen linearisierten Aufmerksamkeitsmechanismus verwendet. Der Speicherzustand $S_t$ wird über eine Delta-Regel aktualisiert:
$S_t = S_{t-1} + \eta(v_t - S_{t-1}k_t)k_t^\top$
Diese Aktualisierung ist mathematisch äquivalent zu einem einzelnen Schritt des Gradientenabstiegs auf einem assoziativen Speicherziel und behandelt Inferenz effektiv als Online-Optimierungsprozess.
Entkopplung von Wissen und Regeln: Das Modell besteht aus einem eingefrorenen Backbone (der allgemeine sprachliche Fähigkeiten bereitstellt) und trainierbaren Meta-Parametern ( $\theta$ ). Die Meta-Parameter umfassen Low-Rank-Projektionen (LoRA) für die Generierung von Query/Key/Value sowie einen Memory-Gating-Mechanismus ( $\alpha$ ), um statische und dynamische Aufmerksamkeit auszugleichen.
Effizienz: Durch die Aggregation nur der kleinen Menge an Meta-Regeln (Adapter) anstelle vollständiger Modellgewichte oder Speicherzustände reduziert FedNL den Kommunikationsaufwand drastisch. Darüber hinaus behält der lineare Aufmerksamkeitsmechanismus eine konstante Inferenzspeicherkomplexität ( $O(1)$ ) unabhängig von der Sequenzlänge bei, im Gegensatz zur Standardaufmerksamkeit, die einen $O(T)$ KV-Cache erfordert.

Hauptbeiträge

Theoretische Neudefinition: Die Arbeit führt die Nested-Learning-Perspektive in FL ein und formalisiert das Problem als kollaboratives Training von Optimierungsregeln statt statischer Repräsentationen. Dies bietet eine theoretische Grundlage für die Bewältigung von Non-IID-Problemen durch Anpassung zur Laufzeit.
Das FedNL-Framework: Ein praktischer Algorithmus, der Titans-basierte lineare Aufmerksamkeit in die FL-Pipeline integriert. Indem die Delta-Regel als Online-Gradientenabstiegs-Schritt behandelt wird, ermöglicht sie Zero-Shot-Anpassung zur Laufzeit auf ungesehenen Domänen ohne erheblichen Rechenaufwand.
Empirische Überlegenheit: Experimente zeigen, dass FedNL bei kurzem Kontext-Reasoning wettbewerbsfähige Leistungen erzielt und im Vergleich zu starken federierten Baselines überlegene Gewinne beim Abruf langer Kontexte und bei Streaming-Diagnostik erreicht.

Experimentelle Ergebnisse

Die Autoren evaluierten FedNL in zwei federierten Settings: einer Non-IID-MMLU-Aufteilung mit fünf Clients und einem Non-IID-Needle In A Haystack (NIAH)-Benchmark für lange Kontexte mit sieben Clients.

Non-IID MMLU (Kontext-Reasoning mit kurzem Kontext):
- Auf dem Backbone Qwen2.5-1.5B erreichte FedNL die höchste durchschnittliche Genauigkeit (58,88 %) und übertraf die beste Baseline FedSSI (58,70 %) leicht.
- Deutliche Gewinne wurden in den Bereichen STEM (+2,0 pp) und Mathematik/Informatik (+3,8 pp) beobachtet.
- Auf dem Backbone Llama-3.2-1B erreichte FedNL 42,64 % gegenüber 42,10 % für FedSSI.
- Entscheidend minimierte FedNL den „Aggregationsabfall" (Leistungsverlust beim Wechsel von lokalen zu federierten Modellen) und hielt ihn über alle Domänen hinweg nahe Null, während statische Baselines signifikante Verschlechterungen zeigten.
Abruf langer Kontexte (NIAH):
- FedNL erreichte die höchste durchschnittliche Genauigkeit (29,7 %) über sieben Abruf-Templates hinweg und übertraf FedALA (28,6 %).
- Die Gewinne waren am ausgeprägtesten bei MK-NIAH, MV-NIAH und UUID-Code-Aufgaben.
- Streaming Cross-Entropy (CE)-Diagnostics: Bei einer 16K-Token-Streaming-Prüfung stieg die normalisierte CE von FedAvg um 3,1 %, während sich der Kontext entfaltete (akkumulierende Unsicherheit), wohingegen FedNL um 2,1 % abfiel, was darauf hindeutet, dass der rekurrente Speicherzustand über lange Streams nützlichen Kontext erfolgreich absorbierte.
- Speichereffizienz: FedNL behielt einen konstanten Inferenzspeicher bei und vermied Out-Of-Memory-Fehler bei 16K Tokens, die statische Aufmerksamkeits-Baselines betrafen.
Kommunikationseffizienz:
- FedNL reduzierte die Kommunikation pro Runde um etwa das 350-fache im Vergleich zu FedAvg (0,26 MB vs. 22,5 MB für die trainierbaren Parameter im getesteten Setup).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass FedNL eine neue Richtung für Federated Learning etabliert, in der sich Modelle von einem Repository statischen Wissens zu einem Paradigma kontinuierlichen, kontextbewussten Lernens entwickeln.

Paradigmenwechsel: Durch die Entkopplung allgemeiner sprachlicher Fähigkeiten (eingefrorener Backbone) von Regeln zur Speicherkonstruktion (trainierbare Adapter) ermöglicht FedNL diversen Clients, „Lernfähigkeiten" statt konfliktreicher „Wissenszustände" zu teilen.
Robustheit gegenüber Heterogenität: Die globalen Meta-Parameter müssen nicht den Konflikt zwischen unterschiedlichen Domänen (z. B. Code versus Medizin) kodieren. Stattdessen kodieren sie eine universelle Regel: „Wenn der Kontext X beinhaltet, aktualisiere den Speicher, um Y zu speichern." Dies mildert den Non-IID-Konflikt im Parameterraum.
Zero-Shot-Anpassung: Das Framework ermöglicht es Modellen, sich während der ersten wenigen Tokens der Inferenz an spezifische lokale Verteilungen anzupassen, indem sie ausschließlich gelernte Speicheraktualisierungsregeln ausführen, wodurch das „Cold-Start"-Problem gelöst wird, mit dem Test-Time-Training (TTT)-Methoden häufig konfrontiert sind.

Die Autoren stellen fest, dass die Ergebnisse zwar im Bereich 1B–1,5B konsistent sind, die Erweiterung von FedNL auf größere Foundation-Modelle jedoch ein notwendiger nächster Schritt bleibt, um die Allgemeingültigkeit der Aggregation von Speicherregeln zu validieren.