🤖 machine learning

Affinity Is Not Enough: Recovering the Free Energy Principle in Mixture-of-Experts

Dieser Artikel schlägt vor, dass das herkömmliche affinitätsbasierte Routing in Mixture-of-Experts-Modellen bei Domänenübergängen versagt, und zeigt, dass die Integration von vom Freien-Energie-Prinzip inspirierten Mechanismen – insbesondere temporärem Gedächtnis, präzisionsgewichtetem Gating und antizipativem Routing – die Genauigkeit der Expertenwahl und die Vorhersageleistung erheblich verbessern kann, indem sie dem Modell ermöglicht, Verteilungsverschiebungen zu erkennen und sich darauf vorzubereiten, bevor sie eintreten.

Ursprüngliche Autoren: Man Yung Wong (Russell)

Veröffentlicht 2026-05-04

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Man Yung Wong (Russell)

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie navigieren durch eine massive, sich ständig verändernde Landschaft mit einem Team von vier spezialisierten Führern (den „Experten"). Ihre Aufgabe ist es, für jeden Schritt Ihrer Reise den richtigen Führer auszuwählen.

In aktuellen KI-Systemen (genannt Mixture-of-Experts oder MoE) ist die Person, die die Führer auswählt, wie ein Tourist ohne Karte, ohne Kompass und ohne Gedächtnis. Sie betrachtet nur den Boden direkt unter ihren Füßen im jetzigen Moment, um zu entscheiden, wen sie anheuert.

Die Arbeit argumentiert, dass dies ein fataler Fehler ist. Wenn Sie durch einen Wald wandern und plötzlich das Gelände in eine Wüste übergehen wird, wird ein Führer, der nur auf den aktuellen Baum unter Ihrem Fuß schaut, weiterhin den „Waldführer" anheuern. Er wird den bevorstehenden Wechsel nicht bemerken, bis es zu spät ist.

Der Autor, Russell Wong, schlägt vor, diesen „Personalchef" mit drei einfachen Tricks zu verbessern, die von der Funktionsweise des Gehirns inspiriert sind (insbesondere vom Prinzip der Freien Energie). Hier ist, wie die Arbeit diese Verbesserungen mit alltäglichen Analogien erklärt:

1. Das Problem: „Der amnestische Tourist"

Das aktuelle KI-Routing ist zustandslos. Es vergisst alles, was in den vorherigen 100 Schritten passiert ist.

Das Ergebnis: Wenn die KI vom Thema „Katzen" zu „Autos" wechselt, gelingt es ihr oft nicht, sofort die Experten zu wechseln. In den Experimenten der Arbeit wurde im exakten Moment des Wechsels dem korrekten Experten eine Wahrscheinlichkeit von 0,6 % zugewiesen. Sie lag fast vollständig falsch.
Die Analogie: Es ist wie ein Koch, der nur den Löffel Suppe schmeckt, der sich gerade in seinem Mund befindet, und ignoriert, dass er gerade einen ganzen Eimer Salz hineingegossen hat. Er kann nicht vorhersagen, dass die Suppe zu salzig wird, bis sie bereits ruiniert ist.

2. Die Lösung: Drei neue Werkzeuge für den Personalchef

Die Arbeit schlägt drei leichte Änderungen vor, um dies zu beheben.

A. Temporales Gedächtnis (Der „Rucksack")

Was es ist: Anstatt nur den aktuellen Schritt zu betrachten, trägt das System einen „Rucksack" (genannt Membranpotential), der ein gewichtetes Gedächtnis der letzten paar Schritte enthält.
Die Analogie: Stellen Sie sich vor, der Personalchef trägt nun einen Rucksack. Wenn er seit 30 Minuten durch einen Wald wandert, wird der Rucksack schwer von „Waldstaub". Selbst wenn der Boden unter seinem Fuß wie ein Wald aussieht, sagt ihm der schwere Rucksack: „Wir sind schon lange hier; wir werden wahrscheinlich gleich weitergehen."
Das Ergebnis: Die KI lernt, alte Informationen genau in der richtigen Geschwindigkeit zu „vergessen". Wenn sich das Gelände schnell ändert, leert sich der Rucksack schnell. Wenn das Gelände stabil ist, hält er länger fest. Allein dies verbesserte die Fähigkeit der KI, den Wechsel zu erkennen, von 0,6 % auf 30 %.

B. Präzisionsgewichtetes Gating (Der „Vertrauens-Score")

Was es ist: Das System verfolgt, wie zuverlässig jeder Experte in jüngster Zeit war. Wenn ein Experte ständig Fehler macht, senkt das System seinen „Vertrauens-Score" (Präzision) und hört auf, ihm zuzuhören, selbst wenn er für das aktuelle Wort gut zu passen scheint.
Die Analogie: Stellen Sie sich vor, Sie haben vier Führer. Führer A ist großartig im Wald, aber schrecklich in der Wüste. Führer B ist das Gegenteil. Das aktuelle System heuert Führer A nur an, weil er gerade in einem Wald steht. Das neue System sagt: „Warte, Führer A hat vor 5 Minuten einen riesigen Fehler gemacht, als wir in der Nähe einer Wüste waren. Ich senke seinen Vertrauens-Score. Ich werde ihn nur anheuern, wenn er zu 100 % sicher ist."
Das Ergebnis: Dies hilft der KI, sich anzupassen, wenn Experten unzuverlässig werden. Es erzeugt einen 31-fachen Unterschied darin, wie sehr das System einem zuverlässigen Experten im Vergleich zu einem unzuverlässigen vertraut.

C. Antizipatives Routing (Die „Kristallkugel")

Was es ist: Das System versucht vorherzusagen, wie der nächste Schritt aussehen wird, und heuert den Experten für diesen Schritt an, nicht für den aktuellen.
Die Analogie: Ein normaler Tourist heuert einen Führer für den Pfad an, auf dem er sich jetzt befindet. Ein antizipierender Tourist betrachtet den Weg voraus und heuert den Führer für die nächste Kurve an.
Der Haken: Die Arbeit fand einen geheimen Inhaltsstoff. Eine „Kristallkugel" funktioniert nicht, wenn der Tourist kein Gedächtnis hat. Wenn Sie versuchen, die Zukunft vorherzusagen, ohne sich an die Vergangenheit zu erinnern, können Sie nicht erkennen, wann ein Wechsel kommt.
Die magische Kombination: Wenn Sie den Rucksack (Gedächtnis) mit der Kristallkugel (Vorhersage) kombinieren, wird das System übermenschlich. Der Rucksack füllt sich mit „Waldstaub", und die Kristallkugel liest diese Sättigung ab, um zu sagen: „Wir sind voll mit Waldstaub; als nächstes kommt die Wüste!"
Das Ergebnis: Diese Kombination ist superadditiv.
- Nur Rucksack: +30 % Verbesserung.
- Nur Kristallkugel: +0 % Verbesserung (sie war blind).
- Rucksack + Kristallkugel: +74 % Verbesserung.
- Zusammen schlossen sie 75 % der Lücke zwischen der KI und einem perfekten „Orakel" (einem perfekten Führer).

3. Warum dies wichtig ist (Die „Navigation"-Metapher)

Die Arbeit kommt zu dem Schluss, dass aktuelle KI nur auf die Gegenwart reagiert. Es ist eine Maschine, die sagt: „Dieses Wort sieht wie eine Katze aus, also verwende ich den Katzen-Experten."

Das neue System navigiert. Es sagt:

Wo war ich? (Rucksack/Gedächtnis: „Ich war lange im Wald.")
Wem kann ich vertrauen? (Vertrauens-Score: „Der Wüstenführer ist zuverlässig; der Waldführer ist müde.")
Wohin gehe ich? (Kristallkugel: „Das Gelände wechselt als nächstes zur Wüste.")

Das Fazit

Die Arbeit behauptet, dass wir durch das Hinzufügen dieser drei einfachen, kostengünstigen Mechanismen (Gedächtnis, Vertrauen und Vorhersage) verhindern können, dass die KI in den Momenten „verloren geht", in denen es am meisten zählt: wenn sich das Thema ändert.

In ihren Tests reduzierte dieses Upgrade die Anzahl der benötigten Experten, um die Arbeit zu erledigen, von einer unmöglichen Anzahl (Hunderte) auf eine winzige, handhabbare Anzahl (3 oder 4). Es verwandelt einen verwirrten Touristen in einen geschickten Navigator.

Hinweis: Die Arbeit behauptet nicht, dass dies alle KI-Probleme löst oder auf medizinische Diagnosen anwendbar ist. Sie konzentriert sich strikt darauf, das „Routing" (die Entscheidung, welcher Teil der KI verwendet wird) während der Sprachgenerierung intelligenter zu machen.

1. Problemstellung

Sparse Mixture-of-Experts (MoE)-Modelle (z. B. DeepSeek-V3, Mixtral) verlassen sich derzeit auf zustandslose, affinitätsbasierte Routing. Das Routing-Gate wählt Experten ausschließlich basierend auf der aktuellen Token-Embedding ( $x_t$ ) aus und ignoriert dabei den zeitlichen Kontext, die Historie der Experten-Zuverlässigkeit sowie zukünftige Anforderungen.

Das Paper identifiziert einen kritischen Fehlermodus: Domänenübergänge. Wenn eine Sequenz von einer Verteilung (Domäne A) zu einer anderen (Domäne B) wechselt, gehört das Token am Übergangsschritt ( $t$ ) noch zur Domäne A, aber der optimale Experte für den nächsten Schritt ( $t+1$ ) gehört zur Domäne B.

Das Problem: Standard-Router, die nur $x_t$ sehen, weisen dem korrekten Experten am Übergangsschritt eine Wahrscheinlichkeit nahe Null zu.
Empirische Evidenz: In kontrollierten Experimenten weist das Standard-Routing am Übergangsschritt nur 0,006 ± 0,001 Wahrscheinlichkeitsmasse dem korrekten Experten zu.
Konsequenz: Um mit solch geringer Konfidenz eine Routing-Abdeckung von 99 % zu erreichen, würde ein Modell eine unpraktisch große Anzahl von Experten benötigen ( $K \approx 765$ ), was die Effizienzvorteile von MoE zunichtemacht.

2. Methodik: Das Framework des Free Energy Principle (FEP)

Der Autor schlägt vor, das MoE-Routing durch das Free Energy Principle von Friston neu zu rahmen, welches diktiert, dass ein optimales System unter Unsicherheit Folgendes tun muss:

Zustand rekursiv aktualisieren (nicht von Grund auf neu).
Signale nach Präzision gewichten (inverse Varianz des Fehlers).
Erwartete zukünftige freie Energie minimieren (auf Vorhersagen handeln, nicht nur auf aktuelle Beobachtungen).

Zur Implementierung führt das Paper drei leichte Modifikationen am Standard-Routing-Gate ein, die auf der Dynamik Spikender Neuronaler Netze (SNN) basieren (speziell Leaky Integrate-and-Fire, oder LIF):

A. Temporales Routing-Gedächtnis ( $\beta$ )

Mechanismus: Ersetzt den zustandslosen Input $x_t$ durch einen versteckten Zustand $h_t$ , der über LIF-Dynamiken aktualisiert wird:
$h_t = \beta \odot h_{t-1} + x_t$
wobei $\beta$ ein lernbarer Abklingvektor ist (initialisiert bei 0,9).
Funktion: Akkumuliert Kontext über Tokens hinweg. Es ermöglicht dem Router, sich daran zu „erinnern", dass sich das System bereits lange in Domäne A befunden hat, und erzeugt ein „Sättigungssignal", das einen bevorstehenden Wechsel anzeigt, noch bevor das Wechsel-Token erscheint.
Zeitskala: Pro Token (schnell).

B. Präzisionsgewichtetes Gating ( $\Pi$ )

Mechanismus: Führt einen Online-, nicht-parametrischen Tracker für den Mean Squared Error (MSE) jedes Experten. Das Routing-Gate wird durch die inverse Varianz (Präzision) dieser Fehler moduliert:
$g_t = \text{softmax}(W \cdot x_t \odot \Pi_t)$
wobei $\Pi_i = 1 / (\hat{\sigma}^2_i + \epsilon)$ .
Funktion: Gewichtet Experten, die aktuell unzuverlässig sind (hoher Fehler), dynamisch herunter und zuverlässige hoch. Im Gegensatz zum Standard-Load-Balancing (das die Frequenz verfolgt), verfolgt dies die Genauigkeit.
Zeitskala: Pro Batch (mittel).

C. Antizipatives Routing

Mechanismus: Verwendet ein Prädiktor-Netzwerk $f(x_t, h_t)$ , um das nächste Token-Embedding $\hat{x}_{t+1}$ zu schätzen. Die Routing-Entscheidung wird auf dieser Vorhersage konditioniert:
$g_t = \text{softmax}(W \cdot h_t + W_{pred} \cdot \hat{x}_{t+1})$
Funktion: Routet basierend auf dem vorhergesagten zukünftigen Zustand statt dem aktuellen Zustand. Dies ermöglicht es dem Router, bevor die Tokens der neuen Domäne im Input erscheinen, zum Experten der neuen Domäne zu wechseln.
Kritische Erkenntnis: Ein zustandsloser Prädiktor ( $f(x_t)$ ) scheitert, da prä-transitionale Tokens verteilungsgleich sind. Der Prädiktor muss auf den durch $\beta$ akkumulierten Zustand $h_t$ konditioniert sein, um das Sättigungssignal zu erkennen, das einen Übergang anzeigt.

3. Hauptbeiträge

Theoretische Vereinheitlichung: Verbindet MoE-Routing mit dem Free Energy Principle und zeigt auf, dass Standard-MoE rekursive Zustandsschätzung, Präzisionsgewichtung und Minimierung des zukünftigen Zustands vermissen.
Drei leichte Mechanismen: Schlägt $\beta$ (Gedächtnis), $\Pi$ (Präzision) und Antizipation (Vorhersage) als notwendige Komponenten vor, die mit minimalem Parameter-Overhead implementierbar sind (~200 Zeilen Code insgesamt).
Entdeckung der Super-Additivität: Die bedeutendste Erkenntnis des Papers ist die $\beta \times \text{Ant}$ -Interaktion.
- $\beta$ allein: +0,295 Gewinn.
- Antizipation allein: +0,000 Gewinn (scheitert ohne Gedächtnis).
- Kombiniert: +0,741 Gewinn.
- Interaktionseffekt: Der kombinierte Gewinn übersteigt die Summe der einzelnen Teile um +0,446, was beweist, dass Gedächtnis eine Voraussetzung für Antizipation ist.
Strukturelle Erklärung für DeepSeek-V3: Erklärt, warum DeepSeek-V3 sein Multi-Token Prediction (MTP)-Modul beim Inferenzlauf verwirft: Ein zustandsloser MTP-Kopf kann Domänenübergänge nicht erkennen. Das Paper argumentiert, dass MTP beibehalten werden sollte, wenn es auf zeitliches Gedächtnis ( $\beta$ ) konditioniert ist.

4. Experimentelle Ergebnisse

Experimente wurden an kontrollierten Domänenwechsel-Aufgaben und einem character-level MoE-Sprachmodell (5 Seeds) durchgeführt.

Metrik	Standard MoE	$\beta$ -MoE	$\beta$ + Ant MoE	Oracle
Transition Accuracy	0,006	0,301	0,748	0,994
BPC bei Transition	6,56	4,01	4,19	N/A
Experten für 99% Abdeckung ( $K$ )	~765 (Unpraktisch)	~6,0	2,4	N/A

Transition Accuracy: Der kombinierte Mechanismus erhöht die Wahrscheinlichkeit, den korrekten Experten am Übergangsschritt auszuwählen, von 0,6 % auf 74,8 % und schließt 75 % der Lücke zum Oracle.
Effizienz: Die erforderliche Anzahl von Experten ( $K$ ), um eine 99%ige Abdeckung zu erreichen, sinkt von einem unpraktischen ~765 auf eine kleine Konstante (2,4) bei Übergangsschritten.
Validierung am Sprachmodell: In einem character-level LM reduzierte $\beta$ -Routing die Bits Per Character (BPC) am Übergangsschritt von 6,56 auf 4,01. Das Hinzufügen von Antizipation stabilisierte die Routing-Entscheidung (reduzierte Varianz), reduzierte jedoch bei dieser kleinen Skala die BPC nicht weiter, was darauf hindeutet, dass der Hauptvorteil in der Routing-Stabilität und der Latenzreduktion durch Prefetching liegt.

5. Bedeutung und Implikationen

Navigation vs. Klassifikation: Das Paper rahmt Routing von einem statischen Klassifikationsproblem („Welcher Experte passt zu diesem Token?") zu einem dynamischen Navigationsproblem („Wohin bewegt sich das System, und welcher Pfad ist zuverlässig?") um.
Latenzreduktion: Durch das Antizipieren von Domänenwechseln einen Schritt im Voraus kann das System Experten-Gewichte von Speicher (HBM) zu Recheneinheiten (SRAM) vorladen, während der aktuelle Schritt ausgeführt wird, wodurch Speicher-Latenz-Verzögerungen an kritischen Übergangspunkten eliminiert werden.
Neubewertung von MTP: Die Arbeit legt nahe, dass Multi-Token Prediction-Module in Modellen wie DeepSeek-V3 untergenutzt sind. Wenn sie auf zeitlichen Zustand konditioniert sind, könnten sie als leistungsfähige antizipative Routing-Mechanismen dienen und nicht nur als Trainingshilfen.
Biologische Plausibilität: Die Mechanismen spiegeln biologische Prozesse wider (LIF-Neuronen, Präzisionsgewichtung in Predictive Coding, Active Inference), was darauf hindeutet, dass aktuelle MoE-Architekturen fundamentale Prinzipien der intelligenten Ressourcenallokation vermissen.

Zusammenfassend zeigt das Paper, dass Affinität allein nicht ausreicht für ein robustes MoE-Routing. Durch die Integration von zeitlichem Gedächtnis, Präzisionsgewichtung und Antizipation können MoE-Modelle eine nahezu Oracle-Routing-Leistung bei Domänenübergängen erreichen und die Rechenkosten zur Aufrechterhaltung hoher Genauigkeit drastisch senken.