🤖 machine learning

Affinity Is Not Enough: Recovering the Free Energy Principle in Mixture-of-Experts

Cet article propose que le routage standard basé sur l'affinité dans les modèles de type Mélange d'Experts échoue lors des transitions de domaine, et démontre que l'intégration de mécanismes inspirés du Principe de l'Énergie Libre — à savoir la mémoire temporelle, le routage pondéré par la précision et le routage anticipatif — peut considérablement améliorer la précision de la sélection des experts et les performances prédictives en permettant au modèle de détecter et de se préparer aux changements de distribution avant qu'ils ne surviennent.

Auteurs originaux : Man Yung Wong (Russell)

Publié 2026-05-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Man Yung Wong (Russell)

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous naviguez dans un paysage massif et changeant avec une équipe de quatre guides spécialisés (les « Experts »). Votre travail consiste à choisir le bon guide pour chaque étape de votre voyage.

Dans les systèmes d'IA actuels (appelés Mélange d'Experts ou MoE), la personne qui choisit les guides est comme un touriste sans carte, sans boussole et sans mémoire. Elle ne regarde que le sol directement sous ses pieds à l'instant présent pour décider qui embaucher.

L'article soutient qu'il s'agit d'un défaut fatal. Si vous marchez dans une forêt et que le terrain est sur le point de se transformer en désert, un guide qui ne regarde que l'arbre actuel sous votre pied continuera d'embaucher le « guide de la forêt ». Il ne réalisera le changement à venir que lorsqu'il sera trop tard.

L'auteur, Russell Wong, suggère que nous devons mettre à niveau ce « responsable du recrutement » en utilisant trois astuces simples inspirées du fonctionnement du cerveau (spécifiquement, le Principe de l'Énergie Libre). Voici comment l'article explique ces améliorations en utilisant des analogies du quotidien :

1. Le Problème : « Le Touriste Amnésique »

Le routage de l'IA actuel est sans état. Il oublie tout ce qui s'est passé au cours des 100 étapes précédentes.

Le Résultat : Lorsque l'IA passe de la discussion sur les « chats » aux « voitures », elle échoue souvent à changer d'expert immédiatement. Dans les expériences de l'article, au moment exact du changement, l'IA attribuait une chance de 0,6 % au bon expert. Elle était presque complètement dans l'erreur.
L'Analogie : C'est comme un chef qui ne goûte que la cuillerée de soupe dans sa bouche à l'instant présent, ignorant le fait qu'il vient de verser un seau entier de sel. Il ne peut pas prédire que la soupe va être trop salée avant qu'elle ne soit déjà gâchée.

2. La Solution : Trois Nouveaux Outils pour le Responsable du Recrutement

L'article propose trois modifications légères pour résoudre ce problème.

A. Mémoire Temporelle (Le « Sac à Dos »)

Ce que c'est : Au lieu de ne regarder que l'étape actuelle, le système porte un « sac à dos » (appelé potentiel de membrane) qui contient une mémoire pondérée des dernières étapes.
L'Analogie : Imaginez que le responsable du recrutement porte désormais un sac à dos. S'il marche dans une forêt depuis 30 minutes, le sac devient lourd de « poussière de forêt ». Même si le sol sous ses pieds ressemble à une forêt, le sac lourd lui dit : « Nous sommes ici depuis longtemps ; nous sommes probablement sur le point de partir. »
Le Résultat : L'IA apprend à « oublier » les anciennes informations à la vitesse exacte. Si le terrain change rapidement, le sac se vide vite. Si le terrain est stable, il retient plus longtemps. À lui seul, cela a amélioré la capacité de l'IA à détecter le changement, passant de 0,6 % à 30 %.

B. Commutation Pondérée par la Précision (Le « Score de Confiance »)

Ce que c'est : Le système suit la fiabilité récente de chaque expert. Si un expert continue de faire des erreurs, le système abaisse son « score de confiance » (précision) et cesse de l'écouter, même s'il semble correspondre au mot actuel.
L'Analogie : Imaginez que vous avez quatre guides. Le guide A est excellent en forêt mais terrible en désert. Le guide B est l'inverse. Le système actuel embauche le guide A simplement parce qu'il se trouve dans une forêt. Le nouveau système dit : « Attendez, le guide A a fait une énorme erreur il y a 5 minutes alors que nous étions près d'un désert. J'abaisse son score de confiance. Je ne l'embaucherai que s'il est sûr à 100 %. »
Le Résultat : Cela aide l'IA à s'adapter lorsque les experts deviennent peu fiables. Cela crée une différence de 31 fois dans la mesure où le système fait confiance à un expert fiable par rapport à un expert peu fiable.

C. Routage Anticipatif (La « Boule de Cristal »)

Ce que c'est : Le système tente de prédire à quoi ressemblera la prochaine étape et embauche l'expert pour cette étape, et non pour l'actuelle.
L'Analogie : Un touriste normal embauche un guide pour le chemin sur lequel il se trouve maintenant. Un touriste anticipatif regarde le chemin devant lui et embauche le guide pour le prochain virage.
Le Problème : L'article a découvert un ingrédient secret. Une « boule de cristal » ne fonctionne pas si le touriste n'a pas de mémoire. Si vous essayez de prédire l'avenir sans vous souvenir du passé, vous ne pouvez pas dire quand un changement arrive.
La Combinaison Magique : Lorsque vous combinez le Sac à Dos (Mémoire) avec la Boule de Cristal (Prédiction), le système devient surhumain. Le sac se remplit de « poussière de forêt », et la boule de cristal lit cette saturation pour dire : « Nous sommes remplis de poussière de forêt ; le désert arrive ensuite ! »
Le Résultat : Cette combinaison est super-additive.
- Sac à Dos seul : +30 % d'amélioration.
- Boule de Cristal seule : +0 % d'amélioration (elle était aveugle).
- Sac à Dos + Boule de Cristal : +74 % d'amélioration.
- Ensemble, ils ont comblé 75 % de l'écart entre l'IA et un « Oracle » parfait (un guide parfait).

3. Pourquoi Cela Compte (La Métaphore de la « Navigation »)

L'article conclut que l'IA actuelle se contente de réagir au présent. C'est une machine qui dit : « Ce mot ressemble à un chat, donc j'utiliserai l'expert chat. »

Le nouveau système navigue. Il dit :

Où suis-je allé ? (Sac à Dos/Mémoire : « Je suis dans la forêt depuis longtemps. »)
Qui puis-je faire confiance ? (Score de Confiance : « Le guide du désert est fiable ; le guide de la forêt est fatigué. »)
Où vais-je ? (Boule de Cristal : « Le terrain va passer au désert ensuite. »)

L'Essentiel

L'article affirme qu'en ajoutant ces trois mécanismes simples et peu coûteux (Mémoire, Confiance et Prédiction), nous pouvons empêcher l'IA de se « perdre » aux moments où cela compte le plus : lorsque le sujet change.

Dans leurs tests, cette mise à niveau a réduit le nombre d'experts nécessaires pour faire le travail, passant d'un nombre impossible (des centaines) à un nombre minuscule et gérable (3 ou 4). Elle transforme un touriste confus en un navigateur habile.

Note : L'article ne prétend pas que cela résout tous les problèmes de l'IA ou qu'il s'applique au diagnostic médical. Il se concentre strictement sur l'amélioration du « routage » (la décision de quelle partie de l'IA utiliser) pendant la génération de langage.

1. Énoncé du problème

Les modèles Sparse Mixture-of-Experts (MoE) (par exemple DeepSeek-V3, Mixtral) reposent actuellement sur un routage par affinité sans état. La porte de routage sélectionne les experts uniquement sur la base de l'embedding du token courant ( $x_t$ ), en ignorant le contexte temporel, l'historique de fiabilité des experts et les exigences futures.

Le papier identifie un mode de défaillance critique : les Transitions de Domaine. Lorsqu'une séquence passe d'une distribution (Domaine A) à une autre (Domaine B), le token à l'étape de transition ( $t$ ) appartient encore au Domaine A, mais l'expert optimal pour l'étape suivante ( $t+1$ ) appartient au Domaine B.

Le problème : Les routeurs standards, ne voyant que $x_t$ , attribuent une probabilité proche de zéro à l'expert correct à l'étape de transition.
Preuve empirique : Dans des expériences contrôlées, le routage standard n'attribue qu'une masse de probabilité de 0,006 ± 0,001 à l'expert correct aux étapes de transition.
Conséquence : Pour atteindre une couverture de routage de 99 % avec une telle faible confiance, un modèle nécessiterait un nombre d'experts prohibitivement élevé ( $K \approx 765$ ), annulant les avantages d'efficacité du MoE.

2. Méthodologie : Le cadre du Principe de l'Énergie Libre (FEP)

L'auteur propose que le routage MoE doit être reformulé à travers le Principe de l'Énergie Libre de Friston, qui dicte qu'un système optimal dans l'incertitude doit :

Mettre à jour l'état de manière récursive (et non à partir de zéro).
Pondérer les signaux par la précision (inverse de la variance de l'erreur).
Minimiser l'énergie libre future attendue (agir sur les prédictions, et non seulement sur les observations actuelles).

Pour implémenter cela, le papier introduit trois modifications légères à la porte de routage standard, fondées sur la dynamique des Réseaux de Neurones à Spikes (SNN) (spécifiquement Leaky Integrate-and-Fire, ou LIF) :

A. Mémoire de routage temporelle ( $\beta$ )

Mécanisme : Remplace l'entrée sans état $x_t$ par un état caché $h_t$ mis à jour via la dynamique LIF :
$h_t = \beta \odot h_{t-1} + x_t$
où $\beta$ est un vecteur de décroissance apprenable (initialisé à 0,9).
Fonction : Accumule le contexte à travers les tokens. Elle permet au routeur de "se souvenir" que le système est dans le Domaine A depuis longtemps, créant un signal de "saturation" indiquant un changement imminent, même avant l'apparition du token de transition.
Échelle de temps : Par token (rapide).

B. Porte pondérée par la précision ( $\Pi$ )

Mécanisme : Maintient un traceur non paramétrique en ligne de l'Erreur Quadratique Moyenne (MSE) pour chaque expert. La porte de routage est modulée par l'inverse de la variance (précision) de ces erreurs :
$g_t = \text{softmax}(W \cdot x_t \odot \Pi_t)$
où $\Pi_i = 1 / (\hat{\sigma}^2_i + \epsilon)$ .
Fonction : Réduit dynamiquement le poids des experts actuellement peu fiables (erreur élevée) et augmente celui des experts fiables. Contrairement à l'équilibrage de charge standard (qui suit la fréquence), ceci suit la précision.
Échelle de temps : Par lot (moyenne).

C. Routage anticipatif

Mécanisme : Utilise un réseau prédictif $f(x_t, h_t)$ pour estimer l'embedding du token suivant $\hat{x}_{t+1}$ . La décision de routage est conditionnée à cette prédiction :
$g_t = \text{softmax}(W \cdot h_t + W_{pred} \cdot \hat{x}_{t+1})$
Fonction : Routage basé sur l'état futur prédit plutôt que sur l'état actuel. Cela permet au routeur de basculer vers l'expert du nouveau domaine avant que les tokens du nouveau domaine n'apparaissent dans l'entrée.
Insight crucial : Un prédicteur sans état ( $f(x_t)$ ) échoue car les tokens pré-transition sont distributionnellement identiques. Le prédicteur doit être conditionné par l'état accumulé par $\beta$ , $h_t$ , pour détecter le signal de saturation indiquant une transition.

3. Contributions clés

Unification théorique : Relie le routage MoE au Principe de l'Énergie Libre, démontrant que le MoE standard manque d'estimation d'état récursive, de pondération par la précision et de minimisation de l'état futur.
Trois mécanismes légers : Propose $\beta$ (mémoire), $\Pi$ (précision) et l'Anticipation (prédiction) comme composants nécessaires, implémentables avec une surcharge paramétrique minimale (~200 lignes de code au total).
Découverte de la super-additivité : La découverte la plus significative du papier est l'interaction $\beta \times \text{Ant}$ .
- $\beta$ seul : gain de +0,295.
- Anticipation seule : gain de +0,000 (échoue sans mémoire).
- Combiné : gain de +0,741.
- Effet d'interaction : Le gain combiné dépasse la somme des parties individuelles de +0,446, prouvant que la mémoire est une condition préalable à l'anticipation.
Explication structurelle pour DeepSeek-V3 : Explique pourquoi DeepSeek-V3 rejette son module de Prédiction Multi-Token (MTP) lors de l'inférence : une tête MTP sans état ne peut pas détecter les transitions de domaine. Le papier soutient que le MTP devrait être conservé si il est conditionné par la mémoire temporelle ( $\beta$ ).

4. Résultats expérimentaux

Les expériences ont été menées sur des tâches contrôlées de changement de domaine et un modèle de langage MoE au niveau des caractères (5 graines).

Métrique	MoE Standard	$\beta$ -MoE	$\beta$ + Ant MoE	Oracle
Précision de transition	0,006	0,301	0,748	0,994
BPC à la transition	6,56	4,01	4,19	N/A
Experts pour 99 % de couverture ( $K$ )	~765 (Infeasible)	~6,0	2,4	N/A

Précision de transition : Le mécanisme combiné élève la probabilité de sélectionner l'expert correct à l'étape de transition de 0,6 % à 74,8 %, comblant 75 % de l'écart avec l'oracle.
Efficacité : Le nombre d'experts requis ( $K$ ) pour atteindre 99 % de couverture chute d'un nombre prohibitif d'environ 765 à une petite constante (2,4) aux étapes de transition.
Validation du modèle de langage : Dans un LM au niveau des caractères, le routage $\beta$ a réduit les Bits par Caractère (BPC) à l'étape de transition de 6,56 à 4,01. L'ajout de l'anticipation a stabilisé la décision de routage (réduit la variance) mais n'a pas réduit davantage le BPC à cette petite échelle, suggérant que le bénéfice principal réside dans la stabilité du routage et la réduction de la latence via la prélecture.

5. Signification et implications

Navigation vs Classification : Le papier reformule le routage d'un problème de classification statique ("quel expert correspond à ce token ?") en un problème de navigation dynamique ("où va le système et quel chemin est fiable ?").
Réduction de la latence : En anticipant les changements de domaine une étape à l'avance, le système peut précharger les poids des experts de la mémoire (HBM) vers les unités de calcul (SRAM) pendant l'exécution de l'étape actuelle, éliminant les goulots d'étranglement de latence mémoire aux points de transition critiques.
Réévaluation du MTP : Ce travail suggère que les modules de Prédiction Multi-Token dans des modèles comme DeepSeek-V3 sont sous-utilisés. S'ils sont conditionnés par l'état temporel, ils pourraient servir de mécanismes de routage anticipatif puissants plutôt que de simples aides à l'entraînement.
Plausibilité biologique : Les mécanismes reflètent des processus biologiques (neurones LIF, pondération par la précision dans le codage prédictif, inférence active), suggérant que les architectures MoE actuelles manquent des principes fondamentaux de l'allocation intelligente des ressources.

En conclusion, le papier démontre que l'affinité est insuffisante pour un routage MoE robuste. En intégrant la mémoire temporelle, la pondération par la précision et l'anticipation, les modèles MoE peuvent atteindre des performances de routage proches de l'oracle aux transitions de domaine, réduisant drastiquement le coût computationnel du maintien d'une haute précision.