🤖 machine learning

Scalable Knowledge Editing for Mixture-of-Experts LLMs via Tensor-Structured Updates

Ce papier propose un cadre d'édition de connaissances en forme fermée et évolutif pour les LLM à mélange d'experts, qui exploite les structures tensorielles et l'identité de Woodbury pour réaliser des mises à jour par expert avec une accélération allant jusqu'à 6 fois tout en maintenant une qualité d'édition comparable aux bases de couches denses.

Auteurs originaux : Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Mettre à jour une bibliothèque géante

Imaginez un modèle de langage de grande taille (LLM) comme un bibliothécaire massif et ultra-intelligent qui connaît presque tout. Cependant, une fois le bibliothécaire formé, ses connaissances sont « gelées ». Si le monde change (par exemple, un nouveau président est élu, ou un fait scientifique est corrigé), le bibliothécaire continue de donner d'anciennes réponses erronées.

Habituellement, pour corriger cela, vous devez renvoyer le bibliothécaire à l'école pour une longue et coûteuse session de réentraînement. C'est lent, coûte une fortune en puissance informatique, et risque de faire oublier au bibliothécaire d'autres choses qu'il savait déjà.

L'Édition de Connaissances est un raccourci. Au lieu de réentraîner tout le bibliothécaire, vous entrez simplement et remplacez un fichier spécifique dans sa mémoire. Les méthodes précédentes fonctionnaient très bien pour les modèles « denses » (où chaque partie du cerveau est active), mais elles peinaient avec les modèles modernes.

Le Nouveau Défi : L'équipe d'« Experts »

Les modèles d'IA modernes (comme ceux utilisés par OpenAI ou DeepSeek) n'utilisent pas un seul cerveau géant. Ils utilisent une architecture de Mélange d'Experts (MoE).

L'Analogie : Imaginez qu'au lieu d'un seul bibliothécaire géant, vous ayez une équipe de 100 experts spécialisés (un historien, un codeur, un chef, un médecin, etc.).
Comment ça marche : Lorsque vous posez une question, un « routeur » (un gestionnaire) examine la question et ne réveille que les 4 ou 8 experts pertinents. Les autres restent endormis.
Le Problème : Si vous voulez mettre à jour un fait (par exemple, « La capitale de la France est Paris »), les anciens outils d'édition ne savaient pas comment parler à cette équipe spécifique. Ils tentaient de traiter toute l'équipe comme un gros bloc informe, ce qui est inefficace et désordonné. La méthode existante pour résoudre ce problème (appelée MoE-Edit) était comme essayer de mettre à jour les experts un par un, dans une longue file, ce qui prenait une éternité.

La Solution : MoTE (Le Gestionnaire d'Équipe Intelligent)

Les auteurs proposent une nouvelle méthode appelée MoTE (Mixture-of-Experts Tucker Editor). Ils ont résolu le problème en utilisant deux astuces principales :

1. Les Mathématiques du « Raccourci » (Identité de Woodbury)

L'ancienne façon de mettre à jour les experts nécessitait de résoudre une énigme math massive et complexe impliquant l'inversion d'une énorme matrice (une grille de nombres). C'était comme essayer de résoudre un Sudoku avec un million de cases.

Les auteurs ont utilisé une astuce mathématique appelée l'Identité de Woodbury.

L'Analogie : Au lieu de résoudre l'énigme d'un million de cases, ils ont réalisé qu'ils n'avaient besoin de résoudre qu'une minuscule énigme de 50 cases qui représente les changements que vous souhaitez apporter.
Le Résultat : Cela transforme une tâche qui prend des heures en une tâche qui prend quelques minutes. Ils peuvent mettre à jour les connaissances sans jamais avoir besoin de « réveiller » ou de calculer le poids complet de chaque expert individuellement.

2. Respecter la Structure de l'Équipe (Décomposition Tenseur)

La deuxième astuce a été de réaliser que les experts ne sont pas aléatoires ; ils sont liés. Ils ont été formés ensemble, donc leurs connaissances sont connectées dans une forme 3D spécifique (comme un bloc de fromage plutôt qu'une feuille de papier plate).

L'Analogie : Imaginez que les experts sont un chœur. Si vous voulez changer la hauteur de la chanson, vous ne criez pas juste à une personne ; vous ajustez l'harmonie de tout le groupe.
La Méthode : Les auteurs ont utilisé la Décomposition de Tucker. C'est une façon de compresser le « bloc de fromage » (les poids des experts) en une forme de base plus petite qui capture l'essence du groupe.
Le Bénéfice : En éditant cette forme de « noyau » plus petite, ils mettent automatiquement à jour tous les experts d'une manière qui respecte leurs relations. Cela empêche le modèle de se confondre ou d'« oublier » d'autres choses.

Les Résultats : Rapide et Précis

Le papier a testé MoTE sur plusieurs modèles d'IA modernes (comme Qwen et GPT-OSS) et l'a comparé à la meilleure méthode précédente (MoE-Edit) et au réentraînement standard.

Vitesse : MoTE est jusqu'à 6 fois plus rapide que la meilleure méthode précédente. Il peut éditer 1 000 faits en une fraction du temps.
Qualité : Il est tout aussi bon pour corriger les faits (Efficacité) et ne pas casser d'autres parties du modèle (Spécificité) que les méthodes plus lentes.
Efficacité : Il y parvient en ne faisant le calcul mathématique lourd qu'une seule fois à la toute fin du processus, puis en diffusant ce résultat aux autres couches, plutôt que de recalculer pour chaque couche individuelle.

Résumé

Le papier présente MoTE, un outil qui nous permet de mettre à jour rapidement et précisément les modèles d'IA modernes basés sur des « experts ». Il le fait en :

Utilisant un raccourci mathématique pour éviter de faire des calculs lourds inutiles.
Respectant la structure d'équipe des experts afin que les mises à jour aient du sens.

Cela signifie que nous pouvons maintenir les modèles d'IA à jour avec le monde réel sans avoir besoin de les réentraîner à partir de zéro, économisant ainsi d'énormes quantités de temps et d'énergie.

Résumé Technique : Édition de Connaissances Évolutives pour les LLM à Mélange d'Experts via des Mises à Jour de Structure Tensorielle

Énoncé du Problème
L'édition de connaissances (KE) offre une alternative légère au fine-tuning complet pour mettre à jour les connaissances factuelles dans les grands modèles de langage (LLM). Bien que des méthodes établies comme ROME et MEMIT fournissent des mises à jour efficaces et sous forme close pour les réseaux feed-forward denses (FFN), elles sont incompatibles avec les architectures modernes à Mélange d'Experts (MoE). Dans les modèles MoE, les associations factuelles sont distribuées dans un pool d'experts gérés par un routeur, plutôt que stockées dans une seule matrice dense. Les méthodes d'édition spécifiques aux MoE existantes, telles que MoE-Edit, reposent sur une descente de coordonnées par blocs itérative (BCD) ou un traitement séquentiel des experts. Cette approche crée un goulot d'étranglement computationnel, nécessitant une collecte répétée des activations et des itérations séquentielles de solveurs qui s'adaptent mal au nombre d'experts et d'éditions, les rendant peu pratiques pour les modèles de production à grande échelle.

Méthodologie : MoTE (MoE Tucker Editor)
Les auteurs proposent MoTE, un cadre qui adapte le paradigme d'édition par lots sous forme close de MEMIT aux couches MoE en exploitant leur structure tensorielle. La méthode se compose de trois composants principaux :

Réduction de Woodbury pour l'Évolutivité :
L'objectif d'optimisation global pour l'édition MoE implique l'inversion d'un système massif de taille $(E \cdot d_{hidden}) \times (E \cdot d_{hidden})$ , où $E$ est le nombre d'experts. MoTE utilise l'identité matricielle de Woodbury pour reformuler ce problème. En reconnaissant que la matrice de Gram pilotant l'inversion est une somme de $T$ termes de rang un (où $T$ est la taille du lot d'éditions), la méthode réduit la complexité d'inversion du cubique en fonction du nombre d'experts au cubique en fonction de la taille du lot ( $T \times T$ ). Cela permet une solution sous forme close sans matérialiser ni inverser la matrice complète des experts empilés.
Reformulation de Structure Tensorielle (Décomposition de Tucker) :
Les auteurs identifient que traiter les mises à jour des experts comme des blocs indépendants (une approche de matrice plate) ignore les corrélations structurelles entre les experts apprises lors du pré-entraînement. Au lieu de cela, MoTE représente la mise à jour $\Delta W$ comme un tenseur d'ordre trois ( $E \times d_{model} \times d_{hidden}$ ) et la contraint à une variété de Tucker de faible rang.
- Factorisation : La mise à jour est décomposée en un petit tenseur de cœur $G$ et trois matrices de facteurs ( $U_e, U_{out}, U_{in}$ ) dérivées via la SVD d'ordre supérieur (HOSVD) des poids originaux.
- Optimisation : Le problème d'optimisation est réduit de l'espace de haute dimension de tous les experts au tenseur de cœur $G$ beaucoup plus petit. Cela réduit la dimensionnalité de la variable d'optimisation de plusieurs ordres de grandeur tout en préservant la structure géométrique de la couche MoE.
Propagation Multi-couche de Style MEMIT :
À l'instar de MEMIT, MoTE diffuse les éditions sur plusieurs couches critiques pour assurer la généralisation. Cependant, contrairement aux approches MoE précédentes qui nécessitent de résoudre à nouveau pour chaque couche, MoTE calcule la solution sous forme close une seule fois à la dernière couche critique. La mise à jour du tenseur de cœur résultante est ensuite propagée aux couches précédentes avec un coefficient de décroissance, évitant ainsi les calculs redondants et les passes arrière.

Contributions Clés

Formulation Sensible aux Tenseurs : L'article formule l'objectif KE pour les couches MoE en respectant la structure tensorielle des poids d'experts empilés, évitant la concaténation naïve ou les approximations d'un seul expert.
Solution Efficace sous Forme Close : En combinant l'identité de Woodbury avec la décomposition de Tucker, la méthode atteint une mise à jour entièrement sous forme close, sans passe arrière. Elle ne nécessite que l'inversion de matrices de faible rang fixes (taille déterminée par la taille du lot ou le rang du cœur), indépendamment du nombre total d'experts.
Évolutivité : L'approche permet une édition par lots similaire à MEMIT, rendant possible l'édition de LLM modernes et clairsemés sans les goulots d'étranglement séquentiels des méthodes spécifiques aux MoE précédentes.

Résultats Expérimentaux
Les auteurs ont évalué MoTE sur trois LLM MoE modernes (Qwen3-30B-A3B, GPT-OSS-20B et Qwen3.6-35B-A3B) en utilisant les benchmarks COUNTERFACT et ZsRE.

Qualité d'Édition : MoTE atteint une qualité d'édition (efficacité, généralisation et spécificité) comparable à des bases de référence solides comme MoE-Edit. Dans certains scénarios (par exemple, GPT-OSS-20B sur ZsRE), il surpasse MoE-Edit en localité (spécificité).
Vitesse : La méthode accélère le processus d'édition jusqu'à 6x par rapport à MoE-Edit. Cette accélération est attribuée à la collecte des activations une seule fois à la dernière couche et à la résolution du système sous forme close une seule fois, plutôt qu'à une itération séquentielle à travers les experts et les couches.
Ablation : Les expériences confirment que la combinaison naïve de la réduction de Woodbury avec la propagation multi-couche (sans décomposition de Tucker) ne parvient pas à égaler les performances de MoE-Edit, validant la nécessité de l'a priori de structure tensorielle.

Signification et Revendications
L'article revendique que l'édition de connaissances modifiant les paramètres sous forme close n'est pas intrinsèquement liée aux architectures denses. En appliquant le traitement algébrique correct à la structure de la couche, ces techniques peuvent être étendues aux architectures clairsemées complexes. Les auteurs positionnent MoTE comme une étape vers une édition de connaissances évolutive dans les LLM modernes, démontrant que l'édition basée sur l'optimisation et fondée sur des principes peut suivre le rythme de l'évolution architecturale. Ils soulignent que leur méthode offre une voie pratique pour mettre à jour efficacement les modèles MoE de production, bien qu'ils notent des limitations concernant les coûts computationnels élevés avec des tailles de lot extrêmement grandes ( $>>1000$ ) et la surcharge initiale du calcul de HOSVD.