🤖 machine learning

SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning

L'article propose SAME, un cadre de mélange d'experts stabilisé pour l'ajustement d'instructions multimodales en continu qui atténue la dérive des routeurs et des experts grâce à un routage par sous-espace orthogonal, une mise à l'échelle sensible à la courbure et une activation adaptative des experts, atteignant des performances de pointe sur un nouveau benchmark de séquences longues.

Auteurs originaux : Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

Publié 2026-08-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un étudiant qui est brillant pour résoudre des problèmes de mathématiques mais qui, lorsqu'on lui demande de lire un poème, oublie soudainement comment compter. C'est le défi central auquel sont confrontés les systèmes d'intelligence artificielle modernes connus sous le nom de modèles de langage multimodaux de grande taille. Ce sont des ordinateurs puissants capables de voir des images et de lire du texte, apprenant à répondre à des questions sur le monde en étudiant de vastes quantités de données. Ils sont entraînés pour suivre des instructions, comme « décris le chat sur la photo » ou « résous ce problème de physique ». Cependant, dans le monde réel, ces systèmes n'apprennent pas tout en même temps. Au lieu de cela, ils rencontrent de nouveaux types de tâches les uns après les autres, comme un étudiant passant d'un cours de mathématiques à un cours d'histoire, puis à un cours d'art. Le problème est qu'à mesure que ces modèles acquièrent de nouvelles compétences, ils oublient souvent les anciennes, un phénomène que les scientifiques appellent l'oubli catastrophique. Pour que ces modèles restent utiles, les chercheurs doivent trouver un moyen de leur enseigner de nouvelles choses sans effacer ce qu'ils savent déjà.

Pendant un certain temps, des experts ont tenté de résoudre ce problème en donnant au modèle une équipe d'assistants spécialisés, une structure connue sous le nom de mélange d'experts. Considérez le modèle comme un grand bureau où différents travailleurs, ou « experts », s'occupent de différents types de tâches. Lorsqu'une question arrive, un gestionnaire, appelé routeur, décide quel travailleur est le mieux adapté pour y répondre. Si la question porte sur un graphique, le routeur l'envoie à l'analyste de données ; s'il s'agit d'un poème, elle va à l'écrivain. Ce système fonctionne bien lorsque les tâches sont stables, mais les chercheurs ont découvert une faille lorsque le modèle devait apprendre une longue séquence de nouvelles tâches. À mesure que le modèle apprenait de nouvelles compétences, le gestionnaire commençait à faire des erreurs, envoyant d'anciens types de questions aux mauvais travailleurs. Simultanément, les travailleurs eux-mêmes commençaient à changer, perdant les compétences spécifiques qu'ils avaient développées pour les tâches précédentes. Ce double échec signifiait que le modèle ne se contentait pas d'envoyer les questions aux mauvaises personnes, mais oubliait également comment effectuer les tâches que ces personnes étaient censées accomplir.

Une équipe de chercheurs a maintenant proposé une nouvelle méthode appelée SAME pour corriger ces problèmes. Ils ont découvert que la confusion du gestionnaire et la perte de mémoire des travailleurs étaient deux problèmes distincts nécessitant des solutions différentes. Pour empêcher le gestionnaire de se confondre, les chercheurs ont conçu un système qui suit attentivement la façon dont le modèle perçoit le monde. Au lieu de laisser le gestionnaire changer totalement d'avis à chaque nouvelle leçon, ils restreignent la capacité de son attention à varier. Ils permettent au gestionnaire d'apprendre de nouvelles façons de trier les questions, mais protègent les anciennes méthodes de tri qui étaient essentielles pour les tâches précédentes. Cela garantit qu'une question sur une image médicale, par exemple, continue d'être envoyée à l'expert médical, même après que le modèle a appris à lire des cartes ou à résoudre des problèmes de chimie.

Pour empêcher les travailleurs d'oublier leurs tâches, les chercheurs ont introduit un moyen de mesurer à quel point l'apprentissage d'une nouvelle compétence pourrait nuire à leurs anciennes compétences. Ils ont examiné les types de données que les travailleurs avaient vus par le passé et ont utilisé cet historique pour ralentir les changements qui pourraient endommager ces anciennes compétences. C'est comme dire à un travailleur : « Tu peux apprendre cette nouvelle compétence, mais fais-le d'une manière qui n'efface pas la façon dont tu réparais les anciennes machines. » En faisant cela, le modèle préserve les capacités spécifiques acquises lors des tâches antérieures tout en étant capable de s'adapter à de nouvelles tâches. De plus, les chercheurs ont découvert que tous les travailleurs n'ont pas besoin d'être actifs pour chaque leçon. Ils ont créé une règle pour mettre temporairement en pause les travailleurs qui ne sont pas nécessaires pour la tâche actuelle, ce qui permet d'économiser de l'énergie et d'éviter qu'ils ne soient accidentellement modifiés par des informations non pertinentes.

L'équipe a testé cette nouvelle approche sur une série de tests de référence exigeants, incluant un nouvel ensemble de tâches qu'ils ont créés pour imiter la réalité complexe et variée du monde réel. Ce nouveau test comprenait dix types de tâches différents, allant de la lecture de documents médicaux et l'analyse de graphiques scientifiques à la compréhension de scènes routières complexes et de formules chimiques. Les résultats ont montré que leur méthode, SAME, était nettement plus performante pour se souvenir des anciennes tâches que les méthodes précédentes. Dans un test spécifique impliquant une longue séquence de huit tâches, la nouvelle méthode a maintenu un niveau de précision beaucoup plus élevé sur la toute première tâche par rapport aux autres approches. Elle s'est également révélée plus efficace, nécessitant moins de temps et de mémoire informatique pour l'entraînement car elle ne met à jour que les travailleurs nécessaires.

Peut-être plus important encore, les chercheurs ont observé que leur méthode empêchait un type de défaillance subtil mais courant où le modèle donnait la bonne réponse mais avec un format incorrect. Par exemple, si une tâche exigeait une réponse en lettres majuscules, le modèle pouvait commencer à donner la réponse en minuscules après avoir appris une nouvelle tâche utilisant des minuscules. Le nouveau système maintenait la cohérence du modèle, garantissant qu'il respectait les règles de formatage spécifiques de chaque tâche sans être confondu par le style de la suivante. En stabilisant à la fois la décision de savoir qui répond à la question et la mémoire de la personne qui répond, ce travail offre une façon plus fiable pour l'intelligence artificielle d'apprendre de manière continue, élargissant ses capacités sans perdre les fondations de ce qu'elle sait déjà.

Résumé Technique : SAME – StAbilized Mixture-of-Experts pour l'Ajustement d'Instructions Multimodales Continues

1. Énoncé du Problème

Les modèles de langage de grande taille multimodaux (MLLM) ont démontré une forte capacité de généralisation grâce à l'ajustement d'instructions (instruction tuning). Cependant, le déploiement en conditions réelles exige que ces modèles étendent continuellement leurs capacités en apprenant des flux séquentiels de tâches multimodales (Ajustement d'Instructions Multimodales Continues, ou MCIT). Un défi majeur dans ce contexte est l'oubli catastrophique, où l'apprentissage de nouvelles tâches dégrade les performances sur les tâches précédemment apprises.

Les approches récentes utilisent des architectures de mélange d'experts (MoE) combinées à LoRA (Low-Rank Adaptation) pour favoriser la spécialisation des tâches via un routage parcimonieux. Malgré leur potentiel, les auteurs identifient que les méthodes actuelles de MCIT basées sur le MoE souffrent de deux sources de l'oubli distinctes mais couplées :

Dérive du Routeur (Router Drift) : À mesure que la distribution des données évolue avec les nouvelles tâches, le processus de décision du routeur devient instable. Les entrées des tâches antérieures, qui activaient auparavant des experts spécifiques de « localisation » ou de « mise en correspondance » (grounding), sont de plus en plus réassignées à des experts non pertinents. Cela conduit à un accès incohérent aux modules fonctionnels corrects.
Dérive de l'Expert (Expert Drift) : Même si le routeur identifie correctement l'expert pertinent, les paramètres internes de l'expert sont écrasés par les mises à jour des nouvelles tâches. Cela provoque la perte de la fonctionnalité originale de l'expert (par exemple, les conventions de formatage ou des capacités de raisonnement spécifiques) acquise lors des étapes d'entraînement précédentes.

Les auteurs démontrent, via des expériences de diagnostic, que l'oubli persiste même lorsque le routeur est réentraîné pour correspondre à la distribution de la tâche originale, confirmant que la dégradation des experts eux-mêmes est un mode de défaillance critique.

2. Méthodologie : SAME

Les auteurs proposent StAbilized Mixture-of-Experts (SAME), un cadre conçu pour atténuer la dérive du routeur et de l'expert sans nécessiter de réapprentissage par répétition (data rehearsal - stockage de données passées). SAME se compose de trois composantes clés :

2.1 Routage Sensible au Spectre (Adressant la Dérive du Routeur)

Pour stabiliser la sélection des experts, SAME décompose la dynamique de routage en sous-espaces orthogonaux basés sur l'historique de la covariance des entrées.

Mécanisme : La méthode maintient une matrice de covariance non centrée des entrées cachées du routeur. Par décomposition en valeurs singulières (SVD), elle sépare l'espace de mise à jour en un sous-espace de signal (directions de haute énergie pertinentes pour les nouvelles tâches) et un espace nul approximatif (directions de basse énergie associées aux tâches historiques).
Stratégie de Mise à Jour : Les gradients du routeur sont projetés sur ces sous-espaces. Les mises à jour dans le sous-espace de signal sont mises à l'échelle à l'aide d'une moyenne mobile des valeurs singulières pour éviter des changements agressifs dans les directions critiques pour les anciennes tâches. Les mises à jour dans l'espace nul sont projetées pour garantir qu'elles n'ont qu'un impact négligeable sur les entrées historiques ( $V_\perp^T x_{old} \approx 0$ ).
Résultat : Cela garantit que les décisions de routage pour les anciennes tâches restent cohérentes tout en permettant l'adaptation pour les nouvelles tâches.

2.2 Mise à l'Échelle Sensible à la Courbure (Adressant la Dérive de l'Expert)

Pour empêcher les experts d'être écrasés, SAME régule les mises à jour des experts en utilisant la géométrie des entrées historiques.

Mécanisme : Au lieu de minimiser une contrainte stricte sur les données passées (qui sont indisponibles dans les contextes sans répétition), la méthode approxime la géométrie des entrées historiques en utilisant la matrice de covariance accumulée ( $C_{t-1}$ ).
Optimisation : Les auteurs formulent un problème d'optimisation contraint où la dégradation fonctionnelle (le changement quadratique attendu de la sortie sur les entrées historiques) est bornée. Cela conduit à une mise à jour de gradient riemannien où le gradient euclidien est préconditionné par l'inverse de la matrice de covariance historique ( $C_{t-1}^{-1}$ ).
Implémentation : Pour gérer les coûts de calcul, l'inverse est approximé par une pseudo-inverse amortie des facteurs de rang faible conservés de la décomposition spectrale. Cela réduit le poids des mises à jour le long des directions sur lesquelles les tâches précédentes reposaient fortement, préservant ainsi leur fonctionnalité.

2.3 Activation Adaptative des Experts

Pour réduire davantage l'interférence et le coût computationnel, SAME introduit un mécanisme de gel au niveau de la tâche.

Mécanisme : Pendant l'entraînement d'une tâche spécifique, les experts sont évalués selon deux signaux :
1. Utilisation Actuelle ( $U$ ) : La fréquence à laquelle l'expert est activé pour la tâche actuelle.
2. Importance Historique ( $F_{pre}$ ) : Un proxy de l'importance historique dérivé de la trace du Produit Extérieur de Gradient Moyen (AGOP), estimé via l'énergie d'entrée pondérée par le routage.
Règle de Gel : Les experts ayant une faible utilité actuelle mais une importance historique élevée sont temporairement gelés (la propagation directe et arrière est ignorée) pendant l'entraînement de la tâche actuelle. Ils sont réactivés pour les tâches suivantes.
Résultat : Cela réduit le calcul redondant et empêche la dérive de paramètres inutile dans les experts qui sont critiques pour les tâches passées mais non nécessaires pour la tâche actuelle.

3. Contributions Clés

Diagnostic de la Dérive : L'article isole et définit empiriquement la dérive du routeur et la dérive de l'expert comme les causes primaires de l'oubli dans le MoE-MCIT, démontrant que les deux doivent être traitées simultanément.
Cadre Stabilisé (SAME) : L'introduction d'un cadre sans répétition qui combine un routage sensible au spectre, une mise à l'échelle riemannienne sensible à la courbure et une activation adaptative des experts pour stabiliser le processus d'adaptation MoE.
Nouveau Benchmark (TriGap) : Les auteurs introduisent TriGap, un nouveau benchmark conçu pour tester rigoureusement les modèles MCIT dans des conditions réalistes. Contrairement aux benchmarks existants (CoIN, UCIT), TriGap présente :
- Séquence Étendue : 10 tâches séquentielles (contre 6 à 8 dans les autres).
- Étendue des Domaines : Domaines divers incluant le médical, le scientifique, la télédétection et la compréhension de documents.
- Écart d'Échelle : Tailles de jeux de données très déséquilibrées par tâche (10k–40k échantillons) pour simuler des flux de données réels.
Efficacité : La méthode réduit le temps d'entraînement et l'utilisation de la mémoire GPU en gelant les experts à faible utilité, atteignant des accélérations significatives sans sacrifier la précision.

4. Résultats Expérimentaux

Les auteurs ont évalué SAME sur trois benchmarks : CoIN, UCIT et le nouveau TriGap.

Performance : SAME surpasse systématiquement les meilleures méthodes de référence (incluant MoELoRA, HiDe-LLaVA, CL-MoE et ProgLoRA).
- Sur TriGap, SAME a atteint une précision moyenne de 46,53 %, surpassant la meilleure méthode de référence (MoELoRA) de +2,08 %.
- Sur CoIN, SAME a atteint une précision moyenne de 66,82 %, dépassant largement la meilleure méthode précédente.
- Sur UCIT, SAME a atteint une précision moyenne de 67,12 %.
Analyse de l'Oubli : SAME a démontré l'oubli moyen le plus faible ( $\bar{F} = -4,23 \%$ ) comparé à MoELoRA ( $-19,04 \%$ ) et HiDe-LLaVA ( $-6,38 \%$ ).
Stabilité du Formatage : Une analyse spécifique sur la tâche ScienceQA a révélé que les méthodes de référence souffrent souvent d'un « oubli induit par le format » (ex: passage de réponses en majuscules à des minuscules). SAME a réussi à préserver le formatage de sortie spécifique aux tâches sur toute la séquence.
Efficacité : L'activation adaptative des experts a réduit le temps d'entraînement de 32,1 minutes en moyenne par tâche et l'utilisation de la mémoire GPU de 2,3 K MiB/GPU.

5. Signification et Revendications

L'article affirme que SAME fournit une solution robuste pour l'Ajustement d'Instructions Multimodales Continues en s'attaquant aux causes profondes de l'oubli dans les architectures MoE. Sa signification réside dans :

Fonctionnement Sans Répétition : Il atteint une forte rétention sans stocker ou rejouer de données passées, ce qui le rend adapté aux environnements sensibles à la confidentialité ou à la capacité de stockage.
Scalabilité : L'utilisation d'approximations de covariance de faible rang et le gel adaptatif permettent à la méthode de passer à l'échelle pour de longues séquences de tâches et de grands modèles sans surcharge de calcul prohibitive.
Généralisation : La stabilisation de la sélection des experts et la préservation des connaissances historiques permettent au modèle de conserver des capacités généralisables, comme en témoigne l'amélioration des performances hors distribution (OOD) sur le benchmark MMMU.

Les auteurs concluent qu'en stabilisant à la fois le mécanisme de routage et les paramètres des experts, SAME permet aux MLLM d'apprendre continuellement de nouvelles capacités vision-langage tout en préservant de manière fiable les connaissances acquises précédemment.