🤖 AI

Beyond Routing Saturation: A Long-Horizon Class-Incremental Perspective on Expert Routing in Multimodal Continual Instruction Tuning

Cet article introduit FLEX, un benchmark exigeant de 34 tâches qui expose les limites de l'aiguillage d'experts actuel dans le réglage fin d'instructions multimodales en continu en supprimant les empreintes textuelles et en étendant l'horizon des tâches, tout en proposant un cadre d'apprentissage incrémentiel par classe principiel qui améliore considérablement la précision de l'aiguillage et la performance globale.

Auteurs originaux : Huiyu Yi, Yongqi Xu, Bogang Zhang, Dunwei Tu, Xu Zhiming, Zhen-Hao Xie, Baile Xu, Furao Shen

Publié 2026-08-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Huiyu Yi, Yongqi Xu, Bogang Zhang, Dunwei Tu, Xu Zhiming, Zhen-Hao Xie, Baile Xu, Furao Shen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot super intelligent à maîtriser de nombreuses compétences différentes, les unes après les autres. D'abord, vous lui apprenez à reconnaître les chats et les chiens. Ensuite, vous lui apprenez à résoudre des problèmes mathématiques. Ensuite, vous lui apprenez à lire des radiographies médicales. C'est ce qu'on appelle l'Apprentissage Continu (Continual Learning). La partie délicate, c'est qu'à mesure que le robot apprend de nouvelles compétences, il oublie souvent les anciennes, ou se confond sur la compétence à utiliser lorsqu'on lui pose une question.

Pour corriger cela, les scientifiques donnent au robot une « boîte à outils » d'assistants spécialisés, appelés experts LoRA. Imaginez ces experts comme différents chefs dans une cuisine immense. Un chef est excellent en pâtisserie, un autre en grillades, et un autre en cuisine jap》。 Lorsque vous commandez un plat, vous avez besoin d'un Routeur — un serveur intelligent — pour regarder votre commande et l'envoyer au bon chef. Si le serveur envoie une commande de sushis au chef de grillades, le repas sera un désastre. La grande question dans ce domaine est la suivante : notre serveur peut-il devenir meilleur pour savoir exactement quel chef choisir, surtout quand le restaurant s'agrandit pour compter des dizaines de chefs et que les commandes commencent à se ressembler ?

Le Problème : Le Serveur se Repose sur des Raccourcis (Mais Seulement Parce que le Menu est Trop Facile)

Une équipe de chercheurs de l'Université de Nanjing a décidé d'étudier si ces « serveurs » (routeurs) font réellement bien leur travail. Ils ont examiné les tests standards utilisés pour entraîner ces robots et ont trouvé quelque chose de suspect : les serveurs obtenaient des scores parfaits, mais ils utilisaient des raccourcis.

Dans les tests existants, les « menus » (les instructions données au robot) comportaient des indices évidents. Par exemple, un problème de mathématiques pourrait toujours commencer par la phrase « Calculez la somme », tandis qu'une description d'image pourrait toujours commencer par « Décrivez l'image ». Le serveur n'avait pas besoin de regarder l'image ou de comprendre les mathématiques ; il lui suffisait de lire les premiers mots de l'instruction pour savoir quel chef choisir. Les chercheurs appellent ces indices des « empreintes textuelles » (textual fingerprints).

Parce que les tests ne comportaient que quelques tâches (comme 6 à 10 chefs) et que les menus étaient si évidents, le problème de routage était « saturé ». C'était comme un serveur dans un minuscule restaurant avec seulement trois tables ; il pouvait mémoriser les numéros de table sans jamais vraiment apprendre les noms des clients. Les chercheurs ont réalisé que si nous voulons construire un robot capable d'apprendre des centaines de compétences sur une longue période, nous avons besoin d'un test beaucoup plus difficile où les menus se ressemblent, forçant le serveur à réellement comprendre le contenu.

La Solution : Un Nouveau Restaurant Plus Difficile (FLEX)

Pour corriger cela, l'équipe a créé un nouveau benchmark appelé FLEX (Fingerprint-reduced Long-horizon Expert eXamination).

Imaginez FLEX comme un restaurant massif et chaotique avec 34 chefs différents (tâches) au lieu de seulement quelques-uns. Dans ce restaurant, chaque chef utilise exactement le même modèle de menu. Que vous commandiez un problème de mathématiques, un diagnostic médical ou la description d'un coucher de soleil, l'instruction est identique. La seule façon de savoir quel chef choisir est de réellement regarder l'image et de comprendre le contexte.

Les chercheurs ont également supprimé les indices « raccourcis ». Ils se sont assurés que les instructions pour un problème de chimie ne soient pas différentes de celles d'un problème d'histoire de l'art. Cela a forcé le système de routage à arrêter de compter sur les raccourcis et à commencer le travail difficile consistant à comprendre quelle est la tâche réelle.

L'Idée Géniale : Le Serveur est Juste un Classificateur

Voici le tournant ingénieux que l'article introduit. Les chercheurs ont réalisé que le travail du serveur (le routeur) est en fait le même qu'un problème classique de machine learning appelé Apprentissage par Classe Incrémentale (Class-Incremental Learning - CIL).

En CIL, on apprend à un ordinateur à reconnaître de nouvelles catégories (comme « chats », puis « chiens », puis « oiseaux ») sans oublier les anciennes. Les chercheurs ont montré que choisir le bon expert LoRA est exactement la même chose que choisir la bonne catégorie.

Tâche 1 (Mathématiques) = Classe 1
Tâche 2 (Art) = Classe 2
Tâche 34 (Médecine) = Classe 34

En voyant le problème de cette manière, ils ont pu emprunter de puissantes techniques d'« entraînement de serveurs » qui avaient déjà été inventées pour le CIL. Ils ont pris quatre méthodes différentes (HC, HC-SOINN, RanPAC et DDAS) et les ont intégrées dans les systèmes de routage de robots existants.

Les Résultats : Un Serveur Bien Plus Intelligent

Lorsqu'ils ont testé ces nouveaux serveurs « plug-in » sur le restaurant difficile FLEX, les résultats ont été impressionnants :

Meilleure Précision : Les nouveaux routeurs identifiaient correctement le bon chef jusqu'à 16,3 points de pourcentage de plus souvent que les anciens.
Meilleure Performance : La performance globale des robots (appelée MacroScore) s'est améliorée de jusqu'à 4,6 points.
Réduction de l'Écart : Les nouveaux routeurs ont réussi à récupérer entre 28 % et 50 % de l'écart entre la performance actuelle et la performance « parfaite » (où le robot connaît toujours le bon chef).

Cependant, l'article a également constaté que tous les robots ne bénéficient pas de la même manière. Certains systèmes existants (comme HiDe-LLaVA) ont été conçus de telle sorte que même un serveur parfait ne pouvait pas améliorer beaucoup le repas final, car le problème résidait en fait dans la façon dont les chefs cuisinaient, et non dans la façon dont le serveur commandait. Mais pour les systèmes qui dépendaient fortement du serveur (comme DISCO et SAME), l'amélioration a été énorme.

Pourquoi Cela Importe

Cet article suggère que pour qu'un robot puisse véritablement apprendre de manière continue sur une longue période, nous ne pouvons pas simplement lui donner des tests faciles avec des indices évidents. Nous devons construire des environnements où le robot doit réellement comprendre la tâche, et non pas seulement lire l'étiquette. En traitant le problème du « qui appeler ? » comme un problème de « quelle catégorie est-ce ? », nous pouvons utiliser des outils existants et puissants pour rendre notre IA beaucoup plus fiable.

Les chercheurs n'ont pas seulement suggéré cela ; ils ont construit le nouveau test (FLEX), prouvé que les anciens tests étaient trop faciles, et montré que remplacer les systèmes par ces nouvelles méthodes de routage fonctionne. Ils n'ont pas prétendu avoir tout résolu — l'écart vers la perfection existe toujours — mais ils ont montré une voie claire et fondée sur des principes pour rendre l'IA multimodale capable de continuer à apprendre sans se tromper.

Résumé technique : Au-delà de la saturation du routage dans l'ajustement d'instructions multimodales continues

Problématique

L'ajustement d'instructions multimodales continues (MCIT - Multimodal Continual Instruction Tuning) vise à permettre aux modèles de langage de grande taille multimodaux (MLLM) d'apprendre de nouvelles tâches séquentiellement tout en conservant leurs capacités antérieures. Les approches récentes emploient souvent un paradigme « routage–composition–inférence », où des experts LoRA (Low-Rank Adaptation) spécifiques à chaque tâche sont maintenus, et un routeur sélectionne ou pondère ces experts lors de l'inférence.

Les auteurs identifient une limitation critique et sous-explorée dans l'évaluation actuelle du MCIT : la saturation du routage d'experts. Sur les benchmarks largement utilisés (ex. : CoIN, UCIT, TriGap), les mécanismes de routage atteignent une précision quasi parfaite (souvent >96 % de correspondance) non pas parce qu'ils ont appris des représentations de tâches robustes, mais en raison de deux facteurs de confusion :

Empreintes textuelles (Textual Fingerprints) : Des motifs d'instructions superficiels (ex. : modèles uniques, champs spécifiques comme « Reference OCR token », ou des mises en page d'options distinctes) permettent aux routeurs d'identifier l'identité du jeu de données par le texte seul, contournant ainsi la compréhension visuelle ou l'analyse sémantique profonde.
Horizons courts : Les benchmarks existants ne contiennent généralement que 6 à 10 tâches. Cela limite le nombre d'experts LoRA en compétition, rendant le problème d'identification de la tâche trivial, même pour des routeurs dominés par le texte.

Par conséquent, la scalabilité du routage d'experts dans des scénarios réels à long horizon reste non testée, et la difficulté de distinguer des tâches sémantiquement similaires avec des domaines visuels divers est occultée.

Méthodologie

1. FLEX : Un nouveau benchmark

Pour exposer la véritable difficulté du routage d'experts, les auteurs introduisent FLEX (Fingerprint-reduced Long-horizon Expert eXamination).

Échelle : FLEX se compose de 34 tâches, élargissant considérablement le pool d'experts par rapport aux benchmarks précédents.
Conception : Il regroupe des jeux de données ayant des formats d'instruction/réponse similaires mais des domaines visuels et de connaissances divers (ex. : 5 divisions ImageNet-200, 2 de légende/captioning, 7 de choix multiples, 20 de VQA à réponse courte).
Réduction des empreintes : Le benchmark normalise les modèles de réponses externes et supprime les indices d'interface uniques qui servent de « raccourcis ». Cela force les routeurs à s'appuyer sur une véritable compréhension multimodale plutôt que sur des motifs textuels superficiels.
Composition : Les tâches couvrent la classification, la légende, le choix multiple et le VQA à réponse courte, assurant un mélange de complexité visuelle et textuelle.

2. Reformulation théorique : Soft Task-as-Class MCIL

Les auteurs proposent une nouvelle perspective théorique : le routage de LoRA progressif peut être formulé comme un apprentissage de classe incrémentale multimodale (MCIL) de type « Soft Task-as-Class » (Tâche douce comme classe).

Correspondance : Dans un pool de LoRA progressif, chaque tâche entrante $t$ correspond à un expert LoRA unique $t$ . Le problème de routage devient l'identification de la classe (tâche) correcte parmi un ensemble croissant de $t$ classes.
Soft vs Hard : Contrairement au MCIL standard qui produit généralement une prédiction hard argmax, le MCIT nécessite généralement une distribution douce (soft distribution) de scores pour pondérer simultanément plusieurs experts LoRA.
- Routage dur (Hard Routing) : Équivalent à la classification incrémentale standard ( $\alpha_{k} = \mathbb{I}[k = \arg\max]$ ).
- Routage doux (Soft Routing) : Une relaxation continue où la distribution complète des scores sert de poids de mélange ( $\alpha_{k} \propto \exp(\tau s_k)$ ).
Implication : Cette reformulation permet d'adapter directement les méthodes établies de l'apprentissage de classe incrémentale (CIL) comme des routeurs « plug-in » pour les frameworks MCIT sans réentraîner les experts LoRA ni modifier le pipeline de génération.

3. Baseline PureLoRA et adaptation du routeur

Pour isoler l'effet du routage, les auteurs introduisent PureLoRA, une baseline contrôlée qui :

Entraîne des experts LoRA indépendants par tâche.
Utilise un routeur de prototype multimodal gelé (basé sur CLIP).
Effectue une composition LoRA douce.
Ne contient aucun expert partagé, réseau de porte (gating network) ou tampon de rejeu (replay buffer).

Les auteurs adaptent ensuite quatre méthodes CIL/MCIL existantes pour servir de routeurs à PureLoRA, HiDe-LLaVA, DISCO et SAME :

HC (Clustering Hiérarchique) : Utilise des prototypes de clusters hiérarchiques et la similitude cosinus.
HC-SOINN : Développe dynamiquement des nœuds de prototypes via un réseau auto-organisé.
RanPAC : Utilise des projections aléatoires et un classificateur de régression de Ridge à forme fermée.
DDAS : Utilise des auto-encodeurs spécifiques à la tâche et des scores de routage basés sur l'erreur de reconstruction.

Résultats clés

Saturation du routage sur FLEX

L'évaluation sur FLEX révèle que le routage est loin d'être saturé :

Poids de la vérité terrain (G - Ground-Truth Weight) : FLEX réduit considérablement le poids macro de la vérité terrain par rapport aux benchmarks existants (ex. : chutant d'environ 99 % sur UCIT à environ 53–80 % sur FLEX selon la méthode).
Correspondance stricte (R - Strict Matching) : La correspondance stricte tâche-LoRA chute de niveaux quasi parfaits à environ 64–84 %, indiquant un véritable défi d'identification de tâche.
Raccourcis textuels : Les études d'ablation confirment que la restauration des empreintes textuelles « fortes » (suffixes uniques) sur FLEX restaure immédiatement des taux de correspondance élevés, prouvant que la difficulté de FLEX provient de la suppression de ces raccourcis.

Améliorations de performance

L'adaptation des méthodes CIL en tant que routeurs « plug-in » apporte des améliorations constantes :

Qualité du routage : Les 12 transferts CIL sur les frameworks sensibles au routage (DISCO, SAME, PureLoRA) ont amélioré à la fois le MacroScore (M) et le Poids de la Vérité Terrain (G).
Gains de MacroScore :
- DISCO : Amélioré jusqu'à +4,61 points (en utilisant DDAS).
- SAME : Amélioré jusqu'à +4,05 points (en utilisant RanPAC).
- PureLoRA : Amélioré jusqu'à +1,54 points (en utilisant RanPAC).
Récupération de l'écart Oracle : Le meilleur routeur a récupéré entre 28,3 % et 50,2 % de l'écart de performance entre la baseline du routeur et la limite supérieure « Oracle » (routage parfait).
Insensibilité de HiDe-LLaVA : HiDe-LLaVA a montré des gains de performance en aval minimaux malgré l'amélioration du routage. L'analyse révèle que cela est dû à son goulot d'étranglement architectural : une couche « restante » partagée qui moyenne tous les experts historiques indépendamment de la décision de routage de la couche supérieure, limitant l'impact d'une meilleure identification de tâche.

Calibration et routage doux

L'article démontre que les mélanges doux calibrés surpassent la sélection top-1 dure. Même lorsque l'expert top-1 est correctement identifié, un mélange doux qui réutilise des LoRAs compatibles de tâches liées produit des performances plus élevées (jusqu'à +2,01 points par rapport au routage dur dans PureLoRA).

Signification et revendications

L'article revendique trois contributions principales :

Diagnostic de la saturation : Il révèle que les benchmarks MCIT actuels souffrent d'une « saturation du routage » causée par les empreintes textuelles et les séquences de tâches courtes, masquant les véritables défis de scalabilité du routage d'experts.
Benchmark FLEX : Il introduit FLEX, un benchmark de 34 tâches avec des empreintes textuelles affaiblies, qui réussit à exposer un problème croissant d'identification de tâches et fournit un banc d'essai rigoureux pour la scalabilité du routage.
Pont théorique : Il établit une connexion directe entre le routage d'experts et l'apprentissage de classe incrémentale multimodale (MCIL). En formulant le routage comme un « soft task-as-class MCIL », les auteurs démontent que les classificateurs CIL établis peuvent être transférés efficacement comme routeurs « plug-in », améliorant substantiellement la qualité du routage et les performances des tâches en aval sans modifier les experts LoRA sous-jacents.

Les auteurs concluent que les futurs systèmes MCIT doivent aborder à la fois l'identification de tâches à long horizon (via des méthodes comme celles adaptées du CIL) et la composition d'experts sensible à la compatibilité (via des mélanges doux calibrés) pour surmonter les limites des paradigmes de routage actuels.