Multimodal Continual Learning with MLLMs from Multi-scenario Perspectives

Cet article présente UNIFIER, un cadre d'apprentissage continu pour les grands modèles de langage multimodaux qui atténue l'oubli catastrophique face aux changements de scénarios visuels grâce à l'expansion des représentations visuelles et à des contraintes de cohérence, validé sur le nouveau jeu de données MSVQA couvrant des environnements variés.

L'essentiel

🌍 Le Problème : Le "Cerveau Numérique" qui oublie tout

Imaginez que vous avez un assistant personnel très intelligent (un MLLM, ou grand modèle de langage multimodal) installé sur votre téléphone ou votre drone. Ce robot est super fort pour comprendre des photos et répondre à des questions.

Mais il y a un gros problème : il a une mémoire très fragile.

• Si vous lui montrez des photos de villes (bâtiments, voitures), il apprend à les reconnaître.
• Mais si vous lui montrez ensuite des photos de sous-marins (poissons, coraux), il oublie instantanément comment reconnaître les voitures !
• C'est ce qu'on appelle l'oubli catastrophique. C'est comme si un étudiant qui apprend l'italien effaçait tout ce qu'il savait du français dès qu'il ouvrait un livre d'italien.

Dans le monde réel, les appareils voient tout : des vues aériennes, des fonds marins, des intérieurs de maisons, des vues à la première personne. Un robot qui oublie tout à chaque changement de décor est inutile.

🛠️ La Solution : UNIFIER, le "Cerveau Polyglotte"

Les chercheurs (Kai Jiang et son équipe) ont créé deux choses pour régler ce problème :

1. Un nouveau terrain de jeu (MSVQA) : Ils ont construit un immense jeu de données avec 4 mondes très différents (haute altitude, sous l'eau, basse altitude, intérieur). C'est comme un manuel scolaire qui force l'élève à passer du désert à la jungle, puis à la cuisine, sans jamais se reposer.
2. Une nouvelle méthode appelée UNIFIER : C'est le héros de l'histoire.

🧠 Comment fonctionne UNIFIER ? (L'analogie du Restaurant)

Imaginez que votre modèle d'IA est un chef de cuisine.

• L'ancienne méthode (Finetuning) : Le chef apprend à faire des sushis. Ensuite, on lui demande de faire un steak. Il oublie comment faire les sushis pour se concentrer sur le steak. Résultat : il ne sait plus faire ni l'un ni l'autre parfaitement.
• La méthode UNIFIER :
  • Le Bureau des Spécialités (VRE) : Au lieu de faire tout le travail avec une seule tête, le chef a plusieurs "bureaux" ou "branches" dans son cerveau. Quand on lui parle de sous-marins, il active le "Bureau Océan". Quand on parle de drones, il active le "Bureau Ciel". Chaque bureau garde ses propres notes, donc il ne perd pas ses souvenirs.
  • Le Chef d'Orchestre (VCC) : Le problème, c'est que si chaque bureau travaille seul, ils ne se parlent pas. UNIFIER ajoute un chef d'orchestre qui s'assure que, même si le "Bureau Océan" et le "Bureau Ciel" sont séparés, ils restent cohérents. Ils ne doivent pas se contredire. Le chef d'orchestre leur dit : "Hé, le poisson que vous voyez là-bas, c'est le même type de poisson que vous avez vu hier, ne changez pas tout votre système de vision !"

🚀 Les Résultats Magiques

Grâce à cette astuce, UNIFIER fait deux choses incroyables :

1. Il n'oublie jamais : Il peut apprendre 20 nouveaux mondes différents et continuer à être excellent dans les 19 premiers.
2. Il s'améliore partout : En apprenant un nouveau monde, il devient même meilleur dans les anciens, car les connaissances se renforcent mutuellement (comme un athlète qui devient plus fort en changeant d'exercices).

📊 En chiffres (pour les curieux)

Dans leurs tests, UNIFIER a battu les meilleures méthodes actuelles :

• Il a amélioré la précision des réponses de 2,7 % à 10,6 %.
• Il a réduit les erreurs de détection d'objets de 3,4 % à 7,7 %.

Et le meilleur ? C'est rapide. Ajouter cette intelligence ne ralentit pas le téléphone ou le drone. C'est comme ajouter une nouvelle fonctionnalité à une voiture sans changer le moteur.

💡 En résumé

Cette recherche nous dit que pour que l'intelligence artificielle vive vraiment dans notre monde (qui change tout le temps), elle ne doit pas juste "apprendre et effacer". Elle doit apprendre à organiser ses souvenirs comme un bibliothécaire génial, en gardant chaque livre à sa place tout en sachant comment les livres se connectent entre eux.

UNIFIER est ce bibliothécaire : il permet à nos robots de voir le monde avec clarté, peu importe si on les regarde depuis un avion, un sous-marin ou une cuisine.

Résumé technique

1. Problématique et Contexte

Les modèles de langage multimodaux (MLLM) déployés sur des appareils doivent s'adapter en temps réel à des flux de données visuelles changeants, provenant de divers capteurs et environnements (ex: drones, satellites, caméras sous-marines, vision à la première personne).

Le défi principal identifié par les auteurs est le oubli catastrophique (catastrophic forgetting) des composants visuels des MLLM lors de changements de scénarios. Contrairement aux tâches VQA (Visual Question Answering) classiques qui se concentrent sur la compréhension du texte dans des contextes fixes, les tâches réelles impliquent :

• Des arrière-plans complexes et des objets à petite échelle.
• Des changements drastiques de perspective (haute altitude, sous-marin, intérieur) et d'éclairage.
• Une nécessité de localisation précise (bounding boxes) et de raisonnement fin.

Les méthodes existantes d'apprentissage continu (Continual Learning - CL) se concentrent souvent sur le texte ou ignorent les disparités visuelles entre les scénarios, entraînant une dégradation des performances sur les tâches précédentes dès qu'un nouveau scénario visuel est appris.

2. Contribution Majeure : Le Dataset MSVQA

Pour évaluer ce problème, les auteurs ont construit et rendu public le dataset MSVQA (Multi-Scenario Visual Question Answering).

• Composition : Il couvre quatre scénarios distincts avec des perspectives variées :
  1. Haute altitude (télédétection, avions).
  2. Sous-marin (créatures marines, faible visibilité).
  3. Basse altitude (drones, véhicules et humains).
  4. Intérieur (vision à la première personne, actions quotidiennes).
• Complexité : Les tâches incluent le comptage, la classification, la vérification vrai/faux, et surtout la localisation visuelle (Visual Grounding) et la localisation fine-granulaire, ce qui rend le dataset beaucoup plus exigeant que les benchmarks VQA traditionnels.

3. Méthodologie : Le Framework UNIFIER

Les auteurs proposent UNIFIER (mUltimodal coNtInual learning with MLLMs From multi-scenarIo pERspectives), un cadre conçu pour apprendre de nouveaux scénarios sans oublier les anciens, tout en permettant une amélioration mutuelle entre les tâches.

L'architecture repose sur deux piliers principaux intégrés dans les blocs du vision encoder (inspirés de LoRA) :

A. Expansion de la Représentation Visuelle (VRE - Vision Representation Expansion)

• Principe : Au lieu d'utiliser un seul LoRA pour toutes les tâches (ce qui cause des interférences) ou de créer des branches totalement isolées (ce qui empêche le partage de connaissances), UNIFIER insère un module CSR (Cross-Scenario Representation) dans chaque bloc de vision.
• Fonctionnement : Ce module crée plusieurs branches parallèles (une par scénario potentiel) qui projettent les caractéristiques visuelles dans un espace de caractéristiques unifié.
• Avantage : Cela permet d'isoler les paramètres spécifiques à un scénario tout en projetant les représentations dans un espace commun, évitant ainsi l'augmentation de la charge computationnelle lors de l'inférence (seule une branche est active par tâche, mais l'espace est partagé).

B. Contrainte de Cohérence Visuelle (VCC - Vision Consistency Constraint)

• Problème : L'isolation des paramètres ne suffit pas à empêcher la dérive des représentations internes (feature drift) lors de l'apprentissage de nouveaux scénarios.
• Solution : Au lieu d'une distillation stricte (qui limite la plasticité du modèle), les auteurs introduisent une contrainte de cohérence plus souple basée sur l'entropie relative (KL-divergence).
• Mécanisme :
  1. Un prototype de scénario ($\mu_l$) est calculé comme la moyenne des représentations de toutes les branches.
  2. Le modèle est contraint d'aligner les représentations de chaque branche sur ce prototype global, tout en pénalisant les changements globaux excessifs.
  3. Cela permet de maintenir la cohérence des représentations visuelles entre les scénarios sans figer le modèle, favorisant ainsi l'amélioration mutuelle des capacités.

4. Résultats Expérimentaux

Les expériences ont été menées sur le dataset MSVQA avec le modèle de base Qwen2.5VL-3B, comparé à des méthodes de référence (EWC, Tailor, ER, PODNet, VQACL, QUAD).

• Performance Globale : UNIFIER surpasse systématiquement l'état de l'art (notamment QUAD, la méthode la plus performante précédente).
  • Amélioration des scores VQA (Visual Question Answering) de la dernière étape : +2,70 % à +10,62 %.
  • Amélioration des scores F1 (pour la localisation) de la dernière étape : +3,40 % à +7,69 %.
• Évolutivité : Les résultats sont cohérents sur des séquences d'apprentissage de 5, 10 et 20 étapes.
• Analyse d'ablation :
  • L'ajout de VRE seul améliore déjà significativement la résistance à l'oubli.
  • L'ajout de VCC améliore encore davantage la stabilité et la plasticité, surpassant les contraintes de distance L2 ou les distillations strictes.
• Efficacité : L'ajout du module VRE n'entraîne aucun coût d'inférence supplémentaire significatif (le temps de génération du premier token augmente très légèrement, mais reste négligeable par rapport à la génération totale). L'augmentation des paramètres est faible (< 6,5 % pour le modèle 3B).
• Visualisation : Les visualisations montrent que contrairement au fine-tuning classique qui provoque un déplacement drastique de l'attention (entraînant de faux positifs/négatifs), UNIFIER maintient une attention stable sur les régions pertinentes même après l'apprentissage de nouveaux scénarios.

5. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

1. Réalignement sur la réalité : Il met en lumière le problème négligé de l'oubli visuel dans les MLLM déployés sur des appareils, là où les changements de contexte environnemental sont la norme et non l'exception.
2. Nouveau Benchmark : La création de MSVQA fournit une base essentielle pour évaluer la robustesse des modèles multimodaux face à la diversité des données du monde réel.
3. Efficacité et Scalabilité : La méthode UNIFIER démontre qu'il est possible d'atteindre un équilibre optimal entre stabilité (ne pas oublier) et plasticité (apprendre du nouveau) sans alourdir le modèle, ce qui est crucial pour le déploiement sur des dispositifs edge (bords de réseau).
4. Approche Unifiée : En projetant les représentations dans un espace commun via une contrainte souple, l'article propose une voie prometteuse pour créer des modèles multimodaux véritablement continus et adaptatifs.

En résumé, UNIFIER offre une solution robuste pour permettre aux MLLM de s'adapter continuellement à des environnements visuels hétérogènes, comblant ainsi un fossé critique entre la recherche académique sur l'apprentissage continu et les exigences pratiques du déploiement sur le terrain.