💬 NLP

CMAP: Cross-Modal Adaptive Prompting for Multi-Domain Task-Incremental Learning

CMAP introduit un cadre économe en paramètres pour l'apprentissage incrémental de tâches multi-domaines qui exploite l'espace d'encodage textuel inexploité de CLIP pour un routage robuste des tâches, une estimation de la confiance et une adaptation de l'encodeur, atteignant des performances de pointe sur le benchmark MTIL sans données externes ni informations sur l'identité des tâches.

Auteurs originaux : Sriram Mandalika

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sriram Mandalika

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un critique d'art surdoué qui a déjà lu des millions de livres et vu des millions de tableaux. Ce critique (le modèle d'IA) sait décrire parfaitement un « chat » ou une « voiture » uniquement à partir du texte. Cependant, vous souhaitez enseigner à ce critique de reconnaître, un par un, de nouveaux types d'objets spécifiques (comme une race particulière de chien ou une fleur rare), sans jamais lui montrer à nouveau les anciens exemples.

Le grand problème dans ce scénario est l'oubli. Si vous enseignez au critique ce qu'est un « Golden Retriever », il risque d'oublier comment reconnaître un « chat siamois ». Si vous l'enseignez trop agressivement, il pourrait se confondre lorsqu'il verra un nouveau type d'oiseau qu'il n'a pas encore appris.

Les méthodes actuelles tentent de résoudre ce problème en regardant uniquement les images. Elles se demandent : « Cette nouvelle photo ressemble-t-elle aux photos que j'ai déjà vues ? » L'article soutient que cela revient à essayer d'identifier une personne dans une foule en ne regardant que ses chaussures, en ignorant son visage et sa voix. C'est inefficace et sujet aux erreurs, surtout lorsque vous n'avez pas beaucoup de photos pour apprendre.

Les auteurs proposent un nouveau système appelé CMAP (Cross-Modal Adaptive Prompting). Voici comment il fonctionne, en utilisant des analogies simples :

1. La « Carte d'identité textuelle » (Text-Space Task Routing)

L'ancienne méthode : Lorsqu'une nouvelle photo arrive, l'ancien système tente de l'associer à un nuage flou de photos précédentes qu'il a vues. Si la photo est légèrement différente (comme un chien dans une pose différente), le système se perd pour déterminer à quelle « tâche » (catégorie) elle appartient.
La méthode CMAP : Au lieu de deviner en se basant sur l'apparence de la photo, CMAP examine la description textuelle des catégories. Il se demande : « Cette photo correspond-elle à l'idée d'un Golden Retriever ou d'un chat siamois ? »

L'analogie : Imaginez que vous avez une bibliothèque de livres. Au lieu d'essayer de deviner quel livre une personne cherche en fonction de la couleur de sa chemise (visuel), vous lui demandez : « Quel titre de livre ressemble à ce que vous cherchez ? » (texte). Puisque les titres des livres (prototypes textuels) ne changent jamais, cette méthode est super stable, même si vous n'avez qu'une ou deux photos pour apprendre. Elle ne coûte rien de plus à mettre en place.

2. Le « Système de double vérification » (Multi-Prototype Confidence)

L'ancienne méthode : Le système suppose que chaque objet ressemble exactement au même (comme un cercle parfait). Si une photo est un peu étrange ou floue, le système devient incertain et pourrait faire une mauvaise hypothèse.
La méthode CMAP : CMAP réalise qu'un « chien » peut avoir de nombreuses apparences différentes (en courant, en dormant, de profil). Il crée plusieurs « instantanés mentaux » (prototypes) pour chaque catégorie.

L'analogie : Au lieu d'avoir une seule règle pour « Qu'est-ce qu'un chien ? », le système garde un dossier avec trois croquis différents de chiens : un en train de courir, un en train de dormir et un assis. Lorsqu'une nouvelle photo arrive, il la compare aux trois croquis.
La particularité : Il ne vérifie pas seulement les croquis ; il vérifie également la description textuelle. Il se demande : « Cette photo ressemble-t-elle au croquis ET correspond-elle au mot « chien » ? » Si les deux sont d'accord, le système est très confiant. S'ils sont en désaccord, il sait qu'il doit faire attention.

3. Les « Gardiens synchronisés » (Symmetric Cross-Modal Gating)

L'ancienne méthode : Le système a deux portes : une pour l'image et une pour le texte. Autrefois, si la porte de l'image était fermée (parce que la photo était étrange ou inconnue), la porte du texte restait grand ouverte. Cela provoquait un décalage, comme un traducteur parlant une langue que l'auditeur ne comprend pas.
La méthode CMAP : CMAP installe un mécanisme lié. Si la porte de l'image se ferme parce que la photo est confuse, la porte du texte se ferme exactement au même moment.

L'analogie : Imaginez un gardien de sécurité dans un musée. Si le gardien voit une peinture suspecte (image), il verrouille immédiatement le guide audio (texte) pour que le visiteur ne soit pas confus par des signaux mélangés. Cela garantit que la « photo » et les « mots » restent en parfaite harmonie, même lorsque le système rencontre quelque chose qu'il n'a jamais vu auparavant.

Les Résultats

Les auteurs ont testé cela sur un défi massif impliquant 11 jeux de données différents (des voitures aux fleurs en passant par des chiffres manuscrits) avec plus de 1 200 catégories différentes.

Performance : CMAP a battu les meilleures méthodes précédentes avec une marge significative (améliorant la précision d'environ 3 à 5 points de pourcentage).
Efficacité : Il a fait tout cela en n'ajoutant qu'une infime quantité de « puissance cérébrale » (environ 2,5 millions de paramètres ajustables), ce qui équivaut à la taille d'une petite application, plutôt que de réentraîner tout le modèle massif.
Pénurie de données : Il a fonctionné particulièrement bien lorsque le système avait très peu d'exemples (seulement 16 photos par catégorie) pour apprendre, prouvant que l'utilisation des « cartes d'identité textuelles » est un moyen plus intelligent d'apprendre que de simplement fixer davantage de photos.

En résumé : CMAP apprend à une IA à apprendre de nouvelles tâches en écoutant sa propre « voix textuelle » interne autant qu'elle regarde les images. Cela empêche l'IA d'oublier les anciennes leçons, l'aide à gérer de nouvelles entrées étranges, et le fait tout cela sans avoir besoin d'un ordinateur massif ou d'une énorme bibliothèque de photos passées.

Résumé technique : CMAP – Prompting adaptatif intermodal pour l'apprentissage incrémental de tâches multi-domaines

1. Définition du problème

L'article aborde l'apprentissage incrémental de tâches multi-domaines (MTIL), un contexte où un modèle doit apprendre séquentiellement des tâches issues de domaines visuellement diversifiés, sans accès aux données passées et sans connaître l'identité de la tâche au moment de l'inférence. Ce scénario présente deux défis principaux :

Oubli catastrophique : La tendance d'un modèle à écraser les connaissances acquises précédemment lors de l'adaptation à de nouvelles tâches.
Oubli progressif : La dégradation de la capacité du modèle à généraliser à des tâches non vues lorsqu'il s'adapte trop agressivement aux tâches observées.

Bien que les méthodes de fine-tuning efficace en paramètres (PEFT) basées sur des modèles vision-langage (VLM) figés comme CLIP aient montré leur potentiel, les approches existantes souffrent d'une limitation fondamentale : elles reposent exclusivement sur des caractéristiques visuelles pour le routage des tâches, l'estimation de la confiance et l'adaptation de l'encodeur. Cela ignore l'espace d'encodage textuel intermodal, riche et sémantiquement stable, inhérent à CLIP, traitant un modèle intermodal comme s'il était purement visuel.

2. Méthodologie : CMAP

Les auteurs proposent CMAP (Cross-Modal Adaptive Prompting), un cadre qui intègre une conscience intermodale à chaque étape du processus d'inférence et d'adaptation. La méthode s'appuie sur la base IAP (qui utilise un gating Hard Gumbel par couche et une confiance gaussienne visuelle) en introduisant trois mécanismes intermodaux spécifiques :

2.1 Routage des tâches dans l'espace textuel

Les méthodes existantes effectuent le routage des tâches en calculant la log-probabilité des caractéristiques visuelles sous des gaussiennes visuelles spécifiques à la tâche. CMAP remplace cela par une similarité cosinus avec des prototypes textuels CLIP figés.

Mécanisme : Pour chaque tâche $t$ , un prototype textuel $\tau_t$ est calculé en moyennant les encodages textuels figés de tous les noms de classes dans l'ensemble d'étiquettes de cette tâche.
Inférence : Lors de l'inférence, la caractéristique visuelle de l'image d'entrée est comparée à tous les $\tau_t$ via la similarité cosinus pour sélectionner la tâche la plus probable.
Avantage : Cela ne nécessite aucun paramètre apprenable supplémentaire, est invariant à l'ordre d'arrivée des tâches et reste robuste même avec des données d'entraînement rares, car il repose sur des connaissances sémantiques pré-entraînées plutôt que sur des statistiques visuelles apprises.

2.2 Confiance visuelle-textuelle multi-prototypes (MPVTC)

Les travaux antérieurs modélisent la confiance de classe en utilisant une seule gaussienne visuelle et des seuils globaux fixes. CMAP introduit une stratégie d'estimation de confiance plus robuste :

Visuels multi-prototypes : Au lieu d'un seul centroïde, chaque classe est représentée par $K$ centroïdes de clusters visuels (via K-means) pour gérer les distributions visuelles multi-modales (par exemple, différents angles d'objets).
Alignement intermodal : Le score de confiance pour une classe combine la similarité maximale avec les prototypes visuels et la similarité avec l'encodage textuel de la classe.
Seuils adaptatifs à la tâche : Plutôt que d'utiliser des seuils globaux fixes, CMAP calibre automatiquement les seuils de confiance supérieurs et inférieurs en fonction des percentiles 80 et 20 de la distribution d'entraînement pour chaque tâche spécifique.
Sortie : Un poids de prompting dynamique est dérivé de ce score de confiance conjoint, déterminant s'il faut appliquer les prompts (confiance élevée), les supprimer (confiance faible) ou les appliquer de manière proportionnelle.

2.3 Gating intermodal symétrique

Dans la base, seul l'encodeur d'images est soumis au gating. Si la porte de l'image se ferme (par exemple, sur des entrées hors distribution), l'encodeur de texte reçoit toujours des prompts spécifiques à la tâche, brisant l'alignement intermodal que CLIP a été entraîné à maintenir.

Mécanisme : CMAP étend le mécanisme de gating Hard Gumbel de manière symétrique à l'encodeur de texte.
Conditionnement : La décision de gating pour l'encodeur de texte est conditionnée par les caractéristiques moyennes de l'image du lot.
Résultat : Les encodeurs d'images et de texte ouvrent ou ferment simultanément leurs mécanismes d'injection de prompts. Cela garantit que la cohérence intermodale est préservée même lorsque le modèle rencontre des entrées hors distribution.

3. Contributions clés

L'article identifie trois lacunes spécifiques dans la littérature existante sur le MTIL et les aborde comme suit :

Routage des tâches dans l'espace textuel : Remplace le routage gaussien visuel par une similarité cosinus avec des prototypes textuels figés, réalisant un routage indépendant de l'ordre avec zéro paramètre apprenable supplémentaire.
Confiance visuelle-textuelle multi-prototypes (MPVTC) : Combine des prototypes visuels K-means avec des scores d'alignement intermodal et des seuils adaptatifs à la tâche pour fournir une estimation fiable de la confiance au niveau de l'instance.
Gating intermodal symétrique : Étend le gating par couche à l'encodeur de texte conditionné par les caractéristiques d'image, assurant une co-adaptation et une co-suppression cohérentes des deux modalités.

4. Résultats expérimentaux

La méthode a été évaluée sur le benchmark MTIL, couvrant 11 ensembles de données et 1 201 classes, sous deux ordres de tâches (Order-I et Order-II) et dans un contexte de données rares à 16 coups (16-shot).

Performance (Order-I) : CMAP a atteint 73,6 % de Transfert, 81,4 % de Moyenne et 88,9 % de Dernier. Cela dépasse l'état de l'art précédent (IAP) de 4,4, 4,6 et 3,2 points de pourcentage, respectivement.
Efficacité des données : Dans le contexte 16-shot, l'écart de la métrique de Transfert par rapport à la base gaussienne visuelle s'est élargi à 6,2 %, démontrant que les prototypes textuels s'adaptent gracieusement là où les statistiques visuelles se dégradent en raison d'échantillons limités.
Efficacité des paramètres : La méthode introduit seulement 0,09 M de paramètres supplémentaires (pour le gating textuel), portant le nombre total de paramètres entraînables à 2,5 M. Cela est nettement inférieur au fine-tuning complet (211 M) ou à MoE-Adapter (59,8 M) tout en les surpassant.
Études d'ablation :
- La suppression du routage dans l'espace textuel a causé la plus forte baisse de performance en Transfert.
- La suppression du gating symétrique a causé les plus fortes baisses des métriques Moyenne et Dernier, soulignant son rôle dans la rétention des connaissances.
- La combinaison des signaux de confiance visuelle et textuelle a donné de meilleurs résultats que l'utilisation d'une seule modalité, confirmant qu'elles capturent des informations complémentaires.

5. Importance et affirmations

L'article affirme que la principale source de potentiel inexploité dans les méthodes MTIL actuelles est l'échec à utiliser l'espace d'encodage textuel intermodal des VLM pré-entraînés. En traitant CLIP comme un modèle purement visuel, les méthodes existantes manquent la stabilité sémantique et les capacités de généralisation zéro-shot inhérentes à l'encodeur de texte.

L'importance de CMAP réside dans la démonstration que l'exploitation de l'alignement intermodal pré-entraîné est une stratégie d'adaptation plus efficace en paramètres que le simple passage à l'échelle de la capacité du modèle ou la dépendance à des mémoires tampons complexes. Les auteurs affirment que leur approche atteint des performances de pointe sur toutes les métriques avec un nombre minimal de paramètres entraînables et sans données externes, prouvant que les signaux intermodaux sont essentiels pour un apprentissage incrémental robuste dans des contextes de données rares et de domaines diversifiés.