Learning from Reliable Latent Prompts for Visual Recognition with Missing Modalities

Résumé Technique : Apprentissage à partir de Prompts Latents Fiables pour la Reconnaissance Visuelle avec Modalités Manquantes

Énoncé du Problème
Les modèles multimodaux à grande échelle (LMM) ont atteint des performances supérieures en synergie d'informations issues de diverses modalités appariées à grande échelle. Cependant, dans les déploiements réels, les entrées sont fréquemment incomplètes en raison de contraintes de confidentialité, de défaillances de capteurs ou de limitations de la collecte de données. Les modèles existants, optimisés pour des données aux modalités complètes, souffrent d'une dégradation brutale des performances face à des modalités manquantes. Bien que les approches récentes d'apprentissage par prompt tentent d'atténuer ce problème en générant des prompts dynamiques conditionnés par des caractéristiques au niveau de l'instance, ces stratégies sont fondamentalement défectueuses sous des taux de perte élevés. À mesure que la proportion de modalités incomplètes augmente, les caractéristiques de l'instance utilisées pour conditionner les prompts deviennent peu fiables, biaisées et instables. Cela conduit à des prompts dynamiques qui s'effondrent vers des observations unimodales, perturbant l'alignement cross-modal et échouant à maintenir des structures cohérentes au niveau de la classe.

Méthodologie : Apprentissage à partir de Prompts Latents Fiables (LLP)
Pour remédier à l'imprévisibilité des stratégies conditionnées par l'entrée, les auteurs proposent le Learning from Reliable Latent Prompts (LLP), un paradigme qui découple l'apprentissage de prompt des entrées corrompues. Au lieu de s'appuyer sur des caractéristiques au niveau de l'instance, le LLP modélise des prompts apprenables indépendants de l'entrée comme des ancres latentes stables qui encapsulent des priors intrinsèques à la modalité.

Le cadre, construit sur un backbone CLIP gelé, opère via trois mécanismes centraux :

1. Ancres Latentes Spécifiques à la Modalité : Le LLP introduit des jetons de prompt apprenables ($P_{I,S}$ pour les images et $P_{T,S}$ pour le texte) qui sont indépendants de l'entrée. Ces ancres sont dérivées de prompts statiques via une fonction de transformation (FC + GELU + LN) et servent d'ancres stables codant des priors au niveau de la modalité, indépendamment de l'échantillon d'entrée spécifique ou de son caractère incomplet.
2. Prompts à Double Induction d'Ancre (DAIP) : Pour permettre une interaction cross-modale robuste sans dépendre d'entrées incomplètes, le cadre utilise un mécanisme d'attention croisée à double voie. L'ancre textuelle interroge l'ancre d'image (et vice versa) pour échanger des informations complémentaires. Cette interaction génère des prompts raffinés à double induction d'ancre ($P_{I,D}$ et $P_{T,D}$) via un MLP léger et une normalisation. Ce processus permet au modèle d'approximer l'information sémantique manquante à partir d'un espace latent stable.
3. Génération de Prompt par Couche : Les prompts finaux pour chaque modalité sont construits en concaténant les ancres latentes et les prompts induits. Ceux-ci sont injectés dans chaque couche de l'encodeur, permettant un raffinement progressif et un apprentissage de représentation hiérarchique à travers la profondeur du réseau.

Pendant l'entraînement, seuls les paramètres de prompt et une couche entièrement connectée spécifique à la tâche sont optimisés, tandis que le backbone reste gelé.

Contributions Clés

• Un Nouveau Paradigme : L'article propose le LLP, un cadre de prompting piloté par des priors latents qui découple l'apprentissage de prompt des entrées non fiables, capturant des priors de modalité stables pour améliorer la robustesse sous des observations incomplètes.
• Conception Indépendante de l'Entrée : L'introduction d'ancres latentes spécifiques à la modalité et d'un mécanisme d'attention croisée à double voie permet un apprentissage de prompt indépendant de l'entrée et une interaction cross-modale stable, facilitant la compensation sémantique même sous des taux de perte extrêmes (ex: 90 %).
• Performances de l'État de l'Art : L'approche démontre des performances supérieures sur plusieurs benchmarks et scénarios de modalités manquantes, validant l'efficacité de l'apprentissage à partir de prompts latents fiables par rapport aux méthodes conditionnées par l'entrée.

Résultats Expérimentaux
Les auteurs ont évalué le LLP sur trois jeux de données de référence : MM-IMDb (prédiction de genre de film), UPMC Food-101 (classification de nourriture) et Hateful Memes (détection de discours de haine). Les expériences ont été menées sous différents taux de perte ($\eta = 50\%, 70\%, 90\%$) et scénarios de perte (texte manquant, image manquante, les deux manquants).

• Performance : Le LLP a systématiquement surpassé six baselines de l'état de l'art (incluant CoOp, MMP, MaPLe, DePT, DCP, et SyP) sur tous les jeux de données et configurations de perte.
• Taux de Perte Élevés : Les gains de performance ont été plus prononcés sous des taux de perte élevés (ex: $\eta = 90\%$). Par exemple, sur le jeu de données Hateful Memes, le LLP a atteint un AUROC de 70,90 % avec 90 % de texte manquant, surpassant nettement la meilleure méthode suivante (SyP à 69,70 %).
• Études d'Ablation : Les expériences ont confirmé que les ancres latentes spécifiques à la modalité seules apportaient des gains substantiels par rapport aux baselines, et que l'ajout des prompts à double induction d'ancre générait des améliorations significatives supplémentaires.
• Généralisation : Les modèles entraînés sous des scénarios "les deux manquants" ont démontré une forte capacité de généralisation aux scénarios de perte spécifiques (texte seul ou image seule), indiquant une adaptation flexible aux divers motifs de perte.
• Visualisation : Les visualisations de caractéristiques ont montré que le LLP produit des distributions intra-classe plus compactes et une séparation inter-classe plus claire par rapport aux méthodes conditionnées par l'entrée, qui résultent souvent en des clusters fragmentés et spécifiques à la modalité.

Signification et Revendications
L'article affirme que le LLP offre une solution simple mais efficace au problème des modalités manquantes, un goulot d'étranglement critique pour l'utilité pratique des LMM. En déplaçant l'accent des caractéristiques d'entrée au niveau de l'instance, peu fiables, vers des priors latents stables et indépendants de l'entrée, la méthode fournit un mécanisme robuste de compensation de la connaissance cross-modale. Les auteurs soulignent que ce paradigme est particulièrement précieux pour les applications réelles où l'intégrité des données ne peut être garantie. De plus, l'approche maintient une haute efficacité paramétrique en n'optimisant qu'un petit ensemble de paramètres apprenables, ce qui la rend pratique pour le déploiement. Ce travail établie une direction prometteuse pour l'apprentissage multimodal robuste en démontant qu'un raisonnement sémantique fiable peut être atteint même lorsque jusqu'à 90 % des modalités sont manquantes.