💻 computer science

Conservative Proxy Prompting for Reliable Frozen Vision–Language Models with Missing Modalities

Cet article propose le Conservative Proxy Prompting (CPP), un cadre efficace en termes de paramètres qui améliore la fiabilité des modèles vision-langage gelés en cas de modalités manquantes en construisant des représentations de substitution dans l'espace des caractéristiques et en régulant prudemment leur contribution afin d'éviter les signaux trompeurs.

Auteurs originaux : Xiaoyong Mei, Wei Ji, Jiale Dong, Chao Duan, Mingyan Zhang, Fudan Zheng

Publié 2026-09-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaoyong Mei, Wei Ji, Jiale Dong, Chao Duan, Mingyan Zhang, Fudan Zheng

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle, il existe une classe croissante de systèmes connus sous le nom de modèles de vision-langage. Ce sont des esprits numériques entraînés à comprendre le monde en regardant des images et en lisant du texte simultanément, apprenant comment les images et les mots se rapportent les uns aux autres. Ils sont devenus remarquablement habiles dans des tâches telles que la description d'une photo ou la réponse à des questions sur une scène, principalement parce qu'ils sont entraînés sur de vastes collections d'images et de textes appariés. Cependant, ces systèmes reposent sur une hypothèse fragile : qu'ils recevront toujours l'image et la description en même temps. Dans la réalité désordonnée du monde réel, cela est rarement garanti. Les capteurs tombent en panne, les données se perdent lors de la transmission, et des filtres de confidentialité peuvent supprimer une description, laissant le système avec seulement la moitié de l'information attendue. Lorsqu'un modèle entraîné sur des paires complètes est soudainement contraint de deviner avec un seul morceau du puzzle, sa confiance s'effondre souvent et ses réponses deviennent peu fiables. Le défi pour les chercheurs n'est pas seulement d'aider le modèle à deviner ce qui manque, mais de lui apprendre à faire la distinction entre ce qu'il voit réellement et ce qu'il infère simplement.

Une équipe de chercheurs de l'Université Normale de Zhejiang et de l'Université Sun Yat-Sen a développé une nouvelle méthode pour résoudre ce problème, appelée « Conservative Proxy Prompting » (incitation par procuration conservatrice). Leur approche reconnaît une vérité fondamentale sur l'intelligence artificielle : lorsqu'un modèle doit deviner une information manquante en se basant sur ce qu'il peut voir, cette supposition est intrinsèquement incertaine. Imaginez une personne essayant d'identifier un plat dans un restaurant. Si elle peut voir la nourriture et lire le menu, elle est certaine. Si le menu est manquant, elle peut regarder la nourriture et deviner le nom, mais elle devrait rester légèrement incertaine de sa réponse. Les méthodes existantes tentent souvent de reconstruire l'information manquante comme si elle était réelle, traitant de fait une supposition avec le même poids qu'une observation directe. Les chercheurs soutiennent que cela est dangereux car la donnée reconstruite n'est qu'une estimation, et traiter cette estimation comme un fait peut induire le système en erreur. Au lieu de cela, leur nouveau cadre traite ces suppositions comme des preuves « par procuration » (proxy) — utiles, mais nécessitant une main prudente.

Le cœur de leur solution repose sur une stratégie en deux étapes qui travaille avec les modèles d'IA puissants existants sans nécessiter leur réentraînement complet. Premièrement, le système utilise une technique appelée « apprentissage d'incitation » (prompt learning) pour orienter délicatement la compréhension du modèle vers la tâche spécifique, comme l'identification de genres cinématographiques ou de types de nourriture, en utilisant seulement un très petit nombre de paramètres réglables. Cela permet au modèle de rester affûté et prêt pour la tâche spécifique sans bouleverser l'intégralité de son cerveau. Deuxièmement, et plus important encore, le système introduit un mécanisme pour gérer les données manquantes. Lorsqu'une image est manquante, le système utilise le texte pour créer un croquis grossier de ce à quoi l'image pourrait ressembler. Lorsque le texte est manquant, il utilise l'image pour deviner les mots. Mais voici la différence cruciale : avant que cette information devinée ne soit mélangée aux données réelles, le système réduit délibérément son influence. Il applique un filtre « conservateur », réduisant le poids de la supposition afin qu'elle soutienne la décision sans l'éclipser par rapport à l'évidence directe. Cela garantit que si la supposition est erronée, elle n'entraîne pas la réponse finale dans sa chute.

Pour tester cette idée, les chercheurs ont soumis leur méthode à l'épreuve de trois ensembles de données très différents du monde réel. Ils ont utilisé une collection d'affiches de films et de résumés d'intrigue, un ensemble massif d'images de nourriture avec des recettes, et un ensemble complexe de mèmes Internet conçu pour tester si un système peut détecter les discours de haine. Dans chaque cas, ils ont simulé des défaillances du monde réel en supprimant aléatoirement soit l'image, soit le texte des données, retirant parfois l'information jusqu'à quatre-vingt-dix pour cent des échantillons. Les résultats ont été clairs : la nouvelle méthode a systématiquement surpassé les autres approches qui tentaient simplement de reconstruire les données manquantes. En maintenant l'influence des suppositions sous contrôle, le système a maintenu une grande précision, même lorsqu'il lui manquait la majeure partie de ses informations. Il a prouvé qu'un modèle n'a pas besoin d'être parfait pour deviner pour être fiable ; il doit simplement savoir à quel point il peut faire confiance à ses propres suppositions.

L'étude a également révélé que cette fiabilité ne s'accompagne pas d'un coût élevé. La nouvelle méthode n'a nécessité qu'un très petit nombre de paramètres réglables — environ entre 1,6 et 2,7 millions — pour obtenir ces résultats. En comparaison, d'autres méthodes tentant d'atteindre une robustesse similaire nécessitaient souvent près de trois fois plus de réglages. Cette efficacité est significative car elle signifie que le système peut être adapté à de nouvelles tâches rapidement et stocké facilement, sans nécessiter une puissance de calcul massive. Les chercheurs ont constaté que le nombre spécifique de réglages d'incitation importait, mais qu'il n'y avait pas de chiffre magique unique fonctionnant pour chaque situation ; un certain degré d'ajustement modéré constituait généralement le point d'équilibre idéal. De plus, le système a montré qu'il pouvait gérer des situations qu'il n'avait jamais rencontrées auparavant. Même lorsqu'il était entraîné uniquement sur des données complètes puis testé sur des données manquantes, il s'adaptait bien, suggérant que le principe de prudence face aux suppositions est une stratégie robuste qui se généralise au-delà des exemples d'entraînement spécifiques.

En fin de compte, ce travail déplace l'attention de la tentative de recréer parfaitement l'information manquante vers la gestion de l'incertitude de cette recréation. Les chercheurs ont démontré que, dans un monde où les données sont souvent incomplètes, les systèmes d'IA les plus fiables ne sont pas nécessairement ceux qui tentent de combler chaque vide, mais ceux qui comprennent les limites de leur propre connaissance. En traitant l'information inférée comme une voix utile mais secondaire, plutôt que comme un partenaire égal à l'observation directe, le système devient plus stable et digne de confiance. Cette approche offre une voie pratique pour le déploiement de systèmes intelligents dans le monde réel, là où les capteurs tombent en panne et où les données se perdent, garantissant que ces outils restent utiles même lorsqu'ils ne voient pas l'image complète.

Résumé technique : Prompting de Proxy Conservateur pour des Modèles Vision-Langage Gelés Fiables avec des Modalités Manquantes

1. Énoncé du Problème

Les modèles vision-langage (VLM) gelés, tels que CLIP et SigLIP, ont démontré une forte capacité de transfert grâce à l'apprentissage de représentations image-texte alignées à partir de pré-entraînements à grande échelle. Cependant, leur fiabilité se dégrade considérablement dans les scénarios pratiques où une modalité (image ou texte) devient indisponible en raison de restrictions de confidentialité, de défaillances de capteurs ou d'interruptions de transmission.

Les approches existantes concernant les modalités manquantes se divisent généralement en deux catégories :

Complétion de Modalité : Ces méthodes tentent de reconstruire les entrées manquantes ou les représentations latentes (par exemple, via la diffusion ou l'apprentissage masqué). Bien qu'elles fournissent des informations complémentaires, les caractéristiques reconstruites sont des estimations qui peuvent contenir des signaux incertains ou des incohérences sémantiques, introduisant potentiellement des preuves trompeuses dans le processus de raisonnement.
Adaptation Sensible aux Modalités Manquantes : Ces méthodes intègrent la disponibilité des modalités dans les architectures ou les stratégies d'apprentissage de prompts. Cependant, la plupart des approches basées sur les prompts existantes supposent des observations complètes ou ne parviennent pas à distinguer explicitement la fiabilité des preuves directement observées de celle des représentations proxies inférées.

Le défi central abordé par ce travail est la manière d'adapter les VLM gelés à des observations incomplètes sans traiter les caractéristiques proxies inférées et incertaines comme des preuves réelles et observées, évitant ainsi la propagation d'informations peu fiables lors de la fusion multimodale.

2. Méthodologie : Prompting de Proxy Conservateur (CPP)

Les auteurs proposent le Conservative Proxy Prompting (CPP), un cadre efficace en termes de paramètres conçu pour adapter les VLM gelés sous des observations incomplètes. Le CPP sépare l'adaptation de la tâche de la fiabilité du proxy à travers trois étapes séquentielles :

2.1 Préfixe Léger Sensible à la Tâche (LTP)

Le LTP introduit une guidance sémantique liée à la tâche dans l'entrée textuelle avant l'adaptation du prompt. Il applique une transformation légère à la description d'entrée et la traite via le tokenizer CLIP original. Crucialement, le LTP modifie la représentation de l'entrée textuelle sans introduire de paramètres entraînables supplémentaires ni mettre à jour l'encodeur de texte gelé, préservant ainsi la connaissance pré-entraînée tout en fournissant un contexte au niveau du jeu de données.

2.2 Adaptation de Soft Prompt à Double Flux (D-SPA)

Le D-SPA adapte les branches visuelle et textuelle du squelette CLIP gelé en utilisant des soft prompts apprenables spécifiques à chaque modalité :

Branche Textuelle : Des jetons de prompt apprenables sont ajoutés via une addition résiduelle à la séquence d'embedding des jetons.
Branche Visuelle : Des jetons de prompt visuels apprenables sont insérés dans la séquence d'entrée de l'encodeur d'image aux côtés du jeton de classe et des patch embeddings.
Cette étape optimise un petit nombre de paramètres pour aligner l'espace de représentation gelé avec les tâches en aval tout en maintenant le mécanisme d'encodage CLIP original.

2.3 Contrôle de Fiabilité Léger Sensible aux Modalités Manquantes (LMRC)

Il s'agit de l'innovation centrale pour la gestion des modalités manquantes. Lorsqu'une modalité $r$ est indisponible, le LMRC construit un proxy de l'espace de caractéristiques $\hat{z}_i^r$ à partir de la modalité observée en utilisant un projecteur affine directionnel (par exemple, $W_{I \to T}z_i^I + b_{I \to T}$ ).

Contrairement aux méthodes de complétion qui optimisent la récupération explicite, le LMRC traite le proxy généré comme une preuve auxiliaire incertaine. Pour réguler sa contribution, une opération d'atténuation conservatrice est appliquée avant la fusion multimodale :
$z_i^r = (1 - \delta_i^r)z_i^r + \alpha \delta_i^r \hat{z}_i^r$
Où :

$\delta_i^r$ est un indicateur indiquant si la modalité $r$ est manquante.
$\alpha$ est un coefficient conservateur fixe (fixé à 0,1 dans les expériences) qui réduit la contribution du proxy inféré.
Les caractéristiques de la modalité observée sont préservées inchangées.

De plus, un embedding de type de manque ( $E_m[m_i]$ ) est concaténé avec les caractéristiques fusionnées pour informer explicitement la tête de prédiction de l'état de disponibilité de la modalité, permettant au modèle de distinguer les observations directes des représentations assistées par proxy.

2.4 Optimisation

Le cadre utilise un MLP léger à deux couches comme tête de prédiction. L'optimisation repose uniquement sur les objectifs standards de cross-entropy (étiquette unique) ou de binary cross-entropy équilibrée (étiquette multiple). Aucune perte de reconstruction auxiliaire, objectif adversarial ou supervision de proxy n'est utilisé. Seuls les paramètres légers (prompts, projecteurs, embeddings et tête) sont mis à jour ; le squelette CLIP reste gelé.

3. Principales Contributions

Le papier expose trois contributions principales :

Proposition de Cadre : L'introduction du CPP, un cadre efficace en paramètres permettant une adaptation fiable des VLM gelés sous diverses conditions d'observations incomplètes.
Stratégie Sensible à la Fiabilité : Une stratégie novatrice qui construit des proxies légers dans l'espace des caractéristiques et contrôle leur contribution de manière conservatrice via l'atténuation avant la fusion. Cela réduit explicitement l'influence des informations inférées incertaines, les distinguant des preuves observées.
Validation Empirique : Des expériences approfondies démontrant des performances robustes à travers les configurations de texte-manquant, d'image-manquante et de mélange-manquant avec un minimum de paramètres entraînables.

4. Résultats Expérimentaux

Les auteurs ont évalué le CPP sur trois benchmarks : MM-IMDb (genre de film multi-étiquettes), Food-101 (reconnaissance fine de nourriture) et Hateful Memes (classification binaire).

Performance : Le CPP a obtenu les meilleurs résultats dans 25 des 27 combinaisons jeu de données–taux de manque–modalité par rapport aux bases solides (MMP, MaPLe, DePT, DCP, SyP). Il a montré des améliorations constantes, particulièrement sous des taux de manque élevés (70 % et 90 %).
Efficacité des Paramètres : Le CPP nécessite seulement 1,6–2,7 M de paramètres entraînables, nettement moins que les ~5,8 M de paramètres de la base la plus proche (SyP), tout en atteignant une performance moyenne supérieure dans la plupart des configurations.
Études d'Ablation : Le retrait de l'atténuation conservatrice (CA) a entraîné une dégradation des performances, confirmant que les caractéristiques de proxy non contrôlées introduisent du bruit. Le retrait de l'adaptation de prompt (PL) ou du préfixe sensible à la tâche (LTP) a également entraîné des baisses, validant la nécessité de l'adaptation de la représentation et de la guidance sémantique.
Généralisation : Lorsqu'il est entraîné sur des paires complètes et testé sur des scénarios de modalités manquantes (sans augmentation de l'état de manque pendant l'entraînement), le CPP maintient des performances stables, démontrant une forte généralisation à des schémas de manque inédits.
Visualisation : Les visualisations UMAP ont montré que le CPP apprend des distributions de caractéristiques multimodales structurées même en conditions de manque. L'analyse de la recherche croisée de modalités indique que le modèle préserve un alignement sémantique significatif tout en reflétant l'incertitude des informations transférées.

5. Signification et Revendications

Le papier affirme que la signification du CPP réside dans sa capacité à combler le fossé de fiabilité dans l'apprentissage des modalités manquantes. En séparant explicitement la génération d'informations proxy de leur utilisation, le CPP évite le piè importance de traiter les estimations reconstruites comme la vérité de terrain.

Les auteurs soulignent que leur approche ne repose pas sur des mécanismes de reconstruction complexes ou des mises à jour de paramètres à grande échelle. Au lieu de cela, elle exploite un mécanisme d'atténuation conservatrice pour utiliser en toute sécurité les informations complémentaires disponibles tout en atténuant le risque de propagation d'informations peu fiables. Le cadre offre une solution pratique pour déployer des VLM gelés dans des environnements réels où la complétude des données ne peut être garantie, atteignant une robustesse avec une grande efficacité de paramètres.

Le papier conclut modestement, notant que des travaux futurs pourraient explorer une estimation de fiabilité adaptative (ajustant dynamiquement $\alpha$ ) et étendre le cadre à des modèles de fondation plus larges, mais affirme que le coefficient conservateur fixe actuel constitue une approximation robuste et efficace pour divers scénarios.