💻 computer science

CoDoL: Conditional Domain Prompt Learning for Out-of-Distribution Generalization

Cet article propose CoDoL, une nouvelle méthode d'apprentissage de prompts de domaine conditionnels (Conditional Domain Prompt Learning) qui exploite un réseau méta de domaine léger pour générer des jetons conditionnés par l'entrée, améliorant ainsi l'alignement des plongements vision-langage et renforçant la généralisation hors distribution dans les modèles basés sur CLIP.

Auteurs originaux : Min Zhang, Yuyin Wang, Zhongxiang Dai, Zhikang Chen, Jie Zhou, Miao Liu, Sen Cui

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Min Zhang, Yuyin Wang, Zhongxiang Dai, Zhikang Chen, Jie Zhou, Miao Liu, Sen Cui

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot bibliothécaire super intelligent nommé CLIP. Ce robot a lu des millions de livres et regardé des millions d'images. Son travail est de regarder une nouvelle image et de deviner ce qu'elle est en la faisant correspondre à une phrase dans sa mémoire.

Par exemple, si vous montrez au robot un chien, il cherche la phrase « une photo d'un chien » dans sa bibliothèque. Si la correspondance est forte, il dit : « C'est un chien ! »

Le Problème : Le Robot est Confus par les Nouveaux Environnements
Le robot est excellent pour reconnaître les choses qu'il a déjà vues. Mais dans le monde réel, les choses changent. Un chien peut être dessiné sous forme de dessin animé, esquissé au crayon ou peint à l'huile. Ce sont des « domaines » différents (comme des styles artistiques ou des conditions d'éclairage différents).

Quand le robot voit un chien de dessin animé, il essaie de correspondre à la phrase « une photo d'un chien ». Mais un dessin animé n'est pas une photo ! Le robot est confus car la description ne correspond pas tout à fait à l'image. C'est ce qu'on appelle la généralisation Hors-Distribution (OOD - Out-of-Distribution). Le robot fonctionne bien dans la « salle d'entraînement », mais il échoue lorsqu'il sort dans le monde réel, désordonné et varié.

Les tentatives précédentes pour corriger cela consistaient à apprendre au robot à modifier légèrement ses phrases (comme ajouter « une image de... »), mais les phrases étaient encore un peu vagues et n'expliquaient pas pleinement pourquoi l'image ressemblait à ce qu'elle était.

La Solution : CoDoL (Le Guide Contextuel)
Les auteurs de ce papier proposent une nouvelle méthode appelée CoDoL (Conditional Domain Prompt Learning). Considérez CoDoL comme si l'on donnait au robot un guide intelligent et adaptable.

Au lieu de simplement dire « une photo d'un chien », CoDoL apprend au robot à dire : « une photo d'un chien [dans le style dessin animé] ».

Voici comment cela fonctionne, décomposé en parties simples :

Le Prompt de Domaine (Le « Où » et le « Comment ») :
On dit au robot que le monde possède différents « domaines » (comme Photo, Dessin Animé, Esquisse). CoDoL ajoute un « jeton de domaine » spécial à la phrase. C'est comme ajouter une étiquette à la phrase qui dit : « Souviens-toi, ce chien est dessiné dans un style dessin animé ». Cela aide le robot à comprendre que l'image et le texte vont ensemble même si ils se ressemblent différemment.
Le Réseau Méta de Domaine (L'« Instantané Traducteur ») :
Parfois, un chien de dessin animé ressemble beaucoup à une photo de chien, mais parfois, un chien de dessin animé spécifique ressemble un peu à une photo spécifique. Pour gérer cela, les auteurs ont construit un petit réseau auxiliaire léger appelé DMN (Domain Meta Network).
- Analogie : Imaginez que le robot regarde une image spécifique. Le DMN est comme un traducteur rapide qui regarde l'image et murmure : « Hé, pour cette image spécifique, ajuste légèrement la phrase pour correspondre à ces détails uniques ».
- Il crée une « instruction » personnalisée pour chaque image basée sur ce qu'il voit, puis la combine avec l'instruction générale du « style dessin animé ».

Pourquoi cela fonctionne (La Magie de l'Alignement)
L'objectif principal de CoDoL est l'Alignement. Imaginez que le robot possède deux tiroirs séparés : un pour les images et un pour les mots.

Ancienne Méthode : L'image d'un chien de dessin animé et les mots « une photo d'un chien » étaient dans des tiroirs différents et ne s'emboîtaient pas très bien.
Méthode CoDoL : En ajoutant les instructions de « domaine » et de « l'instance », CoDoL pousse l'image et les mots plus près l'un de l'autre dans l'esprit du robot. Ils s'emboîtent parfaitement.

Les Résultats
Les chercheurs ont testé cela sur quatre différents « mondes » (jeux de données) où le robot devait reconnaître des objets dans différents styles (comme des photos vs des esquisses).

Le Résultat : CoDoL a battu toutes les méthodes précédentes. Il était meilleur pour reconnaître qu'une « esquisse de chien » et les mots « esquisse de chien » appartiennent ensemble, même si le robot n'avait jamais vu cette esquisse spécifique auparavant.
Efficacité : Le plus beau dans tout ça, c'est que le robot n'avait pas besoin d'être réentraîné de zéro. Les auteurs ont seulement eu à apprendre au robot quelques nouveaux « mots » (les prompts) et à ajouter un petit assistant (le DMN). C'est comme donner une nouvelle fiche recette à un chef étoilé plutôt que de lui réapprendre à cuisiner depuis le début.

En Résumé
CoDoL est une astuce intelligente qui aide l'IA à comprendre qu'une image et une description correspondent, même quand l'image est différente de ce pour quoi l'IA a été entraînée initialement. Il y parvient en ajoutant un contexte supplémentaire (le « domaine ») et des ajustements personnalisés (le « DMN ») aux phrases que l'IA utilise, rendant la connexion entre ce qu'elle voit et ce qu'elle lit beaucoup plus forte et plus fiable.

Résumé Technique : CoDoL – Apprentissage de Prompts de Domaine Conditionnels pour la Généralisation Hors-Distribution

1. Énoncé du Problème

Les modèles d'apprentissage profond reposent généralement sur l'hypothèse de l'indépendance et de l'identité de distribution (IID), qui échoue souvent dans les applications du monde réel où les distributions des données de test diffèrent de celles d'entraînement (Généralisation Hors-Distribution ou OOD). Bien que les Modèles Vision-Langage (VLM), particulièrement le Contrastive Language-Image Pre-training (CLIP), aient démontré de fortes capacités zero-shot, les méthodes de prompting basées sur CLIP font face à deux limitations critiques dans les contextes OOD :

Descriptions Textuelles Imprécises : Les prompts fixes ou conçus manuellement peuvent ne pas décrire avec précision le contenu visuel, entraînant une dégradation de la précision et de la robustesse.
Alignement Limité des Plongements Vision-Langage : L'alignement entre les plongements (embeddings) d'image et de texte est un facteur clé de la performance de généralisation. Les méthodes classiques de réglage de prompts (ex: CoOp) échouent souvent à aligner suffisamment ces modalités sous l'effet des changements de distribution.

Les méthodes actuelles peinent à exploiter les informations de domaine facilement disponibles (ex: localisation, temps, conditions expérimentales) pour améliorer cet alignement, ce qui est crucial pour transférer les connaissances de multiples domaines d'entraînement vers des domaines de test non vus.

2. Méthodologie : CoDoL

Les auteurs proposent le Conditional Domain Prompt Learning (CoDoL), une méthode efficace en paramètres qui utilise l'information de domaine pour améliorer l'alignement des encodeurs d'image et de texte de CLIP. Le cadre se compose de trois composants principaux :

A. Construction de Prompt de Domaine Conditionnel

Contrairement au réglage de prompt standard qui apprend uniquement des vecteurs de contexte spécifiques aux classes, CoDoL construit un prompt incluant à la fois des informations de classe et de domaine. Le modèle de prompt est défini comme :
$t = \text{[Tokens de Classe]} + \text{[Tokens de Domaine]} + \text{[Nom de la Classe]} + \text{[Nom du Domaine]}$

Tokens de Classe : Vecteurs apprenables partagés ou spécifiques aux classes.
Tokens de Domaine : Vecteurs apprenables conçus pour capturer des caractéristiques invariantes au domaine, permettant au modèle de se généraliser à des domaines de test non vus.
Exemple : Pour un "chien" dans le domaine "Dessin Animé", le prompt devient : "[V]_1...[V]_Mc, [V]_1...[V]_Mk, chien, dessin animé".

B. Réseau Méta de Domaine (DMN)

Pour capturer des informations spécifiques à l'instance parallèlement aux informations spécifiques au domaine, les auteurs introduisent un réseau de neurones léger appelé le Domain Meta Network (DMN).

Fonction : Le DMN prend le vecteur de caractéristique d'image ( $z_v$ ) provenant de l'encodeur d'image gelé et génère un décalage (offset) conditionnel à l'entrée.
Mécanisme : Ce décalage est ajouté élément par élément aux vecteurs de contexte apprenables spécifiques au domaine.
$[V]^k_m(x) = [V]^k_m + (f_\theta(z_v))_m$
Résultat : Les tokens résultants portent à la fois une connaissance statique du domaine et des détails dynamiques spécifiques à l'instance, créant un prompt $t_{y,j}(x)$ qui est conditionné à la fois par la classe $y$ et par l'instance d'image spécifique $x$ .

C. Entraînement et Inférence

Entraînement : Le modèle minimise une perte d'entropie croisée sur la distribution jointe a posteriori de la classe et du domaine. L'étiquette de domaine est utilisée pendant l'entraînement pour superviser le prompt de domaine spécifique, mais est traitée comme une variable latente lors de l'inférence.
Inférence : Au moment du test, les étiquettes de domaine ne sont pas requises. Le modèle marginalise sur les $K$ domaines d'entraînement pour prédire l'étiquette de la classe :
$\hat{c}(x) = \arg \max_y \sum_{j=1}^K p(y, k=j | x)$

3. Principales Contributions

Nouveau Cadre de Prompting : La proposition de CoDoL, qui intègre l'information de domaine disponible pour améliorer l'alignement des plongements vision-langage pour la généralisation OOD.
Conditionnement d'Instance Léger : L'introduction du Domain Meta Network (DMN), une architecture légère qui génère des tokens conditionnés par l'entrée, permettant au modèle de capturer à la fois des informations spécifiques à l'instance et au domaine sans mises à jour de paramètres lourdes.
Validation Empirique : Des expériences approfondies démontrant que CoDoL améliore l'alignement des espaces de plongement de CLIP, servant de facteur contributif aux gains OOD observés.

4. Résultats Expérimentaux

Les auteurs ont évalué CoDoL sur quatre benchmarks OOD standards : PACS, VLCS, OfficeHome et DigitDG, en utilisant des backbones ResNet50 et ViT-B/16.

Multiples Domaines d'Entraînement : CoDoL a atteint des performances de pointe (SOTA) sur tous les benchmarks. Par exemple, sur PACS avec un backbone ViT-B/16, CoDoL a atteint une précision moyenne de 98,77 %, surpassant l'ancien SOTA (StyLIP) et les bases zero-shot.
Domaine d'Entraînement Unique : Dans le cadre plus difficile où un seul domaine est utilisé pour l'entraînement, CoDoL a systématiquement surpassé les autres techniques de prompting (ex: CoOp, CoCoOp) d'environ 3 à 4 %, établissant de nouveaux résultats SOTA pour les scénarios d'entraînement à domaine unique.
Études d'Ablation :
- Efficacité du DMN : Le retrait du DMN a entraîné une chute de performance d'environ 3 %, confirmant la valeur du conditionnement spécifique à l'instance.
- Longueur du Contexte : La longueur de contexte optimale pour les tokens de domaine ( $M_k$ ) s'est avérée plus grande que pour les tokens de classe ( $M_c$ ) dans les contextes multi-domaines, suggérant que des contextes de domaine plus longs sont bénéfiques pour apprendre la connaissance du domaine.
- Métriques d'Alignement : L'analyse quantitative a montré que CoDoL atteignait un écart de modalité ( $\delta_{mod}$ ) plus faible et un rappel de recherche cross-modale (R@1) plus élevé par rapport aux bases, confirmant un meilleur alignement vision-langage.
Efficacité des Données : La méthode est restée efficace même avec seulement 20 % des échantillons d'entraînement contenant des informations de domaine.

5. Signification et Revendications

L'article affirme que CoDoL répond aux défis fondamentaux des descriptions textuelles imprécises et de l'alignement limité des plongements dans les méthodes de prompting basées sur CLIP. En modélisant explicitement l'information de domaine et les décalages spécifiques à l'instance, la méthode améliore la robustesse des VLM lors des changements de distribution dans le monde réel.

Les auteurs positionnent l'amélioration de l'alignement des plongements vision-langage comme un facteur primaire sous-jacent aux gains de généralisation OOD observés. Ils soulignent que cette approche est efficace en termes de paramètres, ne nécessitant que l'entraînement des tokens de prompt et d'un DMN léger tout en gardant les encodeurs pré-entraînés gelés. Ce travail suggère que l'exploitation de l'information de domaine est une stratégie viable et efficace pour renforcer la fiabilité des systèmes d'IA dans des applications à enjeux élevés où les distributions de données sont non stationnaires.