Prompt Disentanglement via Language Guidance and Representation Alignment for Domain Generalization

Résumé Technique : Désenchevêtrement de Prompts via le Guidage Linguistique et l'Alignement de Représentation pour la Généralisation de Domaine (PADG)

Définition du Problème
La généralisation de domaine (DG) vise à entraîner des modèles qui performent de manière robuste sur des domaines cibles non vus en utilisant uniquement des données de domaines sources. Un défi majeur de la DG est le « décalage de domaine » (domain shift), où les données d'entraînement et de test suivent des distributions différentes, violant l'hypothèse standard de distribution identique et indépendante (i.i.d.). Bien que les modèles de fondation visuelle (VFM) récents comme CLIP soient prometteurs, les méthodes actuelles de réglage de prompts se concentrent souvent sur l'adaptation spécifique à la tâche plutôt que sur le désenchevêtrement des caractéristiques invariantes au domaine et de celles spécifiques au domaine. Par conséquent, ces méthodes peinent à générer des représentations qui se généralisent efficacement à travers divers domaines non vus. De plus, un guidage purement textuel échoue souvent à capturer les variations complexes et spécifiques au domaine (par exemple, les changements de point de vue ou d'arrière-plan) qui sont difficiles à décrire linguistiquement, menant à un désenchevêtrement incomplet.

Méthodologie
Les auteurs proposent PADG (Prompt Disentanglement via Language Guidance and Representation Alignment), un cadre unifié qui exploite la flexibilité des VFM et des grands modèles de langage (LLM) pour atteindre une généralisation de domaine robuste. Le cadre opère à travers deux étapes d'entraînement et une stratégie d'inférence :

1. Désenchevêtrement de Prompts Cross-Modaux (CMD) : Cette étape traite la séparation des caractéristiques entre les modalités.

   • Désencêtrement Textuel Assisté par GPT (GAT) : Les auteurs utilisent un LLM (GPT-3) pour générer des descriptions fines pour chaque classe au sein de domaines spécifiques. Par l'analyse sémantique latente, le LLM synthétise ces descriptions en descriptions invariantes au domaine (ex: forme structurelle) et spécifiques au domaine (ex: couleur ou arrière-plan). Ces descriptions sont utilisées pour guider l'apprentissage de prompts textuels désenchevêtrés via des pertes de distillation et de contraste.
   • Désenchevêtrement d'Images Guidé par le Texte (IMT) : Les plongements textuels désenchevêtrés servent de guides sémantiques pour l'encodeur visuel. L'encodeur visuel est affiné à l'aide de prompts apprenables pour produire des caractéristiques visuelles invariantes au domaine et spécifiques au domaine correspondantes. Ce processus est régularisé en minimisant la distance entre les caractéristiques visuelles apprises et les plongements CLIP originaux, tout en imposant une confusion de domaine pour les caractéristiques invariantes.

2. Alignement de Représentation du Pire Cas (WERA) : Pour compenser les limites du guidage uniquement textuel pour capturer les variations visuelles, ce module améliore l'invariance visuelle grâce à la robustesse distributionnelle.

   • La méthode modélise une distribution du pire cas au sein d'une boule de Wasserstein centrée sur le domaine source.
   • Au lieu de déformer la sémantique de l'image, elle emploie une stratégie de stylisation qui ajuste la moyenne et la variance (statistiques) des caractéristiques visuelles intermédiaires en utilisant des prompts apprenables.
   • Un processus d'optimisation itératif recherche les échantillons stylisés du pire cas qui maximisent le risque empirique. Le modèle aligne ensuite les représentations des échantillons originaux et stylisés, garantissant que les caractéristiques visuelles apprises restent stables sous des décalages de distribution bornés.

3. Apprentissage de Prototypes Spécifiques au Domaine (DSPL) : Lors de l'inférence, les auteurs soutiennent que s'appuyer uniquement sur les caractéristiques invariantes au domaine est sous-optimal. Ils introduisent une stratégie d'ensemble qui combine des prédictions invariantes au domaine avec des prédictions spécifiques au domaine.

   • Des prototypes sont construits pour chaque classe au sein de chaque domaine source en utilisant l'encodeur visuel spécifique au domaine.
   • Pour un échantillon de test, le modèle calcule la similitude entre la requête et ces prototypes pour générer une prédiction spécifique au domaine.
   • La sortie finale est une combinaison pondérée de la prédiction invariante au domaine et de la prédiction basée sur le prototype spécifique au domaine, exploitant les connaissances de domaines vus similaires pour aider la classification de cibles non vues.

Contributions Clés

• Cadre PADG : Un nouveau cadre de réglage de prompt qui exploite pleinement la modalité textuelle pour parvenir à un désenchevêtrement cross-modal, séparant les composantes invariantes et spécifiques dans les espaces textuels et visuels.
• Module WERA : Un nouveau module qui stylise de manière adversaire les caractéristiques visuelles dans une boule de Wasserstein et impose un alignement entre les distributions perturbées et originales. Les auteurs fournissent une analyse théorique garantissant des bornes de généralisation sous cette optimisation.
• Stratégie DSPL : Un mécanisme d'ensemble basé sur des prototypes qui intègre des statistiques spécifiques au domaine avec des prédictions invariantes au domaine pour améliorer la fiabilité de l'inférence.
• Évaluation Complète : Des expériences étendues démontrant l'efficacité de la méthode sur plusieurs benchmarks.

Résultats Expérimentaux
Les auteurs ont évalué PADG sur cinq benchmarks de DG mainstream : PACS, VLCS, OfficeHome, DomainNet et TerraIncognita.

• DG Multi-Source : PADG a atteint des performances de l'état de l'art (SOTA) sur tous les jeux de données, avec une précision moyenne de 78,73 %, surpassant les méthodes SOTA précédentes comme SIMPLE+ (78,10 %) et SMOS (68,30 %). Notamment, sur le dataset exigeant TerraIncognita, PADG a amélioré l'ERM de base de 6,71 % et a surpassé CLIP-LoRA de 3,31 %.
• DG Single-Source : Dans le cadre plus difficile de la généralisation à source unique (entraînement sur une seule source, test sur plusieurs cibles), PADG a nettement surpassé les méthodes existantes, incluant UDIM et les approches basées sur CLIP, avec des améliorations allant jusqu'à 16,79 % sur OfficeHome.
• Études d'Ablation : Les auteurs ont confirmé la signification statistique de chaque composant (GAT, IMT, WERA, DSPL). Les résultats indiquent que le désenchevêtrement textuel fournit des indices sémantiques riches, tandis que WERA réduit efficacement la divergence source-cible, et DSPL affine davantage l'inférence en utilisant les connaissances spécifiques au domaine.

Signification et Revendications
L'article affirme que PADG recadre avec succès le réglage de prompt comme un problème de désenchevêtrement, traitant efficacement les limites des méthodes existantes qui confondent les caractéristiques spécifiques à la tâche et les caractéristiques invariantes au domaine. En combinant la richesse sémantique des LLM avec la robustesse distributionnelle de l'apprentissage basé sur Wasserstein, la méthode atteint une performance robuste même sous des changements de style importants et avec des données sources limitées. Les auteurs affirment que leur approche fournit un cadre de fine-tuning léger mais efficace qui valide l'hypothèse selon laquelle le désencêtrement explicite des facteurs invariants et spécifiques est crucial pour la généralisation. L'analyse théorique soutient également la revendication selon laquelle l'optimisation proposée garantit la robustesse face aux décalages de distribution dans un rayon défini.