💻 computer science

Adversarial Domain Prompt Tuning and Generation for Single Domain Generalization

Cet article présente le Progressive Adversarial Prompt Tuning (PAPT), un nouveau cadre qui exploite des modèles de diffusion texte-image pré-entraînés pour apprendre automatiquement des prompts adverses abstraits afin de générer des données d'entraînement hors domaine diversifiées, améliorant ainsi considérablement les performances de généralisation sur un domaine unique.

Auteurs originaux : Zhipeng Xu, De Cheng, Xinyang Jiang, Nannan Wang, Dongsheng Li, Xinbo Gao

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhipeng Xu, De Cheng, Xinyang Jiang, Nannan Wang, Dongsheng Li, Xinbo Gao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entraîniez un chien à reconnaître un « cheval ». Dans un monde parfait, vous montreriez au chien des photos de chevaux dans un champ ensoleillé, dans une forêt enneigée, dans une ville sous la pluie et dans un désert. Le chien apprendrait qu'un cheval est un cheval, peu importe l'arrière-plan.

Mais dans le monde réel, vous n'avez qu'une seule photo : un cheval dans un champ ensoleillé. C'est le défi de la Généralisation de Domaine Unique (SDG - Single Domain Generalization). Comment apprendre au chien à reconnaître des chevaux dans des endroits qu'il n'a jamais vus, en utilisant une seule photo ?

Cet article propose une solution ingénieuse utilisant un « générateur d'images magiques » (une IA qui transforme du texte en images) pour créer de nouvelles photos d'entraînement pour le chien. Voici comment ils ont procédé, expliqué simplement :

1. Le problème des « Prompts Manuels »

Habituellement, pour qu'un générateur de images crée un cheval dans une forêt, vous devez taper : « Une photo d'un cheval dans une forêt. » Pour en faire un dans un désert, vous tapez : « Une photo d'un cheval dans un désert. »

Les auteurs affirment que cela est trop difficile pour deux raisons :

C'est trop de travail : Vous ne pouvez pas écrire manuellement un prompt pour chaque endroit possible où un cheval pourrait se trouver.
Certaines choses sont difficiles à décrire : À quoi ressemble un cheval dans un « style abstrait, néon et onirique des années 1980 » ? Il est difficile de traduire cela en mots.

2. La solution : « L'encre invisible magique » (Prompts apprenables)

Au lieu d'écrire des mots spécifiques comme « forêt » ou « désert », les auteurs ont appris à l'IA à apprendre une encre invisible (des prompts abstraits).

Considérez ces prompts comme deux cadrans spéciaux sur une table de mixage :

Le Cadran A (Le cadran de l'identité) : Ce cadran détient « l'essence » du cheval. Il garantit que, peu importe ce qui arrive, l'animal reste un cheval et non une vache ou une voiture.
Le Cadran B (Le cadran du style) : Ce cadran détient l'« ambiance » ou le « style ». Il n'utilise pas de mots ; il utilise des modèles mathématiques pour créer des styles comme « croquis », « pictural » ou « futuriste », même si nous ne pouvons pas décrire ces styles avec des mots.

3. Le jeu « Adversaire » (Le Chef Créatif)

Le cœur de leur méthode est un jeu qu'ils appellent Ajustement de Prompt Adversaire Progressif (Progressive Adversarial Prompt Tuning).

Imaginez un chef (l'IA) essayant d'inventer de nouvelles recettes pour un « Plat au Cheval ».

L'objectif : Le chef veut préparer un plat qui a le goût d'un cheval (Cadran de l'Identité) mais qui a l'apparence de quelque chose de totalement différent de tous les plats qu'il a déjà créés (Cadran du Style).
La Banque de Mémoire : Le chef garde une liste de tous les styles qu'il a déjà créés (ex: « Aquarelle », « Peinture à l'huile »).
Le Défi : Chaque fois que le chef essaie de créer un nouveau plat, un « testeur de goût » (la partie Adversaire) vérifie la liste. Si le nouveau plat ressemble trop à un plat à l'« Aquarelle », le testeur le rejette.
Le Résultat : Le chef est donc forcé d'inventer un nouveau style qui est totalement différent de tout ce qui se trouve sur la liste, tout en s'assurant que le plat est clairement un « Plat au Cheval ».

Ils font cela encore et encore. Chaque fois qu'ils inventent un nouveau style, ils l'ajoutent à la liste et forcent le chef à inventer quelque chose d'encore plus différent la fois suivante. Cela crée une immense variété d'images d'entraînement.

4. Pourquoi cela fonctionne mieux

L'article a testé cette méthode sur des ensembles de données d'images célèbres (comme PACS et VLCS).

L'ancienne méthode : Les méthodes traditionnelles essayaient d'étirer la photo unique dont elles disposaient ou de la mélanger avec d'autres photos. C'était comme essayer d'étirer un élastique ; il finit par casser ou par paraître bizarre.
La nouvelle méthode : Leur méthode a utilisé le « Générateur d'Images Magiques » pour créer des centaines de nouvelles photos diverses de chevaux dans des styles qui n'existent même pas encore dans le monde réel.

Le résultat : Le modèle entraîné sur ces photos générées par l'IA est devenu bien meilleur pour reconnaître des chevaux dans des situations totalement nouvelles (comme un cheval dans un dessin animé ou un cheval dans un croquis) par rapport à toutes les méthodes précédentes. En fait, ils ont surpassé largement les meilleures méthodes actuelles.

Analogie de résumé

Si vous n'avez qu'une seule photo d'un ami et que vous voulez le reconnaître dans une foule :

Ancienne méthode : Vous plissez les yeux en regardant la seule photo et vous essayez de deviner à quoi il ressemblerait avec différents vêtements.
La méthode de cet article : Vous demandez à un artiste magique de dessiner votre ami dans 100 tenues, coiffures et styles artistiques différents (certains bizarres, d'autres normaux). Vous regardez ensuite ces dessins. Désormais, quand vous verrez votre ami dans le monde réel, vous le reconnaîtrez instantanément parce que votre cerveau l'a vu dans « tous » les styles possibles.

L'article affirme que c'est la première fois que cette technique spécifique d'« artiste magique » est utilisée pour résoudre le problème de la « photo unique », et qu'elle fonctionne en apprenant des « cadrans » abstraits plutôt qu'en écrivant des descriptions textuelles.

Résumé Technique : Ajustement de Prompts Adversaires et Génération pour la Généralisation sur Domaine Unique

1. Définition du Problème

Le papier traite de la Généralisation sur Domaine Unique (SDG - Single Domain Generalization), un paradigme d'apprentissage complexe où un modèle doit être entraîné sur un seul domaine source étiqueté ( $\mathcal{D}_S$ ) et performer de manière robuste sur plusieurs domaines cibles non vus ( $\mathcal{D}_T$ ). Contrairement à la Généralisation de Domaine (DG) standard qui utilise plusieurs domaines sources, ou à l'Adaptation de Domaine (DA) qui accède aux données cibles, la SDG opère sous des contraintes strictes où les domaines cibles sont indisponibles pendant l'entraînement et présentent souvent des décalages de distribution significatifs (par exemple, des changements de style, de fond ou de point de vue).

Les approches de SDG existantes reposent généralement sur l'augmentation de données ou la normalisation adaptative. Cependant, ces méthodes peinent à construire des domaines suffisamment diversifiés pour couvrir des écarts de style arbitraires, particulièrement lorsque les caractéristiques des domaines sont trop abstraites pour être décrites manuellement. Bien que les modèles de fondation de Texte-en-Image (T2I) offrent de puissantes capacités génératives, concevoir manuellement des prompts textuels pour chaque style de domaine possible est impraticable et ne parvient pas à capturer les nuances stylistiques abstraites.

2. Méthodologie : Ajustement Progressif de Prompts Adversaires (PAPT)

Les auteurs proposent le Progressive Adversarial Prompt Tuning (PAPT), un cadre qui exploite les Modèles de Diffusion Latente (LDM) pré-entraînés pour générer automatiquement des données d'entraînement hors distribution (OOD) diversifiées. Au lieu de s'appuyer sur des descriptions textuelles statiques, la méthode apprend deux ensembles de prompts abstraits et apprenables :

2.1. Composants Clés

Ajustement de Prompt de Catégorie (CPT - Category Prompt Tuning) :
- Objectif : Capturer les informations de catégorie invariantes au domaine.
- Mécanisme : Pour chaque classe $k$ , un vecteur de prompt apprenable $\mathbf{E}^c_k$ est inséré dans un modèle de texte fixe (ex: "une photo de [classe]"). Ce prompt est optimisé à l'aide des données du domaine source pour garantir que les images générées conservent les caractéristiques sémantiques correctes de la classe, quel que soit le style du domaine.
Ajustement de Prompt de Domaine Adversaire (AD - Adversarial Domain Prompt Tuning) :
- Objectif : Modéliser des styles spécifiques au domaine, y compris ceux trop abstraits pour le langage.
- Mécanisme : Un ensemble de vecteurs de prompts de domaine apprenables $\mathbf{E}^d_i$ est maintenu dans une Banque de Mémoire Spécifique au Domaine ( $\mathcal{P}$ ).
- Objectif Adversaire : Pour générer un nouveau prompt de domaine $\mathbf{E}^d_o$ , le modèle minimise la similitude entre la représentation latente de l'image générée et tous les prompts existants dans $\mathcal{P}$ . Ceci est réalisé via une perte contrastive ( $\mathcal{L}_{domain}$ ) qui repousse le nouveau style par rapport aux styles précédemment appris.
- Objectif de Cohérence : Simultanément, une perte de cohérence de catégorie ( $\mathcal{L}_{class}$ ) garantit que l'image générée reste sémantiquement alignée avec le prompt de catégorie.
- Optimisation : La perte totale est $\mathcal{L}_{all} = \mathcal{L}_{class} + \lambda \mathcal{L}_{domain}$ . Pour rendre la rétropropagation réalisable, les auteurs emploient une approximation en une étape du processus de débruitage.
Schéma d'Entraînement Progressif (PTS - Progressive Training Scheme) :
- Objectif : Assurer une diversité continue dans les domaines générés.
- Mécanisme : La banque de mémoire $\mathcal{P}$ est mise à jour de manière itérative. Après un certain nombre d'itérations, le nouveau prompt de domaine nouvellement appris $\mathbf{E}^d_o$ est ajouté à $\mathcal{P}$ . Cela force l'entraînement suivant à générer des styles distincts de l'ensemble de styles appris en expansion, élargissant ainsi la distribution des données d'entraînement générées.

2.2. Flux de Travail (Workflow)

Initialisation : Amorcer manuellement $\mathcal{P}$ avec quelques plongements (embeddings) de domaines textuels.
Entraînement :
- Optimiser les prompts de catégorie $\mathbf{E}^c_k$ sur les données sources.
- Apprendre itérativement de nouveaux prompts de domaine $\mathbf{E}^d_o$ via un ajustement adversaire contre $\mathcal{P}$ .
- Mettre à jour $\mathcal{P}$ en ajoutant les nouveaux prompts réussis.
Génération : Utiliser les prompts appris pour générer un ensemble diversifié d'images ( $\mathcal{D}_G$ ) via le modèle T2I.
Modèle Final : Entraîner le classifieur en aval sur l'union du domaine source original et des images de domaine générées.

3. Contributions Clés

Le papier revendique les contributions suivantes :

Première Application de T2I pour la SDG : C'est le premier travail exploitant les modèles de fondation texte-en-image spécifiquement pour la généralisation sur domaine unique, allant au-delà de l'ingénierie de prompt manuelle vers des prompts abstraits apprenables.
Apprentissage de Prompts Abstraits : La méthode remplace les domaines textuels rigides par des vecteurs apprenables capables de représenter des styles abstraits difficiles à décrire avec des mots (ex: styles artistiques spécifiques ou changements de fond).
Cadre Adversaire Progressif : Le cadre PAPT proposé équilibre le compromis entre la génération de styles de domaines diversifiés et la préservation de la sémantique catégorielle grâce à un mécanisme d'apprentissage adversaire et une stratégie de mise à jour progressive de la banque de mémoire.
Performance de l'État de l'Art : La méthode atteint des performances supérieures aux approches de SDG existantes sur plusieurs benchmarks.

4. Résultats Expérimentaux

La méthode a été évaluée sur cinq benchmarks standards de DG : PACS, VLCS, Office-Home, DomainNet et TerraIncognita.

Généralisation sur Domaine Unique (SDG) :
- Sur PACS, PAPT a atteint une précision moyenne de 72,72%, surpassant le précédent meilleur (Prompt-Driven) de 1,60%.
- Sur VLCS, il a atteint 73,37%, une amélioration significative de 9,55% par rapport à la ligne de base, démontant une robustesse aux changements de fond et de point de vue où les étiquettes de domaine n'ont aucun sens sémantique.
- Sur Office-Home, il a atteint 62,03%, surpassant l'état de l'art de 3,73%.
- La méthode a montré des gains particulièrement forts lorsque le domaine source était un style "difficile" (ex: Sketch ou Clipart), avec des améliorations allant jusqu'à 21,62% dans certains contextes.
Généralisation sur Multi-Sources de Domaines :
- Lorsqu'étendu aux contextes multi-sources, PAPT a surpassé l'état de l'art SMOS de 1,34% en moyenne sur tous les jeux de données.
- Notamment, sur le jeu de données exigeant DomainNet (grands écarts de style), PAPT a dépassé SMOS de 4,88%.
Études d'Ablation :
- Ajustement de Domaine Adversaire (AD) : A apporté des gains de 3,88% sur PACS et 3,42% sur VLCS, prouvant que les prompts apprenables surpassent les descriptions textuelles manuelles pour les styles abstraits.
- Schéma d'Entraînement Progressif (PTS) : A encore amélioré la performance de 2,50% (PACS) et 0,83% (VLCS), confirmant que l'expansion itérative de la diversité des styles réduit le décalage de distribution.
- Sensibilité des Paramètres : La méthode a montré une stabilité concernant l'initialisation de la banque de mémoire et l'hyperparamètre $\lambda$ (fixé à 10).

5. Signification et Revendications

Le papier positionne son travail comme une solution aux limites des techniques d'augmentation de données actuelles, qui échouent souvent à couvrir le vaste écart de distribution entre le domaine source et le domaine cible. En utilisant le pouvoir génératif des modèles T2I via des prompts abstraits apprenables, les auteurs affirment :

Surmonter l'incapacité du texte manuel à décrire les caractéristiques de domaine abstraites.
Générer automatiquement une gamme suffisamment diversifiée d'images d'entraînement sans nécessiter l'accès aux données cibles ou à plusieurs domaines sources.
Atteindre une performance de généralisation prouvable en minimisant explicitement le décalage de distribution entre les données générées et les données cibles par apprentissage adversaire.

Les auteurs concluent que leur cadre atténue efficacement les problèmes de décalage de domaine, particulièrement dans les scénarios impliquant des changements complexes de fond et de point de vue, offrant une alternative robuste aux méthodes de SDG existantes.