Résumé Technique : Modèles Génératifs Personnalisés pour le Débiaisage Contextuel

Énoncé du Problème

Les modèles de vision par ordinateur échouent souvent à généraliser à des scénarios inhabituels en raison de biais contextuels présents dans les ensembles de données d'entraînement. Dans les données du monde réel, les objets co-occurrent fréquemment avec des contextes spécifiques (par exemple, les skis apparaissent avec des personnes, les verres à vin sur des tables à manger). Par conséquent, les modèles apprennent à s'appuyer sur ces indices contextuels plutôt que sur les caractéristiques des objets eux-mêmes. Cela entraîne des performances médiocres lorsque les objets apparaissent dans des scénarios rares ou « hors contexte » (par exemple, des skis sans personne).

Bien que les récents modèles vision-langage à usage général montrent une certaine robustesse, de nombreuses applications industrielles reposent sur des classificateurs compacts et spécialisés qui peinent à gérer ces biais. Les solutions existantes présentent des limitations significatives :

• Modifications de l'Objectif d'Entraînement : Des méthodes comme le rééquilibrage ou le suréchantillonnage sont limitées à la distribution originale des données et dégradent souvent les performances sur les échantillons courants (en contexte).
• Augmentation de Données Générative : Les modèles standard de texte vers image (Txt2Img) génèrent souvent des images avec des points de vue et des arrière-plans qui divergent considérablement de l'ensemble de données cible, les rendant peu pertinents pour les tâches en aval.
• Édition Locale d'Images : Les méthodes d'inpainting ou d'édition locale échouent à gérer les interactions complexes objet-scène. Par exemple, supprimer une personne d'une image par inpainting laisse souvent des objets (comme un skateboard) flotter de manière non naturelle, car ces méthodes n'ajustent pas les éléments connexes pour maintenir la plausibilité physique.

Méthodologie : Decoupling Contextual Patterns with Generations (DecoupleGen)

Les auteurs proposent Decoupling Contextual Patterns with Generations (DecoupleGen), un pipeline qui exploite des modèles de diffusion texte-à-image personnalisés pour synthétiser des données d'entraînement avec des contextes rares tout en préservant la fidélité visuelle de l'ensemble de données original.

L'approche se compose de trois étapes principales :

1. Affinage Personnalisé :

   • Inspiré par les méthodes de génération pilotée par sujet (par exemple, Textual Inversion, DreamBooth), la méthode affine un modèle de diffusion pré-entraîné sur des images individuelles de l'ensemble de données original.
   • Au lieu d'apprendre un token pour un sujet spécifique, le modèle apprend de nouveaux tokens de mots (par exemple, [Vbackground], [Vhandbag]) qui capturent les détails visuels de régions spécifiques de l'image (arrière-plan, objet biaisé, objet contextuel).
   • L'objectif d'entraînement combine une perte de reconstruction masquée et une perte d'attention croisée pour s'assurer que chaque token ne s'attarde que sur sa région correspondante, reconstruisant fidèlement les détails visuels des composants de l'image originale.

2. Manipulation Contextuelle par Composition de Tokens :

   • Lors de l'inférence, le modèle génère de nouvelles images en composant les tokens appris avec des invites textuelles standard.
   • Pour créer des échantillons « débiaisés », le pipeline retire les tokens contextuels courants de l'invite. Par exemple, pour générer un sac à main sans personne, l'invite passe de « une photo de [Vhandbag] et [Vperson] et [Vbackground] » à « une photo de sac à main sur [Vbackground] ».
   • Cela permet au modèle de repositionner les objets et d'ajuster la scène pour maintenir la plausibilité physique (par exemple, placer un verre à vin sur une table plutôt que de le laisser flotter) tout en conservant le style et le point de vue de l'image originale.

3. Vérification et Sélection :

   • Toutes les générations ne sont pas réussies. Une étape de vérification utilise un modèle de segmentation sémantique pré-entraîné pour annoter les images générées.
   • Les échantillons sont filtrés pour s'assurer qu'ils contiennent l'objet cible mais excluent la classe contextuelle courante (par exemple, garder le sac à main mais s'assurer que la personne est absente). Seuls ces échantillons réussis et sémantiquement significatifs sont ajoutés à l'ensemble d'entraînement.

Contributions Clés

• Nouveau Cadre : Introduction de DecoupleGen, qui adapte la personnalisation des modèles de diffusion pour découpler les objets de leurs contextes courants, répondant aux limitations de l'édition locale et de la génération Txt2Img standard.
• Cohérence Visuelle : La méthode génère des images alignées visuellement avec la distribution de l'ensemble de données original, contrairement aux modèles génératifs standard qui produisent souvent des échantillons hors distribution.
• Plausibilité Physique : En apprenant des tokens spécifiques aux régions, la méthode gère mieux les interactions complexes objet-scène (par exemple, repositionner des objets lorsqu'un contexte est supprimé) que les techniques d'édition locale.
• Mécanisme de Vérification : Un pipeline de filtrage garantit que les données synthétisées sont pertinentes et utiles pour les tâches de reconnaissance en aval.

Résultats Expérimentaux

Les auteurs ont évalué DecoupleGen sur la classification d'objets (ensemble de données NICO) et la reconnaissance multi-objets (ensemble de données COCO-Stuff).

• Ensemble de Données NICO (Classification d'Objet Unique) :

  • DecoupleGen a atteint une précision globale de 85,8 % et une précision du groupe le plus défavorisé (WGA) de 49,2 %.
  • Cela surpassait le classificateur standard (85,3 % de précision, 35,0 % de WGA) et égalait la précision du groupe le plus défavorisé de l'état de l'art de Feedback Guidance, tout en améliorant la précision globale — une prouesse que les méthodes précédentes n'avaient pas réussi à réaliser simultanément.

• Ensemble de Données COCO (Reconnaissance Multi-Objets) :

  • En utilisant 18 000 échantillons générés, DecoupleGen a amélioré le mAP Exclusif (performance sur les images où l'objet apparaît sans son contexte courant) de 1,6 % par rapport à Feedback Guidance (27,20 % contre 25,55 %).
  • Il a également amélioré le mAP Cooccur (performance sur les contextes courants) et le mAP Global, démontrant des gains constants sur toutes les métriques.
  • Par rapport aux méthodes basées sur la fonction de perte (par exemple, le rééquilibrage), DecoupleGen a fourni des performances supérieures sans sacrifier la précision sur les groupes bien représentés.

• Analyse Qualitative :

  • Les visualisations UMAP ont confirmé que les générations de DecoupleGen se situent plus près de la distribution des données réelles que celles des modèles Txt2Img pré-entraînés.
  • Les comparaisons visuelles ont montré que DecoupleGen gère avec succès les interactions complexes (par exemple, supprimer une personne tout en ajustant la position d'un verre à vin) là où l'inpainting et Feedback Guidance échouaient.

Importance et Revendications

L'article affirme que DecoupleGen représente une avancée significative dans le débiaisage contextuel en comblant le fossé entre les capacités génératives et l'alignement de la distribution des ensembles de données.

• Généralisation Supérieure : La méthode améliore efficacement les performances du modèle sur les groupes sous-représentés (contextes inhabituels) sans dégrader les performances sur les groupes courants, un compromis courant dans le débiaisage.
• Alignement de Distribution : Les auteurs soulignent que leur processus d'affinage personnalisé est crucial pour garantir que les échantillons générés restent pertinents pour les tâches en aval, un différenciateur clé par rapport aux modèles génératifs du commerce.
• Évolutivité et Limites : Les auteurs reconnaissent que l'affinage sur chaque image est coûteux en calcul et peut rencontrer des difficultés avec des objets très petits ou des scènes hautement complexes où les détails visuels sont difficiles à capturer. Ils suggèrent que les travaux futurs devraient se concentrer sur l'amélioration de l'évolutivité et la résolution des biais secondaires qui pourraient être involontairement introduits par le processus génératif.

En fin de compte, l'article soutient que les modèles génératifs personnalisés offrent un mécanisme robuste pour augmenter les données d'entraînement avec des échantillons sémantiquement significatifs, physiquement plausibles et alignés sur la distribution, atténuant ainsi les biais contextuels dans les modèles de vision compacts.