🤖 machine learning

From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition

Le papier propose « From Fake to Real » (FFR), un pipeline d'entraînement en deux étapes qui pré-entraîne les modèles sur des données synthétiques équilibrées pour apprendre des représentations de sous-groupes robustes avant de procéder à un ajustement fin sur des données réelles, évitant ainsi les corrélations spécieuses causées par le mélange de distributions réelles et synthétiques et améliorant considérablement la précision du pire groupe.

Auteurs originaux : Maan Qraitem, Kate Saenko, Bryan A. Plummer

Publié 2026-08-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maan Qraitem, Kate Saenko, Bryan A. Plummer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à reconnaître les animaux. Vous lui montrez des milliers de photos, mais il y a un problème sournois : presque chaque photo d'un « Gros Chien » a été prise à l'intérieur d'un salon douillet, tandis que presque chaque photo d'un « Petit Chien » a été prise à l'extérieur, dans un parc. Le robot est intelligent, mais il est aussi un peu efficace. Au lieu d'apprendre à quoi ressemble réellement un chien, il apprend un raccourci : « Si je vois un canapé, c'est un Gros Chien. Si je vois de l'herbe, c'est un Petit Chien. » Dans le monde de l'informatique, on appelle cela une « corrélation spécieuse ». Le robot a appris à se fier à l'arrière-plan plutôt qu'au sujet. C'est un problème majeur car, lorsqu'il rencontre un Gros Chien à l'extérieur, il est confus et échoue. Les scientifiques essaient de corriger cela pour que l'IA puisse voir le monde clairement, et non pas seulement les motifs dans lesquels elle a été piégée.

Pour corriger cela, les chercheurs ont essayé une astuce ingénieuse : ils utilisent l'« IA générative » (comme un artiste numérique) pour créer de nouvelles photos truquées afin d'équilibrer les comptes. S'il n'y a pas assez de photos de Gros Chiens à l'extérieur, l'ordinateur en dessine quelques-unes. L'idée était qu'en mélangeant ces nouvelles photos truquées avec les vraies, le robot finirait par apprendre à ignorer l'arrière-plan. Mais, comme on peut s'y attendre, cette approche de mélange et d'association avait un défaut caché. Le nouvel article, « From Fake to Real », suggère que le simple fait de mélanger des photos réelles et truquées crée en réalité un nouveau type de dépendance. Le robot commence à remarquer que les photos truquées sont légèrement différentes des vraies photos — peut-être que les chiens truqués ont une texture étrange ou que la lumière est un tout petit peu différente. Ainsi, le robot apprend un nouveau raccourci, encore plus sournois : « Si la photo ressemble à une vraie photo, c'est un Petit Chien. Si la photo ressemble à un dessin truqué, c'est un Gros Chien. » Il ne regarde pas du tout le chien ; il regarde si l'image est réelle ou synthétique.

Les auteurs de cet article, Maan Qraitem, Kate Saenko et Bryan A. Plummer, ont réalisé que c'est le fait d'essayer d'enseigner au robot avec des photos réelles et truquées en même temps qui posait problème. Ils ont proposé une nouvelle méthode d'entraînement en deux étapes appelée « From Fake to Real » (FFR). Voyez cela comme l'enseignement d'un examen de mathématiques à un élève. D'abord, vous lui donnez une pile de problèmes d'entraînement parfaitement équilibrés et faciles à comprendre, afin qu'il apprenne les concepts fondamentaux sans aucune confusion. C'est l'étape « Fake » (Faux) : le robot s'entraîne uniquement sur les images générées par ordinateur, qui sont parfaitement équilibrées. Il apprend à quoi ressemble un chien sans les distractions de l'arrière-plan. Une fois que le robot possède une base solide, vous passez à la seconde étape : l'étape « Real » (Réel). Maintenant, vous lui montrez les photos réelles et désordonnées du monde réel. Parce que le robot sait déjà ce qu'il doit chercher grâce à la première étape, il ne se laisse pas piéger par l'arrière-plan ou par le fait que les images soient réelles. Il applique simplement ce qu'il a appris.

Les chercheurs ont testé cette idée sur trois ensembles de données différents, incluant des photos de visages et d'animaux, avec des niveaux de biais allant de modéré à extrêmement sévère (jusqu'à 99,9 % d'un groupe se trouvant dans un cadre spécifique). Ils ont découvert que leur méthode en deux étapes changeait la donne. Alors que les méthodes précédentes, qui mélangeaient les données réelles et truquées, peinaient à mesure que le biais s'accentuait, l'approche « From Fake to Real » restait solide. En fait, elle a amélioré la précision du robot sur les cas les plus difficiles (le « pire groupe ») de près de 20 % par rapport aux meilleures méthodes existantes. En examinant de près ce à quoi le robot prêtait attention, ils ont constaté que les anciennes méthodes étaient toujours distraites par l'arrière-plan ou par le côté « faux » des images, tandis que la nouvelle méthode se concentrait exactement sur le chien ou le visage de la personne.

L'article a également lancé des simulations pour prouver pourquoi l'ancienne méthode ne fonctionnait pas. Ils ont montré que tant que l'on mélange des données réelles et synthétiques, le robot trouvera presque toujours un moyen d'utiliser la différence entre elles comme facteur de distinction. En séparant l'entraînement en deux étapes distinctes, ils ont effectivement empêché le robot de voir la « différence » entre le réel et le faux comme un indice. Les auteurs notent que cette méthode fonctionne bien même lorsqu'elle est combinée à d'autres techniques, mais ils soulignent également une limite : elle repose sur la capacité de l'artiste informatique à dessiner un ensemble d'images truquées parfaitement équilibrées. Si l'artiste se trompe dans l'équilibre lors de la première étape, tout le système en pâtit. Cependant, pour l'instant, cette stratégie « Fake puis Real » offre un moyen étonnamment simple et efficace d'empêcher l'IA d'apprendre les mauvaises leçons, garantissant que lorsqu'elle regarde un chien, elle voit un chien, et non la pièce dans laquelle il se trouve.

Résumé Technique : From Fake to Real (FFR)

Énoncé du Problème
Les modèles de reconnaissance visuelle sont enclins à apprendre des corrélations spécieuses lorsque les ensembles d'entraînement sont biaisés, lorsqu'une condition spécifique $B$ (par exemple, « Intérieur ») est surreprésentée au sein d'une classe $Y$ spécifique (par exemple, « Gros Chiens »). Bien que les données synthétiques générées par des modèles génératifs à grande échelle (par exemple, les modèles de diffusion) offrent une voie prometteuse pour atténuer cela en augmentant les sous-groupes sous-représentés, les approches existantes introduisent une nouvelle source de biais.

Les méthodes antérieures, telles que l'Additive Synthetic Balancing (ASB) et l'Uniform Synthetic Balancing (USB), mélangent les données réelles et synthétiques pendant l'entraînement. Les auteurs soutiennent que cela crée une variable de confusion $G$ (Source de Données : Réelle vs Synthétique). Comme les données synthétiques et réelles possèdent souvent des différences de distribution (par exemple, des artefacts génératifs), les modèles entraînés sur des données mixtes peuvent apprendre à prédire $Y$ en fonction de la paire $(B, G)$ plutôt que des véritables caractéristiques sémantiques. Par exemple, un modèle pourrait apprendre que les « Femmes Synthétiques » sourient tandis que les « Femmes Réelles » ne sourient pas, simplement parce que le processus de génération synthétique a créé cette corrélation. L'article fournit une preuve théorique (Théorème 1) démontrant que dans les contextes de corrélation spécieuse standard, toute augmentation d'un ensemble de données biaisé avec des données synthétiques entraîne inévitablement un biais vers la paire $(B, G)$ .

Méthodologie : From Fake to Real (FFR)
Pour traiter le biais envers la source de données $(B, G)$ , les auteurs proposent From Fake to Real (FFR), un pipeline d'entraînement en deux étapes qui sépare l'apprentissage des distributions de données synthétiques et réelles.

Étape 1 : Pré-entraînement sur des Données Synthétiques Équilibrées
Le modèle est pré-entraîné exclusivement sur un ensemble de données synthétiques équilibrées ( $D_{syn}$ ) où la étiquette cible $Y$ est statistiquement indépendante du groupe de biais $B$ ( $P_{D_{syn}}(Y|B) = P_{D_{syn}}(Y)$ ). Ceci est réalisé en échantillonnant un nombre égal d'images synthétiques pour chaque sous-groupe de biais en utilisant un modèle génératif (par exemple, Stable Diffusion). L'objectif est d'apprendre des représentations robustes et non biaisées à travers tous les sous-groupes sans exposition aux différences statistiques entre les données réelles et synthétiques.
Étape 2 : Fine-tuning sur des Données Réelles
Le modèle initialisé à partir de l'Étape 1 est affiné (fine-tuned) sur l'ensemble de données réelles biaisées ( $D$ ). Pour empêcher le modèle de réapprendre le biais présent dans les données réelles, cette étape utilise la minimisation du risque empirique standard (ERM) ou des méthodes courantes d'atténuation du biais basées sur la perte (par exemple, GroupDRO, Resampling, Deep Feature Reweighting). Crucialement, parce que le modèle a été pré-entraîné sur des données équilibrées, il commence avec une représentation moins susceptible aux corrélations spécieuses des données réelles.

En séparant les sources de données en étapes d'entraînement distinctes, FFR empêche le modèle d'observer la distribution conjointe de $(B, G)$ , évitant ainsi l'apprentissage de signaux spécieux liés au fait qu'une image soit réelle ou synthétique.

Contributions Clés

Pipeline Novateur : Introduction de FFR, un cadre d'entraînement simple en deux étapes qui utilise les données synthétiques pour l'atténuation du biais sans exposer le modèle à l'écart de distribution entre les données réelles et synthétiques.
Analyse Théorique : Une preuve formelle montrant que le mélange de données réelles et synthétiques dans une seule phase d'entraînement introduit inévitablement un biais vers la source de données $(B, G)$ , rendant les approches antérieures de mélange d'entraînement sous-optimales.
Évaluation Complète : Analyse systématique sur trois jeux de données (CelebA-HQ, UTK-Face, SpuCo Animals) et cinq ratios de biais (allant de 90 % à 99,9 %), totalisant plus de 5 000 expériences.
Intégration : Démonstration que FFR est compatible avec et améliore les méthodes existantes d'atténuation du biais sans données synthétiques (par exemple, GroupDRO, DFR).

Résultats Expérimentaux
Les auteurs évaluent FFR par rapport aux lignes de base incluant l'absence de données synthétiques, USB, et ASB, en utilisant la Précision la Plus Mauvaise (Worst Accuracy - WA) et la Précision Équilibrée (Balanced Accuracy - BA) comme métriques.

Gains de Performance : FFR améliore la précision du pire groupe de jusqu'à 20 % par rapport aux méthodes de pointe sur les ensembles de données évalués. Par exemple, sur le jeu de données UTK-Face avec un ratio de biais de 95 %, FFR surpasse USB et ASB de plus de 10 %.
Robustesse : Contra| aux méthodes antérieures dont la performance se dégrade considérablement à mesure que la sévérité du biais augmente (particulièrement sur CelebA-HQ et UTK-Face), FFR maintient une performance stable à travers tous les ratios de biais.
Apprentissage de Caractéristiques : L'analyse qualitative utilisant les cartes de saillance RISE montre que les modèles entraînés avec FFR se concentrent sur les caractéristiques sémantiques pertinentes (par exemple, le visage du chien) plutôt que sur les caractéristiques de fond spécieuses ou les artefacts génératifs (par exemple, des orteils supplémentaires dans les images synthétiques). En revanche, les modèles ASB et USB se fient souvent à ces artefacts.
Analyse d'Embedding : Les projections t-SNE révèlent que FFR projette les embeddings des données réelles et synthétiques dans un seul cluster serré, indiquant que le modèle apprend des caractéristiques de base partagées. Inversement, ASB et USB projettent les données réelles et synthétiques dans des clusters séparés, confirmant qu'ils s'appuient sur des caractéristiques spécifiques à la source.

Signification et Limites
L'article affirme que FFR résout efficacement le problème du biais introduit par les différences de distribution entre les données réelles et synthétiques, un problème négligé par les stratégies antérieures d'augmentation synthétique. En découplant l'entraînement de ces deux sources de données, FFR permet aux données synthétiques de servir de source de représentations non biaisées qui améliorent la performance sur les données réelles.

Les auteurs reconnaissent des limites concernant la qualité des modèles génératifs utilisés. Si le modèle génératif lui-même est biaisé ou ne suit pas fidèlement les instructions (par exemple, difficulté avec la compositionnalité), la distribution de pré-entraînement peut rester déséquilibrée, ce qui nuit considérablement aux performances de FFR (comme le montrent les études d'ablation). De plus, la méthode repose sur la capacité du modèle génératif à produire un ensemble de données synthétiques équilibrées ; si le modèle ne peut pas générer précisément certains sous-groupes, les bénéfices de la première étape sont diminués. Les auteurs suggèrent que les travaux futurs se concentrant sur l'entraînement de modèles génératifs plus équitables et plus précis permettraient d'atténuer davantage ces problèmes.

Résumé Technique : From Fake to Real (FFR)

Articles similaires