🤖 AI

Fake & Square: Training Self-Supervised Vision Transformers with Synthetic Data and Synthetic Hard Negatives

Cet article introduit Syn2Co, un cadre qui améliore l'apprentissage auto-supervisé pour les vision transformers en exploitant des données synthétiques pour la diversité des échantillons et des négatifs difficiles synthétiques pour des contrastes exigeants, explorant ainsi le potentiel et les limites de « faire semblant » pour réduire la dépendance aux vastes ensembles de données du monde réel.

Auteurs originaux : Nikos Giakoumoglou, Andreas Floros, Kleanthis Marios Papadopoulos, Tania Stathaki

Publié 2026-07-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nikos Giakoumoglou, Andreas Floros, Kleanthis Marios Papadopoulos, Tania Stathaki

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'art d'apprendre sans maître

Imaginez que vous essayiez d'apprendre à un robot à reconnaître un chat. Autrefois, il aurait fallu qu'un humain regarde des milliers de photos, pointe le chat du doigt et dise : « Ceci est un chat. » C'est ce qu'on appelle l'« apprentissage supervisé » ; cela fonctionne très bien, mais c'est lent, coûteux et cela nécessite beaucoup de surveillance humaine. Pour contourner cela, les scientifiques ont inventé l'« apprentissage auto-supervisé ». Voyez cela comme si vous donniez au robot une pile de photos en lui disant : « Déduis par toi-même ce qui rend ces images similaires ou différentes. » Le robot apprend en comparant des images, en essayant de repérer que deux photos du même chien sont des « amies » (positives) tandis qu'une photo d'un chien et une photo d'un grille-pain sont des « étrangères » (négatives).

Cependant, il y a un piège. Pour devenir vraiment performant, le robot a besoin d'une immense bibliothèque de photos du monde réel, et il doit être mis au défi par des « négatifs difficiles » — des comparaisons délicates qui sont presque identiques mais légèrement différentes, comme un Golden Retriever par rapport à un Labrador. Si le robot ne voit que des exemples faciles, il devient paresseux et n'apprend pas les détails subtils. Mais que faire si nous n'avons pas assez de photos réelles, ou si trouver ces exemples délicats est trop difficile ? C'est là qu'intervient l'idée de « simuler ». Et si nous pouvions générer de fausses photos ou de faux exemples difficiles à l'aide d'ordinateurs pour aider le robot à apprendre ? C'est le terrain de jeu de la vision par ordinateur, un domaine où les machines tentent de voir et de comprendre le monde, et c'est la scène de l'histoire que nous allons vous raconter.

Faire semblant pour réussir : Une nouvelle façon d'entraîner les yeux de l'IA

Dans un article intitulé « Fake & Square: Training Self-Supervised Vision Transformers with Synthetic Data and Synthetic Hard Negatives », une équipe de chercheurs de l'Imperial College London a décidé de tester une idée audacieuse : peut-on enseigner à l'IA à voir aussi bien avec du contenu « faux » qu'avec du contenu « vrai » ? Leur approche s'inspire du vieux dicton : « Faire semblant jusqu'à ce que vous réussissiez » (Fake it till you make it). Au lieu d'attendre les données parfaites du monde réel, ils ont décidé de synthétiser (ou de créer) leurs propres supports d'entraînement pour voir si cela fonctionnerait.

Les chercheurs se sont concentrés sur deux manières spécifiques de « faire semblant ». Premièrement, ils ont étudié les données synthétiques. Imaginez que vous ayez un album photo de 100 animaux différents. Au lieu de prendre plus de photos de vrais animaux, ils ont utilisé un programme informatique spécial appelé « modèle de diffusion » pour peindre 130 000 nouvelles images fausses de ces mêmes animaux. Ce ne sont pas de simples copies floues ; ce sont des images entièrement nouvelles qui ressemblent aux vraies. Ils voulaient voir si une IA pouvait apprendre à reconnaître des animaux en étudiant simplement cet album factice, ou si elle avait besoin d'un mélange de réel et de faux.

Deuxièmement, ils ont abordé le problème des négatifs difficiles. Dans le jeu d'apprentissage du robot, un « négatif difficile » est une comparaison délicate, comme demander au robot de faire la différence entre deux nuances de bleu très similaires. Habituellement, trouver ces paires délicates dans la vie réelle est difficile. Ainsi, les chercheurs ont inventé un moyen de « simuler » ces comparaisons difficiles à l'intérieur du cerveau du robot (l'espace mathématique où l'IA stocke ce qu'elle sait). Ils ont pris la compréhension actuelle de l'IA et l'ont mathématiquement mélangée pour créer de nouveaux exemples extrêmement stimulants que le robot devait résoudre. Ils ont appelé leur méthode combinée Syn2Co.

Ce qu'ils ont découvert

L'équipe a testé ses méthodes de « simulation » sur deux conceptions de cerveaux d'IA populaires : DeiT-S et Swin-T. Ils ont mené des expériences sur un ensemble de données appelé ImageNet-100, qui contient 100 catégories d'images.

Voici ce que les chiffres nous disent :

Le mélange compte : Lorsqu'ils ont entraîné l'IA en utilisant uniquement les images fausses, elle s'en est sortie étonnamment bien, mais elle n'était pas parfaite. Cependant, lorsqu'ils ont mélangé les images fausses avec des images réelles, l'IA est devenue encore meilleure. Les résultats suggèrent que les images synthétiques sont comme un complément puissant ; elles boostent l'apprentissage, mais elles ne remplacent pas encore complètement le besoin de données du monde réel.
Des cerveaux différents, des besoins différents : Les deux modèles d'IA ont réagi différemment à la « simulation ». Le modèle DeiT-S a adoré la combinaison d'images fausses et de comparaisons difficiles synthétiques, atteignant un score de précision maximal de 82,12 % après 300 époques (cycles d'apprentissage). Le modèle Swin-T, quant à lui, semblait préférer les comparaisons difficiles synthétiques (négatifs synthétiques) plutôt que les images fausses.
La leçon de la « difficulté » : Les chercheurs ont constaté que l'ajout de ces négatifs difficiles synthétiques aidait l'IA à apprendre des caractéristiques plus nettes et plus détaillées. Par exemple, lors d'un test, ils ont fait varier le pourcentage de ces négatifs difficiles de 0 % à 40 %. La performance de l'IA s'est généralement améliorée à mesure qu'ils ajoutaient ces exemples stimulants, prouvant que les difficultés « fausses » l'aidaient en réalité à devenir plus forte.

Le verdict

L'article ne prétend pas que les données factices sont une baguette magique qui résout tout. Au contraire, il suggère que les données synthétiques sont un outil prometteur. Les auteurs ont constaté que, bien que l'on ne puisse pas simplement jeter toutes ses photos réelles pour compter à 100 % sur des images générées par ordinateur, utiliser des données synthétiques pour augmenter (ajouter à) vos données réelles fonctionne très bien. Cela aide l'IA à apprendre plus vite et à devenir plus robuste, surtout lorsque les données réelles sont difficiles à obtenir ou lorsque vous avez besoin d'exemples plus stimulants pour tester les limites de l'IA.

En résumé, les chercheurs ont montré que l'on peut effectivement « faire semblant » jusqu'à un certain point. En générant des images synthétiques et des défis synthétiques, ils ont créé un environnement d'entraînement qui a permis aux modèles d'IA de mieux apprendre, prouvant que parfois, un peu d'aide artificielle peut rendre le processus d'apprentissage très réel.

Résumé technique : Fake & Square : Entraîner des Vision Transformers auto-supervisés avec des données synthétiques et des négatifs difficiles synthétiques

Énoncé du problème

L'apprentissage auto-supervisé contrastif a connu un succès remarquable en vision par ordinateur, mais fait face à deux goulots d'étranglement principaux :

Rareté et diversité des données : Ces méthodes nécessitent généralement de vastes quantités de données réelles étiquetées ou non étiquetées pour atteindre des performances compétitives, ce qui crée un problème d'évolutivité similaire à l'apprentissage supervisé.
Limites des négatifs difficiles (Hard Negatives) : La qualité des représentations apprises dépend fortement des « négatifs difficiles » (des exemples dissemblables mais sémantiquement proches). Les méthodes existantes peinent souvent face à la diversité limitée de ces négatifs difficiles, qui sont pourtant cruciaux pour apprendre des caractéristiques discriminantes.

Les auteurs proposent d'explorer des alternatives à ces exigences en étudiant l'adage « fake it till you make it » (faire semblant jusqu'à ce que ça marche). Ils se demandent si les données synthétiques et les négatifs difficiles synthétiques peuvent efficacement augmenter ou remplacer les composants du monde réel lors de l'entraînement des Vision Transformers (ViT).

Méthodologie : Syn2Co

Le papier introduit Syn2Co, un cadre qui intègre deux formes de « simulation » dans le pipeline d'apprentissage auto-supervisé :

1. Génération de données synthétiques (Espace image)

Approche : Les auteurs utilisent un modèle de diffusion génératif pour créer un clone synthétique de l'ensemble de données ImageNet-100.
Échelle : Environ 130 000 images synthétiques sont générées, respectant la même distribution de classes que l'ensemble de données original.
Intégration : Pendant l'entraînement, les images sont échantillonnées à partir d'un pool mixte de données réelles ( $X$ ) et de données synthétiques ( $X_s$ ). Cela permet de tester des scénarios allant de l'entraînement exclusivement sur des données réelles à l'entraînement exclusivement sur des données synthétiques, ou diverses proportions de mélange.

2. Négatifs difficiles synthétiques (Espace de représentation)

Approche : Au lieu de s'appuyer uniquement sur des échantillons négatifs réels provenant d'une file d'attente en mémoire (memory queue), le cadre génère des négatifs difficiles synthétiques directement dans l'espace de représentation des caractéristiques ( $Z$ ).
Sélection : Étant donné une représentation de requête $q$ , les $N$ négatifs les plus difficiles ( $Q_N$ ) sont sélectionnés à partir de la file d'attente existante en fonction de la similitude cosinus.
Synthèse : Une fonction de synthèse $F$ opère sur la requête et les négatifs difficiles sélectionnés pour créer de nouveaux négatifs synthétiques ( $s$ ). Les auteurs implémentent six stratégies pour $F$ , incluant l'interpolation, l'extrapolation, le mélange (mixing), le jittering de bruit, la perturbation et les méthodes adverses.
Intégration : Ces négatifs synthétiques ( $Q_s$ ) sont combinés avec la file d'attente de négatifs réels ( $Q$ ) pour élargir la diversité des contrastes pendant l'entraînement sans nécessiter de collecte supplémentaire de données réelles.

3. Cadre d'apprentissage

La méthode utilise un objectif d'apprentissage contrastif (perte InfoNCE) similaire à MoCo et BYOK.

Architectures : Le cadre est évalué sur DeiT-S (Data-efficient Image Transformer) et Swin-T (Swin Transformer Tiny).
Entraînement : L'encodeur cible est mis à jour via un mécanisme de momentum, tandis que l'encodeur en ligne est optimisé par rétropropagation.

Principales contributions

Clone de données synthétiques : La création d'un clone synthétique d'ImageNet-100 et une démonstration de l'impact des données synthétiques sur l'apprentissage auto-supervisé contrastif.
Négatifs synthétiques pour les Transformers : L'adaptation et l'extension des techniques de génération de négatifs synthétiques (précédemment explorées dans d'autres contextes) aux Vision Transformers, montrant que DeiT et Swin peuvent exploiter ces contrastes synthétiques pour apprendre des caractéristiques plus discriminantes.
Évaluation exhaustive : Une investigation systématique des compromis entre données réelles et synthétiques, ainsi que de l'impact de la proportion et de la difficulté variable des négatifs synthétiques.

Résultats expérimentaux

Les expériences ont été menées sur ImageNet-100 en utilisant le sondage linéaire (linear probing) pour évaluer la qualité des représentations apprises.

Comparaison de performance :
- DeiT-S : Le modèle a efficacement exploité à la fois les données synthétiques et les négatifs synthétiques. La meilleure performance (82,12 % de précision Top-1) a été obtenue avec l'approche complète Syn2Co (les deux composants synthétiques) sur 300 époques, surpassant la base supervisée (80,50 %) et le MoBY standard (79,36 %).
- Swin-T : Cette architecture a principalement bénéficié des négatifs synthétiques. Elle a atteint une performance optimale avec les seuls négatifs synthétiques (84,04 % Top-1), montrant qu'elle peut exploiter efficacement les contrastes synthétiques même sans données d'images synthétiques.
Mélanges de données :
- Les modèles entraînés exclusivement sur des données synthétiques ont obtenu des performances raisonnables, mais la précision s'est améliorée à mesure que la proportion de données réelles augmentait.
- Les résultats suggèrent que les images synthétiques servent de compléments précieux plutôt que de substituts complets aux données réelles, bien que l'écart de performance entre un entraînement entièrement synthétique et un entraînement entièrement réel soit relativement modeste.
Sensibilité aux négatifs difficiles :
- DeiT : A montré une sensibilité tant au niveau de difficulté qu'à la proportion de négatifs synthétiques.
- Swin : A maintenu des gains de performance constants à travers différentes configurations de négatifs synthétiques.

Signification et affirmations

Le papier affirme modestement qu'il n'introduit pas une méthode fondamentalement nouvelle en soi, mais qu'il s'appuie sur des approches auto-supervisées existantes pour explorer les limites de l'augmentation synthétique.

Promesse : Les conclusions soulignent le potentiel des données synthétiques et des négatifs difficiles synthétiques pour créer des représentations visuelles robustes et transférables, particulièrement pour réduire la dépendance vis-à-vis de vastes quantités de données réelles curatées.
Limites : Les auteurs notent que les données synthétiques suivent une loi de rendements décroissants et que les modèles de diffusion introduisent des décalages de distribution (distribution shifts) qui limitent leur efficacité en tant que substituts complets aux données réelles.
Nuance architecturale : Une observation clé est que différentes architectures de transformers (DeiT vs Swin) répondent différemment aux stratégies d'augmentation synthétique, suggérant que le choix de l'augmentation doit être adapté à la conception spécifique du modèle.

En résumé, Syn2Co démontre que « faire semblant » via des données synthétiques et des négatifs difficiles synthétiques est une stratégie viable pour améliorer l'apprentissage auto-supervisé, offrant une voie vers un entraînement plus évolutif et plus efficace en ressources des Vision Transformers.