Résumé technique : Une revue des méthodes d'apprentissage auto-supervisé discriminatif en vision par ordinateur

1. Énoncé du problème

L'avancement rapide de l'apprentissage profond en vision par ordinateur, porté par les réseaux de neurones convolutifs (CNN) et les Vision Transformers (ViT), a historiquement reposé sur des ensembles de données à grande échelle et méticuleusement annotés. Cependant, la capacité à étiqueter les données n'a pas suivi le rythme de l'abondance des données, créant un goulot d'étranglement où de vastes quantités de données non étiquetées restent sous-utilisées. Bien que l'apprentissage supervisé soit robuste, il est gourmand en ressources et limite la scalabilité des modèles d'IA.

L'apprentissage auto-supervisé (SSL - Self-supervised learning) est apparu comme une approche transformatrice pour exploiter ces données non étiquetées. Contrairement à l'apprentissage non supervisé traditionnel, le SSL génère des signaux de supervision (pseudo-étiquettes) directement à partir de la structure des données via des « tâches de prétexte ». Bien que le SSL soit largement classé en approches génératives et discriminatives, cette revue se concentre spécifiquement sur le SSL discriminatif. Les méthodes génératives (ex. : auto-encodeurs, GAN) font souvent face à des exigences de calcul élevées et à des questions concernant leur efficacité pour apprendre des représentations significatives, particulièrement pour les images à haute résolution. En revanche, les méthodes discriminatives se concentrent sur l'apprentissage de représentations en résolvant des tâches de prétexte qui distinguent les caractéristiques des données sans nécessiter d'étiquettes manuelles, visant à produire des extracteurs de caractéristiques robustes et généralisables pour les tâches en aval.

2. Méthodologie et catégorisation

L'article catégorise systématiquement les méthodes de SSL discriminatif en cinq groupes primaires, analysant leurs principes sous-jacents, leurs composants architecturaux, leurs fonctions de perte et leurs algorithmes représentatifs. La revue couvre plus de 90 articles publiés entre 2017 et le début de 2025.

2.1 Pipeline central

Le pipeline standard du SSL discriminatif implique deux étapes :

1. Pré-entraînement auto-supervisé : Un ensemble de données non étiquetées est utilisé pour entraîner un encodeur (backbone) sur une tâche de prétexte. L'augmentation de données est critique ici, générant des « vues » diverses de la même instance pour encourager l'apprentissage de représentations invariantes.
2. Entraînement en aval : L'encodeur appris est affiné (fine-tuned) ou utilisé avec un classificateur linéaire sur un petit ensemble de données étiquetées pour des tâches telles que la classification, la détection d'objets ou la segmentation.

2.2 Cinq catégories méthodologiques

A. Méthodes de contraste (Contrastive Methods)

Ces méthodes apprennent des représentations en contrastant des paires positives (vues augmentées de la même image) avec des paires négatives (images différentes).

• Mécanisme : Elles emploient généralement une discrimination d'instance, maximisant la similitude des paires positives tout en minimisant la similitude des paires négatives en utilisant des pertes comme InfoNCE ou NT-Xent.
• Architectures clés :
  • Fondatrices : InstDis, PIRL et Deep InfoMax (DIM) ont établi la discrimination d'instance et la maximisation de l'information mutuelle.
  • Réseaux Siamois : SimCLR a démontré qu'un apprentissage contrastif simple avec de grands lots (batches) et de fortes augmentations pouvait surpasser des méthodes complexes.
  • Basées sur le momentum : MoCo a introduit un encodeur mis à jour par momentum et une file d'attente dynamique pour découpler la taille du batch du nombre d'échantillons négatifs, répondant ainsi aux problèmes de scalabilité.
  • Contraste dense : Des méthodes comme DenseCL, DetCo et SoCo étendent l'apprentissage contrastif aux caractéristiques au niveau du pixel ou de la région pour supporter les tâches de prédiction dense (détection, segmentation) plutôt que la simple classification d'image globale.
  • Adversarielles : Des méthodes comme CLAE et AdCo génèrent des échantillons négatifs difficiles ou des perturbations adversarielles pour améliorer la robustesse.

B. Méthodes de clustering (Clustering Methods)

Ces méthodes regroupent des échantillons similaires en clusters pour générer des pseudo-étiquettes, opérant à un niveau sémantique plus élevé que la discrimination d'instance.

• Mécanisme : Elles assignent de manière itérative des pseudo-étiquettes (ex. : via k-means ou l'algorithme Sinkhorn-Knopp) et optimisent le réseau pour prédire ces assignations.
• Algorithmes clés : DeepCluster, SwAV (qui échange les assignations entre les vues pour imposer la cohérence sans paires négatives explicites) et SCAN (qui utilise les plus proches voisins comme un a priori sémantique). Ces méthodes offrent souvent une meilleure scalabilité et la capacité de capturer des structures sémantiques hiérarchiques sans nécessiter de masses d'échantillons négatifs.

C. Méthodes d'auto-distillation (Self-Distillation Methods)

Ces méthodes entraînent un réseau à être cohérent avec ses propres prédictions ou représentations à travers différentes vues, utilisant souvent un cadre enseignant-étudiant (teacher-student) au sein du même modèle.

• Mécanisme : Elles évitent les paires négatives explicites. Au lieu de cela, un réseau « étudiant » prédit la sortie d'un réseau « enseignant » (qui est une moyenne mobile exponentielle [EMA] de l'étudiant) pour différentes vues augmentées.
• Algorithmes clés : BYOL (Bootstrap Your Own Latent) et SimSiam (Simple Siamese) ont prouvé que les paires négatives ne sont pas strictement nécessaires si une asymétrie architecturale (prédicteurs, opérations de stop-gradient) empêche l'effondrement de la représentation. DINO (Self-Distillation with NO labels) a ensuite démontré des propriétés émergentes comme la segmentation non supervisée lors de l'utilisation de ViTs.

D. Méthodes de distillation de connaissances (Knowledge Distillation Methods)

Ces méthodes utilisent un modèle « enseignant » plus grand et pré-entraîné pour guider un modèle « étudiant » plus petit, même en l'absence de données étiquetées.

• Mécanisme : L'enseignant, souvent pré-entraîné via le SSL, fournit des cibles douces (distributions de probabilité ou plongements de caractéristiques) que l'étudiant doit imiter.
• Algorithmes clés : SEED, DisCo et BINGO. Ces approches visent à transférer des représentations riches de grands modèles vers des architectures aux ressources limitées, améliorant les performances sur de petits modèles là où un entraînement SSL direct pourrait échouer.

E. Méthodes de décorrélation de caractéristiques (Feature Decorrelation Methods)

Ces méthodes visent à apprendre des représentations où les caractéristiques sont statistiquement indépendantes, empêchant la redondance et l'effondrement dimensionnel.

• Mécanisme : Elles imposent des contraintes sur la matrice de covariance des caractéristiques de sortie, garantissant que les différentes dimensions de caractéristiques sont non corrélées.
• Algorithmes clés : Barlow Twins et VICReg (Variance-Invariance-Covariance Regularization). Ces méthodes minimisent la déviation de la matrice de corrélation croisée par rapport à la matrice identité, favorisant l'apprentissage de caractéristiques diverses sans échantillons négatifs ni encodeurs de momentum.

3. Contributions clés

La revue apporte plusieurs contributions spécifiques au domaine :

• Catégorisation exhaustive : Elle fournit une taxonomie granulaire des méthodes de SSL discriminatif, allant au-delà des vues d'ensemble générales pour détailler des mécanismes spécifiques à travers cinq groupes distincts.
• Évaluation comparative étendue : L'article compile et analyse les résultats de performance sur des benchmarks standards (évaluation linéaire ImageNet, VOC, COCO) pour les tâches de classification et de prédiction dense, offrant une vue unifiée de l'efficacité des méthodes.
• Analyse de l'évolution architecturale : Elle retrace la progression des premiers backbones basés sur les CNN (ResNets) vers les modernes ViTs, ainsi que l'évolution des tâches de prétexte des tâches géométriques/de colorisation vers l'apprentissage de discrimination d'instance par augmentation et le masquage (bien que ce dernier soit génératif, son influence est notée).
• Analyse critique des défis : L'article identifie et discute des problèmes fondamentaux tels que l'effondrement de la représentation, l'effondrement de la dimensionnalité, la répulsion sémantique et la sensibilité aux hyperparamètres, en analysant comment les différentes familles de méthodes abordent (ou échouent à aborder) ces problèmes.
• Discussion des compromis : Elle explore les tensions inhérentes au SSL, telles que le compromis entre l'invariance (souhaitable pour la classification) et l'équivariance (souhaitable pour la détection), ainsi que l'équilibre entre scalabilité et efficacité de calcul.

4. Résultats et performances

La revue synthétise de vastes données expérimentales, mettant en évidence les tendances suivantes :

• Performance sur les benchmarks : Les méthodes récentes de SSL discriminatif ont atteint ou dépassé les bases de référence de l'apprentissage supervisé sur l'évaluation linéaire ImageNet-1K. Par exemple, ReLIC-v2 a atteint une précision de 80,6 %, dépassant la base de référence supervisée de 76,5 %.
• Spécificité des tâches : Alors que les premières méthodes se concentraient sur la classification, les méthodes de contraste dense (ex. : SoCo, InsCon, DetCo) ont montré des performances de pointe sur les tâches de détection d'objets et de segmentation, surpassant souvent les bases de pré-entraînement supervisées.
• Efficacité vs Performance : Des méthodes comme SimSiam et Barlow Twins offrent des performances élevées avec des architectures plus simples (pas d'encodeurs de momentum ou de grandes files d'attées de mémoire), bien qu'elles puissent nécessiter un réglage minutieux. Inversement, des méthodes comme MoCo-v3 et DINO-v2 exploitent les ViTs pour atteindre une haute précision mais nécessitent souvent des ressources de calcul importantes.
• Transfert d'apprentissage : L'article démontre que les représentations apprises via le SSL discriminatif se transfèrent efficacement à diverses tâches en aval, y compris l'imagerie médicale et la télédétection, bien que la performance varie selon la méthode et les caractéristiques du jeu de données.

5. Signification et directions futures

L'article positionne cette revue comme une ressource vitale pour les chercheurs et praticiens souhaitant exploiter le SSL discriminatif. Sa signification réside dans :

• Synthèse d'un domaine en évolution rapide : En couvrant les travaux jusqu'au début de 2025, elle capture les changements récents vers les ViTs, la prédiction dense et les approches de régularisation que les anciennes revues avaient manqués.
• Identification des défis ouverts : Les auteurs soulignent que bien que les progrès soient substantiels, des défis subsistent, notamment pour prévenir l'effondrement de la représentation, réduire les demandes de calcul (spécifiquement les exigences de grandes tailles de batch) et améliorer la robustesse face aux changements de distribution et aux scénarios hors distribution (OOD).
• Orientation de la recherche future : La revue suggère des directions futures incluant :
  • Le développement de méthodes plus efficaces pour de plus petits batchs et les environnements aux ressources limitées.
  • La conception de techniques de SSL spécifiquement adaptées aux architectures de transformers plutôt que d'adapter les méthodes basées sur les CNN.
  • La création de benchmarks reflétant la diversité des données du monde réel (bruit, déséquilibre) plutôt que des jeux de données organisés comme ImageNet.
  • L'investigation des fondements théoriques pour fournir des garanties rigoureuses de performance de fine-tuning, et non seulement de probing linéaire.

Les auteurs concluent que le SSL discriminatif a transformé la vision par ordinateur en réduisant la dépendance aux annotations manuelles coûteuses. Cependant, le domaine doit désormais s'attaquer à la scalabilité, l'efficacité et la robustesse pour réaliser pleinement le potentiel de l'apprentissage à partir des vastes données non étiquetées disponibles dans le monde réel.