🤖 machine learning

A Review of Pseudo-Labeling for Computer Vision

Cet article propose une revue du pseudo-étiquetage en vision par ordinateur en élargissant sa définition au-delà de l'apprentissage semi-supervisé pour inclure les méthodes auto-supervisées et non supervisées, afin d'identifier de nouvelles synergies entre ces domaines.

Auteurs originaux : Patrick Kage, Jay C. Rothenberger, Pavlos Andreadis, Dimitrios I. Diochnos

Publié 2026-03-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Patrick Kage, Jay C. Rothenberger, Pavlos Andreadis, Dimitrios I. Diochnos

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎓 Le Dilemme de l'Élève et du Professeur

Imaginez que vous voulez apprendre à un enfant à reconnaître les animaux. Pour cela, vous avez besoin de milliers de photos. Le problème ? Dans le monde réel, trouver des photos déjà étiquetées (avec un petit mot disant « C'est un chat » ou « C'est un chien ») est très cher et prend beaucoup de temps. Il faut payer des experts pour les annoter.

En revanche, trouver des photos sans étiquette (juste des images brutes) est facile et gratuit. Il y en a des milliards sur Internet.

L'article parle d'une astuce intelligente appelée « Pseudo-étiquetage ». C'est comme si l'enfant (le modèle d'intelligence artificielle) apprenait tout seul en regardant les photos sans étiquettes, en se faisant confiance, et en corrigeant ses propres erreurs au fur et à mesure.

🏷️ Qu'est-ce qu'un « Pseudo-étiquetage » ?

C'est très simple :

L'ordinateur regarde une photo sans étiquette.
Il dit : « Je suis à 90 % sûr que c'est un chat ».
Au lieu de jeter la photo, l'ordinateur se dit : « Bon, je vais noter « Chat » sur cette photo et l'utiliser pour m'entraîner ».
Cette étiquette inventée par l'ordinateur s'appelle un pseudo-étiquette.

C'est un peu comme un élève qui fait ses devoirs seul : il écrit sa réponse, la vérifie, et s'il est assez confiant, il l'accepte comme vraie pour apprendre de l'erreur suivante.

🌳 L'Arbre de la Famille (La Taxonomie)

Les auteurs ont dessiné un grand arbre généalogique (voir la Figure 1 de l'article) pour montrer comment toutes ces méthodes sont liées. On peut le diviser en trois grandes familles :

1. La Famille « Semi-Supervisée » (L'élève avec un peu d'aide)

Ici, l'ordinateur a un petit manuel de réponses (les données étiquetées) et un gros tas de livres sans réponses (les données non étiquetées).

Le tri intelligent (Curriculum Learning) : Imaginez un professeur qui ne donne pas tous les exercices d'un coup. Il commence par les plus faciles (les photos où l'ordinateur est très sûr) et ne donne les exercices difficiles que lorsque l'élève a progressé. C'est ce qu'on appelle le Curriculum Learning.
La cohérence (Consistency Regularization) : C'est comme si on montrait la même photo à l'élève, mais en la tournant ou en changeant la couleur. Si l'élève dit « Chat » sur la photo normale et « Chien » sur la photo tournée, il se trompe. On lui apprend à rester cohérent : « Peu importe la lumière, c'est toujours un chat ».
L'équipe de détectives (Multi-Model) : Au lieu d'un seul élève, on en a plusieurs. S'ils sont tous d'accord pour dire « C'est un chat », on est rassuré. S'ils sont en désaccord, on ne fait pas confiance à l'étiquette.

2. La Famille « Non Supervisée » (L'élève autodidacte)

Ici, il n'y a aucun manuel de réponses. L'ordinateur doit tout inventer.

Le tri par similarité : L'ordinateur regroupe les photos qui se ressemblent. Il se dit : « Toutes ces photos de chats vont dans le groupe A, et toutes ces photos de chiens dans le groupe B ». Il crée ses propres étiquettes (A et B) pour apprendre à distinguer les groupes.
Le maître et l'élève (Distillation) : Un gros modèle très intelligent (le Maître) regarde une photo et dit : « C'est probablement un chat ». Un petit modèle (l'Élève) essaie de copier ce raisonnement. Le Maître donne des « pseudo-étiquettes » à l'Élève pour qu'il apprenne sans avoir besoin de vraies étiquettes.

3. La Famille « Bruit et Erreurs »

Parfois, l'ordinateur se trompe. Il peut dire « C'est un chat » alors que c'est un chien.

L'article explique comment repérer ces erreurs. C'est comme un professeur qui sait que l'élève est confiant mais qu'il a peut-être mal vu. Des méthodes existent pour filtrer les mauvaises étiquettes inventées, un peu comme un détecteur de mensonges pour les données.

💡 Les Grandes Idées à Retenir

Les auteurs ont découvert que toutes ces méthodes, qu'elles viennent de l'apprentissage semi-supervisé ou non supervisé, partagent des secrets communs :

Le Filtre de Données : Avant d'apprendre, il faut trier le tas de photos. Comme on ne peut pas tout utiliser, on garde les meilleures. C'est comme trier des pommes pour faire une tarte : on ne garde que les plus belles.
Le Programme d'Entraînement (Curriculum) : Il ne faut pas apprendre trop vite. Il faut commencer par le facile et aller vers le difficile.
L'Art de la Transformation (Augmentation) : Pour bien apprendre, il faut voir les objets sous différents angles (tournés, zoomés, en noir et blanc). Cela aide l'ordinateur à comprendre l'essence de l'objet, pas juste sa forme exacte.
Étiquette Douce vs Étiquette Dure :
- Dure : « C'est un chat » (100 %).
- Douce : « C'est 80 % chat, 20 % chien ».
  Parfois, être trop catégorique (dure) est mauvais. Mieux vaut garder une petite part de doute (douce) pour ne pas bloquer l'apprentissage.

🔮 L'Avenir : Où allons-nous ?

L'article se termine en ouvrant des portes pour le futur :

Filtrer le monde réel : Utiliser ces techniques pour trier les milliards de photos trouvées sur Internet (qui sont souvent bruyantes et désordonnées) avant de les donner à l'ordinateur.
Apprendre à apprendre : Utiliser l'intelligence artificielle pour décider quand et comment donner des étiquettes à l'ordinateur, comme un coach sportif qui ajuste l'entraînement en temps réel.
Réduire les erreurs : Améliorer la façon dont l'ordinateur mesure sa propre confiance pour ne pas se tromper trop souvent.

En Résumé

Ce papier est une carte au trésor pour comprendre comment les ordinateurs apprennent à voir le monde en utilisant moins de professeurs humains et plus de livres ouverts. C'est une histoire de confiance, de tri, et de récupération intelligente de l'information pour rendre nos intelligences artificielles plus fortes, plus rapides et moins coûteuses à entraîner.

1. Problématique

Les réseaux de neurones profonds ont atteint des performances de pointe dans de nombreux domaines, notamment la vision par ordinateur. Cependant, leur efficacité repose souvent sur la disponibilité de vastes ensembles de données étiquetés, dont la création est coûteuse, laborieuse et parfois impossible dans des domaines de niche (ex: sciences) nécessitant une expertise humaine.

Le apprentissage semi-supervisé (SSL) vise à résoudre ce problème en exploitant de grandes quantités de données non étiquetées (faciles à acquérir) pour améliorer l'apprentissage avec un nombre limité d'étiquettes. Au cœur de cette approche se trouve le pseudo-étiquetage (Pseudo-Labeling - PL), une famille d'algorithmes qui attribue des étiquettes aux données non étiquetées en utilisant les prédictions du modèle lui-même, pour ensuite réentraîner le modèle avec ces nouvelles données.

L'article identifie une fragmentation dans la littérature : le pseudo-étiquetage est traditionnellement associé au SSL, mais des concepts similaires apparaissent dans l'apprentissage non supervisé (UL), l'apprentissage auto-supervisé (Self-Supervised Learning - SSL) et la distillation de connaissances. L'objectif de la revue est d'unifier ces domaines sous une définition commune du pseudo-étiquetage.

2. Méthodologie et Définitions Fondamentales

Les auteurs proposent une formalisation mathématique unifiée du pseudo-étiquetage basée sur la théorie des ensembles flous et des partitions floues.

Étiquettes Stochastiques : Les sorties des réseaux de neurones sont définies comme des vecteurs de probabilité (simplexe $\Delta_k$ ), représentant une distribution sur les classes.
Pseudo-étiquettes : Définies comme des vecteurs stochastiques générés par un modèle $f_\theta$ appliqué à une instance non étiquetée $x$ . Ces étiquettes ne sont pas des vérités terrain, mais des inférences du modèle (une partition floue de l'espace d'entrée).
Pseudo-exemples : Les tuples $(x, Q(x))$ formés d'une instance et de son pseudo-étiquette, utilisés pour le réentraînement.

La revue catégorise les méthodes selon trois mécanismes principaux :

Auto-affinement (Self-sharpening) : Un seul modèle génère des étiquettes à partir d'une seule vue des données.
Apprentissage multi-vues : Utilisation de multiples augmentations ou représentations d'un même échantillon pour favoriser l'apprentissage de motifs généralisables.
Apprentissage multi-modèles : Utilisation de plusieurs modèles (ex: architecture étudiant-professeur) pour générer des étiquettes, exploitant l'indépendance des erreurs des modèles.

3. Revue des Techniques (Taxonomie)

L'article structure l'analyse en deux grands régimes :

A. Régimes Semi-Supervisés (SSL)

Ces méthodes partent d'un petit ensemble étiqueté et d'un grand ensemble non étiqueté.

Planification d'échantillons (Sample Scheduling) : Déterminer quels échantillons non étiquetés méritent un pseudo-étiquetage.
- Sélection aléatoire : Simple mais sujette au biais de confirmation.
- Sélection basée sur la confiance : (Ex: FixMatch, ReMixMatch) Ne pseudo-étiquette que les prédictions dont la confiance dépasse un seuil.
- Curriculum Learning (CL) : (Ex: FlexMatch) Ordonne l'apprentissage des exemples du "plus facile" au "plus difficile", ajustant dynamiquement les seuils de confiance par classe.
Supervision Faible et Gestion du Bruit : Traitement des erreurs d'étiquetage (bruit) dans les données ou les pseudo-étiquettes.
- Méthodes comme PENCIL ou ILI modélisent le bruit d'étiquetage et ajustent les distributions d'étiquettes pendant l'entraînement.
- Open-Set Recognition : Des méthodes comme SeFOSS et ProSub utilisent le pseudo-étiquetage pour distinguer les classes connues des inconnues (out-of-distribution).
Régularisation par Cohérence (Consistency Regularization - CR) :
- Principe : Un modèle doit produire des prédictions cohérentes pour des versions augmentées d'une même image.
- Techniques : UDA (Unsupervised Data Augmentation) et VAT (Virtual Adversarial Training) pénalisent les divergences de prédictions entre l'image originale et ses versions perturbées.
Approches Multi-Modèles :
- Co-training : Deux modèles entraînés sur des vues disjointes s'échangent des pseudo-étiquettes.
- Noisy Student : Un modèle "étudiant" (souvent plus grand et bruité) est entraîné sur des données étiquetées et pseudo-étiquetées par un "professeur", puis devient le nouveau professeur.
- Optimisation Bi-niveau (Meta-Learning) : Des méthodes comme Meta Pseudo Label (MPL) et BLOPL traitent l'attribution des pseudo-étiquettes comme un problème d'optimisation conjointe avec les poids du modèle, visant à maximiser la performance sur les données étiquetées.

B. Régimes Non Supervisés et Auto-Supervisés (UL/SSL)

Bien que souvent considérés comme distincts, ces domaines utilisent le pseudo-étiquetage pour des tâches de prétexte.

Apprentissage Auto-Supervisé Discriminatif : Des modèles comme DINO, SwAV, BYOL et DeepCluster assignent des instances à des clusters (pseudo-classes) inférés des données pour minimiser une perte de cohérence. Ces clusters agissent comme des pseudo-étiquettes.
Distillation de Connaissances : Transfert de connaissances d'un grand modèle (professeur) vers un petit (étudiant). Le professeur fournit des "soft labels" (distributions de probabilité) qui servent de supervision pour l'étudiant, même sans vérités terrain (Self-Distillation).

4. Résultats et Performances

L'article fournit une comparaison empirique (Tableau 1) sur des benchmarks standards :

CIFAR-10 (4k étiquettes) : Les méthodes modernes de pseudo-étiquetage (ex: BLOPL, RLGSSL, FlexMatch) surpassent largement les approches de base, atteignant des précisions proches de 97% (contre ~85% pour les méthodes plus anciennes comme Mean Teacher).
ImageNet (10% des données) : Les méthodes comme FlexMatch et FixMatch démontrent une efficacité supérieure, atteignant environ 71-73% de précision, là où les méthodes non supervisées pures (ex: SimCLR, SwAV) restent plus basses sans fine-tuning supervisé.
Observation clé : Les méthodes combinant la régularisation par cohérence, l'augmentation de données agressive et une sélection de curriculum dynamique (comme la famille *-Match) obtiennent les meilleurs résultats.

5. Contributions Clés et Signification

Contributions principales :

Unification Théorique : La définition formelle du pseudo-étiquetage via les partitions floues permet de relier des domaines auparavant disjoints (SSL, UL, Distillation).
Taxonomie Structurée : Une classification claire (Figure 1) reliant les méthodes par leurs mécanismes sous-jacents (planification, cohérence, multi-modèles).
Identification des Points Communs : Mise en évidence de similitudes techniques cruciales entre les domaines, notamment l'importance de la filtration des données, l'établissement d'un curriculum, et l'utilisation de stratégies d'augmentation.

Signification et Perspectives Futures :
L'article souligne que l'avenir du pseudo-étiquetage réside dans l'exploitation des synergies entre ces domaines :

Filtrage de données intelligent : Appliquer des techniques de filtrage (comme dans CLIP) aux ensembles de données non curatés pour le SSL.
Curriculum Learning robuste : Développer des curriculums basés sur l'incertitude calibrée plutôt que sur la simple confiance du modèle.
Régularisation Auto-Supervisée : Intégrer des objectifs auto-supervisés dans le SSL pour éviter l'effondrement des représentations (representation collapse).
Apprentissage par Renforcement et Métas-Apprentissage : Utiliser ces cadres pour optimiser dynamiquement la politique d'attribution des pseudo-étiquettes.

En conclusion, cette revue démontre que le pseudo-étiquetage n'est pas seulement une technique d'optimisation pour le SSL, mais un paradigme fondamental qui traverse l'apprentissage profond moderne, offrant des pistes prometteuses pour réduire la dépendance aux données étiquetées tout en améliorant la robustesse et la généralisation des modèles de vision par ordinateur.