Leveraging Label Proportion Prior for Class-Imbalanced Semi-Supervised Learning

Cet article propose un cadre léger intégrant une nouvelle fonction de perte de proportion, issue de l'apprentissage à partir de proportions d'étiquettes, pour atténuer les biais de classe dans l'apprentissage semi-supervisé déséquilibré et améliorer significativement les performances sur des benchmarks comme CIFAR-10 à longue traîne.

L'essentiel

Imaginez que vous êtes un professeur qui doit apprendre à des élèves à reconnaître différents animaux. Vous avez un gros classeur de photos d'animaux, mais il y a un gros problème : 90 % des photos sont de chats, et seulement quelques-unes sont de lions, d'éléphants ou de girafes. De plus, vous n'avez que très peu d'étiquettes (des petits mots qui disent "c'est un chat" ou "c'est un lion") pour vous aider.

C'est le défi de l'apprentissage semi-supervisé déséquilibré.

Voici comment les chercheurs de l'Université de Kyushu ont résolu ce problème avec une idée simple mais brillante, expliquée comme une histoire :

1. Le Problème : L'effet "Echo" des Chats

Dans les méthodes classiques d'apprentissage automatique, l'ordinateur essaie de deviner les étiquettes des photos sans étiquette (les "pseudo-étiquettes").

• Comme il y a énormément de chats, l'ordinateur pense : "Tiens, cette photo d'un lion ressemble un peu à un chat, je vais dire que c'est un chat."
• Il se trompe, mais comme il y a tant de chats, l'erreur passe inaperçue.
• Pire encore, il utilise cette erreur pour apprendre : "Ah, donc les lions sont en fait des chats !"
• Résultat : L'ordinateur devient un expert en chats, mais il oublie complètement les lions. C'est ce qu'on appelle le biais de la majorité.

2. La Solution : La "Boussole des Proportions"

Les chercheurs ont eu une idée géniale. Ils se sont dit : "Même si nous avons peu d'étiquettes, nous savons approximativement combien il y a de chats, de lions et d'éléphants dans le monde réel."

Ils ont créé un outil qu'ils appellent la "Perte de Proportion" (Proportion Loss).
Imaginez que c'est une boussole ou un thermostat placé sur le bureau du professeur.

• Au lieu de laisser l'ordinateur décider tout seul, la boussole lui dit : "Attends, dans la vraie vie, il ne devrait y avoir que 10 % de chats et 10 % de lions dans ce tas de photos. Si tu dis qu'il y a 90 % de chats, tu te trompes !".
• Cela force l'ordinateur à rééquilibrer ses prédictions pour qu'elles correspondent à la réalité globale, même s'il a tendance à voir des chats partout.

3. Le Défi des "Petits Paquets" (Le Mini-Batch)

Il y a un petit piège. L'ordinateur n'apprend pas tout d'un coup, mais par petits paquets (des mini-batches).

• Imaginez que vous prenez un petit échantillon de 10 photos au hasard. Il est possible que par pur hasard, vous ayez 8 chats et 2 lions, même si la proportion réelle est différente.
• Si vous forcez l'ordinateur à suivre la proportion globale à la lettre pour chaque petit paquet, il va paniquer et apprendre n'importe quoi (comme essayer de faire correspondre un nuage à une forme précise).

La solution créative des chercheurs :
Ils ont ajouté un peu de chaos contrôlé (une variante stochastique).
Au lieu de dire : "Il y a exactement 10 % de lions dans ce paquet", ils disent : "Il y a probablement entre 8 % et 12 % de lions, selon le hasard."
Ils utilisent une formule mathématique (la distribution hypergéométrique multivariée) pour simuler ce hasard. C'est comme si le professeur disait à l'élève : "Ne sois pas trop rigide, accepte qu'il y ait de petites variations, mais reste dans la bonne fourchette globale." Cela rend l'apprentissage beaucoup plus stable et robuste.

4. Les Résultats : Qui gagne ?

Ils ont testé cette méthode sur des jeux de données célèbres (comme CIFAR-10, qui ressemble à notre classe d'animaux).

• Sans leur méthode : L'ordinateur oublie les animaux rares (les minorités).
• Avec leur méthode : L'ordinateur réussit à mieux reconnaître les lions et les éléphants, tout en restant bon sur les chats.
• C'est particulièrement efficace quand on a très peu d'étiquettes (le scénario le plus difficile), là où les autres méthodes échouent souvent.

En Résumé

Cette recherche est comme donner à un élève un guide de proportions en plus de son manuel. Au lieu de se fier uniquement à ce qu'il voit (ce qui est biaisé par la quantité), il consulte la "boussole" pour s'assurer qu'il ne néglige pas les animaux rares.

C'est simple, léger (il ne faut pas changer toute l'architecture de l'ordinateur) et cela fonctionne très bien pour corriger les injustices dans l'apprentissage des machines.

Résumé technique

1. Problématique : L'Apprentissage Semi-Supervisé (SSL) Déséquilibré

L'apprentissage semi-supervisé (SSL) vise à exploiter de grandes quantités de données non étiquetées en complément d'un petit ensemble de données étiquetées, souvent via des techniques d'étiquetage pseudo (pseudo-labeling). Cependant, cette approche rencontre un défi fondamental dans les scénarios de déséquilibre de classes (CISSL - Class-Imbalanced SSL) :

• Amplification du biais : Lorsque les données sont déséquilibrées (par exemple, une distribution à longue traîne), le classifieur initial développe un biais vers les classes majoritaires.
• Propagation de l'erreur : Les pseudo-étiquettes générées par ce classifieur biaisé perpétuent et amplifient ce biais, supprimant davantage les performances des classes minoritaires.
• Dégradation des performances : Les méthodes SSL performantes sur des données équilibrées voient leur précision chuter drastiquement sur des données déséquilibrées.

L'article postule que même un petit nombre d'échantillons étiquetés peut fournir une estimation informative des proportions globales des classes. L'objectif est d'utiliser cette information de proportion pour guider l'apprentissage.

2. Méthodologie : Régularisation par Perte de Proportion

Les auteurs proposent un cadre léger qui intègre pour la première fois la notion de Perte de Proportion (Proportion Loss), issue du domaine de l'apprentissage à partir de proportions d'étiquettes (LLP - Learning from Label Proportions), dans le contexte du SSL.

A. Perte de Proportion (Proportion Loss)

L'idée centrale est d'aligner les prédictions du modèle sur la distribution globale des classes.

• Soit $B$ un mini-lot d'échantillons non étiquetés.
• Soit $\hat{p}_l(B)$ la proportion prédite de la classe $l$ dans ce lot (moyenne des sorties softmax).
• Soit $q_l$ la proportion estimée de la classe $l$ dans l'ensemble des données étiquetées (qui sert d'estimation de la distribution globale).

La perte de proportion est définie comme une entropie croisée entre la distribution globale et la distribution prédite :
$$\mathcal{L}_{prop}(B) = -\sum_{l=1}^{L} q_l \log \hat{p}_l(B)$$
Cette perte est ajoutée à la fonction de perte standard du SSL ($\mathcal{L}_{ssl}$) avec un coefficient de régularisation $\lambda$ :
$$\mathcal{L} = \mathcal{L}_{ssl} + \lambda \mathcal{L}_{prop}$$

B. Variante Stochastique (Perturbation par Échantillonnage Hypergéométrique)

Un défi majeur est que les proportions observées dans un mini-lot fluctuent naturellement autour de la distribution globale en raison de la taille réduite du lot. Imposer la proportion globale fixe à chaque lot peut entraîner un surapprentissage (overfitting) à du bruit.

Pour y remédier, les auteurs proposent une variante stochastique inspirée de l'apprentissage sur de grands "sacs" (large-bag LLP) :

• Au lieu d'utiliser la proportion globale fixe $q$ pour chaque itération, ils échantillonnent une proportion perturbée $q^{(t)}$ à partir d'une distribution hypergéométrique multivariée :
  $$q^{(t)} \sim \text{MultiHG}(M, q, |B|)$$
  Où $M$ est le nombre total d'échantillons non étiquetés et $|B|$ la taille du mini-lot.
• Cela modélise probabilistiquement la composition attendue d'un mini-lot, rendant la régularisation plus robuste aux fluctuations aléatoires et stabilisant l'entraînement sous un déséquilibre sévère.

3. Contributions Clés

1. Intégration pionnière du LLP dans le SSL : C'est, à la connaissance des auteurs, la première étude à transférer l'idée des proportions d'étiquettes du domaine LLP vers le SSL comme terme de régularisation explicite.
2. Régularisation simple et efficace : La méthode est conceptuellement simple, ne nécessite aucune modification architecturale et peut être intégrée de manière transparente dans des algorithmes SSL existants (comme FixMatch ou ReMixMatch).
3. Variante stochastique robuste : Le développement d'une version probabiliste de la perte de proportion (via l'échantillonnage hypergéométrique) qui atténue le surapprentissage aux fluctuations des mini-lots.
4. Amélioration de la sélection de pseudo-étiquettes : En corrigeant le biais de distribution, la méthode améliore la qualité des pseudo-étiquettes générées, en particulier pour les classes minoritaires.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark CIFAR-10-LT (Long-Tailed) avec différents ratios de déséquilibre ($\gamma \in \{10, 20, 50, 100\}$) et différents ratios de données étiquetées ($\beta \in \{2\%, 4\%, 10\%, 20\%\}$).

• Performance globale : L'intégration de la Perte de Proportion dans FixMatch et ReMixMatch améliore systématiquement les performances par rapport aux bases (baselines) sur tous les niveaux de déséquilibre et de rareté des étiquettes.
• Conditions de données rares : La méthode est particulièrement efficace lorsque le nombre d'étiquettes est très faible ($\beta = 2\%$ et $4%$), surpassant les méthodes CISSL existantes comme DARP et CReST.
• Comparaison avec l'état de l'art :
  • Sur FixMatch : La méthode proposée obtient les meilleurs résultats (ex: 81.9% contre 80.8% pour FixMatch seul sur $\gamma=10, \beta=2\%$).
  • Sur ReMixMatch : Elle maintient une performance compétitive ou supérieure (ex: 88.1% contre 85.5% pour ReMixMatch seul).
• Analyse des proportions : Les graphiques montrent que contrairement aux méthodes de base qui surestiment les classes majoritaires et sous-estiment les classes minoritaires, la méthode proposée aligne beaucoup plus fidèlement les proportions prédites avec la distribution réelle.
• Rappel (Recall) : L'analyse du rappel des pseudo-étiquettes révèle une amélioration significative pour les classes minoritaires sans dégrader les performances des classes majoritaires.

5. Signification et Conclusion

Cette recherche apporte une solution élégante et efficace au problème du déséquilibre dans l'apprentissage semi-supervisé. En exploitant les informations de proportion globale (souvent disponibles même avec peu d'étiquettes) via une régularisation de type LLP, les auteurs parviennent à briser le cycle de biais auto-renforçant des pseudo-étiquettes.

Points forts :

• Généralité : Applicable à divers algorithmes SSL sans réingénierie complexe.
• Robustesse : La variante stochastique gère bien le bruit inhérent aux petits mini-lots.
• Impact : Améliore significativement la précision globale et, surtout, la reconnaissance des classes minoritaires, un point critique pour les applications réelles.

Limites mentionnées :

• L'efficacité peut diminuer si les distributions des données étiquetées et non étiquetées diffèrent (hypothèse de distribution identique violée).
• La précision de l'estimation des proportions dépend de la taille du mini-lot et du nombre total d'échantillons non étiquetés.

En résumé, ce travail établit un nouveau paradigme pour le CISSL en démontrant que la régularisation par les proportions d'étiquettes est un levier puissant pour stabiliser et améliorer l'apprentissage semi-supervisé dans des conditions réalistes et déséquilibrées.