🤖 machine learning

A Strong Balanced-Softmax Classifier-Retraining Baseline for Long-Tailed Recognition

Cet article introduit BS-cRT, une base de référence de réentraînement en deux étapes qui améliore considérablement la précision de l'apprentissage à partir de peu d'exemples (few-shot) dans la reconnaissance à longue traîne en figeant un squelette entraîné avec un Softmax équilibré et en réoptimisant uniquement le classificateur sur des lots équilibrés, tout en analysant les limites des méthodes basées sur les frontières comme CBRM.

Auteurs originaux : Juan Terven, Diana Margarita Córdova Esparza, Julio Alejandro Romero Gonzalez, Edgar Arturo Chávez Urbiola, Francisco Javier Willars Rodriguez, Juan Bautista Hurtado Ramos, Alfonso Ramirez Pedraza

Publié 2026-07-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Juan Terven, Diana Margarita Córdova Esparza, Julio Alejandro Romero Gonzalez, Edgar Arturo Chávez Urbiola, Francisco Javier Willars Rodriguez, Juan Bautista Hurtado Ramos, Alfonso Ramirez Pedraza

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigiez un concours de talents massif où les juges doivent choisir des vainqueurs parmi des milliers de candidats. Mais voici le piège : 99 % des candidats viennent d'une ville super populaire (les classes « Head »), tandis que l'autre 1 % vient de petits villages obscurs (les classes « Tail »).

Dans un concours de talents normal, les juges s'habituent tellement au style de la ville populaire qu'ils finissent par ignorer les talents uniques des villages. Ils pourraient donner des scores parfaits aux chanteurs de la ville populaire simplement parce qu'ils leur sont familiers, tandis que les chanteurs des villages se feraient écraser, même s'ils sont incroyables. C'est le problème de la Reconnaissance à Longue Traîne en IA : l'ordinateur devient trop bon pour les choses communes et devient médiocre pour les choses rares.

Le premier acte : Enseigner équitablement aux juges

Le papier commence par examiner une méthode appelée Balanced Softmax. Voyez cela comme un camp d'entraînement où les juges sont forcés de prêter attention aux chanteurs des villages. Ils apprennent à apprécier les styles rares, ce qui est une bonne chose ! Mais les auteurs ont posé une question simple : Le travail est-il terminé ?

Ils ont découvert que même après cet entraînement équitable, les juges (le « classificateur » de l'IA) étaient encore un peu biaisés. Les juges avaient appris les compétences pour reconnaître les villages pendant l'entraînement principal, mais leurs habitudes de notation finale étaient encore influencées par le fait qu'ils voyaient la ville populaire beaucoup plus souvent.

La grande découverte : Il suffit de réentraîner la fiche de score

La principale conclusion du papier est une solution étonnamment simple appelée BS-cRT.

Imaginez que vous avez terminé tout l'entraînement du concours de talents. Les juges connaissent le sujet. Au lieu de leur réapprendre à chanter ou à danser (réentraîner tout le cerveau de l'IA), vous leur dites simplement : « D'accord, oubliez le passé. Faisons un dernier tour de pratique rapide où nous vous montrons un seul chanteur de la ville populaire et un de chaque village, tous mélangés de manière égale. »

C'est le Réentraînement du Classificateur (Classifier Retraining). Vous figez le cerveau (le « backbone ») pour qu'il n'oublie pas ce qu'il a appris, et vous ne modifiez que la fiche de notation finale (le « classifier ») en utilisant ces tours de pratique parfaitement équilibrés.

Les résultats ?
Ce petit ajustement a fonctionné comme par magie pour les classes rares :

Sur un jeu de données appelé CIFAR-100-LT, l'IA est devenue +5,15 points meilleure pour repérer les objets rares.
Sur CIFAR-10-LT, elle a bondi de +5,83 points.
Sur le très grand jeu de données ImageNet-LT, elle a gagné +6,92 points.
Sur Places-LT (un jeu de données sur les lieux), elle s'est envolée de +9,78 points.

Le papier est très sûr de lui à ce sujet : à travers chaque test effectué, ce simple « ajustement de la fiche de score » a systématiquement rendu l'IA meilleure pour les classes rares sans briser sa capacité à reconnaître les classes communes. C'est une astuce à faible coût et à haut rendement que n'importe qui peut utiliser.

Le coup de théâtre : Ce qui n'a PAS fonctionné

Les auteurs ne se sont pas arrêtés là. Ils se sont demandé s'ils pouvaient faire encore mieux en créant des scénarios de pratique fictifs juste au bord des décisions des juges. Ils ont appelé cela le CBRM.

Imaginez essayer d'aider les juges en créant un « faux » candidat qui se situe à mi-chemin entre un chanteur de village et un chanteur de la ville populaire, pile sur la ligne où les juges s'embrouillent. L'idée était de forcer les juges à s'exercer sur ces cas « limites » difficiles.

Le papier l'exclut explicitement.
Ils ont essayé cela, et cela a échoué. En fait, cela a empiré les choses !

Lorsqu'ils ont utilisé les exemples « faux » les plus difficiles (ceux les plus susceptibles d'être confondus avec la ville populaire), les performances de l'IA sur les villages rares ont chuté d'environ 4 points.
Pourquoi ? Parce que dans un monde à longue traîne, la chose la plus « difficile » pour un chanteur de village est en réalité un chanteur de la ville populaire. Ainsi, en essayant de s'exercer sur ces limites difficiles, les juges ont été tirés à nouveau vers le style de la ville populaire. Les sessions de pratique fictives étaient ancrées au mauvais endroit.

Les auteurs sont convaincus que cet échec n'est pas un simple bug, mais un problème fondamental avec la façon dont ces sondages de « négatifs difficiles » (hardest-negative) fonctionnent dans les données déséquilibrées. Ils suggèrent que si vous voulez utiliser des exemples de limites fictifs, vous devez être très prudent pour ne pas laisser la ville populaire détourner la session de pratique.

Ce qu'il faut retenir

Alors, quelle est la leçon pour un adolescent curieux ?

Ne compliquez pas trop les choses : Parfois, la meilleure façon de réparer une IA qui ignore les choses rares n'est pas de construire un nouveau cerveau géant, mais de donner simplement au décideur final une session de pratique rapide et équitable.
Soyez prudent avec les exemples « difficiles » : Essayer de s'entraîner sur les cas les plus difficiles et les plus déroutants peut se retourner contre vous si ces cas sont en fait juste la culture populaire déguisée.
Les chiffres parlent : Cette méthode simple (BS-cRT) a systématiquement ajouté entre 5 et 10 points de précision aux classes rares sur différents jeux de données. C'est une base solide et fiable que les chercheurs devraient utiliser avant de tenter quelque chose de plus sophistiqué.

Le papier ne prétend pas que cela résout tout (l'IA doit toujours apprendre les choses difficiles d'abord), mais il prouve qu'un simple réajustement équilibré de l'étape finale est un outil puissant qui était là, caché sous nos yeux.

Résumé Technique : Une base de référence robuste de réentraînement de classificateur par Softmax Équilibré pour la reconnaissance à longue traîne

1. Énoncé du Problème

La reconnaissance à longue traîne (long-tailed recognition) traite le défi où les catégories visuelles suivent une distribution de fréquence asymétrique : un petit nombre de classes « tête » (head) domine l'ensemble d'entraînement, tandis que de nombreuses classes « queue » (tail) apparaissent peu fréquemment. L'erreur de minimisation du risque empirique standard provoque une allocation excessive de l'espace de décision aux classes de tête, ce qui entraîne une précision globale élevée mais des performances médiocres sur les catégories rares, souvent critiques.

Bien que les méthodes existantes traitent cela via le re-pondérage de perte, l'ajustement de marge ou l'entraînement découplé (séparant l'apprentissage de représentation de l'apprentissage du classificateur), un écart spécifique subsiste : quelle quantité d'erreur résiduelle de queue persiste après l'entraînement d'une représentation avec une perte forte et sensible aux a priori comme le Balanced Softmax ? De plus, cette erreur peut-elle être réduite en réentraînant uniquement le classificateur sous une exposition équilibrée, et est-ce qu'une supervision de frontière synthétique (par exemple, des sondes près des frontières de décision) peut améliorer davantage les performances de la queue ?

2. Méthodologie

Le papier propose le BS-cRT (Balanced Softmax Classifier Retraining), une procédure minimale en deux étapes, et évalue le CBRM (Counterfactual Boundary Risk Minimization) comme une extension diagnostique.

2.1 BS-cRT : Le Noyau de la Base de Référence

Le BS-cRT isole l'effet du réentraînement du classificateur de l'apprentissage de la représentation.

Étape 1 (Apprentissage de Représentation) : Un réseau dorsal (backbone $f_\theta$ ) et un classificateur cosinus sont entraînés de bout en bout en utilisant la perte Balanced Softmax sur le flux de données déséquilibrées original. Cette perte incorpore l'a priori empirique de classe ( $\pi_c = n_c / \sum n_{c'}$ ) dans le dénominateur du softmax pour corriger le décalage de distribution (label shift).
Étape 2 (Réentraînement du Classificateur) : Le réseau dorsal est gelé. Seuls les poids du classificateur cosinus sont réentraînés.
- Échantillonnage : L'entraînement utilise des lots épisodiques équilibrés. Chaque lot échantillonne $P$ classes uniformément sans remise, avec $K$ échantillons par classe.
- Perte : La perte Balanced Softmax est conservée, en utilisant les a priori d'entraînement empiriques originaux ( $\pi_c$ ). Cela garantit que l'objectif reste sensible aux a priori tout en assurant une exposition équilibrée aux classes.
- Inférence : Les prédictions utilisent les logits cosinus bruts ( $\ell_c(z) = s \cdot \hat{w}_c^\top z$ ) sans ajouter le terme de log-a priori utilisé pendant l'entraînement.

2.2 CBRM : Supervision de Frontière Diagnostique

Le CBRM est évalué pour tester si des sondes synthétiques près des frontières de décision peuvent améliorer les performances de la queue au-delà du BS-cRT.

Mécanisme : Il maintient des mémoires de prototypes de classes multiples. Pour un échantillon, il identifie la classe négative la plus difficile, construit une sonde dans l'espace des caractéristiques entre les prototypes positif et négatif, et épaissit cette sonde avec un bruit orthogonal.
Correction : Les auteurs ont identifié un mode de défaillance critique dans l'implémentation originale du CBRM : un décalage marge/échelle (margin/scale mismatch). La méthode originale appliquait une cible de marge cosinus à des logits mis à l'échelle, provoquant des gradients environ 30 fois plus grands que l'ancre du Balanced Softmax. La version corrigée calcule les violations directement dans l'espace de marge cosinus.
Analyse du Mode de Défaillance : Même avec la perte corrigée, le CBRM utilisant le minage du négatif le plus difficile (hardest-negative mining) ne parvient pas à s'améliorer par rapport au BS-cRT. L'analyse suggère que pour les échantillons de la queue, le « négatif le plus difficile » est souvent une classe de tête. Par conséquent, les sondes synthétiques deviennent ancrées sur les classes de tête, tirant les directions du classificateur de la queue vers les régions des classes de tête, annulant ainsi les bénéfices du réentraînement équilibré.

3. Contributions Clés

Évaluation par Checkpoint Apparié : Le papier fournit une évaluation rigoureuse du réentraînement du classificateur après le Balanced Softmax, isolant l'effet de la mise à jour de la seconde étape de l'apprentissage de la représentation en utilisant des checkpoints identiques de l'étape 1.
Démonstration du Biais Résiduel : Il démontre que même avec une perte forte sensible aux a priori dans l'étape 1, les directions du classificateur restent biaisées par le flux d'entraînement déséquilibré. Le réentraînement du classificateur sous une exposition équilibrée récupère systématiquement la précision de la queue.
Diagnostics CBRM : Le papier identifie et corrige une instabilité numérique dans les méthodes de sondage de frontière (décalage marge/échelle) et révèle un mode de défaillance géométrique où les sondes de négatifs les plus difficiles dans les contextes de longue traîne renforcent le biais de classe de tête plutôt que de l'atténuer.

4. Résultats Expérimentaux

La méthode a été évaluée sur CIFAR-100-LT, CIFAR-10-LT, ImageNet-LT et Places-LT à travers des facteurs de déséquilibre (IF) de 50, 100 et 200.

4.1 Gains de Performance

Le BS-cRT améliore systématiquement la précision Few-shot (Tail) par rapport au checkpoint Balanced Softmax apparié :

CIFAR-100-LT (IF=100) : La précision Few-shot a augmenté de +5,15 points (19,91 % $\to$ 25,06 %), avec une précision Top-1 préservée/améliorée (40,73 % $\to$ 41,07 %).
CIFAR-10-LT (IF=100) : La précision Few-shot a augmenté de +5,83 points (64,34 % $\to$ 70,17 %), avec une amélioration de la Top-1 de +2,17 points.
ImageNet-LT : La précision Few-shot a augmenté de +6,92 points (38,21 % $\to$ 45,13 %), bien que cela s'accompagne d'un compromis sur la Top-1 (-1,64 points).
Places-LT : La précision Few-shot a augmenté de +9,78 points (18,61 % $\to$ 28,39 %), avec une amélioration de la Top-1 de +0,74 point.

4.2 Résultats CBRM

CBRM Original : A causé une instabilité de l'entraînement (pics de perte) et un effondrement de la précision dû au décalage marge/échelle.
CBRM Corrigé (Hardest Negative) : A stabilisé l'entraînement mais a réduit la précision Few-shot d'environ 4 points par rapport au BS-cRT sur CIFAR-100-LT (25,06 % $\to$ 20,70 %).
Random Negative : Une variante diagnostique utilisant l'échantillonnage de négatifs aléatoires n'a pas montré le même déclin de la queue, soutenant l'hypothèse que le minage du négatif le plus difficile provoque un ancrage de classe de tête.

5. Signification et Revendications

Le papier positionne le BS-cRT non pas comme un remplacement des méthodes complexes d'apprentissage de représentation, mais comme une base de référence nécessaire et de faible complexité pour le domaine.

Implication Méthodologique : Les auteurs soutiennent que toute méthode de longue traîne revendiquant des améliorations de la queue (via des prototypes, l'apprentissage contrastif ou des données synthétiques) doit d'abord être comparée à une base de référence de réentraînement de classificateur par Balanced Softmax apparié. Sans ce contrôle, les gains attribués à des mécanismes complexes pourraient simplement être le résultat d'une ré-estimation du classificateur final sous une exposition équilibrée.
Utilité Pratique : Le BS-cRT offre un moyen facile à déployer d'améliorer la précision de la queue sans réentraîner le réseau dorsal ou ajouter des modules à l'inférence (surcharge de latence/mémoire). Il est particulièrement pertinent pour les scénarios où le réseau dorsal est fixe ou coûteux à réentraîner.
Insight sur la Supervision de Frontière : Le papier conclut que la supervision de frontière synthétique n'est pas automatiquement bénéfique. Dans les contextes de longue traîne, la sélection des ancres négatives est critique ; utiliser des négatifs « les plus difficiles » renforce souvent par inadvertance le biais même (la dominance des classes de tête) que le réentraînement vise à corriger.

En résumé, le papier affirme que le réentraînement du classificateur est un levier puissant et souvent négligé pour la reconnaissance à longue traîne, et que le BS-cRT sert de point de référence standard pour évaluer des interventions plus élaborées.