Learning from Imperfect Text Guidance: Robust Long-Tail Visual Recognition with High-Noise Label

Résumé Technique : Apprentissage à partir de Guides Textuels Imperfaits pour la Reconnaissance Visuelle Robuste en Longue Traîne avec des Étiquettes à Fort Bruit

1. Problématique (Le Problème)

Le papier s'attaque au défi complexe de l'apprentissage en présence de données présentant simultanément deux limitations majeures :

• La distribution en longue traîne (Long-Tail) : Un déséquilibre sévère où quelques classes dominantes (head classes) possèdent la majorité des échantillons, tandis que de nombreuses classes minoritaires (tail classes) sont sous-représentées.
• Le bruit d'étiquetage élevé (High-Noise Labels) : Des erreurs d'annotation fréquentes qui introduisent des signaux de supervision erronés.

Les méthodes existantes échouent souvent dans les scénarios de fort bruit, car les étiquettes observées deviennent si peu fiables qu'elles faussent la représentation des caractéristiques (features) et masquent la distinction entre les échantillons bruités et les classes de la "traîne".

2. Méthodologie (WTS : Weak Teacher Supervision)

Les auteurs proposent une approche innovante appelée Weak Teacher Supervision (WTS). L'idée centrale est que, bien que l'étiquette observée puisse être incorrecte, elle contient toujours une information sémantique (le nom de la catégorie). Ils utilisent donc l'information textuelle auxiliaire pour corriger les incohérences entre l'image et l'étiquette.

Les composantes clés sont :

• Utilisation des VLM (Modèles Vision-Langage) : Ils exploitent les encodeurs de texte de modèles pré-entraînés comme CLIP. En calculant la similarité entre l'encodage de l'image et les encodages textuels des étiquettes, ils obtiennent des prédictions basées sur le texte ($P_t$).
• Le concept de "Weak Teacher" (Maître Faible) : L'encodeur de texte de CLIP est considéré comme un "maître faible" car, bien que sa précision soit inférieure à celle d'un modèle spécialisé, il est robuste au bruit d'étiquetage et aux biais de distribution, car il ne dépend que de la sémantique linguistique.
• Supervision par Divergence KL : Au lieu d'utiliser uniquement des étiquettes discrètes (one-hot), ils minimisent la divergence de Kullback-Leibler (KL) entre la distribution de probabilité prédite par l'image (l'étudiant fort) et celle prédite par le texte (le maître faible).
• Mécanisme de Commutation (Supervision Switch) : Pour éviter que le "maître faible" n'introduise de nouvelles erreurs, ils utilisent un ratio de chevauchement (Overlap Ratio - OR). Si le texte et l'étiquette observée concordent fortement, la supervision textuelle est désactivée. Si la divergence est élevée (indiquant un bruit probable), la supervision textuelle est activée via une distribution Beta pour intégrer le signal du maître.

3. Contributions Clés

1. Preuve empirique de l'utilité des encodeurs de texte : Démontrer qu'un encodeur de texte pré-entraîné, même imparfait, peut stabiliser l'apprentissage en présence de bruit massif.
2. Stratégie WTS simple et intégrable : Une méthode qui peut être ajoutée à n'importe quelle méthode existante de gestion de la longue traîne (comme Logit Adjustment ou LDAM) sans changer l'architecture de base.
3. Correction de la distribution : Une approche qui est intrinsèquement résistante aux biais de distribution des classes, aidant ainsi à mieux représenter les classes de la traîne.

4. Résultats Expérimentaux

Les tests ont été effectués sur des jeux de données synthétiques (CIFAR-10/100 avec bruit asymétrique/symétrique/joint) et réels (mini-ImageNet, WebVision-50).

• Performance en haute intensité de bruit : Dans des conditions extrêmes (ex: CIFAR-100 avec un ratio de bruit de 0,6), WTS surpasse largement les méthodes de pointe (SOTA) comme TABASCO ou ECBS.
• Amélioration de la précision : Par exemple, sur CIFAR-10 avec un facteur de déséquilibre de 100 et un bruit de 0,6, l'ajout de WTS à la méthode CLIP+LA augmente la précision de manière significative (passant de 63,1% à 74,7% dans certains tests).
• Robustesse multi-classes : Les résultats montrent que WTS améliore la précision de toutes les classes (tête, médiane et traîne), contrairement aux méthodes classiques qui sacrifient souvent les classes de tête pour sauver la traîne.

5. Signification et Impact

Cette recherche est significative car elle change le paradigme de la correction des erreurs : au lieu de chercher uniquement à "nettoyer" les étiquettes par des méthodes statistiques basées sur la perte (loss), elle utilise la connaissance sémantique multimodale pour guider le modèle. Cela ouvre la voie à des systèmes de vision plus robustes capables d'apprendre efficacement à partir de données du monde réel qui sont massivement mal annotées et déséquilibrées.