🤖 AI

Triple Expert Learning from Noisy Labels for Semi-Supervised Vision Foundation Model Adaptation

Cet article propose TriNoL, un cadre d'adaptation semi-supervisée pour les modèles de fondation de vision qui améliore la robustesse aux pseudo-étiquettes bruitées en acheminant les échantillons non étiquetés dans trois régions basées sur la confiance et en entraînant des experts LoRA spécialisés pour les signaux positifs, d'alignement et négatifs tout en maintenant le backbone gelé.

Auteurs originaux : Xuanyu Liu, Zheng Fang, Hongyang He, Yundi Hong, Daizong Liu

Publié 2026-08-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xuanyu Liu, Zheng Fang, Hongyang He, Yundi Hong, Daizong Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent à reconnaître des animaux. Vous avez quelques photos avec des noms parfaits écrits dessus, mais vous avez aussi une pile massive de photos sans aucun nom. Pour apprendre au robot, vous lui demandez de deviner les noms des photos non étiquetées. S'il devine avec assurance, vous notez son devinement et l'utilisez comme « enseignant » pour le tour suivant. C'est le monde de l'Apprentissage Semi-Supervisé, une astuce ingénieuse en informatique qui permet d'apprendre à partir de vastes quantités de données non étiquetées.

Mais voici le hic : le robot n'est pas parfait. Parfois, il devine avec assurance mais se trompe totalement. Ces mauvaises réponses sont appelées « étiquettes bruitées ». Si vous laissez simplement le robot apprendre de tous ses devinements, il pourrait commencer à croire ses propres erreurs, s'embrouiller et apprendre les mauvaises choses. C'est particulièrement délicat lorsqu'on utilise des Modèles de Fondation de Vision — ce sont des cerveaux d'IA géants, pré-entraînés, qui connaissent déjà beaucoup de choses sur le monde. Nous ne voulons pas réentraîner tout le cerveau (c'est trop lourd et coûteux) ; nous voulons juste ajouter un petit « adaptateur » léger pour l'aider à apprendre notre tâche spécifique. La grande question est : comment enseigner à cet adaptateur quand les « enseignants » (les devinements du robot) sont un mélange de génies, d'étudiants confus et de menteurs purs et simples ?

C'est exactement le problème abordé par une nouvelle méthode appelée TriNoL (Triple-expert learning from Noisy Labels). Les chercheurs ont réalisé que traiter toutes les photos non étiquetées de la même manière est une erreur. Un seul et minuscule adaptateur essayant d'apprendre à partir d'un mélange de devinements parfaits, de devinements hésitants et de devinements délirants finit par être confus. C'est comme essayer d'apprendre à un seul étudiant à être un génie des mathématiques, un écrivain créatif et un inspecteur de sécurité à la fois, en utilisant un tas désordonné d'instructions. Les instructions pour les mathématiques pourraient contredire les instructions pour la sécurité, et l'étudiant finit par ne rien apprendre de bon.

Pour corriger cela, les auteurs proposent de diviser le travail d'apprentissage en trois « experts » spécialisés, chacun possédant son propre petit adaptateur. Ils trient les photos non étiquetées en trois groupes basés sur la confiance avec laquelle le robot effectue son devinement :

L'Expert Positif (Les Génies à Haute Confiance) : Cet expert ne regarde que les photos où le robot est extrêmement sûr de lui (comme à 95 % de confiance). Ces devinements sont généralement corrects, donc cet expert apprend dur et vite, affinant la capacité du robot à distinguer un chat d'un chien.
L'Expert d'Alignement (Le Milieu Confus) : Cet expert gère les photos où le robot est « moyen » (peut-être entre 50 et 70 % de confiance). Ce sont les cas délicats situés aux limites des catégories. Au lieu de forcer un choix tranché, cet expert pousse doucement le robot vers la cohérence, l'aidant à comprendre les zones floues entre les catégories sans le forcer à commettre une erreur.
L'Expert Négatif (Le Filet de Sécurité contre les Menteurs) : Cet expert s'occupe des photos où le robot devine à peine (faible confiance). Au lieu de les ignorer ou d'essayer de les forcer à être corrects, cet expert apprend à éviter les mauvaises réponses. Il agit comme un filtre, s'assurant que le robot ne soit pas trompé par ses propres devinements délirants.

Les chercheurs suggèrent qu'en séparant ces trois groupes en trois « voies d'apprentissage » différentes, le système devient beaucoup plus robuste. La voie « Positive » reste propre et forte car elle n'est pas polluée par les devinements bruités. La voie d'« Alignement » aide le robot à comprendre les zones grises, et la voie « Négative » protège le système contre l'égarement.

Les chercheurs ont testé cette idée sur plusieurs ensembles de données, incluant des images de nourriture, d'oiseaux et d'objets généraux. Ils ont constaté que TriNoL fonctionne particulièrement bien lorsqu'il y a très peu d'exemples étiquetés et que les données non étiquetées sont désordonnées. Par exemple, sur un ensemble de données alimentaires avec seulement quelques images étiquetées, TriNoL a amélioré la précision d'environ 87,58 % à 88,42 %, surpassant les autres méthodes. Ils ont également montré que cette amélioration n'est pas simplement due au fait d'avoir rendu le système plus grand ; même lorsqu'ils ont comparé TriNoL à un adaptateur unique, beaucoup plus grand, avec la même puissance de calcul, TriNoL a quand même gagné. Cela suggère que la recette secrète n'est pas seulement d'avoir plus de puissance cérébrale, mais d'avoir le bon type d'organisation.

Cependant, les auteurs précisent avec prudence que ce n'est pas un remède miracle pour toutes les situations. Dans les cas où il y a beaucoup d'images étiquetées ou si les données sont déjà très propres, l'avantage d'avoir trois experts diminue. Ils admettent également que si les scores de confiance initiaux du robot sont complètement erronés (mal calibrés), le système de tri pourrait s'embrouiller. Mais pour le défi spécifique de l'adaptation de modèles d'IA puissants avec des données limitées et des devinements bruités, cette approche par « triple expert » offre une manière structurée et prometteuse de maintenir l'apprentissage sur la bonne voie.

Résumé technique : TriNoL – Apprentissage par triple expert à partir d'étiquettes bruitées pour l'adaptation semi-supervisée de VFM

1. Énoncé du problème

L'article traite du défi de l'adaptation des modèles de vision fondationnels (VFM), tels que CLIP et les encodeurs de la série DINO, dans des contextes d'apprentissage semi-supervisé (SSL) où les données étiquetées sont rares et où les données non étiquetées reposent sur des pseudo-étiquettes. Bien que les VFM fournissent des représentations pré-entraînées robustes, leur adaptation implique généralement le gel du backbone et la mise à jour de modules de réglage fin efficace en paramètres (PEFT) légers, tels que LoRA (Low-Rank Adaptation).

Le problème central identifié est la sensibilité d'un adaptateur LoRA unique aux pseudo-étiquettes bruitées. Dans le SSL standard, les pseudo-étiquettes présentent une fiabilité mixte : les étiquettes à haute confiance sont souvent correctes, celles à confiance moyenne sont ambiguës (proches des frontières de décision) et celles à faible confiance sont fréquemment bruitées. Les méthodes existantes traitent généralement la confiance des pseudo-étiquettes comme un poids scalaire ou un filtre binaire (sélectionnant les échantillons à haute confiance et rejetant les autres). Cependant, les auteurs soutiennent que la compression des gradients de ces trois régions de fiabilité distinctes dans un espace de mise à jour de bas rang unique provoque une interférence de gradient. Les gradients fiables, les gradients ambigus et les gradients bruités entrent en compétition au sein du même adaptateur, ce qui peut fausser la direction de l'adaptation et renforcer les frontières de décision incorrectes (biais de confirmation).

2. Méthodologie : TriNoL

Les auteurs proposent TriNoL (Triple-expert learning from Noisy Labels), un cadre qui décompose la supervision par pseudo-étiquette en trois régions basées sur la confiance, chacune gérée par un expert LoRA spécialisé.

2.1 Architecture

Backbone gelé : Le backbone pré-entraîné ( $\psi$ ) reste gelé.
Triple expert LoRA : Au lieu d'un seul adaptateur, TriNoL emploie trois branches LoRA indépendantes ( $\theta^+$ $θ^{+}$ , $\theta^a$ $θ^{a}$ , $\theta^-$ $θ^{-}$ ) insérées dans les projections linéaires gelées :
1. Expert Positif ( $e^+$ ) : Gère les pseudo-étiquettes à haute confiance.
2. Expert d'Alignement ( $e^a$ ) : Gère les pseudo-étiquettes à confiance moyenne (ambiguës).
3. Expert Négatif ( $e^-$ ) : Gère les pseudo-étiquettes à faible confiance (bruitées).
Tête de classification : Une tête de classification partagée ( $C_\omega$ ) est mise à jour parallèlement aux experts.

2.2 Routage basé sur la confiance

Pendant l'entraînement, les échantillons non étiquetés sont traités via une vue faiblement augmentée pour générer des pseudo-étiquettes et des scores de confiance ( $q_i$ ). Deux seuils, $\tau^-$ et $\tau^+$ , partitionnent le lot non étiqueté $B_u$ en trois ensembles :

Haute Confiance ( $B_u^+$ ) : $q_i \ge \tau^+$ . Dirigé vers l'Expert Positif.
Confiance Moyenne ( $B_u^a$ ) : $\tau^- \le q_i < \tau^+$ . Dirigé vers l'Expert d'Alignement.
Faible Confiance ( $B_u^-$ ) : $q_i < \tau^-$ . Dirigé vers l'Expert Négatif.

2.3 Objectifs d'apprentissage spécifiques aux experts

Chaque expert est optimisé avec une fonction de perte distincte adaptée à la fiabilité des échantillons qui lui sont assignés :

Perte Positive ( $L_{pos}$ ) : Utilise une supervision par pseudo-étiquette stricte (Cross-Entropy) sur les échantillons à haute confiance pour renforcer l'adaptation discriminative.
Perte d'Alignement ( $L_{align}$ ) : Utilise un alignement doux (divergence de Kullback-Leibler) pour les échantillons à confiance moyenne. Elle fait correspondre la prédiction de la vue forte de l'Expert d'Alignement à la probabilité de la vue faible détachée ( $sg(p_i^w)$ ). Cela évite d'imposer des décisions strictes sur des échantillons ambigus tout en préservant l'information de frontière.
Perte Négative ( $L_{neg}$ ) : Conçue pour supprimer le sur-engagement envers les étiquettes peu fiables. Au lieu de traiter les pseudo-étiquettes à faible confiance comme des cibles, cette perte pénalise l'Expert Négatif pour avoir assigné une probabilité élevée à la pseudo-étiquette actuelle dominante. Cela empêche les signaux bruités de dominer la mise à jour sans supposer que tous les échantillons à faible confiance sont strictement faux.

L'objectif total est une somme pondérée : $L = L_{sup} + \lambda_{pos}L_{pos} + \lambda_{align}L_{align} + \lambda_{neg}L_{neg}$ .

2.4 Inférence

Au moment de l'inférence, seul l'Expert Positif est utilisé, car il est entraîné sur des étiquettes de vérité terrain et des pseudo-étiquettes fiables. Les autres experts servent à régulariser le processus d'entraînement.

3. Analyse théorique

L'article fournit une justification théorique de l'approche :

Interférence de Gradient : Un adaptateur unique est mis à jour sur la base d'un gradient mixte $G_{single} = G^+ + G^a + G^-$ . L'écart par rapport à la mise à jour fiable idéale ( $G^+$ ) est proportionnel à l'amplitude des gradients ambigus et bruités.
Réduction de la Contamination : En routant les échantillons, TriNoL garantit que l'Expert Positif reçoit un gradient $G^+_{TriNoL}$ avec une contamination nettement moindre provenant de $G^a$ et $G^-$ , conduisant à un écart plus faible par rapport à la cible fiable.
Stabilité du Sous-espace : Dans le contexte de l'approximation de bas rang, séparer le signal "propre" ( $S$ ) du bruit ( $E$ ) et de l'ambiguïté ( $A$ ) permet à l'Expert Positif d'approcher une matrice cible plus propre, résultant en un sous-espace de bas rang plus proche de la direction optimale réelle par rapport à un adaptateur unique entraîné sur la matrice contaminée.
Stabilité de l'Optimisation : La réduction du biais dans le gradient de l'Expert Positif conduit à un rayon de biais à l'état stationnaire plus petit dans l'optimisation locale, améliorant la stabilité de la convergence.

4. Résultats Expérimentaux

TriNoL a été évalué sur CIFAR-100, FOOD-101, Semi-Aves et ImageNet sous diverses configurations semi-supervisées (variations des ratios de données étiquetées et des niveaux de bruit).

Performance : TriNoL atteint des résultats de pointe dans les contextes à faible nombre d'étiquettes et à haut niveau de bruit. Les améliorations notables incluent :
- FOOD-101 (N2) : 88,42 % contre 87,58 % (V-PET) et 87,27 % (FineSSL).
- Semi-Aves (Mixed OOD) : 61,82 % contre 61,30 % (FineSSL).
- CIFAR-100 (N4) : 80,92 % contre 80,66 % (FineSSL).
Efficacité : TriNoL utilise trois experts LoRA de rang 8 (totalisant environ 0,96 M de paramètres), ce qui est comparable à un seul adaptateur LoRA de rang 24. Malgré des nombres de paramètres et des coûts computationnels similaires, TriNoL surpasse l'adaptateur unique de rang équivalent (88,42 % contre 87,73 % sur FOOD-101 N2), démontant que le gain provient de la spécialisation des experts plutôt que de l'augmentation de la capacité.
Études d'Ablation :
- Le retrait de l'un des trois experts dégrade les performances, confirmant leurs rôles complémentaires.
- Remplacer le routage basé sur la confiance par un routage aléatoire ou des fonctions de perte partagées donne des résultats inférieurs, validant la nécessité tant du routage que des objectifs spécialisés.
- L'analyse de sensibilité indique une performance optimale avec des seuils $(\tau^-, \tau^+) = (0,3, 0,7)$ et des poids de perte spécifiques.

5. Signification et Revendications

L'article affirme que TriNoL propose un changement significatif dans la manière dont l'adaptation des VFM semi-supervisée gère le bruit des pseudo-étiquettes. Ses principales contributions sont :

Identification d'une limitation : Il met en évidence que la compression des gradients de pseudo-étiquettes à fiabilité mixte dans un espace de bas rang unique est une faiblesse fondamentale des méthodes actuelles de PEFT-based SSL.
Routage conscient de la confiance : Il propose que la fiabilité des pseudo-étiquettes devrait contrôler le chemin d'adaptation, et pas seulement le poids de la perte. En assignant les échantillons fiables, ambigus et peu fiables à des experts spécialisés, la méthode réduit l'interférence de gradient.
Robustesse à faible coût : TriNoL améliore la robustesse à la supervision bruitée tout en maintenant l'efficacité de l'adaptation avec backbone gelé, ce qui le rend adapté aux scénarios à ressources limitées avec peu d'étiquettes.

Les auteurs reconnaissent des limites, notant que la méthode repose sur le routage basé sur la confiance (qui peut être affecté par le décalage de calibration ou de domaine) et qu'elle se concentre actuellement sur la classification d'images. Des travaux futurs sont suggérés pour les prédictions denses et les tâches multimodales.