💬 NLP

LADDER: Language-Driven Slice Discovery and Error Rectification in Vision Classifiers

LADDER est un nouveau cadre qui exploite les grands modèles de langage pour découvrir des tranches d'erreurs cohérentes et pilotées par le langage et pour générer des pseudo-attributs pour une atténuation complète des biais dans les classifieurs de vision, surmontant ainsi les limites des méthodes traditionnelles de regroupement et basées sur les attributs en intégrant des connaissances de domaine et un raisonnement avancé sans nécessiter d'annotations explicites.

Auteurs originaux : Shantanu Ghosh, Rayan Syed, Chenyu Wang, Vaibhav Choudhary, Binxu Li, Clare B. Poynton, Shyam Visweswaran, Kayhan Batmanghelich

Publié 2026-08-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Shantanu Ghosh, Rayan Syed, Chenyu Wang, Vaibhav Choudhary, Binxu Li, Clare B. Poynton, Shyam Visweswaran, Kayhan Batmanghelich

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à reconnaître les animaux. Vous lui montrez des milliers d'images de chats et de chiens, et il devient très doué pour deviner. Mais ensuite, vous remarquez quelque chose de bizarre : le robot n'apprend pas réellement ce qu'est un chat. Au lieu de cela, il s'appuie sur des raccourcis. Il regarde l'arrière-plan. Si le chat est sur une pelouse verte, le robot se dit : « Pelouse verte ? Doit être un chat ! » Mais si vous lui montrez un chat sur un tapis rouge, il panique et devine « chien ». C'est ce qu'on appelle un « biais », et c'est un problème sournois en intelligence artificielle. Le robot s'appuie sur des raccourcis au lieu de faire le travail difficile de compréhension.

Pendant longtemps, les scientifiques ont essayé de corriger cela en créant une liste de contrôle géante de choses à rechercher, comme « y a-t-il de l'herbe ? » ou « y a-t-il un arbre ? ». Mais c'est comme essayer d'attraper un voleur en ne vérifiant que les chapeaux rouges ; et si le voleur portait un chapeau bleu ? Les anciennes méthodes étaient trop rigides. Elles ne pouvaient pas sortir du cadre et manquaient souvent les indices subtils qui faisaient échouer le robot. C'est là qu'une nouvelle idée intervient : et si nous pouvions simplement demander au robot : « Hé, pourquoi t'es-tu trompé ? » et lui faire expliquer son erreur en utilisant des mots ? C'est la grande question que cet article aborde.

Voici entré LADDER, un nouvel outil ingénieux qui agit comme un détective pour les erreurs de l'IA. Au lieu de forcer le robot à entrer dans une liste de contrôle préétablie, LADDER utilise un cerveau linguistique super intelligent (appelé Grand Modèle de Langage, ou LLM) pour comprendre pourquoi le robot échoue. Voyez cela de cette façon : si le robot est un élève passant un examen, les anciennes méthodes étaient comme un professeur qui vérifiait seulement si l'élève avait écrit la bonne réponse. LADDER est comme un professeur qui lit le brouillon de l'élève, voit qu'il était distrait par un oiseau passant devant la fenêtre, et dit : « Ah ! Tu n'as pas échoué parce que tu ne connais pas les mathématiques ; tu as échoué parce que tu regardais l'oiseau ! »

Voici comment LADDER opère sa magie. D'abord, il examine les images que le robot a réussies et celles qu'il a ratées. Il demande ensuite à un expert en langage (le LLM) de lire les descriptions ou les « légendes » de ces images. L'expert en langage est comme un détective avec une loupe, scrutant le texte à la recherche d'indices. Il pourrait dire : « Attendez une minute ! Chaque fois que le robot a réussi le diagnostic de "pneumothorax" (une affection pulmonaire), le rapport mentionnait un "tube de drainage thoracique". Mais quand il s'est trompé, le tube de drainage était absent ! » Le robot ne regardait pas le poumon ; il chertait simplement le tube.

Une fois que LADDER a repéré ces schémas sournois, il ne se contente pas de les signaler ; il les corrige. Il crée un nouvel ensemble de règles (appelées « pseudo-étiquettes ») pour apprendre au robot à ignorer les tubes de drainage et à réellement regarder les poumons. C'est comme dire à l'élève : « La prochaine fois, ignore l'oiseau et concentre-toi sur le problème de mathématiques. » L'article a testé cela sur toutes sortes de tâches complexes, de la détection d'oiseaux dans les forêts à la recherche de cancers dans des scanners médicaux. Ils l'ont testé sur plus de 200 cerveaux de robots différents et ont découvert que LADDER était bien meilleur pour trouver ces erreurs cachées que les anciennes méthodes de listes de contrôle.

Le meilleur dans tout cela ? LADDER n'a pas besoin qu'un humain écrive chaque chose qu'il devrait rechercher. Il le découvre de lui-même en lisant le texte qui accompagne les images. En fait, lorsqu'ils l'ont testé sur des images médicales, LADDER a trouvé des biais que même les anciennes méthodes avaient manqués, comme le fait que le robot soit confus par l'âge du patient ou par le type spécifique de machine utilisé pour prendre la radiographie. L'article suggère qu'en utilisant ce travail de détective piloté par le langage, nous pouvons rendre l'IA beaucoup plus juste et fiable, surtout dans des domaines importants comme la médecine où obtenir la bonne réponse est crucial. Ce n'est pas une baguette magique qui résout tout instantanément, mais c'est une nouvelle façon puissante d'écouter notre IA et de l'aider à apprendre les bonnes leçons.

Résumé Technique : LADDER – Découverte de Tranches par le Langage et Rectification d'Erreurs dans les Classificateurs de Vision

1. Énoncé du Problème

Les classificateurs de vision présentent souvent des défaillances systématiques sur des sous-ensembles de données spécifiques, appelés tranches d'erreurs (error slices), dues à des corrélations spécieuses (biais) apprises lors de l'entraînement. L'identification de ces tranches est cruciale pour améliorer la robustesse des modèles, particulièrement dans des domaines spécialisés comme la radiologie où les biais peuvent être subtils et spécifiques au domaine.

Les méthodes actuelles de découverte de tranches font face à trois limitations principales :

Banques d'Attributs Restreintes : Elles dépendent d'ensembles prédéfinis d'attributs ou de balises visuelles, ce qui limite leur capacité à découvrir des biais nouveaux ou complexes.
Manque de Raisonnement et de Connaissance du Domaine : Elles manquent souvent de bon sens ou de connaissances spécialisées du domaine (par exemple, la pathologie radiologique) nécessaires pour interpréter des schémas d'erreurs complexes.
Incapacité à Capturer les Biais de Prétraitement : Elles négligent généralement les biais introduits lors de la préparation ou du prétraitement des données (par exemple, les métadonnées, les en-têtes DICOM) qui ne sont pas présents dans les pixels bruts de l'image.

De plus, les stratégies de mitigation existantes nécessitent souvent des annotations de vérité terrain coûteuses pour les attributs de biais ou supposent une connaissance préalable du nombre et du type de biais, ce qui est rarement disponible dans les scénarios réels.

2. Méthodologie : LADDER

LADDER (Language-Driven Slice Discovery and Error Rectification) est un cadre qui exploite les capacités de raisonnement et les connaissances latentes du domaine des Grands Modèles de Langage (LLM) pour découvrir et atténuer automatiquement les tranches d'erreurs sans nécessiter d'annotations d'attributs explicites. La méthode opère en trois étapes principales :

A. Récupération de Phrases Indicatives de Biais

LADD('A. LADDER commence par analyser les activations internes d'un classificateur pré-entraîné $f$ .

Projection : Il apprend une fonction de projection $\pi$ pour aligner l'espace de représentation d'image du classificateur ( $\Phi$ ) avec un espace de Représentation Vision-Langage (VLR) ( $\Psi_I$ ), en utilisant des modèles comme CLIP ou des variantes spécifiques au domaine (ex. : CXR-CLIP).
Estimation de la Différence : Pour une classe spécifique, il calcule la différence ( $\Delta_I$ ) entre les moyennes des représentations projetées des échantillons correctement classés et des échantillons mal classés.
Récupération : Ce vecteur de différence est utilisé pour récupérer les $K$ meilleures phrases d'un corpus textuel (ex. : légendes d'images, rapports de radiologie ou journaux de métadonnées) qui sont les plus sémantiquement similaires au schéma d'erreur. Ces phrases décrivent les attributs visuels présents dans les prédictions correctes mais absents dans les erreurs.

B. Découverte de Tranches d'Erreur via LLM

Au lieu de s'appuyer sur un partitionnement (clustering) non supervisé, LADDER invoque un LLM pour analyser les phrases récupérées.

Génération d'Hypothèses : Le LLM génère un ensemble d'hypothèses testables ( $H$ ) concernant les biais potentiels (ex. : "Le classificateur repose sur la présence de tubes thoraciques").
Construction de Prompts : Pour chaque hypothèse, le LLM génère des prompts textuels spécifiques ( $T$ ) qui décrivent l'attribut dans divers contextes.
Identification de la Tranche : Le système calcule le score de similarité ( $s_H$ ) entre la représentation projetée d'une image et l'embedding moyen des prompts textuels spécifiques à l'hypothèse. Les images présentant des scores de similarité faibles (indiquant l'absence de l'attribut hypothéqué) sont signalées comme une tranche d'erreur potentielle. Si le taux d'erreur sur ce sous-ensemble est significativement plus élevé que l'erreur globale de la classe, elle est confirmée comme une tranche d'erreur.

C. Mitigation sans Annotation

LADDER atténue les biais sans étiquetage manuel :

Pseudo-Étiquetage : Il convertit les scores de similarité en probabilités pour assigner des pseudo-étiquettes (présence/absence du biais) aux données d'entraînement.
Fine-tuning d'Ensemble : Suivant l'approche de Deep Feature Re-weighting (DFR), il crée des ensembles de données équilibrés pour chaque hypothèse et affine la tête linéaire du classificateur.
Inférence : Lors de l'inférence, le système sélectionne la tête de classificateur débiaisée associée à l'hypothèse qui produit le score de similarité maximal pour l'image d'entrée, effectuant ainsi un ensemble de plusieurs modèles débiaisés.

3. Principales Contributions

Le papier présente cinq contributions majeures :

Découverte Pilotée par le Langage : Utilisation du langage naturel (légendes, rapports) pour récupérer des phrases indicatives d'erreurs, capturant des informations au-delà de la simple présence/absence d'attributs.
Raisonnement par LLM et Connaissance du Domaine : Exploitation des LLM pour générer des hypothèses et appliquer des connaissances latentes du domaine (ex. : identifier des sous-types de maladies spécifiques ou des schémas pathologiques) pour détecter des biais nuancés que les modèles de marquage (tagging) manquent.
Agnosticisme du Modèle : Capacité de détecter des tranches à partir de n'importe quel modèle supervisé prêt à l'emploi, indépendamment de l'architecture ou de la stratégie de pré-entraînement, surmontant les exigences d'entraînement spécifiques de méthodes telles que Facts ou DrML.
Au-delà des Légendes : Extension de la détection de biais aux métadonnées (ex. : dossiers de santé électroniques, en-têtes DICOM) en convertissant les données structurées en texte pour l'analyse par LLM.
Mitigation sans Annotation : Atténuation de multiples biais simultanément en générant des pseudo-étiquettes et en effectuant un fine-tuning, ne nécessitant aucune connaissance préalable du nombre ou du type de biais.

4. Résultats Expérimentaux

Les auteurs ont évalué LADDER sur 6 jeux de données (3 images naturelles : Waterbirds, CelebA, MetaShift ; 3 imagerie médicale : NIH Chest-X-ray, RSNA-Mammo, VinDr-Mammo) en utilisant plus de 200 classificateurs et 4 LLM différents.

Découverte de Tranches : LADDER a nettement surpassé les bases de référence (Domino, Facts) en Précision@10, montrant une amélioration substantielle de 50 % sur les jeux de données d'imagerie médicale. Il a identifié avec succès des biais de vérité terrain tels que les "tubes thoraciques" dans la détection de pneumothorax et les "plans d'eau" dans la classification d'oiseaux.
Mitigation de Biais : En termes de Précision sur le Pire Groupe (Worst Group Accuracy - WGA), LADDER a systématiquement surpassé les bases de référence de mitigation de pointe (GroupDRO, JTT, DFR, etc.).
- Sur Waterbirds, il a atteint une WGA de 91,4 % (amélioration de 3,6 % par rapport à DFR).
- Sur RSNA-Mammo, il a atteint 76,4 % (amélioration de 7,3 %).
- Sur VinDr-Mammo, il a atteint 82,5 % (amélioration de 21,1 %).
- Sur NIH, il a surpassé JTT et DFR de 8,2 % et 7,4 %, respectivement.
Robustesse : La méthode a démontré une performance constante à travers différentes architectures (ResNet, ViT) et stratégies de pré-entraînement (Supervisé, Auto-supervisé, CLIP).
Amélioration Zero-Shot : Les attributs extraits par LADDER ont été utilisés pour construire des prompts qui ont amélioré la précision zero-shot des modèles basés sur CLIP, avec des gains allant jusqu'à +19,05 % sur le jeu de données NIH.

5. Signification et Revendications

Le papier affirme que LADDER comble une lacune critique dans le domaine : le besoin d'une méthode automatisée pour découvrir et atténuer de multiples biais sans connaissance préalable ou annotations coûteuses.

Généralisabilité : Contrairement aux méthodes antérieures limitées à des configurations d'entraînement spécifiques ou à des modèles multimodaux, LADDER fonctionne sur des classificateurs standards entraînés par ERM.
Adaptabilité au Domaine : En utilisant des LLM, le cadre peut raisonner sur des biais complexes et spécifiques au domaine (ex. : découvertes radiologiques) qui sont difficiles à capturer avec des ensembles d'attributs fixes.
Praticité : L'approche est rentable (coût total des LLM pour les expériences : environ 28 $) et élimine le goulot d'étranglement de l'annotation manuelle des attributs.

Les auteurs concluent que LADDER offre une approche scalable et généralisable pour découvrir et traiter les biais systématiques, améliorant potentiellement la fiabilité et l'équité des modèles d'IA tant dans la vision par ordinateur générale que dans les applications médicales critiques. Ils reconnaissent des limites, telles qu'une dépendance actuelle aux légendes pour la découverte (bien qu'ils proposent les modèles ajustés par instruction comme solution de contournement) et le potentiel de biais inhérents aux LLM fondamentaux utilisés.