🤖 machine learning

Mitigating Spurious Correlations with Memorization-Guided Dataset De-Biasing

Cet article propose une fonction de notation d'échantillons en deux étapes qui démêle la dynamique d'apprentissage des caractéristiques centrales et fallacieuses afin d'identifier et de prioriser les sous-ensembles de données informatifs, permettant aux modèles standards d'atteindre une performance de débiaisage supérieure avec seulement 10 % des données d'entraînement originales sans nécessiter d'étiquettes de groupe.

Auteurs originaux : Arda Fazla, Abolfazl Hashemi

Publié 2026-06-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arda Fazla, Abolfazl Hashemi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le « Code de Triche » de l'IA

Imaginez que vous apprenez à un enfant à identifier les oiseaux. Vous lui montrez 100 photos.

90 photos montrent des pics perchés sur des arbres.
10 photos montrent des pics sur de l'eau (peut-être qu'ils pêchent).

Si vous demandez à l'enfant : « Quel est cet oiseau ? » en pointant un pic sur un arbre, il dira probablement « Pic ». Mais voici le piège : l'enfant ne regarde pas réellement le bec ou les plumes de l'oiseau (les caractéristiques fondamentales). Il regarde l'arbre (la caractéristique fallacieuse).

Parce que l'arbre apparaît dans 90 % des photos de pics, l'enfant apprend un « code de triche » : Si je vois un arbre, c'est un pic.

Maintenant, montrez à l'enfant une photo d'un pic sur un lac. Parce que l'enfant s'appuie sur son « code de triche de l'arbre », il est confus et pourrait dire : « Ce n'est pas un pic ! » ou deviner le mauvais oiseau.

Dans le monde de l'IA, c'est ce qu'on appelle une corrélation fallacieuse (ou spurious correlation). L'IA apprend le motif facile et évident (l'arrière-plan) au lieu du motif difficile et important (l'objet réel). Cela conduit l'IA à échouer lorsqu'elle rencontre quelque chose qui brise le motif (comme un oiseau sur l'eau).

L'Ancienne Solution vs Le Nouveau Problème

Les chercheurs ont essayé de corriger cela en jetant les photos « faciles » pour ne garder que les photos « difficiles » (les oiseaux sur l'eau) afin de forcer l'IA à apprendre les vraies caractéristiques.

Cependant, il y a un hic : pour faire cela, vous devez normalement savoir quelles photos sont « difficiles » et lesquelles sont « faciles ». Cela nécessite qu'un humain étiquette chaque photo avec un tag secret (par exemple : « Ceci est un oiseau sur l'eau »). Dans le monde réel, nous avons rarement ces étiquettes.

De plus, l'article soutient que les outils que nous utilisons habituellement pour trouver les photos « difficiles » sont défaillants. Ils regardent les erreurs de l'IA et disent : « Cette photo est difficile parce que l'IA s'est trompée ». Mais si l'IA triche déjà en utilisant l'arrière-plan, elle se trompera sur les photos « faciles » (oiseaux sur arbres) uniquement si l'arrière-plan est absent, et réussira les photos « difficiles » par accident. Les anciens outils sont confus et choisissent les mauvaises photos à conserver.

La Nouvelle Solution : Le « Détective en Deux Étapes »

Les auteurs proposent une nouvelle méthode appelée TCSL-CS. Voyez cela comme un processus de détective en deux étapes qui n'a pas besoin d'étiquettes humaines pour trouver les « tricheurs ».

Étape 1 : Le « Détective des Biais » (Entraînement du modèle fallacieux)

D'abord, ils entraînent un modèle d'IA spécial conçu pour être mauvais pour regarder l'oiseau mais excellent pour regarder l'arrière-plan.

Ils entraînent ce modèle, mais ils lui donnent une récompense spéciale : « Si tu trouves la bonne réponse en regardant simplement l'arrière-plan, tu gagnes un point bonus. »
Cela force le modèle à apprendre le « code de triche » (l'arrière-plan) le plus rapidement possible.
Une fois ce modèle entraîné, ils examinent les photos. Si le « Détective des Biais » est très confiant sur une photo, cela signifie que la photo possède un motif d'arrière-plan fort et évident. Si le détective est confus, cela signifie que l'arrière-plan est complexe ou absent.

Étape 2 : Le « Détective de la Vérité » (Entraînement du modèle central)

Ensuite, ils entraînent un second modèle pour apprendre les vraies caractéristiques de l'oiseau.

Voici la partie ingénieuse : ils disent à ce second modèle : « Ignore l'arrière-plan. En fait, nous savons déjà à quoi ressemble l'arrière-plan (via l'Étape 1), donc nous allons soustraire cette connaissance de votre tâche. »
Cela force le second modèle à se concentrer entièrement sur le bec et les plumes de l'oiseau, car le « bruit » de l'arrière-plan a été annulé.

Étape 3 : Le Tableau de Score (TCSL)

Maintenant, les auteurs ont deux scores pour chaque photo :

Score Fallacieux (Spurious Score) : À quel point la photo dépendait-elle de l'arrière-plan ? (Issu de l'Étape 1).
Score Central (Core Score) : À quel point était-il difficile d'identifier l'oiseau une fois l'arrière-plan ignoré ? (Issu de l'Étape 2).

Ils utilisent ces scores pour construire un nouvel ensemble de données plus petit (un Coreset). Ils choisissent les photos qui :

Ont des Scores Fallacieux bas (signifiant que l'arrière-plan n'est pas un code de triche).
Ont des Scores Centraux élevés (signifiant que l'oiseau est réellement difficile à identifier, donc l'IA doit bien l'apprendre).

Le Résultat : Un Jeu de Données Plus Petit et Plus Intelligent

Les auteurs ont testé cela sur plusieurs ensembles de données (comme identifier des oiseaux sur terre vs sur l'eau, ou des chats vs des chiens dans différents environnements).

La Magie : Ils ont été capables de jeter 90 % des données d'origine.
Le Résultat : Ils ont pris les 10 % de « meilleures » photos restantes (sélectionnées par leur Détective en deux étapes) et ont entraîné une IA standard sur celles-ci.
La Victoire : Ce minuscule jeu de données, soigneusement sélectionné, a permis à l'IA d'être plus performante que des méthodes d'IA complexes et coûteuses qui nécessitent des étiquettes humaines. L'IA a cessé de tricher avec les arrière-plans et a commencé à réellement reconnaître les objets, même dans des situations difficiles.

Analogie de Synthèse

Imaginez que vous préparez un examen d'histoire.

L'Ancienne Méthode : Vous étudiez chaque page du manuel. Vous mémorisez que « la page 50 a une image de drapeau rouge », alors vous devinez « Drapeau Rouge » pour chaque question. Vous échouez quand la question porte sur un drapeau bleu.
La Méthode du Papier : Vous engagez un tuteur qui vous apprend d'abord à repérer l'astuce du « Drapeau Rouge » (Étape 1). Ensuite, le tuteur vous dit : « Maintenant, ignorez les drapeaux et étudiez les dates et les noms réels » (Étape 2).
Le Résultat : Le tuteur vous donne une fiche de révision avec seulement les 10 questions les plus importantes et les plus difficiles (Étape 3). Vous étudiez juste ces 10 questions, et vous réussissez votre examen avec brio, en connaissant la vraie histoire, et non pas seulement les images.

L'article affirme qu'en utilisant cette approche en « deux étapes » pour sélectionner les 10 % de données les plus pertinentes, vous pouvez construire une IA robuste sans avoir besoin d'étiquettes secrètes ou de calculs mathématiques complexes.

Résumé Technique : Atténuer les corrélations spécieuses par la sélection de coreset guidée par la mémorisation

Énoncé du Problème

Les jeux de données du monde réel contiennent fréquemment des corrélations spécieuses — des caractéristiques qui sont hautement cohérentes au sein d'une classe mais qui ne sont pas causalement liées à l'étiquette cible. Les modèles de deep learning entraînés via la minimisation du risque empirique (ERM) présentent souvent un biais de simplicité, apprenant ces caractéristiques spécieuses plus simples avant de capturer les caractéristiques centrales complexes. Cela conduit à une faible précision du pire groupe (WGA) sur les données de test où les corrélations spécieuses ne se vérifient pas, particulièrement pour les groupes minoritaires où l'attribut spécieux est en désaccord avec l'étiquette.

Alors que les approches existantes pour atténuer ce biais s'écartent souvent de l'ERM standard en employant des techniques d'optimisation complexes ou en nécessitant l'accès aux étiquettes de groupe (attributs spécieux), il existe un besoin pour des méthodes capables de réduire la dépendance aux corrélations spécieuses tout en conservant l'entraînement ERM standard. Une solution potentielle réside dans la sélection de coreset — la construction de sous-ensembles de haute qualité qui représentent l'intégralité de la distribution d'entraînement. Cependant, l'article soutient que les fonctions de score d'échantillonnage largement utilisées (par exemple, EL2N, SelfSup) et les algorithmes de sélection de coreset échouent dans ce contexte. En raison du biais de simplicité, ces fonctions de score sont dominées par les caractéristiques spécieuses, classant erronément les échantillons avec de fortes corrélations spécieuses comme « faciles » et les échantillons sans celles-ci comme « difficiles ». Par conséquent, les stratégies de sélection standard échouent à prioriser les caractéristiques centrales difficiles nécessaires à la robustesse des groupes.

Méthodologie

Les auteurs proposent le TCSL-CS (Two-Stage Cumulative Sample Loss-guided Coreset Selection), un cadre conçu pour désintriquer la dynamique d'apprentissage des caractéristiques centrales et spécieuses sans nécessiter d'étiquettes de groupe.

1. Fondement Théorique

L'article fournit une analyse théorique sous le régime du noyau tangent neural (NTK) et un modèle de covariance à pics (spiked covariance model). Il démontre que sous la condition de biais de simplicité ( $\beta_s(2\alpha - 1) > \beta_c$ , où $\beta$ représente la force des caractéristiques et $\alpha$ la fraction du groupe majoritaire), les caractéristiques spécieuses sont apprises nettement plus rapidement que les caractéristiques centrales durant les premières étapes de l'entraînement. Cet apprentissage rapide fait que les pertes d'échantillons (et donc les scores standards) sont dominées par l'attribut spécieux, les rendant inefficaces pour identifier les échantillons présentant des caractéristiques centrales difficiles.

2. Entraînement de Modèle en Deux Étapes

Pour découpler ces dynamiques, les auteurs introduisent un schéma d'entraînement en deux étapes (Algorithme 1) :

Étape 1 (Modèle Spécieux, $f_s$ ) : Un modèle biaisé est entraîné pour apprendre uniquement les caractéristiques spécieuses. Cela est réalisé en surpondérant les échantillons ayant la perte la plus faible à chaque époque, amplifiant ainsi l'apprentissage des échantillons où l'attribut spécieux est aligné avec l'étiquette ( $a=y$ ).
Étape 2 (Modèle Central, $f_c$ ) : Les poids de $f_s$ sont gelés. Un modèle central est entraîné en utilisant une fonction de perte modifiée qui incorpore le logit du modèle spécieux comme un mécanisme de rétroaction négative :
$L(B_t, W^c_t) = \sum_{i \in B_t} \lambda_i \ell\left(y_i, f_c(x_i; W^c_t) + \log(f_s(x_i))\right)$
Cela pousse $f_c$ à apprendre les caractéristiques centrales en compensant les prédictions du modèle biaisé.

3. Perte d'Échantillon Cumulative en Deux Étapes (TCSL)

Sur la base des modèles entraînés, les auteurs définissent une nouvelle métrique de score, le TCSL, qui se compose de deux composantes :

$TCSL_s(x)$ : La perte cumulative du modèle spécieux $f_s$ . Des scores élevés indiquent des échantillons où la caractéristique spécieuse est faible ou mal alignée avec l'étiquette.
$TCSL_c(x)$ : La perte cumulative du modèle central $f_c$ . Ce score reflète la difficulté des caractéristiques centrales, indépendamment de l'attribut spécieux.

4. Algorithme TCSL-CS

L'algorithme de sélection de coreset (Algorithme 2) opère en deux étapes pour construire un sous-ensemble robuste :

Identifier les Échantillons à Haute Spéciocité : En utilisant wKMeans sur les scores $TCSL_s$ et les courbes de perte, l'algorithme identifie un groupe d'échantillons ( $G_{high}$ ) présentant une difficulté spécieuse élevée (c'est-à-dire des échantillons manquant de fortes corrélations spécieuses). Un sous-ensemble de ceux-ci est sélectionné pour garantir que le coreset inclut des échantillons de type minoritaire difficiles.
Remplir le Quota Restant : Les emplacements restants sont remplis à partir du groupe majoritaire ( $G_{low}$ $G_{l o w}$ ) en fonction des scores $TCSL_c$ $T C S L_{c}$ .
- Si le ratio de sélection $r$ est élevé ( $r \geq \tau$ ), l'algorithme sélectionne les échantillons ayant les scores $TCSL_c$ les plus faibles (caractéristiques centrales les plus faciles) pour maximiser la précision moyenne.
- Si $r$ est faible ( $r < \tau$ ), l'algorithme utilise une sélection par histogramme (SelectHist) pour échantillonner dans des classes de difficulté de $TCSL_c$ variables, assurant la diversité de la difficulté des caractéristiques centrales et évitant l'exclusion des caractéristiques centrales difficiles.

Contributions Clés

Score TCSL : Une nouvelle métrique qui quantifie séparément la difficulté d'apprentissage des caractéristiques centrales et spécieuses, répondant à l'échec des scores existants à désintriquer ces composantes sous l'effet du biais de simplicité.
Algorithme TCSL-CS : Une méthode de sélection de coreset robuste aux groupes qui atteint une haute précision du pire groupe sans nécessiter d'accès aux étiquettes de groupe. Elle exploite le score TCSL pour construire des coresets qui équilibrent la précision moyenne et la performance du pire groupe.
Analyse Théorique : Une analyse rigoureuse sous le régime NTK prouvant que les caractéristiques spécieuses dominent la dynamique d'apprentissage précoce, expliquant pourquoi les scores basés sur la perte standard échouent dans les contextes de corrélation spécieuse.
Supériorité Empirique : Démontrer qu'un modèle ERM standard entraîné sur le coreset TCSL-CS surpasse les techniques de débaisage de pointe (incluant celles nécessitant des étiquettes de groupe) tout en utilisant seulement 10 % des données d'entraînement originales.

Résultats Expérimentaux

Les auteurs ont évalué TCSL-CS sur quatre jeux de données connus pour leurs corrélations spécieuses : Waterbirds, cMNIST, MetaShift, et UrbanCars-B.

Performance vs Baselines de Débiaisage : Sur Waterbirds, TCSL-CS a amélioré la WGA d'un modèle ERM standard de 10,44 %, surpassant GroupDRO (qui nécessite des étiquettes de groupe) et d'autres méthodes de débaisage comme LC, DFR et JTT. Sur cMNIST (où les corrélations spécieuses sont extrêmement fortes, $\alpha=0,995$ ), TCSL-CS a dépassé la meilleure méthode suivante de plus de 11 %.
Performance vs Baselines de Sélection de Coreset : TCSL-CS surpasse significativement les méthodes de sélection de coreset standard (EL2N, SelfSup, Random, D2) sur tous les jeux de données. Par exemple, sur Waterbirds, les méthodes basées sur EL2N ont atteint des scores WGA aussi bas que 39,88 %, tandis que TCSL-CS a atteint 91,91 %.
Efficacité des Données : La méthode a atteint des performances de pointe en utilisant seulement 10 % des données d'entraînement.
Études d'Ablation : Les expériences ont confirmé que $TCSL_s$ et $TCSL_c$ désintriquent avec succès les difficultés des caractéristiques spécieuses et centrales, montrant une forte similitude cosinus avec les scores dérivés de modèles entraînés exclusivement sur les caractéristiques spécieuses ou centrales, respectivement.

Signification et Revendications

L'article affirme que TCSL-CS offre une approche scalable et fondée sur des principes pour le débaisage. Contrairement à de nombreuses méthodes existantes qui nécessitent des optimisations complexes ou des étiquettes de groupe, TCSL-CS :

Conserve l'ERM Standard : Il permet l'utilisation de l'entraînement ERM standard sur le coreset sélectionné, évitant ainsi le besoin de fonctions de perte ou de procédures d'optimisation spécialisées lors de la phase finale d'entraînement.
Réduit le Coût Computationnel : En sélectionnant un petit sous-ensemble (par exemple, 10 %) de données, il réduit considérablement la charge de calcul de l'entraînement de grands modèles, car l'étape coûteuse de sélection du coreset est effectuée une seule fois, et le sous-ensemble résultant peut être réutilisé.
Généralisabilité : Les coresets sélectionnés sont agnostiques à l'architecture, produisant des gains de performance cohérents à travers différents backbones de modèles (ResNet, Inception, DenseNet).

Les auteurs positionnent leur travail comme le premier algorithme de sélection de coreset spécifiquement conçu pour atteindre à la fois une précision moyenne élevée et une haute précision du pire groupe en l'absence d'étiquettes de groupe, atténuant efficacement l'impact négatif du biais de simplicité sur la sélection de données.