🤖 machine learning

Data filtering methods for training language models

Ce papier présente une analyse comparative de l'apprentissage confiant et de la cartographie des jeux de données pour la détection d'erreurs d'étiquetage dans des jeux de données de classification de texte en russe, démontrant que, bien que les deux méthodes surpassent la suppression aléatoire, leur efficacité à améliorer les performances du modèle dépend fortement de la taille du jeu de données et des niveaux de bruit, l'apprentissage confiant produisant des gains significatifs sur les petits jeux de données bruyants.

Auteurs originaux : Egor Shevchenko, Elena Bruches

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Egor Shevchenko, Elena Bruches

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot à comprendre le langage humain. Vous lui donnez un manuel massif rempli d'exemples et de réponses. Mais voici le hic : certaines réponses dans ce manuel sont erronées. Peut-être qu'une phrase qui devrait être étiquetée « heureuse » a été accidentellement marquée « en colère », ou qu'une phrase grammaticalement correcte a été signalée comme « incorrecte ».

Si vous enseignez au robot en utilisant un manuel rempli d'erreurs, il apprendra également ces erreurs. C'est le problème du bruit d'étiquetage.

Ce papier est comparable à une inspection de contrôle qualité pour trois manuels différents en langue russe (ensembles de données) utilisés pour entraîner l'IA. Les auteurs, E. Shevchenko et E. Bruches, ont testé deux « outils de détective » différents pour identifier et supprimer les mauvais exemples avant que le robot ne commence ses études.

Voici un résumé simple de leur expérience et de leurs découvertes :

Les Deux Détectives

Les chercheurs ont comparé deux méthodes automatiques pour détecter les erreurs :

Le Détective « Deuxième Avis » (Apprentissage Confiant) :
- Fonctionnement : Imaginez qu'un élève passe un examen. Ensuite, vous prenez ce même élève, le divisez en quatre groupes, et faites noter les réponses des autres groupes par chaque groupe. Si un élève obtient systématiquement une question spécifique incorrecte selon les autres groupes, alors que la clé de réponses indique qu'il a raison, le détective « Deuxième Avis » la signale comme une erreur probable dans la clé de réponses.
- L'ambiance : C'est exhaustif mais agressif. Il fait confiance au consensus des prédictions du modèle.
Le Détective « Habitudes d'Étude » (Cartographie des Ensembles de Données) :
- Fonctionnement : Ce détective observe l'élève étudier au fil du temps. Si l'élève continue de répondre correctement à une question spécifique, puis incorrectement, puis correctement à nouveau, ou semble simplement confus à ce sujet après de nombreuses sessions d'étude, le détective la marque comme « problématique ». Il examine comment la confiance du modèle évolue au fil du temps.
- L'ambiance : C'est plus prudent. Il ne supprime que les exemples que le modèle a du mal à apprendre de manière cohérente.

Les Trois Manuels (Ensembles de Données)

Ils ont testé ces détectives sur trois ensembles de données russes très différents :

Le Gros Livre (ru_emotion_e-culture) : Une immense collection de 49 000 publications de forums sur les émotions. Il est volumineux et généralement de haute qualité.
Le Livre Moyen (RuCoLA) : Une collection de 8 500 phrases pour vérifier si elles sont grammaticalement correctes. Il est de taille moyenne mais délicat car la « correction » peut être subjective.
Le Petit Livre (TERRa) : Une minuscule collection de 2 300 paires de phrases pour vérifier si l'une implique l'autre. Il est petit et soupçonné d'être désordonné.

Qu'est-il arrivé ? (Les Résultats)

1. Le Gros Livre : « Ne réparez pas ce qui n'est pas cassé »
Sur l'énorme ensemble de données, les manuels étaient déjà plutôt bons.

Le Résultat : Lorsque les détectives ont supprimé les « mauvais » exemples qu'ils ont trouvés, le robot est en fait devenu légèrement moins performant dans la tâche.
La Leçon : Lorsque vous disposez d'une quantité massive de données, le robot est assez intelligent pour ignorer lui-même quelques mauvaises pommes. Les supprimer a simplement rendu le livre plus petit sans le rendre meilleur.

2. Le Livre Moyen : « Mieux que le hasard, mais pas parfait »
Sur l'ensemble de données moyen, les deux détectives ont trouvé beaucoup d'erreurs (environ 15 à 18 % du livre).

Le Résultat : Supprimer ces erreurs n'a pas rendu le robot parfait, mais cela l'a effectivement rendu plus performant que si vous aviez simplement jeté au hasard le même nombre de pages.
La Leçon : Les détectives trouvaient réellement des erreurs, pas seulement des suppositions. Cependant, l'ensemble de données était encore trop bruyant ou la tâche trop difficile pour observer un bond énorme de performance simplement en le nettoyant.

3. Le Petit Livre : « La magie du nettoyage »
C'était le résultat le plus dramatique. Le petit ensemble de données était soupçonné d'être très désordonné.

Le Résultat : Le détective « Deuxième Avis » a découvert que 35 % du livre était erroné ! Lorsqu'ils ont supprimé ces mauvais exemples, les performances du robot ont bondi de manière significative.
La Comparaison : S'ils avaient simplement jeté au hasard 35 % du livre, le robot aurait échoué lamentablement. Mais parce qu'ils ont supprimé les spécifiques mauvais exemples, le robot est devenu beaucoup plus intelligent.
La Leçon : Pour les petits ensembles de données désordonnés, identifier et supprimer les erreurs est un facteur décisif.

La Grande Conclusion

Le papier conclut qu'il n'existe pas de solution « unique pour tous ».

Si vous avez un énorme ensemble de données propre, vous n'avez pas besoin de perdre du temps à filtrer ; l'IA peut gérer le bruit.
Si vous avez un petit ensemble de données désordonné, utiliser un outil comme l'« Apprentissage Confiant » pour nettoyer les données est essentiel. C'est comme nettoyer une petite pièce boueuse : si vous ne retirez pas la boue, vous ne pouvez pas voir le sol.

Les auteurs ont également noté que le détective « Habitudes d'Étude » (Cartographie des Ensembles de Données) est plus sûr et moins susceptible de supprimer accidentellement de bons exemples, tandis que le détective « Deuxième Avis » (Apprentissage Confiant) est plus agressif et meilleur pour trouver les pires erreurs dans les petits ensembles de données.

En résumé : Nettoyer vos données, c'est comme polir une lentille. Si la lentille est déjà claire et énorme, la polir un peu plus n'aide pas. Mais si la lentille est petite et couverte de boue, la nettoyer est le seul moyen de voir clairement.

Résumé technique : Méthodes de filtrage des données pour l'entraînement de modèles linguistiques

Énoncé du problème

L'efficacité des modèles d'apprentissage automatique supervisé est fondamentalement limitée par la qualité des données d'entraînement étiquetées. Malgré le glissement vers une « IA centrée sur les données », le bruit d'étiquetage — les écarts entre les étiquettes attribuées et les catégories réelles — reste omniprésent, même dans les benchmarks largement utilisés. Bien que d'importantes recherches aient abordé cette question dans des contextes anglophones, une analyse systématique de la qualité de l'annotation dans les corpus de langue russe fait défaut. Les caractéristiques linguistiques uniques du russe (ordre libre des mots, morphologie riche, homonymie) peuvent exacerber la subjectivité de l'annotation et les taux d'erreur. Ce travail comble cette lacune en évaluant des méthodes de détection automatique des erreurs d'étiquetage sur des tâches de classification de texte en russe, afin de déterminer si un filtrage ciblé des données améliore la généralisation du modèle par rapport à une réduction aléatoire des données.

Méthodologie

L'étude réalise une analyse comparative de deux méthodes de détection automatique des erreurs d'étiquetage : Confident Learning (CL) et Dataset Cartography (DM).

Jeux de données

Les expériences ont été menées sur trois corpus russes variant en taille, domaine et distribution des classes :

ru_emotion_e-culture : 49 123 exemples, 5 classes (classification des émotions).
RuCoLA : 8 524 exemples, 2 classes (acceptabilité linguistique).
TERRa : 2 337 exemples, 2 classes (reconnaissance de l'implication textuelle).

Modèle de base et entraînement

Toutes les expériences ont utilisé le modèle pré-entraîné rubert-base-cased.

Ajustement fin standard : 3 époques, taille de lot 32, taux d'apprentissage $2\times10^{-5}$ .
Métrique d'évaluation : F1-macro (pour tenir compte du déséquilibre des classes), complétée par la précision.

Méthodes de détection

Confident Learning (CL) : Implémentée via la bibliothèque cleanlab. Elle utilise la validation croisée à $K$ plis ( $K=4$ ) pour générer des prédictions hors pli. Une matrice de « jointure confiante » estime la distribution entre les étiquettes observées et les étiquettes vraies latentes. Les exemples où le modèle prédit avec confiance une classe différente de l'étiquette attribuée sont signalés comme des erreurs.
Dataset Cartography (DM) : Implémentée via un rappel personnalisé. Elle analyse la dynamique d'entraînement intra-échantillon sur 10 époques. Quatre métriques sont calculées par exemple : Confiance, Variabilité, Correction et Oubli. Les exemples sont catégorisés dans des régions « faciles », « ambiguës » et « difficiles à apprendre » en fonction de seuils de confiance et de variabilité. Les exemples « difficiles à apprendre » sont des candidats pour suppression.

Conception expérimentale

Pour chaque méthode, les exemples « bruyants » identifiés ont été supprimés de l'ensemble d'entraînement, et le modèle a été réentraîné. Crucialement, des expériences de contrôle ont été menées où un nombre équivalent d'exemples a été supprimé aléatoirement. Cette conception isole l'effet du filtrage ciblé de la simple réduction de la taille de l'ensemble d'entraînement.

Contributions clés

Première analyse comparative : Ce travail fournit la première évaluation comparative de Confident Learning et de Dataset Cartography spécifiquement sur des corpus de classification de texte en russe.
Dépendance aux caractéristiques des jeux de données : L'étude démontre que l'efficacité du filtrage n'est pas uniforme, mais dépend fortement de la taille du corpus et des niveaux de bruit initiaux.
Validation de la pertinence du filtrage : Grâce aux expériences de contrôle, les auteurs séparent les avantages du filtrage ciblé de la simple réduction de la taille de l'échantillon, prouvant que les deux méthodes identifient des exemples substantiellement problématiques.

Résultats

Agressivité du filtrage

Confident Learning a montré un comportement adaptatif, supprimant une petite fraction de données sur les grands corpus (3,75 % sur ru_emotion_e-culture) mais une fraction massive sur les petits corpus bruyants (35,47 % sur TERRa).
Dataset Cartography a été plus conservatrice et stable, supprimant entre 9,28 % et 14,48 % des données sur tous les corpus.

Résultats de performance (F1-macro)

Grand corpus de haute qualité (ru_emotion_e-culture) : Aucune des deux méthodes n'a amélioré les performances par rapport à la ligne de base (F1 $\approx$ 0,935). En fait, les deux ont entraîné de légères baisses, bien que CL ait performé presque identiquement à la suppression aléatoire, suggérant que le modèle était robuste au bruit épars présent.
Corpus de taille moyenne (RuCoLA) : Les deux méthodes ont entraîné des scores F1 absolus inférieurs à la ligne de base. Cependant, les deux ont significativement surpassé la suppression aléatoire (CL : +0,0166 par rapport au hasard ; DM : +0,0141 par rapport au hasard), confirmant que les exemples supprimés étaient effectivement plus problématiques qu'un sous-ensemble aléatoire.
Petit corpus bruyant (TERRa) : Cela a produit les résultats les plus significatifs.
- Confident Learning a obtenu une amélioration significative de la qualité absolue (+0,0134 par rapport à la ligne de base), portant le F1 de 0,6444 à 0,6578.
- Crucialement, CL a surpassé la suppression aléatoire d'une large marge (+0,1348), indiquant que les 35 % d'exemples supprimés contenaient la majorité du bruit dégradant le modèle.
- Dataset Cartography a maintenu les performances de la ligne de base (F1 $\approx$ 0,6441) mais ne les a pas améliorées, surpassant la suppression aléatoire de +0,0590.

Insights diagnostiques

Dataset Cartography a fourni des métriques diagnostiques supplémentaires. Le corpus TERRa a présenté une confiance moyenne significativement plus faible (0,811) et une variabilité plus élevée (0,184) par rapport à ru_emotion_e-culture (0,979 et 0,033 respectivement), ce qui corréle avec des niveaux de bruit plus élevés et une difficulté de tâche accrue.

Importance et limites

L'article conclut que le filtrage ciblé des données est une stratégie significative, en particulier pour les petits corpus de langue russe à fort bruit d'annotation, où Confident Learning peut produire des gains de performance substantiels. Pour les jeux de données plus grands et plus propres, le coût du filtrage (réduction des données) peut l'emporter sur les avantages de la suppression du bruit.

Les auteurs notent explicitement les limitations suivantes :

Absence de vérité terrain : Aucune vérification manuelle par des experts n'a été effectuée ; la « pertinence » du filtrage est déduite indirectement par la comparaison avec la suppression aléatoire plutôt que par la précision/rappel par rapport à un ensemble d'erreurs vérifié.
Modèle unique/Graine unique : Les résultats sont basés sur un seul modèle de base (rubert-base-cased) et une seule graine aléatoire, ce qui signifie que les différences numériques rapportées sont des estimations ponctuelles plutôt que des résultats moyennés statistiquement.
Portée : L'analyse est restreinte à la classification de texte ; la généralisation à d'autres tâches de TALN (par exemple, l'étiquetage de séquences, la génération) n'est pas abordée.

Le travail suggère que pour les petits jeux de données russes bruyants, l'application de Confident Learning suivie d'une vérification et d'un réentraînement est une approche pratique recommandée, tandis que Dataset Cartography sert d'outil plus sûr et plus efficace en termes de calcul pour le diagnostic de la qualité des données.