🤖 machine learning

Data filtering methods for training language models

Dieser Beitrag präsentiert eine vergleichende Analyse von Confident Learning und Dataset Cartography zur Erkennung von Label-Fehlern in russischen Textklassifizierungsdatensätzen und zeigt, dass zwar beide Methoden eine zufällige Entfernung übertreffen, ihre Wirksamkeit zur Verbesserung der Modellleistung jedoch stark von der Datensatzgröße und den Rauschpegeln abhängt, wobei Confident Learning auf kleinen, verrauschten Datensätzen signifikante Gewinne erzielt.

Ursprüngliche Autoren: Egor Shevchenko, Elena Bruches

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Egor Shevchenko, Elena Bruches

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, menschliche Sprache zu verstehen. Sie geben ihm ein massives Lehrbuch voller Beispiele und Antworten. Doch hier liegt der Haken: Einige der Antworten im Lehrbuch sind falsch. Vielleicht wurde ein Satz, der eigentlich als „glücklich" gekennzeichnet sein sollte, versehentlich als „wütend" markiert, oder ein grammatikalisch korrekter Satz wurde als „falsch" eingestuft.

Wenn Sie den Roboter mit einem Lehrbuch voller Fehler unterrichten, wird er auch diese Fehler lernen. Dies ist das Problem des Label-Rauschens.

Dieser Artikel ist wie eine Qualitätskontrolle für drei verschiedene russischsprachige Lehrbücher (Datensätze), die zum Trainieren von KI verwendet werden. Die Autoren, E. Shevchenko und E. Bruches, testeten zwei verschiedene „Detektivwerkzeuge", um die schlechten Beispiele zu finden und zu entfernen, bevor der Roboter mit dem Lernen beginnt.

Hier ist eine einfache Aufschlüsselung ihres Experiments und ihrer Erkenntnisse:

Die zwei Detektive

Die Forscher verglichen zwei automatische Methoden zur Fehlererkennung:

Der „Zweite Meinung"-Detektiv (Confident Learning):
- Funktionsweise: Stellen Sie sich vor, ein Schüler macht einen Test. Dann nehmen Sie denselben Schüler, teilen ihn in vier Gruppen auf und lassen jede Gruppe die Antworten der anderen bewerten. Wenn ein Schüler gemäß den anderen Gruppen bei einer bestimmten Frage konsequent falsch liegt, die Antwortliste jedoch besagt, dass er richtig liegt, markiert der „Zweite Meinung"-Detektiv dies als wahrscheinlichen Fehler in der Antwortliste.
- Der Vibe: Er ist gründlich, aber aggressiv. Er vertraut auf den Konsens der Vorhersagen des Modells.
Der „Lerngewohnheiten"-Detektiv (Dataset Cartography):
- Funktionsweise: Dieser Detektiv beobachtet, wie der Schüler im Laufe der Zeit lernt. Wenn ein Schüler bei einer bestimmten Frage immer wieder richtig liegt, dann falsch, dann wieder richtig, oder einfach nur verwirrt wirkt, nachdem er viele Lernsessions absolviert hat, markiert der Detektiv sie als „problematisch". Er betrachtet, wie sich das Vertrauen des Modells im Laufe der Zeit verändert.
- Der Vibe: Er ist vorsichtiger. Er entfernt nur Beispiele, mit denen das Modell konsequent Schwierigkeiten hat, zu lernen.

Die drei Lehrbücher (Datensätze)

Sie testeten diese Detektive an drei sehr unterschiedlichen russischen Datensätzen:

Das große Buch (ru_emotion_e-culture): Eine riesige Sammlung von 49.000 Forumsposts über Emotionen. Es ist groß und im Allgemeinen von hoher Qualität.
Das mittlere Buch (RuCoLA): Eine Sammlung von 8.500 Sätzen, um zu prüfen, ob sie grammatikalisch korrekt sind. Es ist mittelgroß, aber schwierig, da „Korrektheit" subjektiv sein kann.
Das kleine Buch (TERRa): Eine winzige Sammlung von 2.300 Satzpaaren, um zu prüfen, ob einer den anderen impliziert. Es ist klein und wird als unübersichtlich vermutet.

Was ist passiert? (Die Ergebnisse)

1. Das große Buch: „Repariere nichts, das nicht kaputt ist"
Bei dem riesigen Datensatz waren die Lehrbücher bereits ziemlich gut.

Das Ergebnis: Als die Detektive die „schlechten" Beispiele entfernten, die sie fanden, wurde der Roboter bei der Aufgabe tatsächlich leicht schlechter.
Die Lehre: Wenn Sie eine massive Datenmenge haben, ist der Roboter schlau genug, ein paar faule Äpfel von selbst zu ignorieren. Das Entfernen machte das Buch nur kleiner, ohne es besser zu machen.

2. Das mittlere Buch: „Besser als zufällig, aber nicht perfekt"
Bei dem mittleren Datensatz fanden beide Detektive viele Fehler (etwa 15–18 % des Buches).

Das Ergebnis: Das Entfernen dieser Fehler machte den Roboter nicht perfekt, aber es ließ ihn besser abschneiden, als wenn Sie einfach die gleiche Anzahl an Seiten zufällig weggeworfen hätten.
Die Lehre: Die Detektive fanden tatsächlich echte Fehler und ratterten nicht nur herum. Dennoch war der Datensatz immer noch zu verrauscht oder die Aufgabe zu schwierig, um allein durch die Bereinigung einen enormen Leistungssprung zu sehen.

3. Das kleine Buch: „Die Magie der Bereinigung"
Dies war das dramatischste Ergebnis. Der kleine Datensatz wurde als sehr unübersichtlich vermutet.

Das Ergebnis: Der „Zweite Meinung"-Detektiv stellte fest, dass 35 % des Buches falsch waren! Als sie diese schlechten Beispiele entfernten, sprang die Leistung des Roboters signifikant an.
Der Vergleich: Hätten sie einfach 35 % des Buches zufällig weggeworfen, wäre der Roboter komplett durchgefallen. Aber weil sie die spezifischen schlechten Beispiele entfernten, wurde der Roboter viel schlauer.
Die Lehre: Bei kleinen, unübersichtlichen Datensätzen ist das Finden und Entfernen von Fehlern ein Game-Changer.

Die große Erkenntnis

Der Artikel kommt zu dem Schluss, dass es keine „Einheitslösung" gibt.

Wenn Sie einen riesigen, sauberen Datensatz haben, müssen Sie keine Zeit mit Filtern verschwenden; die KI kann mit dem Rauschen umgehen.
Wenn Sie einen kleinen, unübersichtlichen Datensatz haben, ist die Verwendung eines Tools wie „Confident Learning" zur Bereinigung der Daten unerlässlich. Es ist wie das Reinigen eines kleinen, schlammigen Raums: Wenn Sie den Schlamm nicht entfernen, können Sie den Boden nicht sehen.

Die Autoren stellten auch fest, dass der „Lerngewohnheiten"-Detektiv (Dataset Cartography) sicherer ist und weniger wahrscheinlich versehentlich gute Beispiele entfernt, während der „Zweite Meinung"-Detektiv (Confident Learning) aggressiver ist und besser darin, die schlimmsten Fehler in kleinen Datensätzen zu finden.

Kurz gesagt: Das Bereinigen Ihrer Daten ist wie das Polieren einer Linse. Wenn die Linse bereits klar und riesig ist, hilft ein wenig mehr Polieren nicht weiter. Aber wenn die Linse klein und mit Schlamm bedeckt ist, ist das Reinigen der einzige Weg, um klar zu sehen.

Technische Zusammenfassung: Datenfilterungsmethoden für das Training von Sprachmodellen

Problemstellung

Die Wirksamkeit überwachter maschineller Lernmodelle ist grundlegend durch die Qualität der gelabelten Trainingsdaten eingeschränkt. Trotz des Wandels hin zu „data-centric AI" bleibt Label-Rauschen – Abweichungen zwischen zugewiesenen Labels und wahren Kategorien – weit verbreitet, selbst in weit genutzten Benchmarks. Während umfangreiche Forschung dies im englischsprachigen Kontext adressiert hat, fehlt eine systematische Analyse der Annotationsqualität in russischsprachigen Korpora. Die einzigartigen linguistischen Merkmale des Russischen (freie Wortstellung, reiche Morphologie, Homonymie) können die Subjektivität der Annotation und die Fehlerraten verstärken. Diese Arbeit schließt diese Lücke, indem sie automatische Methoden zur Erkennung von Labelfehlern bei russischen Textklassifizierungsaufgaben evaluiert, um zu bestimmen, ob gezielte Datenfilterung die Modellgeneralisierung im Vergleich zur zufälligen Datenreduktion verbessert.

Methodik

Die Studie führt eine vergleichende Analyse zweier automatischer Methoden zur Erkennung von Labelfehlern durch: Confident Learning (CL) und Dataset Cartography (DM).

Datensätze

Die Experimente wurden an drei russischen Korpora durchgeführt, die sich in Größe, Domäne und Klassenverteilung unterscheiden:

ru_emotion_e-culture: 49.123 Beispiele, 5 Klassen (Emotionsklassifizierung).
RuCoLA: 8.524 Beispiele, 2 Klassen (linguistische Akzeptabilität).
TERRa: 2.337 Beispiele, 2 Klassen (Textual Entailment Recognition).

Basismodell und Training

Alle Experimente nutzten das vortrainierte Modell rubert-base-cased.

Standard Fine-Tuning: 3 Epochen, Batch-Größe 32, Lernrate $2\times10^{-5}$ .
Bewertungsmetrik: F1-macro (zur Berücksichtigung von Klassenungleichgewicht), ergänzt durch Genauigkeit (Accuracy).

Erkennungsmethoden

Confident Learning (CL): Implementiert über die Bibliothek cleanlab. Es verwendet $K$ -Falt-Cross-Validation ( $K=4$ ), um Vorhersagen außerhalb der Faltungen zu generieren. Eine „confident joint"-Matrix schätzt die Verteilung zwischen beobachteten und latenten wahren Labels. Beispiele, bei denen das Modell mit hoher Sicherheit eine andere Klasse vorhersagt als das zugewiesene Label, werden als Fehler markiert.
Dataset Cartography (DM): Implementiert über einen benutzerdefinierten Callback. Es analysiert die Trainingsdynamik innerhalb der Stichprobe über 10 Epochen. Pro Beispiel werden vier Metriken berechnet: Confidence, Variability, Correctness und Forgetfulness. Beispiele werden basierend auf Schwellenwerten für Confidence und Variability in die Bereiche „easy", „ambiguous" und „hard-to-learn" kategorisiert. „Hard-to-learn"-Beispiele sind Kandidaten für die Entfernung.

Experimentelles Design

Für jede Methode wurden die identifizierten „verrauschten" Beispiele aus dem Trainingsset entfernt und das Modell neu trainiert. Entscheidend wurden Kontrollexperimente durchgeführt, bei denen eine äquivalente Anzahl von Beispielen zufällig entfernt wurde. Dieses Design isoliert den Effekt der gezielten Filterung von der bloßen Verringerung der Trainingsset-Größe.

Hauptbeiträge

Erste Vergleichsanalyse: Diese Arbeit bietet die erste vergleichende Evaluation von Confident Learning und Dataset Cartography speziell auf russischen Textklassifizierungskorpora.
Abhängigkeit von Datensatzmerkmalen: Die Studie zeigt, dass die Wirksamkeit der Filterung nicht einheitlich ist, sondern stark von der Korpusgröße und dem anfänglichen Rauschpegel abhängt.
Validierung der Filterbedeutung: Durch Kontrollexperimente trennen die Autoren die Vorteile der gezielten Filterung von der einfachen Verringerung der Stichprobengröße und beweisen, dass beide Methoden substantiell problematische Beispiele identifizieren.

Ergebnisse

Filteraggressivität

Confident Learning zeigte adaptives Verhalten und entfernte einen kleinen Anteil der Daten bei großen Korpora (3,75 % bei ru_emotion_e-culture), aber einen massiven Anteil bei kleinen, verrauschten Korpora (35,47 % bei TERRa).
Dataset Cartography war konservativer und stabiler und entfernte zwischen 9,28 % und 14,48 % der Daten über alle Korpora hinweg.

Leistungsergebnisse (F1-macro)

Großes, hochwertiges Korpus (ru_emotion_e-culture): Keine der Methoden verbesserte die Leistung gegenüber der Baseline (F1 $\approx$ 0,935). Tatsächlich führten beide zu leichten Abnahmen, wobei CL nahezu identisch zur zufälligen Entfernung performte, was darauf hindeutet, dass das Modell gegenüber dem vorhandenen spärlichen Rauschen robust war.
Mittleres Korpus (RuCoLA): Beide Methoden führten zu niedrigeren absoluten F1-Werten als die Baseline. Beide übertreffen jedoch die zufällige Entfernung signifikant (CL: +0,0166 gegenüber zufällig; DM: +0,0141 gegenüber zufällig), was bestätigt, dass die entfernten Beispiele tatsächlich problematischer waren als eine zufällige Teilmenge.
Kleines, verrauschtes Korpus (TERRa): Dies lieferte die signifikantesten Ergebnisse.
- Confident Learning erzielte eine signifikante Verbesserung der absoluten Qualität (+0,0134 gegenüber der Baseline) und erhöhte F1 von 0,6444 auf 0,6578.
- Entscheidend übertraf CL die zufällige Entfernung mit einem großen Vorsprung (+0,1348), was darauf hindeutet, dass die 35 % entfernten Beispiele den Großteil des Rauschens enthielten, das das Modell verschlechterte.
- Dataset Cartography hielt die Baseline-Leistung (F1 $\approx$ 0,6441) aufrecht, verbesserte sie jedoch nicht, und übertraf die zufällige Entfernung um +0,0590.

Diagnostische Erkenntnisse

Dataset Cartography lieferte zusätzliche diagnostische Metriken. Das TERRa-Korpus wies im Vergleich zu ru_emotion_e-culture (0,979 bzw. 0,033) eine signifikant niedrigere durchschnittliche Confidence (0,811) und eine höhere Variabilität (0,184) auf, was mit dem höheren Rauschpegel und der Aufgabenschwierigkeit korreliert.

Bedeutung und Einschränkungen

Die Arbeit kommt zu dem Schluss, dass gezielte Datenfilterung eine sinnvolle Strategie ist, insbesondere für kleine russischsprachige Korpora mit hoher Annotationsrauschung, wo Confident Learning erhebliche Leistungsgewinne erzielen kann. Für größere, sauberere Datensätze können die Kosten der Filterung (Datenreduktion) die Vorteile der Rauschentfernung überwiegen.

Die Autoren weisen ausdrücklich auf folgende Einschränkungen hin:

Fehlen von Ground Truth: Es wurde keine manuelle Expertenverifizierung durchgeführt; die „Bedeutung" der Filterung wird indirekt durch den Vergleich mit der zufälligen Entfernung abgeleitet, nicht durch Präzision/Recall gegen einen verifizierten Fehlerdatensatz.
Einzelnes Modell/Seed: Die Ergebnisse basieren auf einem einzigen Basismodell (rubert-base-cased) und einem einzigen zufälligen Seed, was bedeutet, dass die berichteten numerischen Unterschiede Punktschätzer und keine statistisch gemittelten Ergebnisse sind.
Umfang: Die Analyse beschränkt sich auf Textklassifizierung; eine Verallgemeinerung auf andere NLP-Aufgaben (z. B. Sequenzlabeling, Generierung) wird nicht behandelt.

Die Arbeit legt nahe, dass für kleine, verrauschte russische Datensätze die Anwendung von Confident Learning gefolgt von Verifizierung und Neu-Training ein empfohlener praktischer Ansatz ist, während Dataset Cartography als sichereres, rechnerisch effizienteres Werkzeug für Datenqualitätsdiagnostik dient.