An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Das Problem der „vielen richtigen Antworten"
Stellen Sie sich vor, Sie versuchen vorherzusagen, wer ein Schachspiel gewinnt. Sie haben einen Datensatz vergangener Spiele, aber es gibt ein Problem: 90 % der Spiele wurden von Weiß gewonnen, nur 10 % von Schwarz. Dies wird als unausgeglichener Datensatz bezeichnet.
Wenn Sie ein Computermodell auf diesen Daten trainieren, ohne es zu korrigieren, wird der Computer faul. Er lernt, dass „Weiß immer gewinnt", und sagt daher für jedes neue Spiel „Weiß" voraus. Er erreicht eine Genauigkeit von 90 %, versagt aber völlig bei der Vorhersage der Schwarz-Siege.
Um dies zu beheben, verwenden Datenwissenschaftler Ausgleichsmethoden. Sie handeln wie ein Koch, der Zutaten in eine Suppe gibt:
- Oversampling (Überabtastung): Sie kopieren die seltenen „Schwarz-Sieg"-Spiele, um mehr davon zu haben (wie das Hinzufügen von mehr Salz).
- Undersampling (Unterabtastung): Sie werfen einige der häufigen „Weiß-Sieg"-Spiele weg, um den Topf kleiner zu machen (wie das Entfernen von überschüssigem Wasser).
Das Ziel ist es, den Computer dazu zu bringen, der Minderheitenklasse mehr Aufmerksamkeit zu schenken. Doch dieses Papier stellt eine beunruhigende Frage: Erzeugt die Korrektur der Daten eine neue Art von Verwirrung?
Der Rashomon-Effekt: Das Phänomen der „vielen Wahrheiten"
Das Papier verwendet ein Konzept namens Rashomon-Effekt. Stellen Sie sich einen Tatort vor, an dem fünf verschiedene Zeugen fünf verschiedene Geschichten erzählen. Alle fünf Geschichten sind plausibel und passen gleichermaßen gut zu den Fakten, widersprechen sich aber gegenseitig.
Im maschinellen Lernen ist die Rashomon-Menge eine Gruppe verschiedener Computermodelle, die alle fast exakt gleich gut abschneiden (sie sind alle „plausibel"), aber für dieselbe Person oder Situation unterschiedliche Vorhersagen treffen.
- Modell A sagt: „Dieser Kreditbewerber ist sicher."
- Modell B sagt: „Dieser Kreditbewerber ist riskant."
- Beide Modelle haben denselben Gesamtgenauigkeitswert.
Wenn Sie ein Modell zufällig auswählen (blinde Auswahl), wählen Sie möglicherweise versehentlich dasjenige aus, das einem guten Menschen einen Kredit verweigert, obwohl ein anderes ebenso genaues Modell ihn genehmigt hätte. Dies wird als Vorhersagemultiplizität bezeichnet.
Das Experiment: Was passiert, wenn wir die Daten ausgleichen?
Die Autoren wollten wissen: Verschlimmern Ausgleichsmethoden (Oversampling/Undersampling) dieses Problem der „vielen Wahrheiten"?
Sie nahmen 21 verschiedene reale Datensätze (wie Spam-Erkennung, Kreditkartenbetrug und Weinqualität) und führten sie durch eine „Modellfabrik" (ein Werkzeug namens Forester), das für jeden Datensatz Hunderte leicht unterschiedlicher Modelle erstellt. Sie taten dies zweimal:
- Mit den ursprünglichen, unausgeglichenen Daten.
- Mit ausgeglichenen Daten (nach Anwendung der Ausgleichsmethoden).
Anschließend maßen sie drei Dinge, um zu sehen, wie stark die Modelle miteinander übereinstimmten:
- Mehrdeutigkeit: Wie viele Personen erhalten widersprüchliche Antworten? (z. B. „5 von 100 Personen erhalten unterschiedliche Vorhersagen.")
- Diskrepanz: Was ist das schlimmstmögliche Szenario? (z. B. „Ein bestimmtes Modell stimmt bei 20 Personen mit den anderen nicht überein.")
- Verschleierung (neue Metrik): Dies ist die neue Idee des Papiers. Sie misst den durchschnittlichen Grad der Verwirrung. Anstatt nur zu fragen „Gibt es einen Konflikt?", fragt sie „Wie unübersichtlich ist der Konflikt im Durchschnitt?". Denken Sie daran, als würden Sie den „Nebel" über den Daten messen.
Die Ergebnisse: Die „Korrektur" machte den Nebel dicker
Hier ist, was sie entdeckten:
- Ausgleichsmethoden erhöhen die Verwirrung: Als sie Ausgleichsmethoden (wie SMOTE oder zufälliges Oversampling) verwendeten, stiegen die Verschleierung und die Diskrepanz.
- Die Analogie: Stellen Sie sich vor, Sie versuchen, einen verlorenen Hund in einem Park zu finden. Im ursprünglichen Park (unausgeglichene Daten) sind sich alle Suchhunde einig, wo der Hund ist. Aber wenn Sie „Ausgleich" hinzufügen (wie das Hinzufügen von mehr Suchhunden oder das Ändern des Geländes), fangen die Suchhunde an, in verschiedene Richtungen zu bellen. Sie sind alle immer noch „gute" Hunde, können sich aber nicht auf den Standort einigen.
- Die „teilweise" Korrektur funktionierte nicht: Einige Experten schlugen vor, eine „teilweise Neubeprobung" zu verwenden (die Daten nur ein wenig auszugleichen, nicht zu 100 %), um dieses Durcheinander zu vermeiden. Die Autoren testeten dies, fanden aber heraus, dass es nicht half. Die Verwirrung blieb hoch, unabhängig davon, wie stark sie die Daten ausglichen.
- Die Wichtigkeit der Variablen änderte sich: Sie prüften auch, ob die Modelle auf unterschiedliche Hinweise achteten. Zum Beispiel könnte ein Modell denken, dass „Einkommen" der wichtigste Faktor ist, während ein anderes „Alter" für wichtiger hält. Sie stellten fest, dass sich zwar die Reihenfolge der Wichtigkeit statistisch gesehen nicht drastisch änderte, die Ausgleichsmethoden jedoch das Gesamtverhalten der Modelle veränderten.
Die Lösung: Ein neues Dashboard
Da sie die Verwirrung nicht verhindern konnten, schlugen die Autoren eine Möglichkeit vor, sie zu überwachen.
Sie schlugen die Verwendung eines erweiterten Leistungs-Gewinn-Diagramms vor.
- Stellen Sie sich ein Dashboard mit zwei Zifferblättern vor.
- Zifferblatt 1 (Horizontal): Zeigt, wie viel besser das Modell bei der korrekten Vorhersage wird (Leistungs-Gewinn).
- Zifferblatt 2 (Vertikal): Zeigt, wie stark die Modelle miteinander disagree (Multiplizität/Verschleierung).
Die Lehre: Sie sollten nicht nur auf Zifferblatt 1 schauen. Sie könnten eine Methode finden, die die Genauigkeit leicht verbessert (Zifferblatt 1 geht hoch), aber eine massive Explosion an Meinungsverschiedenheiten verursacht (Zifferblatt 2 geht stark hoch). Die Autoren sagen, Sie müssen beide Zifferblätter betrachten, um eine verantwortungsvolle Entscheidung zu treffen.
Zusammenfassung der Behauptungen des Papiers
- Das Ausgleichen von Daten ist notwendig für unausgeglichene Probleme, hat aber versteckte Kosten.
- Ausgleichsmethoden erhöhen die „Vorhersagemultiplizität". Sie schaffen eine Situation, in der viele Modelle gleichermaßen genau sind, aber denselben Personen widersprüchliche Antworten geben.
- Neue Metrik: Sie führten „Verschleierung" ein, um zu messen, wie „neblig" oder widersprüchlich diese Modellvorhersagen im Durchschnitt sind.
- Teilweise Neubeprobung ist kein Allheilmittel. Sie löst das Problem der erhöhten Verwirrung nicht.
- Verantwortungsvolle KI: Bei der Auswahl eines Modells müssen Sie nicht nur prüfen, ob es genau ist, sondern auch, ob es stabil ist. Wenn Sie blind ein Modell aus einer „Rashomon-Menge" auswählen, die durch Ausgleichsmethoden erstellt wurde, riskieren Sie willkürliche Entscheidungen, die Einzelpersonen schaden.
Das Papier kommt zu dem Schluss, dass Ausgleichsmethoden zwar ein „Hafen" zur Lösung unausgeglichener Daten sind, Forscher jedoch vorsichtig sein müssen, nicht blind in einen Nebel widersprüchlicher Vorhersagen zu laufen. Sie müssen das neue „Dashboard" (das erweiterte Diagramm) nutzen, um den Kompromiss zwischen Genauigkeit und Stabilität zu erkennen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.