When Single-Dataset Conclusions Fail: A 45-Task Study of Threshold Tuning and Resampling for Imbalanced Classification
Diese Studie zeigt auf, dass das Vertrauen auf Single-Dataset-Evaluierungen für die unbalancierte Klassifizierung irreführend ist, da eine umfassende 45-Aufgaben-Analyse offenbart, dass Schwellenwertanpassungen und Resampling-Techniken wie SMOTE die Leistung über diverse Imbalancierungsraten hinweg signifikant verbessern, im Gegensatz zu den Nullergebnissen, die beim populären, aber nicht repräsentativen Kreditkartenbetrugs-Datensatz beobachtet wurden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt des maschinellen Lernens werden Computer oft gebeten, binäre Entscheidungen zu treffen: Ist diese E-Mail Spam oder nicht, ist diese Transaktion betrügerisch oder legitim, zeigt dieser medizinische Scan eine Krankheit oder einen gesunden Zustand an. Diese Aufgaben werden schwierig, wenn ein Ergebnis weitaus häufiger vorkommt als das andere. Wenn eine Bank eine Million Transaktionen am Tag verarbeitet und nur ein paar hundert davon betrügerisch sind, sieht der Computer einen Berg von normalen Aktivitäten und einen winzigen, fast unsichtbaren Gipfel des Betrugs. Dies ist als Klassenimbalance bekannt. Um dem Computer zu helfen, das seltene Ereignis zu erkennen, haben Forscher Standardwerkzeuge entwickelt. Sie könnten künstlich mehr Beispiele des seltenen Ereignisses erschaffen, um die Trainingsdaten auszugleichen, oder sie könnten die interne Entscheidungslinie des Computers anpassen. Standardmäßig entscheidet ein Computer normalerweise nur dann, dass ein Ereignis positiv ist, wenn er sich zu mehr als fünfzig Prozent sicher ist. In einer imbalancierten Welt könnte diese fünfzig-Prozent-Linie zu hoch sein, was dazu führt, dass der Computer die seltenen Ereignisse gänzlich übersieht. Daher ist die gängige Praxis, diese Linie zu senken, um den Computer eher bereit zu machen, Alarm zu schlagen.
Jahrelang hat sich die wissenschaftliche Gemeinschaft auf einen einzigen, berühmten Datensatz von Kreditkartentransaktionen verlassen, um diese Werkzeuge zu testen. Es ist der am häufigsten verwendete Benchmark auf diesem Gebiet, der Hunderttausende echter Transaktionen enthält, von denen ein winziger Bruchteil Betrug darstellt. Wenn Forscher ihre Methoden an diesem spezifischen Datensatz testeten, kamen sie oft zu einem überzeugenden Schluss: Die Standardwerkzeuge waren unnötig. Sie fanden heraus, dass ein einfaches, gut kalibriertes Computermodell Betrug perfekt erkennen konnte, ohne dass spezielle Anpassungen nötig waren, und dass der Versuch, die Entscheidungslinie zu manipulieren oder die Daten zu balancieren, die Dinge sogar verschlechterte. Dieses Ergebnis wurde zu einer weit akzeptierten Faustregel, die darauf hindeutete, dass für gut funktionierende Modelle der gesamte Apparat zur Handhabung von Imbalancen überflüssig war.
Eine neue Studie stellt die Sicherheit dieser Regel infrage. Die Forscher der Queensland University of Technology stellten eine einfache, aber tiefgreifende Frage: Lässt sich ein aus einem spezifischen Datensatz gezogener Schluss auf den Rest der Welt übertragen? Sie begannen damit, den berühmten Kreditkarten-Betrugsdatensatz unter Verwendung eines strengen, leckagefreien Protokolls erneut zu testen, das sicherstellte, dass keine Informationen aus den Testergebnissen versehentlich den Trainingsprozess beeinflussten. Ihre Ergebnisse bestätigten die alte Geschichte. Auf diesem spezifischen Datensatz schnitt ein Standardmodell namens Random Forest in seiner Standardeinstellung am besten ab, und jeder Versuch, den Entscheidungsschwellenwert anzupassen oder synthetische Daten zum Trainingssatz hinzuzufügen, brachte keinen Nutzen. Tatsächlich machte die Anpassung das Modell auf diesem Datensatz sogar etwas schlechter.
Die Forscher hörten jedoch nicht dort auf. Sie wandten exakt dasselbe Testprotokoll auf eine viel breitere Sammlung von fünfundvierzig verschiedenen binären Klassifikationsaufgaben an. Diese Aufgaben reichten von der Identifizierung handgeschriebener Ziffern bis hin zur Diagnose von Brustkrebs und umfassten sowohl reale als auch sorgfältig konstruierte synthetische Szenarien. Die Imbalanceraten in dieser neuen Sammlung variierten stark, von einem milden Unterschied von eins zu eins Komma fünf bis hin zu einem schweren Unterschied von eins zu einhundertachtundsiebzig. Als sie ihre Modelle über diese vielfältige Suite laufen ließen, kehrte sich die Geschichte komplett um.
Die Schlussfolgerung, die für den Kreditkartendatensatz funktionierte, erwies sich als Anomalie, die spezifisch für diesen einen Datensatz und dieses eine Modell war. Über die fünfundvierzig Aufgaben hinweg profitierte dasselbe Random-Forest-Modell, das auf den Betrugsdaten keine Hilfe benötigte, tatsächlich am meisten davon, dass sein Entscheidungsschwellenwert feinjustiert wurde. Die Anpassungen, die auf dem Betrugsdatensatz schädlich waren, erwiesen sich über die breitere Suite hinweg als hilfreich. Ähnlich verhielt es sich mit einer Technik namens SMOTE, die künstlich Beispiele der seltenen Klasse generiert: Diese war auf dem Betrugsdatensatz schädlich, bot aber bei der Mehrheit der anderen Aufgaben eine signifikante Leistungssteigerung. Die Forscher fanden heraus, dass der Nutzen der Anpassung des Entscheidungsschwellenwerts keine gerade Linie ist, die mit zunehmender Imbalance besser wird. Stattdessen folgt der Nutzen einer invertierten U-Kurve. Er ist vernachlagbar, wenn die Imbalance mild ist, erreicht seinen Höhepunkt im mittleren Bereich der Imbalance und sinkt dann wieder ab, wenn die Imbalance extrem wird.
Diese Entdeckung erklärt, warum der Kreditkarten-Betrugsdatensatz mit seinem extremen Imbalanceratent von eins zu fünfhundertsiebenundsiebzig ein schlechter Ort ist, um diese Fragen zu untersuchen. Er liegt in der Zone, in der der Nutzen der Feinabstimmung am geringsten und am schwersten zuverlässig zu messen ist. Die Studie testete auch eine verbreitete Intuition: nämlich, dass ein Forscher beobachten könne, wie schlecht ein Modell kalibriert ist, um zu entscheiden, ob er den Schwellenwert anpassen sollte. Sie fanden heraus, dass diese Intuition falsch ist. Es gab keinen zuverlässigen Zusammenhang zwischen dem Kalibrierungsfehler eines Modells und dem Ausmaß der Hilfe, die es durch die Anpassung erhielt. Ein Modell konnte schlecht kalibriert sein und nichts von der Anpassung profitieren, oder gut kalibriert sein und sehr viel davon profitieren.
Die Implikationen für jeden, der diese Systeme baut, sind klar. Die Vorstellung, dass ein einzelner Datensatz eine universelle Regel für den Umgang mit seltenen Ereignissen liefern kann, ist riskant. Eine Methode, die auf einem Datensatz perfekt funktioniert, kann auf einem anderen scheitern oder sogar nach hinten losgehen. Die Forscher empfehlen, dass Praktiker routinemäßig verschiedene Entscheidungsschwellenwerte auf einem Validierungssatz für jede neue Aufgabe testen sollten, anstatt davon auszugehen, dass eine Standardeinstellung ausreicht oder dass eine bestimmte Anpassung immer notwendig ist. Sie raten zudem davon ab, sich bei dieser Entscheidung auf Kalibrierungsdiagnosen zu verlassen, da diese Metriken das Ergebnis nicht vorhersagen können. Die Studie kommt zu dem Schluss, dass während die interne Validität – die Sicherstellung, dass ein einzelnes Experiment frei von Fehlern ist – wichtig ist, die externe Validität – die Sicherstellung, dass die Ergebnisse über verschiedene Daten hinweg Bestand haben – ebenso entscheidend ist. Ein methodisch perfektes Experiment auf einem einzelnen Datensatz kann dennoch zu der falschen allgemeinen Schlussfolgerung führen, und der einzige Weg zu wissen, was funktioniert, ist das Testen über eine große Vielfalt an Situationen hinweg.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.