When Single-Dataset Conclusions Fail: A 45-Task Study of Threshold Tuning and Resampling for Imbalanced Classification
Deze studie toont aan dat het vertrouwen op evaluaties met één enkele dataset voor ongebalanceerde classificatie misleidend is, aangezien een uitgebreide analyse van 45 taken onthult dat drempelwaarde-afstemming en resamplingtechnieken zoals SMOTE de prestaties aanzienlijk verbeteren over diverse ongebalanceerde ratio's heen, in tegenstelling tot de nulresultaten die werden waargenomen op de populaire maar niet-representatieve creditcardfraude-dataset.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van machine learning wordt computers vaak gevraagd om binaire keuzes te maken: is deze e-mail spam of niet, is deze transactie frauduleus of legitiem, vertoont deze medische scan een ziekte of een gezonde staat. Deze taken worden moeilijk wanneer één uitkomst veel gebruikelijker is dan de andere. Als een bank een miljoen transacties per dag verwerkt en slechts een paar honderd zijn frauduleus, ziet de computer een berg normale activiteit en een piepkleine, bijna onzichtbare piek van fraude. Dit staat bekend als klasse-imbalans (class imbalance). Om de computer te helpen de zeldzame gebeurtenis te zien, hebben onderzoekers standaardinstrumenten ontwikkeld. Ze kunnen kunstmatig meer voorbeelden van de zeldzame gebeurtenis creëren om de trainingsdata te balanceren, of ze kunnen de interne beslissingslijn van de computer aanpassen. Standaard beslist een computer meestal dat een gebeurtenis positief is als hij er voor meer dan vijftig procent zeker van is. In een ongebalanceerde wereld kan die vijftig procent-lijn te hoog zijn, waardoor de computer de zeldzame gebeurtenissen volledig mist. Daarom is de standaardpraktijk om die lijn te verlagen, waardoor de computer eerder geneigd is het alarm te laten afgaan.
Jarenlang heeft de wetenschappelijke gemeenschap vertrouwd op een enkele, beroemde dataset van creditcardtransacties om deze instrumenten te testen. Het is de meest gebruikte benchmark in het vakgebied, met honderdduizenden echte transacties waarvan een fractie frauduleus is. Wanneer onderzoekers hun methoden op deze specifieke dataset testten, kwamen ze vaak tot een zelfverzekerde conclusie: de standaardinstrumenten waren overbodig. Ze ontdekten dat een eenvoudig, goed gekalibreerd computermodel fraude perfect kon detecteren zonder speciale aanpassingen, en dat het proberen te tweaken van de beslissingslijn of het balanceren van de data de boel zelfs slechter maakte. Deze bevinding werd een algemeen geaccepteerde vuistregel, wat suggereerde dat voor goed functionerende modellen het hele apparaat voor het afhandelen van imbalans overbodig was.
Een nieuwe studie daagt de veiligheid van deze regel uit. De onderzoekers, werkzaam aan de Queensland University of Technology, stelden een eenvoudige maar diepzinnige vraag: is een conclusie getrokken uit één specifieke dataset van toepassing op de rest van de wereld? Ze begonnen door de beroemde creditcard-fraudedataset rigoureus opnieuw te testen met een strikt, lekvrij protocol dat ervoor zorgde dat geen informatie uit de testresultaten per ongeluk de training beïnvloedde. Hun resultaten bevestigden het oude verhaal. Op deze specifieke dataset presteerde een standaardmodel genaamd een Random Forest het best bij zijn standaardinstelling, en elke poging om de beslissingsdrempel aan te passen of synthetische data aan de trainingsset toe te voegen, bood geen enkel voordeel. Sterker nog, op deze dataset maakten de aanpassingen het model iets slechter.
De onderzoekers stopten echter niet daar. Ze namen exact hetzelfde testprotocol en pasten dit toe op een veel bredere collectie van vijfenveertig verschillende binaire classificatietaken. Deze taken varieerden van het identificeren van handgeschreven cijfers tot het diagnosticeren van borstkanker, en bevatten zowel real-world data als zorgvuldig geconstrueerde synthetische scenario's. De imbalansratio's in deze nieuwe collectie varieerden sterk, van een mild verschil van één tot éénënhalf, tot een ernstig verschil van één tot honderdvijfentachtig. Toen ze hun modellen over deze diverse reeks draalden, sloeg het verhaal volledig om.
De conclusie die werkte op de creditcarddataset bleek een anomalie te zijn, specifief voor die ene dataset en dat ene model. Over de vijfenveertig taken bleek hetzelfde Random Forest-model dat geen hulp nodig had op de fraude-data, juist het meeste baat te hebben bij het afstemmen van de beslissingsdrempel. De aanpassingen die schadelijk waren op de fraudedataset, werden nuttig over de bredere reeks. Ook een techniek genaamd SMOTE, die kunstmatig voorbeelden van de zeldzame klasse genereert, bleek schadelijk op de fraudedataset, maar leverde een aanzienlijke verbetering in prestaties op bij de meerderheid van de andere taken. De onderzoekers ontdekten dat het voordeel van het aanpassen van de beslissingsdrempel geen rechte lijn is die beter wordt naarmate de data ongebalanceerder wordt. In plaats daarvan volgt het voordeel een omgekeerde U-vorm. Het is verwaarloosbaar wanneer de imbalans mild is, bereikt een piek in het middelste bereik van de imbalans, en neemt dan weer af wanneer de imbalans extreem wordt.
Deze ontdekking verklaart waarom de creditcardfraudedataset, met een extreme imbalansratio van één tot vijfhonderdzevenentachtig, een slechte plek is om deze vragen te bestuderen. Het bevindt zich in de zone waar het voordeel van afstemming het laagst is en het moeilijkst betrouwbaar te meten is. De studie testte ook een veelvoorkomende intuïtie: dat een onderzoeker kan kijken naar hoe slecht een model is gekalibreerd en op basis daarvan kan beslissen of hij de drempel moet afstemmen. Ze kwamen tot de conclusie dat deze intuïtie onjuist is. Er was geen betrouwbare link tussen de kalibratiefout van een model en de mate waarin het hulp kreeg van afstemming. Een model kon slecht gekalibreerd zijn en niets opleveren van afstemming, of goed gekalibreerd zijn en veel opleveren.
De implicaties voor iedereen die deze systemen bouwt zijn duidelijk. Het idee dat een enkele dataset een universele regel kan bieden voor hoe men met zeldzame gebeurtenissen omgaat, is onveilig. Een methode die perfect werkt op één dataset, kan falen of zelfs averechts werken op een andere. De onderzoekers adviseren dat beoefenaars routinematig verschillende beslissingsdrempels moeten testen op een validatieset voor elke nieuwe taak, in plaats van aan te nemen dat een standaardinstelling voldoende is of dat een specifieke aanpassing altijd nodig is. Ze adviseren ook om niet te vertrouwen op kalibratiediagnostiek om deze beslissing te nemen, aangezien die metrieken de uitkomst niet voorspellen. De studie concludeert dat hoewel interne validiteit — het waarborgen dat een enkele experiment vrij is van fouten — belangrijk is, externe validiteit — het waarborgen dat de bevindingen standhouden over verschillende data — even kritisch is. Een methodologisch perfect experiment op een enkele dataset kan nog steeds leiden tot de verkeerde algemene conclusie, en de enige manier om te weten wat werkt, is het te testen in een grote verscheidenheid aan situaties.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.