Distinguishing Order Effects from Random Variation in Cleaning Pipelines for Tabular Data Classification
Dit artikel introduceert de Order Sensitivity Index en een permutatietoets om betekenisvolle effecten van de volgorde van de pipeline rigoureus te onderscheiden van willekeurige variatie in classificatie van tabeldata, waarbij wordt onthuld dat hoewel de volgorde in veel gevallen de nauwkeurigheid beïnvloedt voorbij het toeval, de specifieke sequentie van het balanceren van klassen en het corrigeren van labels cruciaal is om degradatie van labels bij minderheidsklassen te voorkomen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Voordat een computer kan leren patronen te herkennen in een spreadsheet, moet de data die het ontvangt schoon zijn. Werkelijke gegevens zijn zelden perfect; ze bevatten gaten waar informatie ontbreekt, vreemde vermeldingen die op fouten lijken, en labels die misschien onjuist zijn. Om deze problemen op te lossen, gebruiken datawetenschappers een reeks stappen. Ze kunnen ontbrekende getallen invullen, vreemde vermeldingen verwijderen, onjuiste labels corrigeren of de verdeling van categorieën aanpassen zodat zeldzame gebeurtenissen niet worden genegeerd. Deze stappen zijn standaardpraktijk, maar lange tijd werd de volgorde waarin ze worden uitgevoerd behandeld als een kwestie van gewoonte in plaats van een wetenschappelijke keuze. Het leek logisch om eerst ontbrekende getallen te herstellen voordat men vreemde vermeldingen verwijdert, of om labels te corrigeren voordat men de groepen in evenwicht brengt, maar niemand had strikt getest of deze sequentie daadwerkelijk het eindresultaat veranderde.
De vraag naar de volgorde is van belang omdat elke stap de data verandert die de volgende stap ontvangt. Als u nieuwe voorbeelden creëert om een groep in evenwicht te brengen voordat u onjuiste labels corrigeert, kunt u per ongeluk die fouten kopiëren naar de nieuwe voorbeelden. Als u labels corrigeert terwijl de groepen nog steeds uit balans zijn, kan het systeem verkeerd begrijpen wat een correct label is voor de zeldzame groep. Hoewel sommige eerdere studies hadden gesuggereerd dat de volgorde er toe kon doen, vertrouwden zij vaak op een paar willekeurige tests die door toeval gemakkelijk gelukkige of ongelukkige resultaten konden opleveren. Zonder een manier om een echt patroon te onderscheiden van willekeurige ruis, was het onmogelijk om te weten of de volgorde er werkelijk toe deed of dat de beste sequentie slechts een toevalstreffer was.
Een team van onderzoekers zette zich in om dit probleem op te lossen door de volgorde van de schoonmaakstappen te behandelen als een variabele die getest moet worden, in plaats van een regel die gevolgd moet worden. Ze namen tien verschillende real-world datasets, variërend van medische dossiers tot kredietaanvragen, en introduceerden doelbewust specifieke fouten in deze, zoals ontbrekende waarden, uitschieters en omgedraaide labels. Omdat zij precies wisten waar de fouten zaten, konden zij de werkelijke impact van elke beslissing bij het opschonen meten. Vervolgens draaiden zij elke mogelijke arrangement van vier belangrijke schoonmaakstappen — het invullen van gaten, het verwijderen van uitschieters, het corrigeren van labels en het balanceren van groepen — over drie verschillende soorten leeralgoritmen. In totaal testten zij vierentwintig verschillende volgordes op elke dataset, waarbij zij het proces vele malen herhaalden om te zien hoeveel de resultaten varieerden door louter willekeur.
Om een echt effect te onderscheiden van willekeurig geluk, ontwikkelden de onderzoekers een nieuwe manier om het verschil tussen de beste en slechtste volgordes te meten. Zij vergeleken het werkelijke gat in prestaties met een basisgat dat verwacht zou worden als de volgorde er totaal niet toe deed. Deze baseline werd berekend door de resultaten te husselen alsof de stappen uitwisselbaar waren, wat de vraag stelde: "Hoe groot zou het verschil zijn als we gewoon geluk hadden?" Zij ontdekten dat in veel gevallen het schijnbare voordeel van de ene volgorde boven de andere grotendeels werd verklaard door deze willekeurige variatie. Sterker nog, voor meer dan de helft van de combinaties van datasets en algoritmen was het geobserveerde verschil kleiner dan wat alleen door toeval zou worden geproduceerd. Dit betekent dat voor veel situaties de specifieke volgorde van stappen misschien niet zo belangrijk is als eerder gedacht, en dat de gevonden "beste" volgorde in een enkele test simpelweg een statistisch toeval kan zijn.
Echter, de studie vond wel dat de volgorde er in specifieke, voorspelbare omstandigheden toe doet. Het effect werd veel sterker wanneer de data een hoge mate van labelruis bevatte, met name wanneer de fouten geconcentreerd waren in de zeldzame of minderheidsgroep. De meest consistente en significante bevinding betrof de relatie tussen het corrigeren van labels en het balanceren van de groepen. Wanneer de onderzoekers labels corrigeerden terwijl de data nog steeds uit balans was, maakte het systeem vaak fouten, waarbij correcte labels van de zeldzame groep werden veranderd in het label van de meerderheidsgroep, omdat het in de beginfase te weinig voorbeelden van de zeldzame groep had gezien. Door de groepen eerst in evenwicht te brengen, of door ervoor te zorgen dat het correctieproces een gebalanceerde set voorbeelden zag, behield het systeem de correcte labels voor de zeldzame groep veel beter. Deze specifieke verandering in volgorde verbeterde de nauwkeurigheid van het uiteindelijke model met tussen de 0,6 en 2,8 procentpunten in de gevallen waar de volgorde er echt toe deed.
De onderzoekers testten ook of een sequentie die goed werkte op één set gegevens, ook zou werken op een andere. Zij vonden dat een volgorde gekozen op basis van prestaties over meerdere datasets aanzienlijk beter was dan een willekeurige gok wanneer deze werd toegepast op een nieuwe, ongeziene dataset. Dit suggereert dat hoewel de perfecte volgorde kan variëren, er algemene principes standhouden. De studie concludeert dat datawetenschappers niet moeten vertrouwen op één standaardvolgorde voor alle problemen. In plaats daarvan moeten zij verschillende volgordes testen tegen de mogelijkheid van willekeur, met speciale aandacht voor de sequentie van labelcorrectie en groepbalanceren, vooral bij het werken met zeldzame gebeurtenissen of ruizige data. Het werk biedt een duidelijke methode om te bepalen wanneer de volgorde van schoonmaakstappen een cruciale ontwerpkeuze is en wanneer het slechts een kwestie van conventie is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.