Enhancing Automated Machine Learning via Homogeneous Train-Test Splitting Methods
Dit artikel stelt een Optimised-Distribution-methode voor voor de train-test splitsing die expliciet de statistische gelijkenis tussen subsets maximaliseert, waarbij het vijf gevestigde strategieën over vijftien UCI-datasets overtreft door de hoogste gemiddelde MMD-gelijkenisscore van 89,0% te behalen en evaluatie-instabiliteit veroorzaakt door distributieverschillen te mitigeren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een chef bent die probeert een nieuw recept voor de perfecte pizza uit te vinden. Om te weten of je recept echt heerlijk is, kun je niet alleen de pizza proeven die je zelf hebt gemaakt; je hebt een blinde smaaktest nodig met vreemden. Maar hier zit de adder onder het gras: als je de vreemden alleen stukken pizza geeft die exact lijken op de exemplaren waar je op hebt geoefend, kunnen ze denken dat je pizza geweldig is terwijl hij eigenlijk slechts gemiddeld is. In de wereld van computerwetenschappen, specife o**lijk een vakgebied genaamd Machine Learning, leren computers door het bestuderen van data, net zoals een chef ingrediënten bestudeert. Om te zien of een computer goed heeft geleerd, verdelen wetenschappers hun data in twee stapels: een "trainingsstapel" voor de computer om te bestuderen, en een "teststapel" voor de computer om later zijn vaardigheden te bewijzen.
De grote vraag is: hoe verdeel je die data? Als je de data willekeurig in twee stapels gooit, zou je per ongeluk de computer alle makkelijke voorbeelden kunnen geven om te bestuderen en alle moeilijke voorbeelden voor de test over kunnen laten. Of, als de data verborgen patronen heeft (zoals een heleboel op elkaar lijkende ingrediënten die bij elkaar gegroepeerd zijn), zou een willekeurige verdeling deze mogelijk volledig missen. Dit is een groot probleem, want als de verdeling oneerlijk is, kan de computer denken dat hij een genie is terwijl hij eigenlijk gewoon geluk heeft, of kan hij denken dat hij een mislukking is terwijl hij eigenlijk briljant is. Het goed krijgen van deze verdeling is het verschil tussen een computer die in de echte wereld werkt en een die neerstort en faalt.
Dit artikel, geschreven door Yearn Tan Yin Tze en Charles Grellois, is als een strenge smaaktest-wedstrijd om te zien welke methode van dataverdeling de eerlijkste is. De auteurs bekeken vijf verschillende manieren om data te verdelen, inclus\u00a0met enkele ouderwetse trucjes en een gloednieuwe methode die zij zelf hebben uitgevonden genaamd "Optimised-Distribution". Ze testten deze methoden op vijftien verschillende datasets, variërend van kleine collecties van ongeveer 150 items tot enorme databases met meer dan 250.000 vermeldingen.
De onderzoekers ontdekten dat sommige van de populaire, chique methoden die door experts worden gebruikt, de verdeling juist slechter maken. Ze ontdekten dat methoden die ontworpen zijn om de meest "diverse" of "extreme" voorbeelden voor de trainingsset te kiezen (zoals de Kennard–Stone en SPXY-algoritmen), vaak een trainingsstapel creëren die totaal niet lijkt op de teststapel. Het is also[***]f als je een chef traint op alleen maar pittige, verbrande en vreemd gevormde pizza's, en hem vervolgens vraagt om een normale, verse pizza te beoordelen. De chef zou in de war raken, en de resultaten zouden een puinhoop zijn. Sterker nog, deze chique methoden scoorden bijna nul op een "gelijkenisstest" genaamd MMD, wat betekent dat de twee stapels fundamenteel verschillend waren.
Aan de andere kant behandelde de nieuwe methode van de auteurs, "Optimised-Distribution", de verdeling als een evenwichtsoefening. In plaats van alleen willekeurige monsters of de meest extreme exemplaren te kiezen, controleerde en wisselde deze methode constant stukjes data tussen de trainings- en teststapels om ervoor te zorgen dat ze statistisch identiek waren. Deze methode won de wedstrijd en behaalde een gemiddelde gelijkenisscore van 89,0%, wat de hoogste van alle geteste strategieën was.
De auteur biedt echter ook een zeer belangrijke reality check. De auteurs vonden dat hoewel een perfecte verdeling geweldig is, dit niet altijd de uiteindelijke score verandert. Als de data enorm is (zoals de dataset met 253.680 vermeldingen) of heel gemakkelijk te begrijpen is, werkt zelfs een willekeurige verdeling prima omdat de computer zoveel informatie heeft dat hij onvermijdelijk de juiste patronen leert. De nieuwe methode blinkt het meest uit wanneer de data klein, rommelig of lastig is. In die specifieke situaties kan een slechte verdeling een computer er verschrikkelijk uit laten zien, terwijl de nieuwe methode van de auteurs helpt om veel betrouwbaarder te presteren. Dus, hoewel je niet altijd een perfecte verdeling nodig hebt, zorgt deze nieuwe manier van de taart verdelen ervoor dat de computer bij beperkte of moeilijke data een eerlijke kans krijgt om zijn ware vaardigheden te bewijzen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.