Enhancing Automated Machine Learning via Homogeneous Train-Test Splitting Methods
Dieses Paper schlägt eine Optimierte-Verteilung-Methode für das Train-Test-Splitting vor, die explizit die statistische Ähnlichkeit zwischen Teilmengen maximiert, wobei sie fünf etablierte Strategien über fünfzehn UCI-Datensätze hinweg durch das Erreichen des höchsten mittleren MMD-Ähnlichkeitswertes von 89,0 % übertrifft und die durch Verteilungsunterschiede verursachte Evaluationsinstabilität mildert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Koch, der versucht, ein neues Rezept für die perfekte Pizza zu erfinden. Um zu wissen, ob Ihr Rezept wirklich köstlich ist, können Sie nicht einfach nur die Pizza probieren, die Sie selbst gemacht haben; Sie benötigen einen Blindverkostungstest mit Fremden. Aber hier ist der Haken: Wenn Sie den Fremden nur Pizzastücke geben, die exakt so sind wie die, an denen Sie geübt haben, könnten sie denken, Ihre Pizza sei fantastisch, obwohl sie eigentlich nur durchschnittlich ist. In der Welt der Informatik, speziell in einem Bereich namens Maschinelles Lernen, lernen Computer durch das Studium von Daten, ganz ähnlich wie ein Koch, der Zutaten studiert. Um zu sehen, ob ein Computer gut gelernt hat, teilen Wissenschaftler ihre Daten in zwei Stapel auf: einen „Trainingsstapel“, den der Computer zum Studieren bekommt, und einen „Teststapel“, mit dem der Computer später seine Fähigkeiten unter Beweis stellen muss.
Die große Frage lautet: Wie teilt man diese Daten auf? Wenn Sie die Daten einfach zufällig in zwei Stapel werfen, könnten Sie versehentlich dem Computer alle einfachen Beispiele zum Studieren geben und alle schwierigen Beispiele für den Test übrig lassen. Oder wenn die Daten versteckte Muster aufweisen (wie eine Gruppe von ähnlich aussehenden Zutaten, die zusammen gruppiert sind), könnte ein zufälliger Split diese Muster gänzlich übersehen. Das ist eine große Sache, denn wenn der Split unfair ist, könnte der Computer denken, er sei ein Genie, wenn er eigentlich nur Glück hatte, oder er könnte denken, er sei ein Versager, obwohl er eigentlich brillant ist. Es den richtigen Split zu bekommen, ist der Unterschied zwischen einem Computer, der in der realen Welt funktioniert, und einem, der spektakulär scheitert.
Dieses Papier, geschrieben von Yearn Tan Yin Tze und Charles Grellois, ist wie ein strenger Geschmackstest-Wettbewerb, um zu sehen, welche Methode der Datenteilung die fairste ist. Die Autoren untersuchten fünf verschiedene Arten, Daten zu unterteilen, einschließlich einiger alter Tricks und einer brandneuen Methode, die sie selbst erfunden haben und die „Optimised-Distribution“ genannt wird. Sie testeten diese Methoden an fünfzehn verschiedenen Datensätzen, die von kleinen Sammlungen von etwa 150 Elementen bis hin zu massiven Datenbanken mit über 250.000 Einträgen reichten.
Die Forscher fanden heraus, dass einige der populären, schicken Methoden, die von Experten verwendet werden, den Split tatsächlich schlechter machen. Sie entdeckten, dass Methoden, die darauf ausgelegt sind, die „diversesten“ oder „extremsten“ Beispiele für den Trainingssatz auszuwählen (wie die Kennard–Stone- und SPXY-Algorithmen), oft einen Trainingsstapel erzeugen, der dem Teststapel überhaupt nicht ähnlich sieht. Es ist, als würde man einen Koch nur an scharfen, verbrannten und seltsam geformten Pizzas trainieren und ihn dann bitten, eine normale, frische Pizza zu bewerten. Der Koch wäre verwirrt, und die Ergebnisse wären ein Chaos. Tatsächlich schnitten diese schicken Methoden bei einem „Ähnlichkeitstest“ namens MMD nahe Null ab, was bedeutete, dass die beiden Stapel grundlegend verschieden waren.
Auf der anderen Seite behandelte die neue Methode der Autoren, „Optimised-Distribution“, den Split wie einen Balanceakt. Anstatt einfach nur zufällige Stichproben oder die extremsten Beispiele auszuwählen, prüfte und tauschte sie ständig Datenteile zwischen dem Trainings- und dem Teststapel aus, um sicherzustellen, dass sie statistisch identisch aussahen. Diese Methode gewann den Wettbewerb und erreichte einen Ähnlichkeitswert von durchschnittlich 89,0 %, was der höchste Wert aller getesteten Strategien war.
Das Papier bietet jedoch auch eine sehr wichtige Realitätsprüfung. Die Autoren fanden heraus, dass es zwar großartig ist, einen perfekten Split zu haben, dies aber nicht immer das Endergebnis verändert. Wenn die Daten riesig sind (wie bei dem Datensatz mit 253.680 Einträgen) oder sehr leicht zu verstehen sind, funktioniert selbst ein zufälliger Split gut, da der Computer so viele Informationen hat, dass er zwangsläufig die richtigen Muster lernt. Die neue Methode glänzt am hellsten, wenn die Daten klein, chaotisch oder schwierig sind. In diesen spezifischen Situationen kann ein schlechter Split einen Computer schlecht aussehen lassen, während die neue Methode der Autoren hilft, dass er viel zuverlässiger arbeitet. Daher braucht man nicht immer einen perfekten Split, aber wenn man mit begrenzten oder schwierigen Daten arbeitet, stellt diese neue Art, den Kuchen zu verteilen, sicher, dass der Computer eine faire Chance bekommt, seine wahren Fähigkeiten unter Beweis zu stellen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.