Scaling Laws for Classical Machine Learning on Tabular Data: A Benchmark Study
Diese Studie präsentiert einen groß angelegten, im Klassenzimmer verteilten Benchmark von 11.536 Trainingsläufen über 18 Datensätze und 6 Modellfamilien hinweg und zeigt auf, dass Potenzgesetze die Lernkurven für die meisten tabellarischen Modelle mit annähernd gemeinsamen Exponenten effektiv beschreiben, während signifikante Varianzen aufgrund von Implementierungsdetails statt durch Zufalls-Seeds bestehen bleiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie man Entscheidungen trifft, etwa vorherzusagen, ob ein Kunde ein Produkt kaufen wird oder ob ein Kredit zurückgezahlt wird. Lange Zeit waren Wissenschaftler besessen von „Skalierungsgesetzen“ für riesige neuronale Netze – jene massiven, gehirnähnlichen Computer, die Dinge wie Chatbots und Bildgeneratoren antreiben. Sie entdeckten eine magische Regel: Wenn man diese Giganten mit mehr Daten, mehr Gehirnzellen und mehr Rechenleistung füttert, sinken ihre Fehler auf eine perfekt vorhersehbare Weise, wie eine Rutsche, die einen Hügel hinunterführt. Diese Regel wurde so wichtig, dass Unternehmen Millionen von Dollar ausgeben, nur um zu berechnen, wie viele Daten sie kaufen müssen.
Aber hier kommt die Wendung: Der Großteil der realen Welt läuft nicht auf riesigen neuronalen Netzen. Er läuft auf „tabellarischen Daten“. Denken Sie an eine Tabellenkalkulation: Zeilen von Kunden, Spalten mit ihrem Alter, Einkommen und ihrer Kaufhistorie. Dies ist das Brot und Butter des Geschäftslebens, genutzt für alles von der Preisgestaltung von Versicherungen bis hin zur Absatzprognose. Für diese Aufgaben sind einfachere, ältere Werkzeuge wie Entscheidungsbäume und lineare Modelle oft besser geeignet als die schicken Giganten. Die große Frage war: Folgen diese einfacheren Werkzeuge derselben magischen „Mehr Daten = weniger Fehler“-Regel? Und wenn sie es tun, ist die Regel dieselbe für alle, oder verändert sie sich, je nachdem, welche spezifische Tabelle man verwendet? Bis jetzt hatte niemand dies in einem massiven Umfang getestet, um zu sehen, ob die Regel Bestand hat, wenn verschiedene Personen dasselbe Experiment durchführen.
Diese Arbeit ist ein riesiges, klassenzimmergroßes Experiment, das genau darauf abzielt, eine Antwort zu finden. Anstatt dass ein einzelnes Forschungsteam ein paar Tests durchführt, organisierte der Autor 127 Studenten eines Graduiertenkurses für maschinelles Lernen, um als unabhängige Wissenschaftler zu fungieren. Jeder Student erhielt einen spezifischen Satz von Regeln und wurde drei verschiedenen realen Datensätzen (wie Kreditkartenausfällen oder Hauspreisen) zugewiesen, an denen er arbeiten sollte. Sie mussten sechs verschiedene Arten von „klassischen“ Modellen des maschinellen Lernens auf diesen Datensätzen trainieren, beginnend mit winzigen Datenmengen und unter schrittweiser Hinzunahme von mehr Daten, um zu sehen, wie sich die Fehlerraten veränderten. Insgesamt führten sie über 11.000 Trainingssitzungen durch und schufen so eine massive Bibliothek an Ergebnissen, um zu sehen, ob eine einfache mathematische Formel vorhersagen kann, wie gut diese Modelle lernen würden.
Die Ergebnisse waren überraschend klar, aber mit ein paar wichtigen Einschränkungen. Erstens funktioniert die „magische Formel“ (ein Potenzgesetz) tatsächlich sehr gut für die meisten dieser Modelle. Die Autoren fanden heraus, dass die Formel für etwa 78 % der Experimente die Daten so gut beschrieb, dass sie genau vorhersagen konnte, wie stark der Fehler sinkt, wenn mehr Daten hinzugefügt werden. Dennoch sind nicht alle Modelle gleich erschaffen. Die „baumbasierten“ Modelle (wie Boosting und Random Forests) waren die Champions; sie übertrafen die anderen konsistent und erreichten die niedrigsten Fehlerraten. Andererseits versagten einige Modelle, insbesondere die Lasso-Regression, völlig bei der Einhaltung der Regel, indem sie oft einfach den Durchschnitt ratierten und die Datengröße ignorierten.
Die Studie untersuchte auch eine faszinierende Frage: Gibt es eine einzige „Lerngeschwindigkeit“ für eine ganze Modellfamilie, unabhängig vom Datensatz? Die Antwort lautet: „So halbwegs“. Für fünf der sechs Modellfamilien fanden die Studenten heraus, dass eine einzige durchschnittliche „Lerngeschwindigkeit“ (ein Exponent) das Verhalten der Modelle über verschiedene Datensätze hinweg fast so gut vorhersagen konnte, als würde man für jeden Datensatz eine eigene Geschwindigkeit berechnen. Es ist so, als würde man sagen, dass alle Autos einer bestimmten Marke etwa mit der gleichen Rate beschleunigen, selbst wenn die spezifischen Straßenbedingungen variieren. Dies ist jedoch kein perfektes universelles Gesetz; die Übereinstimmung ist nicht exakt, und bei einigen Modellen wie der Ridge-Regression war die „Geschwindigkeit“ so instabil, dass man ihr nicht vertrauen konnte.
Vielleicht war die überraschendste Erkenntnis nicht die über die Daten, sondern die über die Menschen, die die Arbeit verrichteten. Obwohl jeder Student exakt dieselben Anweisungen und denselben „Random Seed“ (einen digitalen Startpunkt) erhielt, um sicherzustellen, dass sie identische Ergebnisse liefern sollten, variierten ihre Endergebnisse dennoch leicht. Die Autoren berechneten, dass dieser „menschliche Implementierungsrauschen“ – verursacht durch winzige, unvermeidbare Unterschiede darin, wie Menschen mit fehlenden Zahlen umgehen oder Texte kodieren – eine Variation von etwa 14 % in den Ergebnissen erzeugte. Dies deutet darauf hin, dass es, wenn ein einzelnes Forschungsteam behauptet, ein spezifisches Skalierungsgesetz entdeckt zu haben, eine eingebaute „Unschärfe“ von etwa 14 % gibt, die allein aus der Art und Weise resultiert, wie das Experiment aufgebaut wurde, nicht aus den Daten selbst.
Am Ende liefert uns diese Arbeit eine praktische Landkarte für die Welt der tabellarischen Daten. Sie bestätigt, dass man für die meisten Geschäftsprobleme keinen Supercomputer benötigt; ein gut abgestimmtes Baummodell wird wahrscheinlich gewinnen. Sie bietet eine „Einkaufsliste“ für Daten und schätzt, dass man für einige gängige Probleme vielleicht nur ein paar hundert Zeilen an Daten benötigt, um ein hohes Maß an Genauigkeit zu erreichen, während andere möglicherweise zehntausende benötigen könnten. Sie warnt uns jedoch auch zu Demut: Die Regeln sind annähernd, nicht absolut, und die Art und Weise, wie wir unsere Daten vorbereiten, kann eine ebenso große Unsicherheit einführen wie die Daten selbst. Es ist eine Erinnerung daran, dass selbst die einfachsten Tabellenkalkulationen in der Welt des maschinellen Lernens ihre eigenen komplexen, leicht chaotischen, aber letztlich vorhersagbaren Rhythmen haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.