Benign interpolation and Occam's razor
Dieses Paper argumentiert, dass jüngste Versuche, den Generalisierungserfolg interpolierender Deep-Learning-Modelle durch einen Appell an Occams Rasiermesser zu erklären, eine Erklärungslücke erzeugen, indem sie unbewiesene Eigenschaften einzelner Modelle mit dem strengen, durch Theoreme gestützten Zusammenhang zwischen der Einfachheit einer Modellklasse und der Generalisierung, wie er in der klassischen Lerntheorie gefunden wird, konfundieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Bilder von Katzen und Hunden zu erkennen. Sie zeigen ihm tausende Fotos, und er lernt, den Unterschied zu erkennen. In den alten Tagen der Informatik gab es eine goldene Regel namens „Occams Rasiermesser“. Diese besagte im Grunde: „Halte es einfach.“ Wenn zwei Theorien die Daten erklären, wähle die einfachere. Warum? Weil ein Modell, das zu kompliziert wird, anfängt, die Trainingsfotos wie ein Papagei auswendig zu lernen, anstatt wirklich zu verstehen, was eine Katze ausmacht. Das nennt man „Overfitting“ (Überanpassung), und das ist eine Katastrophe. Wenn der Roboter dann ein neues Bild sieht, scheitert er, weil er zu sehr damit beschäftigt war, die alten auswendig zu lernen.
Jahrzehntelang nutzten Wissenschaftler diese Regel, um sichere, zuverlässige KI zu bauen. Sie glaubten, dass man, um einen klugen Roboter zu erschaffen, dessen Gehirnleistung begrenzen muss, damit er nicht verwirrt wird. Doch dann passierte etwas Seltsames. Die moderne KI, speziell das „Deep Learning“, begann, alle Regeln zu brechen. Diese neuen Roboter haben Gehirne, die so riesig sind, dass sie jedes einzelne Trainingsfoto perfekt auswendig lernen können – selbst wenn man die Etiketten vertauscht und ihnen sagt, dass eine Katze ein Toaster ist. Nach allen alten Regeln sollten sie eigentlich schlecht darin sein, neue Bilder zu erraten. Dennoch sind sie fantastisch darin. Sie passen perfekt auf die chaotischen Daten, aber erraten dennoch korrekt die Zukunft. Dieses seltsame Phänomen wird als „benigne Interpolation“ bezeichnet und hat Wissenschaftler ratlos zurückgelassen, da sie sich fragen, wie ein Roboter gleichzeitig ein perfekter Auswendiglernender und ein brillanter Vorhersager sein kann.
Dieses Papier, geschrieben von Tom F. Sterkenburg, Daniel A. Herrmann und Jan-Willem Romeijn, taucht in dieses Rätsel ein, um zu prüfen, ob die neuen Erklärungen für dieses Wunder Bestand haben. Die Autoren agieren im Wesentlichen als Detektive, die eine populäre neue Theorie untersuchen, die entstanden ist, um zu erklären, warum diese riesigen KI-Modelle so gut funktionieren.
Die neue Theorie besagt, dass diese KI-Modelle, obwohl sie riesig und komplex sind, die Art und Weise, wie sie lernen (unter Verwendung einer Methode namens „stochastischer Gradientenabstieg“), sie insgeheim zu der „einfachsten“ möglichen Lösung unter allen perfekten Fits drängt. Es ist wie ein Wanderer, der eine Million Pfade wählen kann, um einen Gipfel zu erreichen; die Theorie behauptet, dass die Stiefel des Wanderers ihn natürlich auf den glattesten, direktesten Pfad führen und die zackigen, felsigen Wege ignorieren. Die Befürworter dieser Idee nennen dies einen „Simplicity Bias“ (Einfachheits-Bias) und sagen, es sei eine moderne Version von Occams Rasiermesser, die hier Rettung bringt. Sie argumentieren, dass die KI das einfachste Modell wählt, das zu den Daten passt, weshalb sie so gut generalisiert.
Die Autoren dieses Papiers argumentieren jedoch, dass diese Erklärung eine massive Lücke aufweist. Sie weisen darauf hin, dass das alte „Occams Rasiermesser“ eine mathematisch bewiesene Regel über Gruppen von Modellen (Modellklassen) war. Es bewies, dass man eine gute Leistung garantiert, wenn man eine kleine, einfache Gruppe von Modellen wählt. Aber die neue Theorie spricht von einzelnen Modellen. Sie besagt: „Dieses spezifische Modell ist einfach, weil es eine niedrige ‚Norm‘ (ein mathematisches Maß für die Größe) hat oder ‚glatt‘ ist.“
Das Problem, so erklären die Autoren, ist, dass es keinen mathematischen Beweis gibt, der die Einfachheit eines einzelnen Modells mit seiner Fähigkeit verbindet, die Zukunft vorherzusagen. In den alten Tagen garantierte die Mathematik, dass einfache Gruppen funktionierten. In der neuen Geschichte behaupten die Autoren, dass Wissenschaftler diese spezifischen Modelle einfach nur als „einfach“ bezeichnen und hoffen, dass der Name „Occams Rasiermesser“ die schwere Arbeit für sie erledigt. Es ist, als würde man sagen: „Dieser Stein ist ein magischer Stein, weil ich ihn einen magischen Stein genannt habe“, ohne irgendeinen Beweis dafür zu liefern, dass magische Steine überhaupt existieren.
Das Papier legt nahe, dass diese neuen Ideen zwar interessant sind, aber eine Lücke hinterlassen. Sie haben nicht wirklich bewiesen, warum die Wahl eines „einfachen“ individuellen Modells zu guten Vorhersagen führt. Die Autoren argumentieren, dass die neue Theorie im Wesentlichen eine große, unbewiesene Annahme trifft: nämlich, dass die Welt voller einfacher Muster ist, die diese KI-Modelle zufällig finden. Sie sagen nicht, dass diese Annahme falsch ist, aber sie betonen, dass die aktuellen Erklärungen lediglich Vermutungen sind. Sie nutzen den Namen eines berühmten Prinzips (Occams Rasiermesser), um eine kühne Annahme wie eine solide wissenschaftliche Tatsache aussehen zu lassen.
Was also ist das Urteil? Das Papier sagt nicht, dass die neue KI defekt ist; es sagt, dass wir noch nicht vollständig verstehen, warum sie funktioniert. Die Autoren legen nahe, dass die Antwort vielleicht keine universelle Regel über Einfachheit ist, sondern etwas, das spezifischer für die gesammelten Daten oder die spezifischen Aufgaben ist, die wir der KI stellen. Bis jemand die Verbindung zwischen „einfachen individuellen Modellen“ und „guten Vorhersagen“ beweisen kann, bleibt die benigne Interpolation genau das – ein Rätsel. Die neue Theorie ist ein vielversprechender Hinweis, aber sie ist nicht die endgültige Antwort.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.