The Loss Does Not See the Basis, but Adam Does
Diese Arbeit zeigt auf, dass das Versagen von Adam bei der Rekonstruktion von Low-Rank-Lösungen in faktorierten Modellen auf dessen mangelnde Gauge-Äquivarianz zurückzuführen ist, eine Eigenschaft, die der Gradientenabstieg und andere Shared-Scalar-Optimierer besitzen und die den impliziten Bias hin zu Low-Rank-Interpolanten bewahrt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein riesiges, unordentliches Puzzle zu lösen, bei dem die Teile Zahlen sind, die in einem Gitter angeordnet sind. In der Welt der künstlichen Intelligenz nennt man dies „Matrixfaktorisierung“. Sie haben ein riesiges, kompliziertes Bild (die Daten) und möchten es in zwei kleinere, einfachere Stapel von Karten zerlegen, die, wenn man sie miteinander multipliziert, das ursprüngliche Bild wiederherstellen. Das Ziel ist es, die einfachsten möglichen Stapel zu finden, die das Bild dennoch perfekt abbilden. Dies ist wichtig, da einfachere Lösungen in der realen Welt meist besser funktionieren, da sie die Falle vermeiden, Rauschen auswendig zu lernen, anstatt Muster zu erkennen.
Um dieses Puzzle zu lösen, nutzen Computer eine Methode namens „Gradientenabstieg“, was so ist, als würde ein Wanderer versuchen, den Boden eines Tals zu finden, indem er immer bergab geht. Lange Zeit bemerkten Wissenschaftler, dass dieser Wanderer, wenn man mit sehr kleinen Karten beginnt, ganz natürlich die einfachste Lösung findet. Ein neuerer, schnellerer Wanderer namens „Adam“ (ein beliebtes Werkzeug in der KI) verläuft sich jedoch oft und findet eine komplizierte, unordentliche Lösung, selbst wenn eine einfache existiert. Die große Frage war: Warum findet der schnelle Wanderer nicht den einfachen Pfad, und lässt sich das beheben, ohne ihn langsam zu machen?
Diese Arbeit mit dem Titel „The Loss Does Not See the Basis, But Adam Does“ untersucht, warum das passiert. Der Autor entdeckte, dass das Problem nicht nur die Geschwindigkeit ist; es geht darum, wie der Wanderer die Welt sieht. Das Puzzle hat eine verborgene Symmetrie: Man kann seine Kartenstapel auf viele verschiedene Arten rotieren, und das fertige Bild bleibt exakt gleich. Denken Sie daran, wie man einen Globus dreht: Die Kontinente bewegen sich umher, aber die Landkarte bleibt dieselbe. Der traditionelle Wanderer (Gradientenabstieg) ignoriert die spezifische Rotation und betrachtet stattdien nur die Form des Tals, wodurch er ganz natürlich die einfachste Lösung findet. Aber der schnelle Wanderer (Adam) lässt sich von der spezifischen Rotation der Karten ablenken. Er behandelt eine Richtung als „besonders“ und eine andere als „anders“, obwohl sie mathematisch identisch sind. Diese Ablenkung führt dazu, dass er eine komplizierte, hochrangige Lösung wählt, anstatt der einfachen, niedrigrangigen.
Der Autor bewies, dass jeder Optimierer (ein Werkzeug zur Lösung des Puzzles), der diese Rotationssymmetrie respektiert, natürlich die einfache Lösung findet, während diejenigen, die die Symmetrie brechen, in komplexen Lösungen stecken bleiben. Er testete neun verschiedene Optimierer und fand eine klare Trennung: Die „symmetrie-respektierenden“ (wie Gradientenabstieg, Muon und eine modifizierte Version von Adam) fanden Lösungen mit Fehlern von nur 0,000006, während die „symmetrie-brechenden“ (wie Standard-Adam und RMSProp) Fehler von über 0,42 aufwiesen – ein massiver Unterschied.
Um zu beweisen, dass es sich nicht nur um einen Zufall handelte, baute er ein „Drehrad“, das Adam reibungslos von seinem chaotischen, rotations-hassenden Modus in einen rotations-freundlichen Modus überführt. Während er das Rad drehte, wurde die Lösung einfacher und genauer, was zeigte, dass die spezifische Art und Weise, wie Adam die Daten betrachtet, die genaue Ursache des Problems ist. Er testete dies sogar mit realen Daten, wie etwa hyperspektralen Bildern der Erde, und fand heraus, dass die rotations-freundlichen Methoden die Fehler im Vergleich zum Standard-Adam um etwa 44 % reduzierten.
Interessanterweise fand die Arbeit auch, dass „Rotations-Freundlichkeit“ nicht immer ein Wundermittel ist. Wenn das Puzzle selbst unordentlich ist und viel zufälliges Rauschen besitzt (einen „Spektralschwanz“), wird der super-schnelle, rotations-freundliche Wanderer namens Muon manchmal zu eifrig und passt sich dem Rauschen an, während der langsamere, stetige Wanderer (Gradientenabstieg) besser abschneidet. Das beste Werkzeug hängt also von der spezifischen Natur des Puzzles ab.
Schließlich untersuchte der Autor, wie sich dies auf moderne KI-Modelle namens Transformer (die Gehirne hinter Chatbots) auswirkt. Er fand heraus, dass, wenn man zwei identische KI-Modelle mit derselben Mathematik, aber mit unterschiedlich rotierten internen Karten startet, der Standard-Adam-Optimierer sie nach nur einem Schritt völlig unterschiedlich agieren lässt. Sie enden mit völlig unterschiedlichen internen Strukturen, obwohl sie als dieselbe Funktion begannen. Das bedeutet, dass die Wahl des Optimierers nicht nur ein Abstimmungsdetail ist; sie entscheidet fundamental darüber, welche Version der Lösung die KI lernt. Die Arbeit kommt zu dem Schluss, dass wir, um die besten, einfachsten Ergebnisse zu erzielen, Optimierer benötigen, die die verborgenen Symmetrien der Mathematik respektieren, anstatt sich von der spezifischen Art und Weise ablenken zu lassen, wie die Zahlen angeordnet sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.