📊 statistics

Don't Stop Me Yet: Sampling Loss Minima via Dissipative Riemannian Mechanics

Dieser Artikel stellt DiMS vor, einen dissipativen, auf der riemannschen Mechanik basierenden Sampler, der kinetische Energie, Gravitationskraft und Reibung nutzt, um exakt reparametrisierungsinvariante Lösungen auf den Niveaumengen von Verlustminima zu sampeln und damit die Unsicherheitsquantifizierung in der bayesschen Inferenz im Vergleich zu bestehenden Methoden verbessert.

Ursprüngliche Autoren: Albert Kjøller Jacobsen, Leo Uhre Jakobsen, Johanna Marie Gegenfurtner, Georgios Arvanitidis

Veröffentlicht 2026-05-18

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Albert Kjøller Jacobsen, Leo Uhre Jakobsen, Johanna Marie Gegenfurtner, Georgios Arvanitidis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Den „Talboden" finden

Stellen Sie sich vor, Sie trainieren ein neuronales Netz (eine Art KI), um ein Problem zu lösen. Sie können den Trainingsprozess als Versuch vorstellen, den tiefsten Punkt in einer riesigen, bergigen Landschaft zu finden. Die Höhe des Geländes repräsentiert den „Fehler" oder „Verlust" des Modells. Je tiefer Sie gehen, desto besser funktioniert das Modell.

In der Vergangenheit haben wir das Training meist beendet, sobald wir einen tiefen Punkt (eine einzelne Lösung) gefunden hatten. Die Autoren dieses Papers weisen jedoch auf ein entscheidendes Detail hin: Bei modernen, komplexen KI-Modellen ist der „Boden" des Tals nicht nur ein einzelner Punkt. Es ist ein massiver, flacher, zusammenhängender Boden. Es gibt Millionen verschiedener Möglichkeiten, die internen Einstellungen (Parameter) des Modells so anzuordnen, dass alle exakt die gleiche perfekte Punktzahl auf den Trainingsdaten erzielen.

Das Problem ist, dass die meisten Methoden entweder:

Zufällig jagen um die tiefen Bereiche herum, aber den perfekten Boden verpassen könnten.
Stecken bleiben an einer winzigen Stelle und den Rest des Bodens nicht erkunden können.

Dieses Paper stellt eine neue Methode namens DIMS (Dissipative Minima Sampler) vor, um diesen gesamten „perfekten Boden" effizient zu erkunden.

Die Analogie: Der Reibungsball

Um zu verstehen, wie DIMS funktioniert, stellen Sie sich eine Murmel vor, die auf dieser Landschaft rollt.

1. Der alte Weg (Geodäten):
Stellen Sie sich eine Murmel vor, die auf einer perfekt reibungsfreien Oberfläche rollt. Wenn Sie sie anstoßen, wird sie für immer rollen und hin und her durch das Tal springen. Sie hört nie auf. Sie erkundet das Gebiet, aber sie setzt sich nie fest, um Ihnen eine spezifische „Antwort" zum Anschauen zu geben. Sie ist zu chaotisch, um für das Sampling spezifischer Lösungen nützlich zu sein.

2. Der neue Weg (DIMS):
Die Autoren schlagen einen intelligenteren Weg vor, die Murmel rollen zu lassen. Sie führen zwei neue Kräfte ein:

Schwerkraft: Diese zieht die Murmel zum tiefstmöglichen Punkt hinab (den minimalen Verlust).
Reibung (Der geheime Bestandteil): Dies ist der Schlüssel. Während die Murmel rollt, entzieht die Reibung ihr langsam Energie.

Hier liegt die Magie: Die Reibung ist nicht konstant. Sie ist geschwindigkeitsabhängig.

Wenn die Murmel schnell rollt (hohe Energie), ist die Reibung stark und bremst sie schnell ab.
Wenn die Murmel langsam rollt, ist die Reibung sanft.

Das Ergebnis:
Sie starten die Murmel an einem bekannten guten Ort. Sie geben ihr einen zufälligen „Tritt" (Anfangsgeschwindigkeit). Sie rollt herum und erkundet die Landschaft. Aufgrund der Reibung verliert sie schließlich ihre gesamte Energie und kommt vollständig zum Stillstand. Entscheidend ist, dass sie aufgrund der Physik des Systems immer genau auf dem flachen „Boden" des minimalen Verlusts zum Stillstand kommt.

Sie bleibt nicht mitten an einer Steigung stehen; sie bleibt genau dort stehen, wo das Modell perfekt ist. Indem Sie die Richtung des anfänglichen Tritts ändern, können Sie die Murmel an verschiedenen Stellen auf diesem perfekten Boden zum Stillstand bringen, was Ihnen eine vielfältige Menge perfekter Lösungen liefert.

Warum ist das wichtig? (Unsicherheit)

Warum wollen wir viele verschiedene Lösungen, die alle die gleiche perfekte Punktzahl haben?

Stellen Sie sich vor, Sie unterrichten einen Schüler (die KI), Katzen anhand von 10 Bildern zu erkennen.

Lösung A lernt: „Katzen haben spitze Ohren."
Lösung B lernt: „Katzen haben Schnurrhaare."
Lösung C lernt: „Katzen haben Schwänze."

Alle drei Schüler erhalten bei diesem Test mit diesen 10 Bildern 100 %. Aber wenn Sie ihnen ein Bild eines Hundes zeigen, könnten sie sich disagree.

Schüler A könnte denken, der Hund sei eine Katze, weil er spitze Ohren hat.
Schüler B könnte korrekt sagen, es sei keine Katze, weil ihm die Schnurrhaare fehlen.

Wenn Sie nur einen Schüler auswählen (der alte Weg), wissen Sie nicht, ob Ihre KI zuversichtlich ist oder nur Glück hatte. Aber wenn Sie DIMS verwenden, um viele verschiedene „perfekte" Schüler zu generieren, können Sie sehen, wo sie übereinstimmen und wo sie sich widersprechen.

Wenn sie sich bei einem neuen Bild alle einig sind, ist die KI zuversichtlich.
Wenn sie wild voneinander abweichen, ist die KI unsicher.

Dies ist für die Sicherheit von entscheidender Bedeutung. Wenn eine KI ein Auto fährt, wollen Sie, dass sie weiß, wann sie unsicher ist, damit sie langsamer wird, anstatt selbstbewusst von einer Klippe zu fahren.

Die „Physik" hinter der Magie

Das Paper verwendet einige ausgefallene mathematische Begriffe, die jedoch direkt auf unsere Murmel-Analogie abbildbar sind:

Riemannsche Mechanik: Dies ist einfach die Mathematik, die beschreibt, wie sich die Murmel auf einer gekrümmten Oberfläche bewegt (der Landschaft der KI-Fehler) und nicht auf einem flachen Boden.
Dissipativ: Dies bedeutet „Energie verlieren". Der Reibungsterm stellt sicher, dass die Murmel nicht für immer springt, sondern sich beruhigt.
Reparametrisierungsinvariant: Dies ist eine ausgefallene Art zu sagen, dass die Murmel zwar an verschiedenen Koordinaten zum Stillstand kommt (verschiedene interne Einstellungen), die Funktion (das tatsächliche Verhalten der KI) jedoch gleich gut ist.

Was das Paper tatsächlich behauptet

Die Autoren testeten diese „Reibungsball"-Methode an mehreren Datensätzen (wie dem Klassifizieren handschriftlicher Zahlen oder dem Identifizieren von Glassorten). Sie fanden heraus, dass:

Es funktioniert: Die Murmel bleibt immer auf dem perfekten Boden stehen und bleibt nie halbwegs an einer Steigung stecken.
Es ist robust: Sie müssen die Reibungseinstellungen nicht allzu stark anpassen; es funktioniert gut mit einer Standardeinstellung.
Es ist besser im Raten des Unbekannten: Wenn die KI auf Daten trifft, die sie noch nie gesehen hat (Out-of-Distribution), ist die DIMS-Methode viel besser darin, „Ich weiß es nicht" zu sagen, im Vergleich zu anderen Methoden. Sie liefert ein ehrlicheres Maß für Unsicherheit.

Zusammenfassung

Stellen Sie sich das Trainieren einer KI als das Finden des Bodens eines Tals vor. Die meisten Methoden finden einen Punkt und hören auf. Dieses Paper gibt uns einen „Reibungsball", der über den gesamten Boden des Tals rollt, jede mögliche perfekte Lösung erkundet, bevor er sanft zur Ruhe kommt. Dies ermöglicht es uns, das vollständige Bild dessen zu sehen, was die KI weiß und, was noch wichtiger ist, was sie nicht weiß.

Technisches Fazit: Don't Stop Me Yet: Sampling von Loss-Minima mittels dissipativer Riemannscher Mechanik

Problemstellung
Moderne neuronale Netze sind typischerweise überparametrisiert, was zu Loss-Landschaften führt, in denen die globalen Minima keine isolierten Punkte sind, sondern zusammenhängende, kontinuierliche Untermannigfaltigkeiten reparametrisierungsinvarianter Lösungen bilden. Während diese Lösungen auf Trainingsdaten gleich gut abschneiden, können sie auf ungesehenen Eingaben unterschiedliches funktionales Verhalten hervorrufen. Bestehende Ansätze zur Unsicherheitsquantifizierung stehen vor einer Dichotomie: Methoden, die Regionen mit niedrigem Loss abtasten, versagen oft darin, eine exakte Interpolation der Trainingsdaten zu erzwingen, während Methoden, die auf die reparametrisierungsinvariante Menge beschränkt sind, oft inhärent lokal sind und ihre Fähigkeit einschränken, verschiedene Minima-Täler zu erkunden. Der Artikel adressiert die Herausforderung, den Raum der „guten Lösungen" zu navigieren, um diverse Modelle zu sampeln, die den Trainingsloss strikt minimieren und gleichzeitig eine hohe prädiktive Unsicherheit auf Out-of-Distribution (OOD)-Daten aufweisen.

Methodik: Dissipative Minima Sampler (DIMS)
Die Autoren schlagen den Dissipative Minima Sampler (DIMS) vor, ein geometriegetriebenes dynamisches System, das entwickelt wurde, um exakt aus den Niveaumengen des Loss-Funktionsminimums zu sampeln. Der Ansatz basiert auf Riemannscher Mechanik und klassischen dissipativen Systemen.

Riemannsche Formulierung: Die Loss-Oberfläche wird als in $\mathbb{R}^{K+1}$ eingebettete Riemannsche Mannigfaltigkeit $(M, g)$ behandelt. Der Metrik-Tensor $G(\theta)$ ist als Pullback-Metrik definiert: $G(\theta) = I_K + \nabla_\theta L(\theta)\nabla_\theta L(\theta)^\top$ , welche die Krümmung der Loss-Landschaft in die Geometrie des Parameterraums integriert.
Dynamisches System: Der Sampling-Prozess modelliert ein Partikel, das sich auf dieser Mannigfaltigkeit bewegt. Die Dynamik wird durch eine gewöhnliche Differentialgleichung (ODE) zweiter Ordnung gesteuert, die aus den Euler-Lagrange-Gleichungen abgeleitet ist. Das System umfasst:
- Kinetische Energie: $T(\alpha, \dot{\alpha}) = \frac{1}{2}\dot{\alpha}^\top G(\alpha)\dot{\alpha}$ .
- Potenzielle Energie: $V(\alpha) = \kappa(L(\alpha) - L(\theta^*_{glob}))$ , die als gravitative Anziehung zu den Minima wirkt.
- Dissipation: Ein Reibungsterm $-\eta(t)\dot{\alpha}$ wird eingeführt, um die Energieerhaltung zu brechen.
Geschwindigkeitsabhängige Reibung: Eine wesentliche Neuerung ist die Definition der Dissipationsfunktion $\eta(t)$ , die mit der Geschwindigkeit des Partikels (der Quadratwurzel der kinetischen Energie) und dem Winkel zwischen Geschwindigkeit und Gradient skaliert. Dies stellt sicher, dass Energie schneller dissipiert wird, wenn sich das Partikel gegen den Gradienten bewegt, während es dem Partikel ermöglicht wird, die Minimum-Niveaumenge (wo der Gradient orthogonal zur Geschwindigkeit steht) mit minimaler Reibung zu durchqueren.
Sampling-Verfahren: Der Sampler initialisiert ein Partikel an einem trainierten Minimum $\theta^*$ mit einer zufälligen Geschwindigkeit, die aus einer Verteilung gesampelt wird (typischerweise eine Laplace-Approximation, die die lokale Geometrie respektiert). Die ODE wird numerisch integriert, bis das Partikel zu einem neuen Punkt auf der Minimum-Untermannigfaltigkeit $S^*(D)$ konvergiert.

Hauptbeiträge

Deterministischer Sampler für Minimum-Untermannigfaltigkeiten: DIMS bietet eine Methode, um kontinuierlich verschiedene Punkte auf den Minimum-Untermannigfaltigkeiten des Trainingsloss zu besuchen. Es wird als ein geometriegetriebenes dynamisches System formuliert, das physikalisch interpretierbare Hyperparameter (Reibungskoeffizient $\eta_0$ ) besitzt, die die Exploration steuern.
Theoretische Garantien: Der Artikel zeigt, dass die vorgeschlagene Dynamik die Loss-Oberfläche erkundet, bevor sie in endlicher Zeit zur Minimum-Mannigfaltigkeit konvergiert. Insbesondere garantiert Theorem 1 die Konvergenz zur Menge der Gleichgewichtspunkte (lokale Minima) unter der strikten Sattel-Eigenschaft, während Theorem 2 und 3 Schranken für die Konvergenzzeit und die zurückgelegte Bogenlänge liefern und so eine nicht-triviale Exploration sicherstellen.
Empirische Validierung: Die Autoren zeigen, dass Posterior-Approximationen, die auf der Minimum-Mannigfaltigkeit konzentriert sind, gut generalisieren. DIMS verbessert im Vergleich zu bestehenden Laplace-basierten Approximationen (Standard LA, Linearized LA und Riemannian LA) die prädiktive Leistung, die Kalibrierung und speziell die OOD-Unsicherheitsquantifizierung.

Experimentelle Ergebnisse
Die Methode wurde an Regressionsaufgaben (Snelson-Dataset) und Klassifikationsaufgaben (Banana, UCI-Datasets, MNIST, Fashion MNIST) evaluiert.

Regressionsaufgaben: Auf dem Snelson-Dataset konvergierte DIMS erfolgreich zu Lösungen, die die Trainingsdaten perfekt anpassen und gleichzeitig eine hohe Unsicherheit bei OOD-Daten aufweisen, wohingegen die Riemannsche Laplace-Approximation (RLA) bei Initialisierung von suboptimalen Positionen keine Interpolation garantieren konnte.
Klassifikationsaufgaben: Auf UCI-Datasets erreichte DIMS im Vergleich zu RLA und anderen Baselines wettbewerbsfähige oder überlegene Negative Log-Likelihood (NLL)- und Kalibrierungsmetriken. Bemerkenswert ist, dass DIMS robust gegenüber dem Reibungs-Hyperparameter $\eta_0$ war und oft mit einem festen Standardwert über diverse Datensätze hinweg gut abschnitt.
OOD-Leistung: Auf MNIST und Fashion MNIST übertraf DIMS andere Methoden bei den AUROC-Werten für die OOD-Erkennung konsistent, was auf eine überlegene Fähigkeit hinweist, In-Distribution von Out-of-Distribution-Stichproben zu unterscheiden.

Bedeutung und Behauptungen
Der Artikel behauptet, dass DIMS einen prinzipiellen Ansatz zur Unsicherheitsquantifizierung im Deep Learning bietet, indem er explizit die Geometrie der Minimum-Loss-Untermannigfaltigkeiten anvisiert. Im Gegensatz zu traditionellen approximierten Posteriors, die sich über Regionen mit niedrigem Loss ausbreiten können, ohne eine exakte Dateninterpolation zu erzwingen, garantiert DIMS die Konvergenz zur Minimum-Mannigfaltigkeit. Die Autoren vertreten die Auffassung, dass dieser Ansatz die Generierung diverser Funktionsraum-Stichproben ermöglicht, die bei Trainingsdaten übereinstimmen, sich aber ansonsten unterscheiden – eine Eigenschaft, die für die Bayessche Inferenz entscheidend ist. Die Arbeit legt nahe, dass physikinspirierte, geometriebewusste Dynamiken die komplexen Loss-Landschaften überparametrisierter Netze effektiv navigieren können und eine robuste Alternative zu bestehenden Sampling- und Approximationstechniken bieten. Die Autoren räumen ein, dass die Methode aufgrund der Notwendigkeit, ODEs in hochdimensionalen Räumen zu lösen, rechenintensiv ist, argumentieren jedoch, dass der Kompromiss zu überlegenen Unsicherheitsschätzungen führt.