📊 statistics

On the Epistemic Uncertainty of Overparametrized Neural Networks

Dieser Artikel widerlegt die konventionelle Auffassung, dass epistemische Unsicherheit mit mehr Daten verschwindet, indem er zeigt, dass in überparametrisierten neuronalen Netzen Nicht-Identifizierbarkeit aufgrund von Symmetrien und redundanten Darstellungen zu einer anhaltenden Parameterunsicherheit führt, selbst wenn die zugrundeliegende Funktion vollständig identifiziert ist, ein Phänomen, das die Autoren theoretisch analysieren und in einlagigen ReLU-Netzen empirisch validieren.

Ursprüngliche Autoren: David Rügamer

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: David Rügamer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Das Problem "Viele Schlüssel, eine Tür"

Stellen Sie sich vor, Sie haben ein sehr komplexes Schloss (das reale Problem) und einen massiven Schlüsselbund mit Tausenden von Schlüsseln (das neuronale Netz). Normalerweise gehen wir davon aus, dass wir mit genügend Daten den einen perfekten Schlüssel finden können, der das Schloss öffnet, und wir zu 100 % sicher sein werden, ihn gefunden zu haben.

Dieses Papier argumentiert, dass dies für moderne, "überparametrisierte" neuronale Netze (Netze mit weit mehr Schlüsseln als nötig) nicht zutrifft. Selbst mit unendlich vielen Daten werden Sie vielleicht niemals genau wissen, welchen spezifischen Schlüssel Sie halten. Sie wissen nur, dass die Tür offen ist.

Die Autoren nennen dies epistemische Unsicherheit (Unsicherheit darüber, was wir wissen). Sie zeigen, dass selbst dann, wenn das Netz die Antwort perfekt kennt, es verwirrt bleibt darüber, wie es zu dieser Antwort gelangt ist, weil es viele verschiedene Wege gibt, dieselbe Lösung zu konstruieren.

Analogie 1: Der Orchesterdirigent (Permutationssymmetrie)

Stellen Sie sich einen Dirigenten vor, der ein Orchester leitet. Die Musik (die Vorhersage) ist perfekt.

Das Problem: Die Geigensektion hat 100 Spieler. Wenn Spieler #1 seinen Platz mit Spieler #50 tauscht, klingt die Musik exakt gleich.
Die Verwirrung: Wenn Sie den Dirigenten fragen: "Wer spielt die erste Geige?", und er antwortet: "Das ist Spieler #1", könnten Sie denken, er sei zu 100 % sicher. Aber tatsächlich könnte Spieler #50 diese Rolle gespielt haben, und die Musik wäre immer noch perfekt gewesen.
Die Erkenntnis des Papiers: In der Standardstatistik gehen wir davon aus, dass der Dirigent mit genügend Übung (Daten) genau weiß, wer wo sitzt. Aber in diesen riesigen Netzen kann der Dirigent niemals sicher sein über den Sitzplan, selbst wenn die Musik makellos ist. Die Unsicherheit darüber, wer spielt (die Parameter), bleibt bestehen, obwohl das Lied (die Funktion) perfekt bekannt ist.

Analogie 2: Das Pizzaschneiden (Kontinuierliche Nicht-Identifizierbarkeit)

Stellen Sie sich nun vor, das Netz ist noch größer als nötig. Es hat zusätzliche "Neuronen" (zusätzliche Köche), die nicht strikt benötigt werden.

Das Szenario: Sie müssen eine Pizza backen, die genau 100 Gramm Käse erfordert.
Die Verwirrung:
- Szenario A: Ein Koch gibt alle 100g auf die Pizza.
- Szenario B: Zwei Köche geben jeweils 50g.
- Szenario C: Zehn Köche geben jeweils 10g.
- Szenario D: Koch A gibt 99g, Koch B gibt 1g.
Die Erkenntnis des Papiers: Das Netz kann exakt dieselbe Pizza (dieselbe Vorhersage) erzielen, indem es den "Käse" (das Gewicht) unter den zusätzlichen Köchen auf unendlich viele verschiedene Arten aufteilt.
- Im Gegensatz zum Orchester, wo die Leute nur Plätze tauschen, streiten sich hier die Köche ständig darüber, wie sie den Käse aufteilen sollen.
- Das Papier beweist, dass sich das Netz selbst bei unendlich vielen Daten nicht auf eine spezifische Art der Käseverteilung festlegt. Stattdessen wandert es auf einer "Mannigfaltigkeit" (einer glatten Fläche von Möglichkeiten) herum, auf der die Gesamtmenge des Käses immer 100g beträgt, die einzelnen Mengen sich jedoch ständig ändern.

Warum ist das wichtig? (Der Abschnitt "Warum gängige Maße versagen")

Normalerweise schauen Wissenschaftler, wenn sie messen, wie "unsicher" ein Modell ist, darauf, wie stark sich die Ausgabe ändert.

Die alte Sichtweise: "Wenn das Modell jedes Mal dieselbe Antwort gibt, ist es nicht unsicher."
Die Sichtweise des Papiers: "Das ist falsch. Das Modell mag dieselbe Antwort geben, aber die internen Zahnräder (die Gewichte) drehen sich wild in unterschiedliche Richtungen."

Die Autoren zeigen, dass Sie, wenn Sie nur die endgültige Antwort (die Pizza) betrachten, übersehen, dass die interne Mechanik chaotisch ist. Das ist wichtig, wenn Sie wissen müssen, wie das Modell funktioniert (für Dinge wie Debugging, Komprimierung oder das Verständnis, welche Merkmale wichtig sind), und nicht nur, was die Antwort ist.

Was haben sie getan?

Die Theorie: Sie verwendeten Mathematik, um zu beweisen, dass dieses "Aufteilen" und "Tauschen" bei einfachen neuronalen Netzen (ReLU-Netzen) einen permanenten Unsicherheitsnebel im Inneren des Modellhirns erzeugt, selbst wenn das Modell seine Aufgabe perfekt erfüllt.
Die Mathematik: Sie beschrieben diesen Nebel mit Formen, die Mannigfaltigkeiten genannt werden. Stellen Sie sich das wie ein glattes, flaches Blatt Papier vor, das in einem 3D-Raum schwebt. Die Gewichte des Modells können überall auf diesem Blatt gleiten, ohne das Ergebnis zu verändern.
Die Experimente: Sie bauten diese Netze und führten sie auf Computern aus. Sie beobachteten, wie sich die "Gewichte" (die internen Zahlen) bewegten.
- Ergebnis 1: Die Netze wurden mit mehr Daten besser in der Vorhersage.
- Ergebnis 2: Aber die internen Gewichte hörten niemals auf, sich zu bewegen. Sie glitten weiterhin auf diesen "Blättern" (Mannigfaltigkeiten) herum und tauschten Plätze, was bewies, dass die Unsicherheit bezüglich der internen Struktur niemals verschwand.
Das Sampling-Problem: Sie untersuchten auch, wie Computer versuchen, diese Netze zu "erkunden" (unter Verwendung einer Methode namens MCMC). Sie stellten fest, dass eine Computersimulation, die in einer bestimmten "Sitzanordnung" (einer Permutation) startet, dort normalerweise stecken bleibt und niemals zu den anderen äquivalenten Anordnungen springt, obwohl alle gültig sind. Das bedeutet, dass Standard-Computermethoden das vollständige Bild der Unsicherheit verpassen könnten.

Das Fazit

Das Papier behauptet, dass überparametrisierte neuronale Netze eine versteckte, permanente Unsicherheit bezüglich ihrer eigenen internen Struktur haben.

Funktionsraum (Die Ausgabe): Das Modell wird sicher. Es kennt die Antwort.
Parameterraum (Die internen Gewichte): Das Modell bleibt unsicher. Es weiß nicht, welche spezifische Kombination von Zahlen es verwendet, um diese Antwort zu erhalten, weil es Millionen gleich guter Kombinationen gibt.

Das ist wie ein Meisterkoch, der ein perfektes Gericht zubereiten kann, aber wenn Sie ihn fragen: "Haben Sie 2 Teelöffel Salz verwendet oder 1 Teelöffel Salz und 1 Teelöffel Sojasauce?", kann er es Ihnen nicht sagen, weil beide Rezepte exakt gleich schmecken. Das Papier argumentiert, dass wir aufhören müssen, so zu tun, als wüsste der Koch das genaue Rezept, nur weil das Essen gut schmeckt.

Technische Zusammenfassung: Zur epistemischen Unsicherheit überparametrisierter neuronaler Netze

Problemstellung

Epistemische Unsicherheit im maschinellen Lernen wird traditionell als reduzierbare Unsicherheit definiert, die mit zunehmender Datenmenge verschwindet und oft mit der Vorhersagevariabilität gleichgesetzt wird. Diese Perspektive basiert auf der Annahme der Parameter-Identifizierbarkeit, wonach sich die Posterior-Verteilung bei $n \to \infty$ um einen eindeutigen Parametervektor (oder eine Punktmasse) konzentriert. In überparametrisierten neuronalen Netzen sind Parameter jedoch typischerweise nicht identifizierbar aufgrund von Symmetrien (z. B. Permutationsinvarianz) und redundanten Darstellungen.

Das Kernproblem besteht darin, dass, obwohl die zugrundeliegende Funktion $f^*$ vollständig identifiziert sein mag, der Parameterraum erhebliche Unsicherheit enthält, die selbst bei unendlich vielen Daten persistiert. Klassische Unsicherheitszerlegungen, die sich auf die Vorhersagevarianz konzentrieren, erfassen diese „residuale" Unsicherheit nicht, da sie gegenüber Parameteränderungen invariant sind, die die Funktion unverändert lassen. Folglich besteht eine Diskrepanz zwischen den strukturellen Eigenschaften überparametrisierter Modelle (bei denen sich das Posterior im Parameterraum nicht zu einem Punkt zusammenzieht) und den Standardmethoden zur Unsicherheitsquantifizierung.

Methodik

Die Autoren analysieren epistemische Unsicherheit unter dem Gesichtspunkt der Nicht-Identifizierbarkeit mittels einer Architektur eines neuronalen Netzes mit einer versteckten Schicht und ReLU-Aktivierungsfunktion:
$f_w(x) = w_2^\top \phi(W_1 x)$
wobei $\phi(\cdot) = \max(0, \cdot)$ . Die Studie geht von einem regularisierten Verlustziel aus, das einem Bayesschen Posterior mit einem Gaußschen Prior äquivalent ist.

Die Methodik verläuft in drei Stufen:

Theoretische Charakterisierung: Die Autoren unterscheiden zwischen zwei Quellen der Nicht-Identifizierbarkeit:
- Permutationssymmetrie: In korrekt spezifizierten Modellen ( $M = M^*$ ) entsteht Nicht-Identifizierbarkeit durch das Permutieren versteckter Neuronen. Das Posterior konvergiert zu einer Mischung von Dirac-Maßen über diese Permutationen.
- Kontinuierliche Aufspaltung (Manifold-Zuweisung): In überparametrisierten Modellen ( $M > M^*$ ) können wahre Neuronen durch kontinuierliche Kombinationen mehrerer redundanter Neuronen dargestellt werden. Dies induziert ein „Aufspaltungs-Manifold" $\mathcal{M}_\varsigma$ , auf dem Gewichte kontinuierlich neu verteilt werden können, während dieselbe Funktion und dieselben Regularisierungskosten erhalten bleiben.
Posterior-Herleitung: Das Papier leitet die exakte Form des induzierten Posteriors auf diesen Mannigfaltigkeiten her. Es wird gezeigt, dass für eine feste Zuweisungsmapping $\varsigma$ (welches Modell-Neuronen auf wahre Neuronen abbildet) die Aufspaltungskoeffizienten einer symmetrischen Dirichlet-Verteilung folgen. Die Autoren definieren das Posterior auf dem Manifold als den schwachen Limes des umgebenden Posteriors, konditioniert auf einen $\epsilon$ -Röhrenbereich um das Manifold, wenn $\epsilon \to 0$ .
Empirische Validierung: Die theoretischen Ergebnisse werden mit Bayesschen Neuronen Netzen (BNNs) mit Gaußschen Priors und Likelihoods validiert. Die Inferenz erfolgt mittels Stochastic Gradient Langevin Dynamics (SGLD) und des No-U-Turn-Samplers (NUTS). Die Studie analysiert Posterior-Stichproben, um Konvergenzeigenschaften, Umschaltfrequenzen zwischen Permutationskammern und die Verteilung der Aufspaltungskoeffizienten zu verifizieren.

Hauptbeiträge

Neudefinition epistemischer Unsicherheit: Das Papier argumentiert, dass epistemische Unsicherheit in überparametrisierten Modellen eine persistente Komponente aufgrund von Nicht-Identifizierbarkeit umfasst, die mit zunehmenden Daten nicht verschwindet, selbst wenn die Vorhersagefunktion perfekt identifiziert ist.
Charakterisierung residualer Unsicherheit:
- Diskrete Quelle: In korrekt spezifizierten Modellen manifestiert sich Unsicherheit als Mischung von Dirac-Maßen über Permutationsorbits.
- Kontinuierliche Quelle: In überparametrisierten Modellen manifestiert sich Unsicherheit als nicht-degenerierte Verteilung über Aufspaltungs-Manifolds. Die Autoren leiten her, dass Aufspaltungskoeffizienten einer Dirichlet-Verteilung $\text{Dir}(\alpha, \dots, \alpha)$ mit $\alpha = (p+1)/2$ folgen.
Posterior-Momente und Geometrie: Die Autoren leiten explizite Formeln für die Posterior-Momente der Gewichte unter Überparametrisierung her. Sie zeigen, dass, während der Gesamtabschuss einer Gruppe redundanter Neuronen fixiert bleibt, der individuelle Beitrag jedes Neurons schrumpft ( $O(M^{-1/2})$ im Mittel, $O(M^{-1})$ in der Kovarianz), wenn die Netzbreite $M$ zunimmt.
Sampling-Dynamik: Das Papier demonstriert, dass Standard-MCMC-Sampler (unter spezifischen Stetigkeitsannahmen) fast sicher in einer einzigen Permutationskammer oder im Inneren eines einzigen Zuweisungs-Manifolds gefangen sind. Sie durchqueren die Grenzen zwischen verschiedenen symmetriebezogenen Regionen nicht natürlich, was bedeutet, dass eine einzelne Kette nur eine Teilmenge der vollen Posterior-Unterstützung erkundet.

Ergebnisse

Konvergenz vs. Varianz: Empirische Ergebnisse bestätigen, dass, während die Vorhersageleistung (RMSE, LPPD) mit zunehmendem $n$ gegen die wahre Funktion konvergiert, die Spur der Kovarianzmatrix der Gewichte aufgrund von Permutations- und Aufspaltungssymmetrien nicht null bleibt.
Manifold-Struktur: In überparametrisierten Settings ( $M > M^*$ ) stimmen Posterior-Stichproben mit der theoretischen Vorhersage überein, dass Aufspaltungskoeffizienten einer Beta-Verteilung (Randverteilung der Dirichlet-Verteilung) folgen. Die empirischen Verteilungen der Gewichtsbeiträge stimmen eng mit den theoretischen Dirichlet-Randverteilungen überein.
Sampling-Verhalten: Experimente mit NUTS und SGLD zeigen, dass Ketten in einzelnen Permutationskammern verharren. Die „Umschaltfrequenz" zwischen Kammern ist vernachlässigbar, und der „mittlere minimale Rand" zeigt, dass Ketten tief innerhalb spezifischer Kammern verweilen und selten die maß-null-Grenzen überschreiten, an denen Neuronen austauschbar werden.
Praktische Auswirkungen: Das Papier veranschaulicht, dass das Ignorieren von Nicht-Identifizierbarkeit zu verzerrten Schätzungen in nachgelagerten Aufgaben führen kann. Beim kontinuierlichen Lernen (EWC) kann die durch Nicht-Identifizierbarkeit induzierte Varianz die Parameterwichtigkeit fälschlicherweise aufblähen, was zu übermäßig restriktiven Updates führt. Eine Korrektur dieser Varianz verbessert die Anpassung. Ebenso können Standard-Konvergenzdiagnostiken (wie $\hat{R}$ ) im Parameterraum aufgrund nicht-identifizierbarer Richtungen weiterhin aufgebläht bleiben, selbst wenn eine Konvergenz im Funktionsraum erreicht ist.

Bedeutung und Behauptungen

Das Papier beansprucht, eine notwendige Korrektur der Standardansicht epistemischer Unsicherheit im Deep Learning zu liefern. Es behauptet:

Parameterunsicherheit persistiert: Im Gegensatz zur klassischen Ansicht, bei der Unsicherheit mit Daten verschwindet, ist Parameterunsicherheit in überparametrisierten Netzen aufgrund struktureller Symmetrien irreduzibel.
Funktionsraum vs. Parameterraum: Während die Arbeit im Funktionsraum diese Probleme mildert, müssen Verfahren, die direkt auf Gewichten operieren (z. B. Interpretierbarkeit, Modellkompression, kontinuierliches Lernen oder sampling-basierte Inferenz), diese residuale Unsicherheit berücksichtigen, um irreführende Schlussfolgerungen zu vermeiden.
Grenzen aktueller Heuristiken: Praktische Heuristiken wie Deep Ensembles können einige Effekte der Nicht-Identifizierbarkeit „herausmitteln", beseitigen jedoch nicht die zugrundeliegende geometrische Struktur des Posteriors. Das Papier schlägt vor, dass das Verständnis der Geometrie des Posteriors (insbesondere der durch Überparametrisierung induzierten Manifolds) für eine genaue Unsicherheitsquantifizierung im Parameterraum entscheidend ist.

Die Autoren bleiben hinsichtlich des Umfangs bescheiden und stellen fest, dass ihre formalen Ergebnisse für ein-hidden-layer ReLU-Netze mit Gaußschen Priors hergeleitet wurden. Sie erkennen an, dass tiefere Netze zusätzliche schichtweise Nicht-Identifizierbarkeiten einführen, die von ihrer Theorie nicht abgedeckt werden, und dass das spezifische Dirichlet-Aufspaltungsgesetz von der Wahl des Gaußschen Priors/L2-Regularisierung abhängt. Sie argumentieren jedoch, dass die Mechanismen von Permutations- und Aufspaltungssymmetrien fundamental für überparametrisierte Modelle sind und wahrscheinlich auf breitere Architekturen übertragbar sind.