📊 statistics

Uncertainty propagation through trained multi-layer perceptrons: Exact analytical results

Diese Arbeit präsentiert exakte analytische Ausdrücke für den Mittelwert und die Varianz des Outputs von trainierten einlagigen Multi-Layer-Perzeptronen mit ReLU-Aktivierungen, wenn der Input einer multivariaten Gaußverteilung folgt, wobei dies ohne Rückgriff auf Reihenentwicklungen erreicht wird.

Ursprüngliche Autoren: Andrew Thompson, Miles McCrory

Veröffentlicht 2026-01-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Andrew Thompson, Miles McCrory

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine sehr intelligente, aber etwas geheimnisvolle Maschine. Sie füttern sie mit Daten (wie einem Rezept) und sie spuckt eine Vorhersage aus (wie einen Kuchen). Diese Maschine ist ein Multi-Layer Perceptron (MLP), eine Art künstliche Intelligenz.

Das Problem ist: Was, wenn Ihr Rezept nicht perfekt ist? Vielleicht haben Sie das Mehl mit zittriger Hand abgemessen, oder die Temperatur hat geschwankt. In der realen Welt haben Ihre Eingabedaten immer ein kleines bisschen „Wackeln“ oder Unsicherheit.

Die große Frage, die dieses Paper beantwortet, lautet: Wenn wir genau wissen, wie „wackelig“ unser Input ist, können wir dann genau berechnen, wie „wackelig“ der fertige Kuchen sein wird, ohne dafür eine Million Kuchen backen zu müssen?

Hier ist die Aufschlüsselung ihrer Entdeckung unter Verwendung einfacher Analogien:

1. Die Maschine: Eine dreistufige Fabrik

Die Autoren betrachteten eine spezifische, vereinfachte Version dieser KI-Maschinen. Stellen Sie sich das wie eine Fabrik mit drei Stationen vor:

Station 1 (Der Mixer): Sie gießen Ihre Zutaten hinein (die Eingabedaten). Die Maschine mischt sie mit bestimmten Gewichten und fügt eine Prise Salz hinzu (dies ist eine mathematische „affine Transformation“).
Station 2 (Der Torwächter): Dies ist der wichtigste Teil. Die Maschine verwendet eine ReLU-Funktion. Stellen Sie sich ein Tor vor, das nur positive Zahlen durchlässt. Wenn die Zahl negativ ist, schlägt das Tor zu und der Ausgang wird Null. Es ist wie eine „Keine negativen Zahlen erlaubt“-Regel.
Station 3 (Der Bäcker): Die Zahlen, die das Tor passiert haben, werden erneut gemischt, um das endgültige Ergebnis (die Vorhersage) zu erstellen.

2. Der alte Weg: Raten durch Backen (Monte Carlo)

Bevor dieses Paper existierte, wenn man wissen wollte, wie unsicher der fertige Kuchen war, musste man eine Methode namens Monte Carlo Sampling anwenden.

Die Analogie: Stellen Sie sich vor, Sie möchten wissen, wie sehr die Höhe des Kuchens variiert, wenn Ihre Mehlmessung um ein Gramm daneben liegt. Der alte Weg bestand darin, den Kuchen 100.000 Mal zu backen, wobei man die Mehlmenge jedes Mal leicht und zufällig veränderte. Dann misst man alle 100.000 Kuchen, berechnet die durchschnittliche Höhe und sieht, wie stark sie variierten.
Der Nachteil: Es ist langsam, verbraucht viel Rechenleistung und ist ein Schätzwert. Man erhält nie die exakte Antwort, sondern nur eine sehr gute Schätzung, die besser wird, je mehr Kuchen man backt.

3. Der neue Weg: Die exakte Formel (Analytische Ergebnisse)

Die Autoren, Andrew Thompson und Miles McCrory, fanden eine mathematische Abkürzung. Sie leiteten eine exakte Formel (einen geschlossenen Ausdruck) her, die Ihnen genau den Durchschnitt und das exakte „Wackeln“ (die Varianz) des Outputs sagt, indem sie nur auf die Mathematik des Inputs blickt.

Die Analogie: Anstatt 100.000 Kuchen zu backen, schreiben sie eine einzige Gleichung, die genau erklärt, wie das „Wackeln“ im Mehl durch den Mixer reist, das Tor trifft und die endgültige Höhe verändert.
Warum es besonders ist:
- Es ist exakt: Kein Raten. Es ist nicht nötig, eine Million Kuchen zu backen.
- Es ist transparent: Man kann die Formel betrachten und sehen, warum der Output unsicher ist. Es ist, als würde man den Bauplan der Fabrik sehen, anstatt nur das fertige Produkt zu betrachten.
- Es ist schnell: Man muss keine Simulation durchführen; man setzt einfach die Zahlen in die Formel ein.

4. Die Herausforderung des „Torwächters“ (Gatekeeper)

Der schwierigste Teil ihrer Mathematik war der Torwächter (ReLU).

Wenn man Zutaten mischt, ist die Mathematik normalerweise glatt und vorhersehbar (wie eine gerade Linie).
Aber der Torwächter ist knifflig. Er schneidet alles unter Null ab. Dies erzeugt einen „Knick“ in der Mathematik.
Frühere Methoden versuchten, diesen Knick mithilfe langer, unendlicher Reihen zu approximieren (wie der Versuch, einen Kreis zu beschreiben, indem man immer mehr winzige gerade Linien hinzufügt).
Der Durchbruch: Die Autoren fanden einen Weg, das Ergebnis dieses „Knicks“ unter Verwendung standardmäßiger, bekannter mathematischer Werkzeuge (Gauß-Integrale) zu berechnen, ohne diese unendlichen, chaotischen Reihen zu benötigen. Sie lösten das Rätsel, wie das „Wackeln“ reagiert, wenn es auf das „Keine negativen Zahlen erlaubt“-Tor trifft.

5. Hat es funktioniert? (Der Test)

Um zu beweisen, dass ihre Formel nicht nur Theorie ist, testeten sie sie an einem realen Problem: der Vorhersage der Gesundheit von Lithium-Ionen-Batterien (wie in Elektroautos) anhand elektrischer Daten.

Sie trainierten ihre KI auf Batteriedaten.
Sie nahmen einen Satz Testbatterien und nutzten ihre Exakte Formel, um die Unsicherheit vorherzusagen.
Sie führten auch den Alten Weg aus (das Backen von 1.000.000 virtuellen Kuchen via Monte-Carlo-Sampling), um zu sehen, was die „wahre“ Antwort wäre.
Das Ergebnis: Die Exakte Formel stimmte fast perfekt mit der 1.000.000-Back-Simulation überein, jedoch in einem Bruchteil der Zeit.

Zusammenfassung

Dieses Paper ist wie das Finden einer perfekten Karte für eine Reise durch eine komplexe, hügelige Landschaft.

Vorher: Man musste den Pfad eine Million Mal gehen, um herauszufinden, wo die Hügel liegen.
Jetzt: Man hat eine Karte, die einem genau sagt, wo die Hügel sind und wie groß sie sind, indem man nur den Startpunkt betrachtet.

Sie taten dies spezifisch für Maschinen mit einer verborgenen Schicht und einem ReLU-Tor. Sie geben zu, dass die Mathematik viel schwieriger wird, wenn die Maschine komplexer wird (mehr Schichten) oder andere Tore verwendet, aber für dieses spezifische Setup haben sie die exakte, perfekte Antwort.

Technische Zusammenfassung: Unsicherheitspropagierung durch trainierte Multi-Layer-Perzeptrone

Problemstellung
Die Arbeit befasst sich mit der Herausforderung der Unsicherheitspropagierung durch trainierte maschinelle Lernregressionsmodelle, speziell Multi-Layer-Perzeptrone (MLPs). Während die Quantifizierung von Unsicherheit zunehmend für die Vertrauenswürdigkeit von Modellen gefordert wird (z. B. unter dem EU AI Act), verlassen sich bestehende Methoden zur Propagierung bekannter Eingangsunsicherheiten durch ein festes Modell oft auf samplingbasierte Ansätze wie die Monte-Carlo-Methode. Diese Methoden approximieren die Ausgangsverteilung und erfordern erhebliche Rechenressourcen, um eine hohe Genauigkeit zu erreichen. Analytische Methoden, die exakte Charakterisierungen bieten, sind oft auf Approximationen beschränkt (z. B. Linearisierung, asymptotische Grenzwerte) oder beruhen auf unendlichen Reihenentwicklungen, deren Auswertung für spezifische Aktivierungsfunktionen rechenintensiv ist.

Methodik
Die Autoren konzentrieren sich auf vollvernetzte Feed-Forward-MLPs mit einer einzelnen verborgenen Schicht und ReLU-Aktivierungsfunktionen, wobei sie davon ausgehen, dass die Eingangsdaten einer multivariaten Gauß-Verteilung folgen. Die Architektur besteht aus:

Einem Eingangsvektor $V$ , der durch eine affine Transformation zu $W$ transformiert wird.
Einer komponentenweisen ReLU-Aktivierung ( $X = W_+$ ), die auf $W$ angewendet wird.
Einer abschließenden affinen Transformation, die den skalaren Ausgang $Y$ erzeugt.

Der kernmethodische Beitrag ist die Ableitung exakter analytischer Ausdrücke für den Mittelwert und die Varianz des Ausgangs $Y$ . Die Autoren zerlegen das Problem:

Die Propagierung durch die affinen Schichten wird über die Standard-Lineartransformation von Gauß-Verteilungen gehandhabt.
Die primäre Herausforderung liegt in der Propagierung der Unsicherheit durch die ReLU-Aktivierung. Die Autoren leiten geschlossene Ausdrücke für die ersten und zweiten Momente (Mittelwert und Kovarianz) einer rektifizierten multivariaten Gauß-Verteilung ab.
Insbesondere liefern sie Formeln für $E[X_i]$ , $E[X_i^2]$ und $E[X_i X_j]$ (wobei $X = W_+$ ), unter Verwendung von Standard-1D- und 2D-Gauß-Integralen unter Einbeziehung der Wahrscheinlichkeitsdichtefunktion ( $\phi$ ) und der kumulativen Verteilungsfunktion ( $\Phi$ ).
Die Arbeit behandelt auch Grenzfälle, in denen die Eingangs-Varianzen Null sind oder die Korrelationen perfekt sind ( $|\rho| = 1$ ), indem sie Grenzformen für diese Szenarien bereitstellt.

Kernbeiträge

Exakte analytische Ausdrücke: Die Arbeit präsentiert geschlossene Formeln für die Mittelwert- und Varianzwerte von MLP-Ausgängen mit ReLU-Aktivierungen und Gauß-Inputs. Im Gegensatz zu vorangegangenen Arbeiten (z. B. [19]), die auf unendlichen Taylor-Reihen basieren, sind diese Ausdrücke endlich und hängen nur von Standard-Gauß-Integralen ab.
Handhabung der ReLU-Nichtlinearität: Die Ableitung behandelt die Nichtlinearität der ReLU-Funktion explizit, ohne auf Linearisierung oder Annahmen über Mittelwert-Null-Verteilungen zurückzugreifen, und liefert exakte Ergebnisse für die rektifizierte Verteilung.
Erweiterungen auf Grenzfälle: Die Autoren erweitern ihre Ergebnisse, um degenerative Fälle zu behandeln, in denen die Eingangsunsicherheit Null ist oder die Variablen der verborgenen Schicht perfekt korreliert sind.
Validierung: Die analytischen Ergebnisse wurden gegen Monte-Carlo-Sampling anhand eines realen Testproblems validiert: der Schätzung des Gesundheitszustands (State-of-Health, SOH) von Lithium-Ionen-Zellen basierend auf Daten der elektrochemischen Impedanzspektroskopie (EIS).

Ergebnisse

Theoretisch: Die abgeleiteten Ausdrücke (Theorem 1, 2 und 3) ermöglichen die Berechnung der Ausgangsmomente mit beliebiger Präzision, ohne dass eine Reihenabschneidung erforderlich ist.
Empirisch: In dem Experiment zur SOH-Vorhersage wurden die analytischen Ergebnisse mit Monte-Carlo-Simulationen verglichen, wobei die Stichprobengrößen von $10^3$ $1 0^{3}$ bis $10^6$ $1 0^{6}$ reichten.
- Der quadratische Mittelwertfehler (RMSE) zwischen den analytischen und den Monte-Carlo-Ergebnissen sank mit zunehmender Anzahl der Monte-Carlo-Durchläufe.
- Bei $10^6$ Durchläufen sank der RMSE sowohl für die Mittelwert- als auch für die Varianzschätzung unter $10^{-5}$ .
- Log-Log-Diagramme des RMSE gegenüber der Stichprobengröße bestätigten einen Potenzgesetz-Zusammenhang mit einem Gradienten von etwa $-0,5$, was konsistent mit der erwarteten Konvergenzrate von $1/\sqrt{n}$ der Monte-Carlo-Methoden ist. Dies bestätigt, dass die analytischen Ausdrücke die "wahren" Werte abbilden, die durch Monte-Carlo-Methoden approximiert werden.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass ihr analytischer Ansatz eine Lösung bietet, die genauer, transparenter und reproduzierbarer ist als samplingbasierte Methoden.

Genauigkeit: Analytische Ausdrücke charakterisieren die Ausgangsunsicherheit präzise, während Sampling-Methoden sie nur approximieren.
Transparenz: Die mathematische Ableitung liefert Einblicse in die Quellen der propagierten Unsicherheit, im Gegensatz zum "Black Box"-Sampling.
Reproduzierbarkeit: Die Reproduktion der Evaluierung erfordert lediglich die Eingangsverteilung und die analytische Formel, wodurch die Notwendigkeit entfällt, spezifische Sampling-Prozesse aufzuzeichnen oder zu replizieren.

Die Autoren merken an, dass die aktuellen Ergebnisse exakt für Netzwerke mit einer einzelnen verborgenen Schicht und ReLU sind; die Erweiterung dieser exakten Ergebnisse auf tiefere Netzwerke oder andere Aktivierungsfunktionen würde unterschiedliche mathematische Techniken oder Approximationen (wie etwa Gauß-Approximationen an jeder Schicht) erfordern. Die Arbeit kommt zu dem Schluss, dass für den spezifischen Fall von Single-Hidden-Layer-ReLU-Netzwerken mit Gauß-Inputs eine exakte analytische Unsicherheitspropagierung machbar und überlegen gegenüber Sampling ist.