📊 statistics

Maxitive Donsker-Varadhan Formulation for Possibilistic Variational Inference

Dieser Beitrag stellt eine maxitive Donsker-Varadhan-Formulierung vor, um possibilistische variationale Inferenz zu ermöglichen, was zur Entwicklung des CBOpt-Optimierers führt, der unter Bedingungen epistemischer Unsicherheit in Bildklassifizierungsaufgaben eine wettbewerbsfähige Leistung zeigt.

Ursprüngliche Autoren: Jasraj Singh, Shelvia Wongso, Jeremie Houssineau, Badr-Eddine Chérief-Abdellatif

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jasraj Singh, Shelvia Wongso, Jeremie Houssineau, Badr-Eddine Chérief-Abdellatif

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen nebligen Berg zu navigieren. Sie haben eine Karte (Ihre Daten) und einen Kompass (Ihr Vorwissen), doch der Nebel ist dicht, und Sie sind sich nicht zu 100 % sicher, wo sich der Gipfel befindet.

In der Welt der künstlichen Intelligenz ist dies das Problem der Unsicherheit. Die meisten KI-Modelle verhalten sich so, als wären sie sicher, selbst wenn sie falsch liegen. Um dies zu beheben, verwenden Wissenschaftler eine Technik namens Variational Inference (VI). Stellen Sie sich dies vor wie den Versuch, eine einfache, glatte Form (wie einen Kreis) zu zeichnen, die am besten zur unordentlichen, komplexen Form der im Nebel verborgenen „wahren" Antwort passt.

Allerdings stützt sich die traditionelle Methode darauf, strenge mathematische Regeln namens „Wahrscheinlichkeit" anzuwenden, die davon ausgehen, dass die Summe aller Möglichkeiten genau 100 % ergeben muss. Dies funktioniert gut, kann jedoch starr sein und zwingt die KI manchmal dazu, Details zu erfinden, die sie tatsächlich nicht kennt.

Dieser Artikel stellt eine neue Art vor, den Nebel mithilfe der Possibilitätstheorie zu navigieren. Anstatt zu fragen: „Wie hoch ist die exakte Wahrscheinlichkeit?", fragt er: „Wie plausibel ist dies?" Es ist ein flexiblerer Ansatz, der mit „Ich weiß es nicht" viel besser umgeht.

Hier ist die Aufschlüsselung ihrer neuen Methode unter Verwendung einfacher Analogien:

1. Der alte Weg vs. der neue Weg

Der alte Weg (Wahrscheinlichkeit): Stellen Sie sich vor, Sie versuchen, ein Puzzleteil in ein Loch zu passen. Sie müssen die exakte Fläche jedes Teils berechnen. Wenn das Loch seltsam geformt ist, wird die Mathematik unglaublich schwierig, und Sie müssen raten.
Der neue Weg (Possibilität): Anstatt exakte Flächen zu berechnen, suchen Sie einfach nach der „besten Passform" ganz oben. Sie fragen: „Welche Form ist hier die plausibelste?" Sie müssen nicht jedes winzige Detail aufsummieren; Sie müssen lediglich den Gipfel der Plausibilität finden. Dies wird als Maxitiv bezeichnet (was bedeutet, dass es sich auf das Maximum konzentriert).

2. Die „Konsistenzschranke" (Der neue Kompass)

Die Autoren haben ein neues mathematisches Werkzeug namens Consistency Bound (CBO) entwickelt.

Die Analogie: Stellen Sie sich vor, Sie versuchen, einen Schlüssel mit einem Schloss zu matchen.
- Bei der alten Methode versuchen Sie, die Zähne des Schlüssels perfekt zu vermessen, um mit dem inneren Mechanismus des Schlosses übereinzustimmen.
- Bei dieser neuen Methode haben Sie zwei Möglichkeiten, die Passform zu überprüfen:
  1. Die „Sichere" Prüfung (Untere Schranke): Sie stellen sicher, dass der Schlüssel mindestens klein genug ist, um in das Schloss zu passen. Dies verhindert, dass Sie behaupten, ein Schlüssel passe, obwohl er tatsächlich zu groß ist. Es ist eine konservative Schätzung.
  2. Die „Großzügige" Prüfung (Obere Schranke): Sie stellen sicher, dass der Schlüssel mindestens groß genug ist, um die Stifte des Schlosses zu berühren. Dies verhindert, dass Sie einen Schlüssel verpassen, der tatsächlich funktionieren könnte. Es ist eine pessimistische Schätzung.

Der Artikel beweist, dass die „wahre" Antwort genau zwischen diesen beiden Prüfungen liegt. Durch die Optimierung dieser Schranken lernt die KI, den bestmöglichen Schlüssel zu finden, ohne unmögliche Mathematik betreiben zu müssen.

3. Die „CBOpt"-Familie (Der neue Motor)

Mit diesem neuen Kompass entwickelten die Autoren einen neuen Satz von Werkzeugen zum Trainieren von KI, die sie CBOpt (Consistency Bound Optimizers) nennen.

Wie es funktioniert: Stellen Sie sich das Trainieren einer KI wie das Fahren eines Autos auf einer holprigen Straße vor. Standardwerkzeuge (wie Adam oder SGD) sind wie ein Auto mit einer Standardfederung. Sie erledigen die Arbeit, können aber zu stark hin und her springen.
Die Innovation: CBOpt ist wie ein Auto mit intelligenter Federung. Es schaut nicht nur auf die Straße voraus; es berechnet die „Krümmung" (wie holprig die Straße ist) und passt Geschwindigkeit und Richtung sofort an.
- Es verwendet einen „Krümmungsparameter" (ein Regler, den der Benutzer drehen kann), um zu entscheiden, wie aggressiv angepasst werden soll.
- Es verfügt über „adaptive" Versionen, die diesen Regler während der Fahrt automatisch justieren, wodurch es auf unwegsamem Gelände sanfter wird.

4. Die Ergebnisse: Bessere Navigation

Die Autoren testeten diese neuen Werkzeuge bei Aufgaben der Bilderkennung (der KI das Erkennen von Kleidung, Autos und Tieren beibringen).

In-Domain (Fahren auf bekannten Straßen): Die neuen Werkzeuge schnitten genauso gut ab oder besser als die besten bestehenden Methoden. Sie erkannten die Bilder genau.
Out-of-Domain (Fahren auf einer neuen, fremden Straße): Hier glänzten die neuen Werkzeuge. Wenn der KI Bilder gezeigt wurden, die sie noch nie gesehen hatte (wie das Zeigen eines Bildes einer Hausnummer an eine KI, die auf Kleidung trainiert wurde), waren die neuen Werkzeuge viel besser darin zu sagen: „Ich weiß nicht, was das ist", anstatt selbstbewusst die falsche Antwort zu raten.

Zusammenfassung

Der Artikel behauptet, eine komplexe mathematische Idee (Possibilitätstheorie) erfolgreich in ein praktisches Werkzeug für die KI übersetzt zu haben.

Sie ersetzten die starre „Wahrscheinlichkeits"-Mathematik durch flexible „Possibilitäts"-Mathematik.
Sie schufen eine neue „Konsistenzschranke", um den Lernprozess zu leiten.
Sie bauten einen neuen Motor (CBOpt), der diese Schranke nutzt, um KI-Modelle zu trainieren.
Das Ergebnis: KI-Modelle, die nicht nur genau sind, sondern auch besser wissen, wann sie unsicher sind, was sie sicherer und zuverlässiger macht, wenn sie mit neuen oder verwirrenden Daten konfrontiert werden.

Der Artikel behauptet nicht, dies sei ein medizinisches Heilmittel oder eine spezifische Zukunftstechnologie; er stellt lediglich fest, dass dieses neue mathematische Rahmenwerk einen wettbewerbsfähigen, skalierbaren Weg bietet, KI zu entwickeln, die Unsicherheit natürlicher handhabt.

Technische Zusammenfassung: Maxitive Donsker-Varadhan-Formulierung für possibilistische variationale Inferenz

1. Problemstellung

Die variationale Inferenz (VI) ist ein Eckpfeiler des modernen bayesschen Lernens und ermöglicht eine approximative Inferenz in komplexen Modellen durch Maximierung der Evidence Lower Bound (ELBO). Die Standard-VI stützt sich jedoch auf Erwartungswerte und Divergenzen (wie die Kullback-Leibler-Divergenz), die über hochdimensionale Integrale definiert sind und additive Wahrscheinlichkeitsmaße voraussetzen. Diese Abhängigkeit erschwert die analytische Behandlung und erfordert starke Approximationen.

Im Gegensatz dazu bietet die Possibilitätstheorie einen Rahmen für ungenaue Wahrscheinlichkeiten zur Modellierung epistemischer Unsicherheit, der keine Additivität erfordert. Anstelle von Summen nutzt sie Max-/Min-Operatoren, was eine direkte Modellierung von Unsicherheit bei spärlichen oder ungenauen Informationen ermöglicht. Obwohl die Possibilitätstheorie Robustheit und Interpretierbarkeit bietet, ist die Anpassung der VI an dieses Setting nicht trivial. Standardziele wie die ELBO und Divergenzen wie die KL-Divergenz besitzen keine direkten Analogien im possibilistischen Setting, da sie fundamental auf additiven Maßen beruhen. Bestehende Versuche, wie die von Cella und Martin (2025), haben Monte-Carlo-Strategien zur Approximation possibilistischer Inferenzmodelle verwendet, doch ein prinzipieller, allgemeiner variationsbasierter Rahmen für possibilistische VI hat gefehlt.

2. Methodik

Das maxitive Donsker-Varadhan-Analogon

Der theoretische Kernbeitrag dieser Arbeit ist die Etablierung eines maxitiven Analogons der klassischen Donsker-Varadhan-(DV)-Variationsformel.

In der standardmäßigen probabilistischen VI charakterisiert die DV-Formel die Log-Evidenz als Supremum eines Ziels, das die KL-Divergenz beinhaltet. Die Autoren leiten eine duale variationsbasierte Charakterisierung für das possibilistische Setting ab. Sei $\pi$ eine Prior-Possibilitätsfunktion und $\ell$ eine Verlustfunktion. Die maxitive Posterior-Verteilung $g^*_{\max}$ ist definiert als:
$g^*_{\max}(\theta) = \frac{\exp(-\ell(\theta))\pi(\theta)}{\sup_{\theta'} \exp(-\ell(\theta'))\pi(\theta')}$

Die Autoren beweisen, dass die Log-Konsistenz (der Logarithmus der maxitiven marginalen Likelihood) durch zwei duale variationsbasierte Probleme ausgedrückt werden kann:

Untere Schranke (Maximierung): $\log Z_{\max} = \sup_{g \in \mathcal{F}(\Theta)} \inf_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$
Obere Schranke (Minimierung): $\log Z_{\max} = \inf_{g \in \mathcal{F}(\Theta)} \sup_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$

Hierbei ist $\mathcal{F}(\Theta)$ die Menge der Possibilitätsfunktionen. Die auf der rechten Seite optimierte Größe wird als Konsistenzschranke (CBO) bezeichnet.

Die Maximierung der unteren CBO liefert Possibilitätsfunktionen, die die wahre Posterior-Verteilung nach unten abschätzen ( $g \preceq g^*_{\max}$ ).
Die Minimierung der oberen CBO liefert Possibilitätsfunktionen, die die wahre Posterior-Verteilung nach oben abschätzen ( $g^*_{\max} \preceq g$ ).

Die standardmäßige possibilistische Posterior-Verteilung $g^*_{\max}$ ist das eindeutige Element, das beide Schranken gleichzeitig erfüllt und als kanonischer Vertreter der Lösungsmenge fungiert. Die Optimierung beinhaltet eine max-relative Entropie ( $D_{\max}$ ), definiert als $D_{\max}(g \| f) = \sup_{\theta} \log(g(\theta)/f(\theta))$ , die eine Rolle spielt, die der KL-Divergenz in der Standard-VI analog ist.

Behandlung der Exponentialfamilie und Lernregeln

Um diesen Rahmen für neuronale Netze praktikabel zu machen, entwickeln die Autoren eine Behandlung für exponentialfamiliale Possibilitätsfunktionen. Sie definieren eine Klasse von Kandidaten $g_\lambda(\theta) = \exp(\lambda^\top T(\theta) - A^\dagger(\lambda) - A(\theta))$ , wobei $A^\dagger$ die Legendre-Transformierte der Log-Partition-Funktion $A$ ist.

Abgeleitete Schlüsseleigenschaften umfassen:

Konjugiertheit: Unter einem uninformierten Prior bleibt die Posterior-Verteilung innerhalb derselben Exponentialfamilie, wobei die Hyperparameter als gleitender Durchschnitt der hinreichenden Statistiken aktualisiert werden.
Newton-ähnliche Updates: Durch Anwendung des Danskin-Theorems und Taylor-Approximationen zweiter Ordnung leiten die Autoren eine Lernregel zur Optimierung der CBO ab. Dies führt zu einem natürlichen Gradienten-Update, das einem Newton-Schritt ähnelt:
$\eta_{t+1} = \eta_t - \rho_t H_s(\eta_t)^{-1} \nabla \hat{\ell}(\eta_t)$
wobei $H_s$ eine signierte Krümmungsmatrix ist, die von der Hesse-Matrix des Verlusts und der Präzision des Kandidaten abhängt.

Die CBOpt-Optimierer

Basierend auf diesen theoretischen Herleitungen schlagen die Autoren eine Familie von Optimierern namens CBOpt vor.

uCBOpt: Optimiert die obere CBO (Minimierung der oberen Schranke).
lCBOpt: Optimiert die untere CBO (Maximierung der unteren Schranke).
Adaptive Varianten (uCBOpt-adapt, lCBOpt-adapt): Diese Varianten passen den Krümmungsparameter $\vartheta$ während des Trainings dynamisch an, um die notwendigen Konvexitäts-/Konkavitätsbedingungen des inneren Optimierungsproblems zu erfüllen.

Die praktische Implementierung verwendet eine diagonale Approximation der Hesse-Matrix (ähnlich wie Adam oder Vprop) sowie exponentielle gleitende Durchschnitte (EMAs) für Schätzungen des Gradienten und des quadrierten Gradienten, was sie recheneffizient und auf große neuronale Netze skalierbar macht.

3. Hauptbeiträge

Theoretische Formulierung: Die Arbeit etabliert das erste prinzipielle maxitive Analogon der Donsker-Varadhan-Formulierung und liefert eine rigorose variationsbasierte Grundlage für possibilistische Inferenz.
Duale Charakterisierung: Sie führt die Konsistenzschranke (CBO) mit dualen unteren und oberen Formulierungen ein und zeigt, dass die wahre possibilistische Posterior-Verteilung der eindeutige Schnitt dieser Schranken ist.
Rahmenwerk der Exponentialfamilie: Die Autoren entwickeln ein konjugiertes Prior-Rahmenwerk für possibilistische Exponentialfamilien, das strukturelle Parallelen zum probabilistischen Fall aufdeckt und gleichzeitig die maxitive Natur der Theorie berücksichtigt.
CBOpt-Optimierer: Eine neue Familie von Optimierern wurde abgeleitet und implementiert, die eine praktische Methode zum Training neuronaler Netze mit possibilistischer variationaler Inferenz bietet.
Empirische Validierung: Die Methoden wurden an in-domain- und out-of-domain (OOD)-Bildklassifizierungsaufgaben evaluiert und zeigen eine wettbewerbsfähige Vorhersageleistung sowie zuverlässige Unsicherheitsschätzungen.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CBOpt-Varianten (uCBOpt, uCBOpt-adapt, lCBOpt-adapt) gegen Baselines einschließlich SGD, AdamW, IVON, MC Dropout, Laplace-Approximation und SWAG auf drei Datensätzen: Fashion-MNIST, CIFAR-10 und CIFAR-100.

In-Domain-Leistung: Auf Fashion-MNIST erreichten die CBOpt-Varianten die stärkste Gesamtleistung, wobei lCBOpt-adapt die beste Genauigkeit (0,913) und Negative Log-Likelihood (NLL) erzielte. Auf CIFAR-100 übertrafen alle CBOpt-Varianten die Baselines bei den meisten In-Domain-Metriken, was auf eine Skalierbarkeit auf größere Modelle hindeutet.
Out-of-Domain (OOD)-Detektion: Die Methoden zeigten wettbewerbsfähige OOD-Detektionsfähigkeiten. uCBOpt zeigte ein konsistentes Verhalten über die Datensätze hinweg und erreichte oder näherte sich der Leistung von MC Dropout und SWAG in Bezug auf FPR@95 und AUROC.
Effizienz: Die CBOpt-Varianten behielten eine Recheneffizienz bei, die mit First-Order-Optimierern wie SGD und Adam vergleichbar ist. Sie erfordern nur pro-Parameter-Gradienten- und skalare Krümmungsschätzungen, ohne dass mehrere stochastische Vorwärtsdurchläufe zur Inferenzzeit notwendig sind (im Gegensatz zu MC Dropout).
Kombination mit MC Dropout: Ein zusätzliches Experiment zeigte, dass die Kombination von CBOpt mit MC Dropout die starke In-Domain-Leistung von MC Dropout bewahrte und gleichzeitig die OOD-Detektionsmetriken weiter verbesserte.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass possibilistische variationale Inferenz nicht lediglich eine Reformulierung bestehender Methoden ist, sondern eine distincte Perspektive auf die Unsicherheitsrepräsentation bietet, die zu praktisch nützlichen Algorithmen führt.

Konzeptueller Wandel: Durch den Übergang von additiver Wahrscheinlichkeit zu maxitiver Possibilität bewältigt der Rahmenwerk epistemische Unsicherheit auf natürliche Weise und erlaubt vollständig uninformierte Priors ohne das Problem unpassender Integrale, wie sie in der Wahrscheinlichkeitstheorie üblich sind.
Praktischer Nutzen: Die Entwicklung von CBOpt zeigt, dass das theoretische Rahmenwerk in skalierbare Optimierer umgesetzt werden kann, die mit state-of-the-art Unsicherheitsbewussten Lernmethoden (wie IVON und MC Dropout) konkurrieren, ohne den Rechenaufwand für Sampling zur Testzeit zu verursachen.
Grundlage für zukünftige Arbeiten: Die Autoren geben an, dass ihre Arbeit eine Grundlage für die Erweiterung variationsbasierter Schlussfolgerungen auf die Possibilitätstheorie bietet. Sie stellen fest, dass Komponenten dieses Rahmenwerks (insbesondere die maxitive Pseudo-Divergenz und die Posterior-Verteilung unter uninformierten Priors) bereits von Ni et al. (2026) genutzt wurden, um Second-Order-Prädiktoren abzuleiten, was die Nützlichkeit der zugrundeliegenden Theorie validiert.

Die Autoren bleiben bezüglich der Einschränkungen bescheiden und erkennen an, dass ihre Newton-ähnlichen Updates auf Approximationen zweiter Ordnung und spezifischen Krümmungsbedingungen beruhen und dass ihre aktuelle empirische Validierung auf isotrope Gaußsche Kandidaten mit diagonalen Fisher-Approximationen beschränkt ist. Dennoch behaupten sie, dass das Rahmenwerk erfolgreich die Lücke zwischen theoretischer possibilistischer Inferenz und skalierbaren Deep-Learning-Anwendungen schließt.