📊 statistics

From Bayes' Rule to Bayes Rules: Optimal Information Processing and Axiomatic Foundations Beyond Probability

Dieses Paper etabliert eine kanonische Aktualisierungsregel für possibilistische Inferenz, die sowohl aus informationserhaltenden als auch aus axiomatischen Perspektiven abgeleitet wurde und Prior und Likelihood mittels Produkt und Supremum-Normalisierung kombiniert, während sie einen Lernratenparameter zur Steuerung der epistemischen Stärke einführt.

Ursprüngliche Autoren: Jeremie Houssineau, Badr-Eddine Chérief-Abdellatif

Veröffentlicht 2026-07-10

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jeremie Houssineau, Badr-Eddine Chérief-Abdellatif

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen. Sie haben einen Verdacht (Ihre A-priori-Überzeugung), und Sie finden einen neuen Hinweis am Tatort (Ihre Daten). In der Welt der Standardstatistik kombinieren Sie diese beiden unter Verwendung eines berühmten Rezepts namens Bayes-Regel.

Aber was, wenn Ihr Verdacht keine präzise Wahrscheinlichkeit ist (wie „70 % sicher“)? Was, wenn er eher wie ein vages Gefühl ist, eine „Möglichkeit“? Vielleicht denken Sie, dass der Butler der Täter sein könnte, oder der Gärtner, oder der Koch, aber Sie haben keine exakten Zahlen. Hier kommt die Possibility Theory (Möglichkeitstheorie) ins Spiel. Dies ist eine Methode, um Unsicherheit zu handhaben, die nicht auf dem Aufsummieren von Zahlen basiert, sondern auf dem Finden des „Maximums“ oder „Supremums“ dessen, was möglich ist.

Dieses Paper mit dem Titel „From Bayes' Rule to Bayes Rules“ stellt eine große Frage: Wenn wir aufhören, Standardwahrscheinlichkeiten zu verwenden, und statfangen, diese unscharfen „Möglichkeits-Karten“ zu nutzen, gibt es dann immer noch einen einzigen, perfekten Weg, unsere Überzeugungen zu aktualisieren?

Die große Entdeckung: Eine Regel, die alles regiert

Die Autoren, Jeremie Houssineau und Badr-Eddine Chérief-Abdellatif, argumentieren, dass dies ja der Fall ist. Selbst in dieser unscharfen Welt gibt es eine „kanonische“ (die eine wahre) Art und Weise, seine Überzeugungen zu aktualisieren.

Sie fanden diese Regel, indem sie das Problem aus zwei völlig unterschiedlichen Blickwinkeln betrachteten, als würden zwei Detektive denselben Fall mit unterschiedlichen Werkzeugen lösen:

Der „Informationserhaltungs“-Detektiv: Dieser Detektiv glaubt, dass man beim Kombinieren seines alten Verdachts mit neuen Hinweisen nicht versehentlich neue Fakten erfinden oder alte verlieren sollte. Man sollte nur das neu ordnen, was man bereits weiß. Indem er darauf besteht, dass keine Information erschaffen oder zerstört wird, leitete er eine spezifische Formel ab.
Der „Logische Kohärenz“-Detektiv: Dieser Detektiv fragt: „Wenn ich meine Überzeugungen Schritt für Schritt aktualisiere oder wenn ich mir einen kleineren Teil des Puzzles ansehe, ergibt meine Logik dann immer noch Sinn?“ Indem er eine Reihe strenger logischer Regeln (Axiome) aufstellte, denen jede vernünftige Aktualisierung folgen muss, gelangte dieser Detektiv zur exakt gleichen Formel.

Die Formel:
Die Regel, die beide fanden, ist überraschend einfach. Um Ihre neue Überzeugung (das Posterior) zu erhalten, multiplizieren Sie Ihren alten Verdacht (das A-priori) mit dem neuen Hinweis (der Likelihood) und teilen das Ergebnis dann durch die größte Zahl im Resultat, um sicherzustellen, dass alles in die Skala von „1 bis 0“ passt.

In der mathematischen Schreibweise sieht das so aus:
$\text{Neue Überzeugung} = \frac{\text{Alter Verdacht} \times \text{Neuer Hinweis}}{\text{Die größte Zahl im Resultat}}$

Dies ist das „sup-normalisierte A-priori-Likelihood-Produkt“. Es ist das Cousins-Verhältnis der klassischen Bayes-Regel in der Welt der Unschärfe.

Der „Magische Regler“ (Die Lernrate)

Hier ist die Wendung, auf die das Paper sehr genau achtet. In dieser unscharfen Welt gibt es einen speziellen „Regler“ oder Parameter (nennen wir ihn $w$ ), der steuert, wie stark Ihre Überzeugung ist.

Was das Paper beweist: Die Regel funktioniert perfekt für jede Einstellung dieses Reglers.
Was das Paper ausschließt: Sie können die perfekte Einstellung für diesen Regler nicht allein durch die Daten ermitteln. Das Paper stellt explizit fest, dass dieser Stärke-Parameter aus den Beweisen allein nicht identifizierbar ist.

Stellen Sie sich das so vor: Wenn Sie versuchen, ein Radio einzustellen, sagen Ihnen die Daten, welches Lied gerade spielt, aber sie sagen Ihnen nicht, wie laut die Lautstärke sein sollte. Sie müssen die Lautstärke basierend darauf entscheiden, wie sehr Sie dem Radiosender vertrauen. Das Paper argumentiert, dass der Versuch, diesen Lautstärkeregler allein aus den Daten zu „lernen“, eine Sackgasse ist; es ist eine Entscheidung, die Sie über Ihr eigenes Vertrauen treffen, nicht ein Fakt, der in den Zahlen verborgen liegt.

Wogegen dieses Paper „Nein“ sagt

Die Autoren sind sehr deutlich darüber, was diese Regel nicht ist:

Sie ist kein Weg, um neue Informationen zu erfinden. Wenn Ihre Aktualisierungsregel Sie in Ihrer Überzeugung sicherer macht, als es die Daten und Ihr alter Verdacht rechtfertigen, haben Sie Information „erschaffen“, was das Paper als Fehler ansieht.
Sie ist kein Weg, um Informationen zu verlieren. Wenn Ihre Aktualisierung Sie weniger sicher macht, als Sie sein sollten, haben Sie Information „verloren“.
Sie ist keine Methode, die voraussetzt, dass Sie die exakte „wahre“ Wahrscheinlichkeit kennen, wie die Daten generiert wurden. Tatsächlich ist das gesamte System dafür konzipiert, wenn Sie eben nicht über diese exakten Wahrscheinlichkeiten verfügen.

Wie sicher sind sie sich?

Die Autoren sind äußerst zuversichtlich in ihren Ergebnissen, aber sie sind präzise in ihrem Umfang.

Bewiesen: Sie haben mathematisch bewiesen (unter Verwendung strenger Logik und Axiome), dass man, wenn man Informationen bewahren oder in einer Möglichkeitenbasierten Welt logisch konsistent bleiben will, diese spezifische Aktualisierungsregel verwenden muss. Es ist keine Vermutung; es ist eine Ableitung.
Keine Simulation: Sie haben nicht einfach Computer-Simulationen durchgeführt, um zu sehen, ob es funktioniert; sie haben ein logisches Gerüst aufgebaut, das diese Regel als die einzige Antwort erzwingt.
Keine Lösung für alles: Sie geben zu, dass sie zwar die Regel gefunden haben, aber nicht das Problem gelöst haben, wie man den perfekten „Lautstärkeregler“ ( $w$ ) für jede Situation wählt. Sie schlagen vor, dass dieser Regler durch externe Ziele kalibriert (angepasst) werden muss, etwa um sicherzustellen, dass Ihre Vorhersagen den richtigen Bereich abdecken, anstatt automatisch aus den Daten gelernt zu werden.

Das Fazit für einen neugierigen Teenager

Stellen Sie sich vor, Sie bauen einen Roboter, der aus der Welt lernt. Wenn Sie dem Roboter sagen, er soll Standard-Mathematik verwenden, addiert er Wahrscheinlichkeiten. Aber wenn die Welt chaotisch ist und Sie sich bei den Zahlen nicht sicher sein können, sagen Sie dem Roboter, er soll „Möglichkeits-Mathematik“ verwenden.

Dieses Paper sagt dem Roboter: „Hier ist der einzige Weg, dein Gehirn zu aktualisieren, ohne dich selbst zu belügen oder das zu vergessen, was du schon wusstest. Multipliziere deine alte Vermutung mit dem neuen Hinweis und normalisiere sie. Und übrigens: Versuche nicht, zu erraten, wie ‚stark‘ deine Überzeugung sein sollte, nur indem du die Hinweise betrachtest; du musst diese Stärke selbst festlegen.“

Es ist ein neuer Satz von Regeln für eine unscharfe Welt, der beweist, dass es selbst dann eine perfekte Art gibt, über Dinge nachzudenken, wenn diese nicht vollkommen klar sind.

Technisches Resümee: Von der Bayes-Regel zu den Bayes-Regeln

Problemstellung
Die Standard-Bayes-Inferenz stützt sich auf die Wahrscheinlichkeitstheorie, in der Unsicherheit additiv ist und mittels der Bayes-Regel aktualisiert wird. Sowohl die klassische Statistik als auch das moderne maschinelle Lernen weichen jedoch häufig von diesem Rahmenwerk ab und nutzen verlustbasierte Aktualisierungen, temperierte Posteriori-Verteilungen oder Evidenz-Fusionsschemata, bei denen Unsicherheit nicht natürlich additiv ist. Eine fundamentale Frage bleibt bestehen: Was macht die Bayes-Regel zur „richtigen“ Informationsverarbeitungsregel, und wie hängt dies von der mathematischen Repräsentation von Information ab? Speziell wenn die Unsicherheit über einen fixen Parameter nicht durch eine Wahrscheinlichkeitsverteilung, sondern durch eine Possibilitätsfunktion (das maxitive Analogon zur Wahrscheinlichkeitsverteilung) dargestellt wird, wie lautet die prinzipielle Aktualisierungsregel?

Methodik
Das Paper nähert sich diesem Problem, indem es die Inferenz als Informationsverarbeitung behandelt. Es leitet die kanonische Aktualisierungsregel für possibilistische Inferenz aus zwei komplementären, grundlegenden Perspektiven her, die der klassischen probabilistischen Herleitung ähneln, jedoch an die Struktur der Possibilitätstheorie angepasst sind.

Perspektive 1: Optimale Informationsverarbeitung (Informationserhaltung)
- Rahmenwerk: Die Autoren formulieren das Prinzip der Informationserhaltung (Information Conservation Principle, ICP) neu, das traditionell mit Zellner [1988] und skalaren Kreuzentropien assoziiert ist, in einen possibilistischen Kontext.
- Kernmechanismus: Anstatt Information in einen Skalar zu komprimieren (wie die Entropie), nutzt das Paper die punktweise partielle Ordnung, die Possibilitätsfunktionen eigen ist ( $f \preceq g \iff \forall \theta, f(\theta) \leq g(\theta)$ ).
- Herleitung: Durch die Einführung einer punktweisen Informationskennzahl $S$ , die Ordnungskonsistenz, Normalisierung und Additivität unter unabhängiger Konjunktion (Produkt-t-Norm) erfüllt, leiten die Autoren eine kanonische logarithmische Informationsabbildung ab: $I[f](\theta) = -\log f(\theta)$ .
- Erhaltung: Eine Informationsverarbeitungsregel (IPR) wird als optimal definiert, wenn sie weder Informationsverlust noch Informationsgewinn induziert. Dies wird formal über ein Informationsimbalance-Funktional $\Delta(\text{IPR})$ ausgedrückt, das eine Funktion über den Parameterraum und nicht über einen Skalar ist. Die Bedingung $\Delta(\text{IPR}) = 0$ (punktweise Gleichheit) identifiziert eindeutig die Aktualisierungsregel.
Perspektive 2: Axiomatischer Ansatz (Kohärenz)
- Rahmenwerk: Die Autoren schlagen ein possibilistisches Analogon zu den Kohärenz-Axiomen für generalisierte Bayes-Inferenz vor, die von Bissiri et al. [2016] etabliert wurden.
- Axiome: Die Aktualisierungsregel $\psi[\ell, \pi]$ $ψ [ℓ, π]$ (die eine Prior $\pi$ $π$ und einen Verlust $\ell$ $ℓ$ auf eine Posterior abbildet) muss folgende Bedingungen erfüllen:
  - Sequenzielle Kohärenz (A2.1).
  - Restriktionskompatibilität (A2.2).
  - Monotonie bezüglich des Verlusts (A2.3).
  - Invarianz gegenüber vakuumen Verlusten und additiven Verschiebungen (A2.4, A2.5).
- Herleitung: Im Gegensatz zur probabilistischen Herleitung, bei der die Normalisierung ein Integral erfordert, setzt die possibilistische Herleitung voraus, dass die maxitive Restriktion paarweise Quoten (odds) bewahrt und binäre Aktualisierungen auf Tripeln kohärent sind. Diese Axiome erzwingen, dass die Posterior eine spezifische funktionale Form annimmt.

Wesentliche Beiträge und Ergebnisse

Die kanonische Aktualisierungsregel:
Beide Herleitungen konvergieren gegen dieselbe eindeutige Aktualisierungsregel, die als possibilistische Bayes-Regel bezeichnet wird:
$\pi(\theta | y) = \frac{\pi(\theta) L(\theta | y)}{\sup_{\vartheta \in \Theta} \pi(\vartheta) L(\vartheta | y)}$
wobei $\pi(\theta)$ die Prior-Possibilitätsfunktion und $L(\theta | y)$ die Likelihood (oder Evidenz) ist.
- Wenn der Input eine Stichprobenverteilung $p_\theta(y)$ ist, dann ist $L$ die Likelihood.
- Wenn der Input ein generischer Verlust $\ell(\theta, y)$ ist, dann gilt $L(\theta | y) \propto \exp(-w \ell(\theta, y))$ , wobei $w \geq 0$ ein Lernraten-Parameter ist.
Rolle der Lernrate ( $w$ ):
Das Paper stellt klar, dass der Parameter $w$ (der die epistemische Stärke steuert) exogen zu beiden Herleitungen ist.
- In Perspektive 1 ist $w$ eine Kodierungswahl bei der Transformation eines Verlusts in eine Evidenz-Possibilitätsfunktion.
- In Perspektive 2 ist $w$ eine Konstante, die durch die Kohärenz-Axiome unbestimmt bleibt.
- Ergebnis: Die Stärke $w$ ist nicht identifizierbar aus der normalisierten Evidenz allein. Die Maximierung der possibilistischen Evidenz treibt die zulässigen Stärken lediglich auf ihre kleinsten Werte. Somit stellt $w$ eine Modellierungswahl bezüglich der epistemischen Stärke dar, keine datenidentifizierbare Größe.
Informationsverlust und Informationsgewinn:
Durch die Nutzung der punktweisen partiellen Ordnung unterscheidet das Paper zwischen Informationsverlust und Informationsgewinn als echte, beobachtbare Phänomene, im Gegensatz zum probabilistischen Setting, in dem Information ein skalare Zusammenfassung ist.
- Eine IPR erzeugt keine Information, wenn die Posterior überall von der Bayes-Aktualisierung dominiert wird ( $g \preceq \pi(\cdot|y)$ ).
- Eine IPR verliert keine Information, wenn die Posterior die Bayes-Aktualisierung dominiert ( $g \succeq \pi(\cdot|y)$ ).
- Die Bayes-Regel ist die eindeutige IPR, die gleichzeitig sowohl Verlust als auch Gewinn vermeidet.
Verbindung zu bestehender Arbeit:
- Die abgeleitete Regel stimmt mit dem sup-normalisierten Prior-Likelihood-Produkt überein, das in der jüngeren Literatur zur unpräzisen Wahrscheinlichkeit vorgeschlagen wurde (z. B. Martin [2026]).
- Die Informationsimbalance-Funktion entspricht dem Integranden der maxitiven Donsker–Varadhan-Dualität (Singh et al. [2025]), was zeigt, dass die Bayes-Regel der eindeutige gemeinsame Optimierer dualer Konsistenzgrenzen ist.

Bedeutung und Behauptungen
Das Paper behauptet, zu zeigen, dass die Bayes-Regel nicht eine einzelne Formel ist, sondern ein Mitglied einer Familie von Regeln, die durch die zugrunde liegende Kalküle der Information (additiv vs. maxitiv) und die Art der Daten-zu-Parameter-Verknüpfung indiziert werden.

Fundamentale Rechtfertigung: Das Paper argumentiert, dass das sup-normalisierte Produkt nicht bloß eine Heuristik oder eine bequeme Wahl zur Kombination einer Likelihood mit partieller Prior-Information ist, sondern durch fundamentale Prinzipien der Informationserhaltung und Kohärenz in einem possibilistischen Setting erzwungen wird.
Klärung der generalisierten Bayes-Inferenz: Es löst die Mehrdeutigkeit bezüglich der Lernrate bei generalisierten Bayes-Aktualisierungen auf, indem es zeigt, dass dieser Parameter im possibilistischen Rahmen inhärent nicht aus den Daten identifizierbar ist, sondern stattdessen als Kalibrierung der epistemischen Stärke dient.
Umfang: Die Arbeit ist fundamental und axiomatisch. Sie schlägt keine neuen empirischen Algorithmen vor oder führt umfangreiche experimentelle Vergleiche durch, sondern liefert das theoretische Fundament dafür, warum die sup-normalisierte Aktualisierung die kanonische Wahl für die possibilistische Inferenz ist. Sie legt nahe, dass dieses Rahmenwerk sich natürlich auf kontinuierliche Parameterräume erweitert, ohne die maßtheoretischen Komplikationen, die oft bei probabilistischen Erweiterungen auftreten, zu erfordern, da Possibilitätsfunktionen punktweise definiert sind.

Zusammenfassend demonstriert das Paper, dass, wenn Unsicherheit durch Possibilitätsfunktionen repräsentiert wird, der „richtige“ Weg der Informationsverarbeitung zwangsläufig zu einer sup-normalisierten Aktualisierungsregel führt, wobei die Lernrate als externer Kalibrierungsparameter und nicht als lernbare Statistik fungiert.