🤖 machine learning

Empirical Bayes Conformal Prediction for Vision and Language Models

Dieser Beitrag stellt ein empirisches Bayes-Konformitätsvorhersagerahmenwerk vor, das $r$ -Werte nutzt, um Score-Variabilität in einen unsicherheitsinformierten Nichtkonformitäts-Score zu transformieren, wodurch die Stabilität der Rangfolge verbessert und die Einbeziehung hochvarianter falscher Kandidaten in Vision- und Sprachmodellen reduziert wird, während verteilungsfreie Abdeckungsgarantien aufrechterhalten werden.

Ursprüngliche Autoren: Jiapeng Zeng, Yogesh Prabhu, Zhanpeng Zeng, Michael A. Newton, Vikas Singh

Veröffentlicht 2026-05-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiapeng Zeng, Yogesh Prabhu, Zhanpeng Zeng, Michael A. Newton, Vikas Singh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Richter in einer Talentshow. Sie haben eine Liste von Kandidaten (Teilnehmern) und müssen eine „sichere Liste" der besten Darbietungen auswählen, die in die nächste Runde kommen. Sie wollen zu 95 % sicher sein, dass der tatsächliche Gewinner auf Ihrer Liste steht, aber Sie möchten die Liste auch so kurz wie möglich halten, damit Sie keine Zeit mit dem Ansehen schlechter Auftritte verschwenden.

Genau das leistet Konforme Vorhersage (CP) für KI-Modelle. Sie erstellt eine „sichere Liste" von Antworten, die garantiert die richtige Antwort enthält – und zwar in den meisten Fällen.

Allerdings haben Standard-KI-Modelle ein Problem: Sie sind manchmal instabil. Wenn Sie dieselbe Frage zweimal stellen oder dasselbe Bild zweimal betrachten, kann das Modell leicht unterschiedliche Bewertungen abgeben. Manchmal erhält eine schlechte Antwort nur durch Glück eine hohe Bewertung (ein „glücklicher Ratschlag"), und eine gute Antwort erhält nur durch Pech eine niedrige Bewertung.

Die Standard-CP betrachtet nur eine dieser Bewertungen. Es ist, als würde ein Richter eine Entscheidung auf Basis einer einzigen, wackeligen Darbietung treffen. Wenn das Modell einen Moment des „glücklichen Ratschlags" hat, landet die schlechte Antwort auf der sicheren Liste, was die Liste länger und weniger nützlich macht.

Die neue Idee: Der „r-Wert" (Der Stabilitätscheck)

Dieser Artikel stellt eine neue Methode vor, die als Empirische Bayes'sche Konforme Vorhersage unter Verwendung von r-Werten bezeichnet wird. Betrachten Sie den r-Wert als einen „Stabilitätsscore" oder ein „Konsistenzabzeichen".

Anstatt zu fragen: „Wie hoch war die Bewertung?", fragt die neue Methode: „Wie konsistent war die Bewertung?"

Hier ist die Funktionsweise anhand einer einfachen Analogie:

Die Analogie: Der „glückliche vs. zuverlässige" Schüler

Stellen Sie sich zwei Schüler vor, die einen Test schreiben:

Schüler A (Der Fels): Erzielt jedes Mal eine Bewertung von 90, wenn Sie ihn bitten, den Test zu schreiben. Er ist stabil und zuverlässig.
Schüler B (Die Achterbahn): Erzielt manchmal eine 95, manchmal eine 40 und manchmal eine 92. Sein Durchschnitt mag zwar hoch sein, aber er ist völlig unvorhersehbar.

Standard-CP sieht die glückliche 95 von Schüler B und sagt: „Wow, 95 ist großartig! Er gehört zur Top-Gruppe!" Sie setzt Schüler B auf die sichere Liste, obwohl er eigentlich unzuverlässig ist.

Die r-Wert-Methode betrachtet das Gesamtbild. Sie erkennt, dass Schüler B eine Achterbahn ist. Sie sagt: „Obwohl Sie einmal eine 95 erreicht haben, sind Sie zu wackelig, um als Top-Kandidat vertraut zu werden. Beim nächsten Mal könnten Sie auf 40 fallen." Daher hält sie Schüler B von der sicheren Liste fern (oder schiebt ihn in der Liste nach unten) und behält Schüler A (den Felsen) an der Spitze.

Funktionsweise in der Praxis

Die Forscher testeten dies an zwei Arten von KI:

Visuelle Modelle (Bildklassifizierer): Wie ein Roboter, der ein Bild einer Katze betrachtet.
- Der Trick: Sie baten den Roboter, dasselbe Bild 1.000 Mal mit winzigen, zufälligen Änderungen zu betrachten (als würde man einen Freund bitten, dasselbe Bild in leicht unterschiedlichen Worten zu beschreiben).
- Das Ergebnis: Wenn der Roboter jedes Mal „Katze" sagte, erhielt er einen hohen r-Wert. Wenn er ständig zwischen „Katze", „Hund" und „Toaster" wechselte, erhielt er einen niedrigen r-Wert. Die Methode filterte erfolgreich die „Toaster"-Ratschläge heraus, die nur zufällig entstanden waren.
Sprachmodelle (Chatbots): Wie ein Roboter, der eine Wissensfrage beantwortet.
- Der Trick: Sie stellten dem Roboter dieselbe Frage, aber in 20 verschiedenen Formulierungen (z. B. „Wer ist der Präsident?" vs. „Wer führt das Land?").
- Das Ergebnis: Wenn der Roboter auf alle 20 Versionen eine hervorragende Antwort gab, war er ein „Fels". Wenn er auf eine Version eine hervorragende Antwort und auf eine andere eine unsinnige Antwort gab, war er eine „Achterbahn". Die r-Wert-Methode nutzte dies, um eine kürzere und genauere Liste von Antworten zu erstellen.

Die wichtigsten Erkenntnisse

Es bricht keine Regeln: Die neue Methode garantiert weiterhin, dass die richtige Antwort zu 95 % auf der Liste steht (genau wie die alte Methode).
Sie macht Listen kürzer: Durch das Filtern der „glücklichen Ratschläge" (hohe Bewertungen, die instabil sind) wird die Liste der Kandidaten kleiner und nützlicher.
Sie ist klug im Umgang mit Unsicherheit: Wenn das Modell sehr stabil ist (keine Variabilität), verhält sich die neue Methode genau wie die alte. Aber wenn das Modell wackelig ist, nutzt die neue Methode diese Wackeligkeit zu ihrem Vorteil, um schlechte Kandidaten zu entfernen.
Sie funktioniert sowohl für Bilder als auch für Text: Egal, ob die KI ein Foto betrachtet oder einen Satz liest – das Überprüfen auf Konsistenz verbessert die endgültige Entscheidung.

Kurz gesagt, lehrt dieser Artikel die KI, nicht mehr auf einen einzelnen „glücklichen" Score zu vertrauen, sondern auf konsistente Leistung. Sie verwandelt die eigene „Inkonsistenz" der KI in ein Werkzeug, um bessere und sicherere Vorhersagen zu treffen.

Technische Zusammenfassung: Empirische Bayes'sche Konforme Vorhersage für Vision- und Sprachmodelle

Problemstellung

Konforme Vorhersage (CP) bietet einen verteilungsfreien Rahmen zur Generierung von Vorhersagemengen mit garantierter Abdeckung für moderne Vision- und Sprachmodelle. Standard-CP stützt sich jedoch auf eine einzige Realisierung eines Nichtkonformitäts-Scores, um Kandidaten zu rangieren. Dieser Ansatz ignoriert epistemische Unsicherheit und Score-Variabilität, die aus Modellparametern, Trainingszufälligkeiten oder der Formulierung von Prompts resultieren.

Wenn mehrere Kandidaten-Labels oder -Antworten ähnliche Scores erhalten, können kleine Schwankungen ihre Rangfolge drastisch verändern. Folglich kann Standard-CP hochvarianzbehaftete falsche Kandidaten einfach deshalb in die Vorhersagemenge aufnehmen, weil eine einzelne verrauschte Realisierung sie stark erscheinen ließ, während stabile Kandidaten mit einem etwas niedrigeren, aber konsistenteren Score ausgeschlossen werden. Bestehende Alternativen wie „average-then-calibrate" (CPavg) glätten diese Variabilität, indem sie Scores vor der Kalibrierung mitteln, wodurch Informationen über die Stabilität des Ranges eines Kandidaten verworfen werden. Das Kernproblem besteht darin, dass aktuelle CP-Methoden Score-Variabilität nicht als Signal nutzen, um zwischen stabilen Evidenzen und verrauschten Schwankungen zu unterscheiden, was zu weniger effizienten (größeren) und weniger stabilen konformen Mengen führt.

Methodik: Das $r$ -Value-Framework

Die Autoren schlagen $CPr$-value vor, ein Framework für Empirische Bayes'sche Konforme Vorhersage, das Score-Variabilität in einen unsicherheitsinformierten Nichtkonformitäts-Score umwandelt, der als $r$ -value bezeichnet wird.

Kernkonzept

Anstatt Kandidaten ausschließlich basierend auf einem beobachteten Score $f(x)_i$ zu rangieren, behandelt die Methode das Ranking als Problem der Empirischen Bayes. Sie geht davon aus, dass jeder Kandidat einen unbeobachteten latenten Score $\theta_i$ (das stabile Signal) und einen beobachteten Score $f(x)_i$ besitzt, welcher eine verrauschte Realisierung von $\theta_i$ ist. Der $r$ -value misst die Wahrscheinlichkeit, dass der latente Score eines Kandidaten zur am höchsten rangierten Gruppe gehört, unter Berücksichtigung sowohl des geschätzten Scores als auch seiner Unsicherheit.

Schätzer

Das Framework bietet zwei Schätzer für den $r$ -value:

Parametrisch (Normal-Normal-Modell): Geht davon aus, dass die latenten Scores einer Normalverteilung folgen und das Beobachtungsrauschen Gaußsch ist. Dies liefert einen geschlossenen Ausdruck für den $r$ -value. Er modelliert explizit den Trade-off zwischen Score-Magnitude und Varianz und zieht hochvarianzbehaftete Scores in Richtung des empirischen Mittels.
Nicht-parametrisch (Posterior-Sampling): Ein annahmefreier Monte-Carlo-Schätzer. Er rangiert Kandidaten über mehrere Posterior-Stichproben hinweg (z. B. aus Modell-Ensembles, MC-Dropout oder Prompt-Paraphrasierung) und berechnet die Häufigkeit, mit der ein Kandidat in den Top- $k$ -Positionen erscheint. Diese Häufigkeit dient als empirische Tail-Wahrscheinlichkeit, die dann in einen $r$ -value umgewandelt wird.

Algorithmus

Variabilitätsschätzung: Generierung mehrerer Modelloutputs (z. B. mittels Weighted Bayesian Bootstrap-Adaptern für Vision-Modelle oder Prompt-Paraphrasierung für VLMs/LLMs), um die Verteilung der Scores für jeden Kandidaten zu schätzen.
Kalibrierung: Berechnung der $r$ -values für die wahren Labels in einer Kalibrierungsmenge. Bestimmung des Schwellenwerts $\hat{r}$ als den $\lceil(n+1)(1-\alpha)\rceil$ -ten kleinsten $r$ -value.
Vorhersage: Für einen Testinput werden $r$ -values für alle Kandidaten berechnet. Kandidaten mit $r(x, u_j) < \hat{r}$ werden in die Vorhersagemenge aufgenommen.

Hauptbeiträge

Theoretische Garantie: Unter Austauschbarkeit erhält die Verwendung des $r$ -value als Nichtkonformitäts-Score die Zielgarantie für konforme Abdeckung ( $1-\alpha$ ).
Effizienzverbesserung: Theoretisch reduziert der $r$ -value die Einbeziehungswahrscheinlichkeit hochvarianzbehafteter falscher Kandidaten im Vergleich zu Standard-CP und CPavg. Dies führt zu kleineren erwarteten Vorhersagemengengrößen, insbesondere wenn Variabilität informativ ist.
Einheitliches Framework: Die Methode vereint parametrische und nicht-parametrische Ansätze und ermöglicht die Anwendung auf diverse Score-Typen (Logits, Wahrscheinlichkeiten, diskrete Evaluatorscores) und Modellarchitekturen (ViTs, CLIP, LLMs).
Rangstabilität: Durch die Bestrafung von Kandidaten mit hoher Score-Varianz erzeugt die Methode stabilere Rangfolgen, wodurch Kandidaten, die konsistent nahe an der Spitze erscheinen, gegenüber solchen mit sporadisch hohen Scores priorisiert werden.

Experimentelle Ergebnisse

Die Autoren evaluierten $CPr$-value über Bildklassifizierung, Vision-Language-Modelle (VLMs) und Large Language Models (LLMs).

Vision-Modelle (Bildklassifizierung): Verwendung von ViT- und ResNet-Modellen mit Weighted Bayesian Bootstrap (WBB)-Adaptern zur Approximation der Posterior-Variabilität.
- Wenn die Variabilität gering ist (starker Backbone, leichte Adapter), verhält sich $CPr$-value ähnlich wie Standard-CP und erhält Abdeckung sowie Mengengröße.
- Wenn die Variabilität informativ ist, erzeugt $CPr$-value kleinere und stabilere Mengen und rangiert die wahre Klasse innerhalb der Menge oft höher als Standard-CP.
VLMs und LLMs (CLIP, SigLIP, MobileCLIP, LLaMA): Variabilität wurde durch Prompt-Paraphrasierung induziert.
- Abdeckung: $CPr$-value hielt die Abdeckung nahe am nominalen Niveau (z. B. 95 % für $\alpha=0,05$ ).
- Mengengröße: Es wurden signifikante Reduktionen der Mengengröße beobachtet. Beispielsweise reduzierte $CPr$-value auf ImageNet die durchschnittliche Mengengröße im Vergleich zu Standard-CP um fast die Hälfte.
- Trend der Modellstärke: Die Effizienzgewinne waren bei Modellen mit geringerer Genauigkeit und höherer inhärenter Variabilität (z. B. SigLIP2) am ausgeprägtesten. Mit steigender Modellgenauigkeit und abnehmender Variabilität (z. B. MobileCLIP2) nahmen die Gewinne ab, und die Methode kehrte naturgemäß zu einem CP-ähnlichen Verhalten zurück, was mit theoretischen Vorhersagen übereinstimmt.
- Offene Aufgaben: Bei LLM-Aufgaben mit groben Evaluatorscores (z. B. TruthfulQA) gelang es dem $r$ -value, durch Nutzung der Score-Stabilität über Paraphrasen hinweg Unentschieden zwischen Antworten mit identischen Durchschnittsscores zu brechen und eine feinere Rangauflösung zu bieten.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass $CPr$-value eine wahrgenommene Schwäche großer Modelle – ihre Inkonsistenz oder Variabilität – in ein nützliches Signal für konforme Effizienz verwandelt.

Robustheit: Sie bietet eine Methode zur Konstruktion von Vorhersagemengen, die nicht nur statistisch valide, sondern auch effizienter sind, indem instabile, verrauschte Kandidaten herausgefiltert werden.
Praktikabilität: Das Framework ist sowohl auf Vision- als auch auf Sprachdomänen anwendbar und nutzt bestehende Techniken zur Unsicherheitsschätzung (Adapter, Ensembles, Prompt-Variationen), ohne dass ein Nachtrainieren der Basismodelle erforderlich ist.
Einschränkungen: Die Autoren weisen darauf hin, dass die Wirksamkeit der Methode von der Qualität der Variabilitätsschätzung abhängt. Wenn die geschätzte Variabilität schlecht oder vernachlässigbar ist (wie bei hochstabilen Modellen), sind die Vorteile modest. Zudem führt die Methode zu einem Rechenaufwand für die Generierung mehrerer Stichproben, was jedoch oft über leichte Adapter oder parallele Inferenz machbar ist.

Zusammenfassend bietet $CPr$-value einen prinzipiellen Weg, epistemische Unsicherheit in die konforme Vorhersage zu integrieren, was zu kleineren, stabileren und zuverlässigeren Vorhersagemengen für moderne KI-Systeme führt.