🤖 machine learning

Localized Conformal Prediction for Image Classification with Vision-Language Models

Diese Arbeit präsentiert ein lokalisiertes Conformal-Prediction-Framework für die Bildklassifizierung mit Vision-Language-Modellen und zeigt auf, dass, während die rohe Kosinus-Ähnlichkeit keine Verbesserungen gegenüber nicht-lokalen Baselines erzielt, eine vorgeschlagene einfache nichtlineare Transformation dieser Ähnlichkeiten die Größen der Vorhersagesets signifikant reduziert, während die marginalen Abdeckungsgarantien aufrechterhalten werden.

Ursprüngliche Autoren: Clément Fuchs, Tim Bary, Benoît Macq

Veröffentlicht 2026-07-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Clément Fuchs, Tim Bary, Benoît Macq

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bitten einen sehr intelligenten, gut gereisten Freund (ein Vision-Language-Modell), zu identifizieren, was auf einem Foto zu sehen ist. Normalerweise sind sie darin großartig, aber manchmal sind sie unsicher. In der realen Welt ist es riskant, einfach zu raten „Es ist eine Katze“, wenn man sich irren könnte – zum Beispiel, wenn man ein Auto fährt oder einen Patienten diagnostiziert. Man möchte, dass sie sagen: „Ich bin mir ziemlich sicher, dass es eine Katze ist, aber es könnte auch ein Fuchs sein“ oder „Ich habe keine Ahnung, vertrauen Sie mir nicht darauf“.

Hier kommt Conformal Prediction ins Spiel. Betrachten Sie es als ein Sicherheitsnetz. Anstatt eine einzige Antwort zu geben, liefert das System eine Liste von Möglichkeiten (eine „Vorhersagemenge“), die garantiert die richtige Antwort in den meisten Fällen (z. B. 9. in 10 Fällen) enthält.

Das Problem: Das „Einheitsmaß“-Sicherheitsnetz

Die Standardmethode, wie dieses Sicherheitsnetz funktioniert, gleicht einem globalen Regelwerk. Es betrachtet tausende vergangene Beispiele (Kalibrierungsdaten) und sagt: „Okay, um zu 90 % auf der sicheren Seite zu sein, müssen wir für jeden 5 Möglichkeiten auflisten.“

Das Problem? Dieses Regelwerk ist zu stumpf.

Für ein einfaches Bild (wie ein klares Foto eines Golden Retrievers) ist es albern, 5 Möglichkeiten aufzulisten. Man braucht nur 1 oder 2.
Für ein schwieriges Bild (wie einen verschwommenen Hund, der wie ein Wolf aussieht) sind 5 vielleicht sogar zu wenig.

Die Standardmethode behandelt ein verschwommenes, verwirrendes Bild genauso wie ein kristallklares Bild. Sie passt sich nicht der spezifischen Situation an.

Die vorgeschlagene Lösung: Ein „lokales“ Sicherheitsnetz

Die Autoren versuchten einen klügeren Ansatz namens Localized Conformal Prediction (LCP).

Stellen Sie sich vor, anstatt eines globalen Regelwerks haben Sie für jedes einzelne Foto einen lokalen Guide. Wenn ein neues Foto eintrifft, schaut der Guide auf seine vergangenen Erfahrungen und sagt: „Dieses Foto sieht sehr ähnlich aus wie diese 10 Fotos, die ich gestern gesehen habe. Für jene spezifischen Fotos musste ich nur 2 Optionen auflisten, um sicher zu sein. Also werde ich für dieses neue Foto ebenfalls nur 2 auflisten.“

Dies ist der „lokale“ Teil: Es passt das Sicherheitsnetz basierend darauf an, wie ähnlich das neue Foto den bisherigen ist.

Der Wendepunkt: Der „naive“ Guide scheiterte

Die Forscher versuchten, diesen lokalen Guide mithilfe von Vision-Language-Modellen (VLMs) aufzubauen. Diese Modelle wandeln Bilder in mathematische Punkte in einem riesigen Raum um. Der naheliegendste Weg, Ähnlichkeit zu messen, besteht darin, zu sehen, wie nah zwei Punkte beieinander liegen (mittels Cosine Similarity).

Sie dachten: „Wenn zwei Bilder in diesem mathematischen Raum nah beieinander liegen, sind sie sich ähnlich. Lassen Sie uns diesen Abstand nutzen, um unser Sicherheitsnetz anzupassen.“

Das Ergebnis: Es funktionierte nicht gut. Tatsächlich machte es die Sache oft sogar schlechter.

Die Analogie: Stellen Sie sich vor, Sie versuchen zu beurteilen, wie ähnlich sich zwei Menschen sind, indem Sie nur auf ihre Körpergröße schauen. Zwei Menschen können die gleiche Größe haben, aber völlig unterschiedliche Persönlichkeiten, Stile oder Hintergründe besitzen. Die „Größen“-Metrik (Cosine Similarity) war zu einfach, um den wahren „Vibe“ der Bilder zu erfassen, der helfen würde, das Sicherheitsnetz zu optimen. Der „naive“ Guide gab schlechte Ratschläge, was zu Listen führte, die entweder zu lang (verschwenderisch) oder zu kurz (unsicher) waren.

Die Lösung: Der „Sigmoid“-Filter

Die Autoren erkannten, dass sie einen besseren Weg brauchten, um Ähnlichkeit zu messen. Sie führten eine nicht-lineare Transformation (eine mathematische Funktion namens Sigmoid-Funktion) ein.

Die Analogie: Stellen Sie sich die rohe Ähnlichkeitsbewertung wie einen Dimmer vor, der von 0 bis 100 geht. Der „naive“ Guide hat die Zahl einfach direkt verwendet. Die neue Methode fügt dem Dimmer eine spezielle Linse hinzu.
- Wenn die Bilder sehr ähnlich sind, lässt die Linse sie extrem ähnlich erscheinen (sie dreht den Regler hoch).
- Wenn die Bilder nur mittelmäßig ähnlich sind, lässt die Linse sie sehr verschieden erscheinen (sie dreht den Regler runter).
- Es schafft eine schärfere Unterscheidung zwischen „nah genug, um zu vertrauen“ und „zu weit weg, um zu vertrauen“.

Durch das Abstimmen dieser Linse (mithilfe eines Prozesses namens Kreuzvalidierung) konnten sie dem lokalen Guide genau sagen, wie er vergangene Beispiele gewichten soll.

Das Ergebnis

Als sie diesen „Linsen“-Ansatz auf 9 verschiedene Arten von Bilddatensätzen testeten (von Autos und Haustieren bis hin zu Blumen und Satellitenfotos):

Kleinere, intelligentere Listen: Die neue Methode produzierte konsistent kleinere Listen von Möglichkeiten als die alte „Einheitsmaß“-Methode, ohne an Sicherheit zu verlieren. Sie war effizienter.
Der „naive“ Weg scheiterte: Die Verwendung der rohen Ähnlichkeit ohne die Linse machte die Listen in vielen Fällen tatsächlich größer und weniger effizient.
Die Sicherheit blieb bestehen: Die Garantie, dass die richtige Antwort in der Liste enthalten ist (die 90 % Abdeckung), blieb gleich. Sie haben die Sicherheit nicht für die Effizienz geopfert.

Was sie nicht fanden

Die Autoren prüften auch, ob diese Methode ein spezifisches Problem namens „Coverage Gaps“ (Abdeckungslücken) behebt (wo bestimmte Gruppen von Bildern, wie etwa seltene Tiere, weniger sicher waren als häufige).

Das Ergebnis: Die lokale Methode hat dieses spezifische Problem nicht signifikant behoben. Die Sicherheitslücken blieben in etwa dieselben wie bei der alten Methode. Der Hauptgewinn war schlichtweg, die Listen kürzer und effizienter zu machen, nicht unbedingt die Sicherheit über alle Gruppen hinweg gleichmäßiger zu gestalten.

Zusammenfassung

In dieser Arbeit geht es darum, einer intelligenten KI beizubringen, effizienter zu raten.

Alter Weg: „Liste für jeden 5 Optionen auf.“ (Sicher, aber oft verschwenderisch).
Gescheiterter neuer Weg: „Schau darauf, wie nah die Bilder im mathematischen Raum liegen, und passe dich an.“ (Zu simpel, machte die Sache schlechter).
Erfolgreicher neuer Weg: „Schau darauf, wie nah die Bilder liegen, aber nutze einen speziellen mathematischen Filter, um diese Sicht zu schärfen, damit wir Optionen nur dann auflisten, wenn wir wirklich vertrauenswürdig sind.“ (Sicher, effizient und effektiv).

Sie haben ihren Code veröffentlicht, damit andere diesen „speziellen Filter“ nutzen können, um ihre eigenen KI-Vorhersagen effizienter zu gestalten.

Technisches Resümee: Lokalisierte Konforme Prädiktion für die Bildklassifizierung mit Vision-Language-Modellen

1. Problemstellung

Konforme Prädiktion (Conformal Prediction, CP) ist ein statistisches Framework, das weit verbreitet zur Unsicherheitsquantifizierung im maschinellen Lernen eingesetzt wird und starke marginale Abdeckungsgarantien bietet (d. h. das Vorhersageset enthält die wahre Klasse mit einer vom Benutzer definierten Wahrscheinlichkeit von $1-\alpha$ , gemittelt über die gesamte Datenverteilung). Eine bekannte Einschränkung der Standard-CP ist jedoch die Unfähigkeit, eine bedingte Abdeckung (conditional coverage) für spezifische Untergruppen (z. B. bestimmte Klassen oder Merkmalsregionen) zu garantieren. Dies führt zu Abdeckungsdisparitäten, bei denen bestimmte Subpopulationen unter- oder überabgedeckt sind.

Obwohl die Lokalisierte Konforme Prädiktion (LCP) vorgeschlagen wurde, um dies durch die Gewichtung von Kalibrierungsbeispielen basierend auf ihrer Ähnlichkeit zum Testbeispiel zu adressieren, bleibt ihre Anwendung weitgehend auf Regressionsaufgaben und synthetische Datensätze beschränkt. Die Anwendung von LCP auf die Bildklassifizierung, insbesondere unter Verwendung von Vision-Language-Modellen (VLMs), ist bisher untererforscht. Eine kritische offene Frage ist, ob die intuitive Wahl der Verwendung der Kosinusähnlichkeit zwischen visuellen Merkmalen in VLM-Latenträumen ausreicht, um gegenüber nicht-lokalen Baselines bei Klassifizierungsaufgaben eine Verbesserung zu erzielen.

2. Methodik

2.1 Framework und Setup

Die Autoren wenden das LCP-Framework auf Klassifizierungsaufgaben unter Verwendung von VLMs (speziell CLIP-basierte Modelle mit ViT- und CNN-Backbones) an. Der Prozess umfasst:

Kalibrierung: Ein Satz von Kalibrierungsbeispielen wird verwendet, um konforme Scores zu berechnen.
Scoring: Vier Standard-Konforme-Klassifizierungs-Scores werden evaluiert:
- TopK: Verwendet den Rang der wahren Klasse im Vorhersagevektor.
- LAC (Least Ambiguous set-valued Classifier): Verwendet $1 - \text{Wahrscheinlichkeit der wahren Klasse}$ .
- APS (Adaptive Prediction Sets): Verwendet die kumulierte Summe sortierter Wahrscheinlichkeiten bis zur wahren Klasse.
- RAPS (Regularized APS): Fügt einen Strafterm zu APS hinzu, um die Set-Größe zu kontrollieren.
Lokalisierung: Anstatt eine Gleichverteilung über die Kalibrierungs-Scores zu verwenden, konstruiert LCP eine gewichtete empirische Verteilung basierend auf einer Lokalisierungsfunktion $H(f_{test}, f_i)$ , die Kalibrierungsbeispielen eine höhere Gewichtung zuweist, wenn sie dem Testbeispiel ähnlich sind.

2.2 Die Kerninnovation: Nichtlineare Transformation der Kosinusähnlichkeit

Das Paper untersucht die Lokalisierungsfunktion $H$ . In VLMs ist die Kosinusähnlichkeit zwischen Bild-Embeddings ( $f_i^T f_j$ ) ein intuitives Maß für die visuelle Ähnlichkeit. Die Autoren testen zwei Ansätze:

Naiver Ansatz: Verwendung der rohen Kosinusähnlichkeit direkt als Lokalisierungsgewicht ( $H = f_i^T f_j$ ).
Vorgeschlagener Ansatz: Anwendung einer normalisierten Sigmoid-Transformation auf die Kosinusähnlichkeit:
$H(f_i, f_j) = \frac{1 + \exp(-m(1-\tau))}{1 + \exp(-m(f_i^T f_j - \tau))}$
wobei $m > 0$ die Steilheit steuert und $\tau \in [0, 1]$ den Wendepunkt festlegt.

Die Hyperparameter $m$ und $\tau$ werden mittels 5-facher Kreuzvalidierung auf dem Kalibrierungsset optimiert, um die durchschnittliche Größe der Vorhersagesets zu minimieren. Die finalen Parameter werden aus dem Median von $m$ und dem Mittelwert von $\tau$ über die Folds abgeleitet.

2.3 Experimentelles Design

Datensätze: Neun diverse Bildklassifizierungs-Datensätze (SUN397, Aircraft, EuroSAT, StanfordCars, Food101, Pets, Flower102, DTD, UCF101).
Modelle: Vier VLM-Backbones (ViT-B/16, ViT-L/14, RN50, RN101).
Metriken:
- Effizienz: Mittlere Set-Größe (Mean Set Size, MSS).
- Validität: Abdeckungslücke (Coverage Gap, CovGap) und minimale klassenbedingte Abdeckung (Minimum Class-Conditional Coverage, MCCC).
Baselines: Standardmäßige nicht-lokale CP-Methoden unter Verwendung derselben Scores.

3. Hauptergebnisse

3.1 Mittlere Set-Größe (Effizienz)

Die vorgeschlagene nicht-lineare Transformation verbessert die Effizienz signifikant im Vergleich zu sowohl nicht-lokalen Baselines als auch dem naiven lokalisierten Ansatz.

Performance: Die vorgeschlagene Methode erreichte eine statistisch signifikante Reduktion der mittleren Set-Größen für 9 von 9 Datensätzen über 3 von 4 Backbones (ViT-B/16, ViT-L/14, RN50) hinweg im Vergleich zur nicht-lokalen TopK-Baseline.
Versagen des Naiven Ansatzes: Der naive Ansatz (Verwendung der rohen Kosinusähnlichkeit) verschlechterte die Performance oft und erhöhte die Set-Größen im Vergleich zu nicht-lokalen Baselines erheblich (z. B. DTD mit ViT-B/16, UCF101 mit RN50).
Konsistenz: Die Verbesserung hielt über verschiedene konforme Scores hinweg (LAC, APS, RAPS) an, wenngleich die Größenordnung variierte.

3.2 Abdeckungsmetriken (Validität)

Die Ergebnisse bezüglich der bedingten Validität waren nuancierter:

CovGap: Die lokalisierten Ansätze (sowohl naiv als auch vorgeschlagen) erzeugten CovGap-Werte, die fast identisch mit denen der nicht-lokalen Baselines waren, über alle Datensätze und Backbones hinweg. Dies deutet darauf hin, dass die Lokalisierung allein nicht ausreicht, um die Abdeckungslücke für die Bildklassifizierung mit VLMs zu minimieren.
MCCC: Verbesserungen bei der Worst-Case-Abdeckung (MCCC) waren inkonsistent. Während die vorgeschlagene Methode die MCCC in einigen spezifischen Fällen verbesserte (z. B. LAC-Score auf Pets mit ViT-B/16), verschlechterte sie die Performance in anderen Fällen (z. B. TopK-Score auf demselben Datensatz).

4. Beiträge

Das Paper leistet drei primäre Beiträge:

LCP für Klassifizierung: Es benchmarkt LCP für die Bildklassifizierung unter Verwendung von VLMs und zeigt, dass die intuitive Verwendung der Kosinusähnlichkeit suboptimal ist. Es schlägt eine einfache, nicht-lineare Sigmoid-Transformation vor, um die Effektivität des Lokalisierers zu steigen.
Umfassendes Benchmarking: Es bietet eine umfassende Evaluierung über neun diverse Datensätze und vier VLM-Backbones hinweg und zeigt, dass die vorgeschlagene Methode konsistent die durchschnittlichen Vorhersageset-Größen reduziert.
Open-Source-Implementierung: Die Autoren veröffentlichen die erste Open-Source-Implementierung von LCP für die Klassifizierung, die mit einer breiten Palette von Datensätzen und Modellen kompatibel ist.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass LCP zwar ein vielversprechendes Framework ist, um Vorhersagesets an lokale Verteilungseigenschaften anzupassen, der Erfolg bei Klassifizierungsaufgaben mit VLMs jedoch stark von der Gestaltung der Lokalisierungsfunktion abhängt.

Zentrale Erkenntnis: Die "naive" Intuition, die rohe Kosinusähnlichkeit im visuellen Latentraum zu verwenden, ist unzureichend und kann die Effizienz sogar beeinträchtigen.
Lösung: Eine einfache, abstimmbare nicht-lineare Transformation dieser Ähnlichkeiten ist notwendig, um statistisch signifikante Reduktionen der Vorhersageset-Größen bei gleichzeitiger Wahrung der marginalen Abdeckungsgarantien zu erreichen.
Einschränkung: Die Autoren merken bescheiden an, dass die Methode zwar die Effizienz verbessert, aber derzeit das Problem der Disparitäten in der bedingten Abdeckung (CovGap) für diesen spezifischen Kontext nicht löst, da die Abdeckungslücke ähnlich hoch bleibt wie bei nicht-lokalen Baselines.

Die Arbeit zielt darauf ab, den Einsatz lokalisierter konformer Prädiktion in realen Anwendungen durch Bereitstellung eines robusten Open-Source-Tools und Klärung der notwendigen Vorverarbeitungsschritte für die VLM-basierte Klassifizierung zu erleichtern.