Are foundation models for computer vision good conformal predictors?

Die Studie zeigt, dass Vision- und Vision-Language-Grundmodelle sich hervorragend für konforme Vorhersagen eignen, wobei die APS-Methode besonders vielversprechend ist und eine Kalibrierung der Konfidenzvorhersagen die Effizienz adaptiver Verfahren sogar verschlechtern kann.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen extrem klugen, aber manchmal etwas übermütigen KI-Assistenten, der Bilder erkennt. Dieser Assistent ist ein sogenanntes „Foundation Model" (ein Grundmodell), das auf riesigen Datenmengen trainiert wurde. Er kann fast alles erkennen: Hunde, Autos, Blumen. Aber hier ist das Problem: Wenn er sich nicht sicher ist, sagt er oft trotzdem mit 100-prozentiger Überzeugung: „Das ist ein Hund!" – auch wenn es eigentlich eine Katze ist.

In der echten Welt, besonders in sensiblen Bereichen wie der Medizin oder der Sicherheit, ist diese falsche Sicherheit gefährlich. Wir brauchen einen Weg, der uns sagt: „Hey, ich bin mir bei diesem Bild nicht so sicher, schau dir mal diese drei Möglichkeiten an."

Genau hier kommt die Konforme Vorhersage (Conformal Prediction) ins Spiel.

Die Metapher: Der vorsichtige Detektiv

Stellen Sie sich die Konforme Vorhersage wie einen sehr vorsichtigen Detektiv vor. Ein normaler KI-Modell sagt: „Der Täter ist definitiv Herr Müller." Der Detektiv der konformen Vorhersage sagt jedoch: „Ich bin mir zu 90 % sicher, dass der Täter in dieser Gruppe von drei Personen ist."

Das Ziel ist nicht, den einen richtigen Namen zu nennen, sondern eine kleine Liste von Kandidaten zu erstellen, die mit hoher Wahrscheinlichkeit die richtige Antwort enthält. Je kleiner die Liste, desto effizienter ist der Detektiv. Je sicherer er ist, desto kleiner darf die Liste sein.

Was haben die Forscher herausgefunden?

Die Autoren dieses Papers haben untersucht, wie gut diese modernen, riesigen KI-Modelle (wie CLIP oder DINO) mit diesem „vorsichtigen Detektiv"-Ansatz funktionieren. Hier sind die wichtigsten Erkenntnisse, einfach erklärt:

1. Die modernen Modelle sind super Detektive
Frühere Modelle waren oft wie Schüler, die nur auswendig gelernt haben. Die neuen „Foundation Models" (besonders die, die auf der Vision Transformer-Technologie basieren, ähnlich wie moderne Sprach-KIs) sind wie erfahrene Ermittler. Sie verstehen Bilder viel besser und können viel präzisere Listen erstellen. Sie brauchen weniger Kandidaten auf ihrer Liste, um sicher zu sein, dass die richtige Antwort dabei ist.

2. Der „Selbstvertrauens-Trick" funktioniert nicht immer
Es gibt eine beliebte Methode, um KI-Modelle „bescheidener" zu machen, indem man ihre Selbstvertrauens-Skala (die Wahrscheinlichkeiten) nachträglich glättet. Man nennt das „Kalibrierung".

• Die Analogie: Stellen Sie sich vor, Sie nehmen einen sehr selbstbewussten Schüler und sagen ihm: „Sei etwas bescheidener."
• Das Ergebnis: Der Schüler wird zwar ehrlicher, aber der Detektiv (die Konforme Vorhersage) muss nun eine viel längere Liste von Verdächtigen aufschreiben, um sicherzugehen. Die Effizienz sinkt. Die Forscher fanden heraus, dass bei diesen modernen Modellen das „Bescheidener-Machen" oft mehr schadet als nützt, wenn man präzise Listen will.

3. Anpassung ist der Schlüssel (Few-Shot Learning)
Oft muss man diese riesigen Modelle an neue, spezielle Aufgaben anpassen (z. B. nur noch bestimmte Hunderassen erkennen).

• Die Analogie: Ein Generalist, der ein paar Stunden lang nur über Dalmatiner lernt, wird plötzlich ein besserer Dalmatiner-Experte als ein Spezialist, der nur auf alten Daten trainiert wurde.
• Das Ergebnis: Wenn man diese Modelle mit ein paar wenigen Beispielen (Few-Shot) anpasst, werden ihre Vorhersagelisten kleiner und genauer. Das ist viel besser als wenn man sie ohne Anpassung (Zero-Shot) verwendet.

4. Wenn die Welt sich ändert (Domain Shift)
Was passiert, wenn das Modell Bilder aus einer anderen Welt sieht? (Zum Beispiel: Es wurde mit Fotos von echten Autos trainiert, muss aber nun Skizzen von Autos erkennen).

• Die Entdeckung: Die Methode namens APS (Adaptive Prediction Sets) ist hier der Held. Sie ist wie ein Detektiv, der weiß, dass die Beweislage schwierig ist. Wenn die Bilder verwirrend sind, erweitert APS seine Liste sofort, um sicherzustellen, dass der Täter (die richtige Antwort) trotzdem dabei ist. Andere Methoden würden hier versagen und falsche Sicherheit vortäuschen.

Das Fazit für den Alltag

Dieses Papier sagt uns im Grunde:
Die neuen, riesigen KI-Modelle für Bilder sind hervorragend geeignet, um sicher und zuverlässig eingesetzt zu werden – wenn man sie richtig nutzt.

• Vertraue den großen Modellen: Sie sind besser als die alten.
• Sei vorsichtig mit „Bescheidenheit": Versuche nicht, die KI künstlich zu dämpfen; das macht ihre Listen nur unnötig lang.
• Lass sie lernen: Gib ihnen ein paar Beispiele für die neue Aufgabe, und sie werden viel besser.
• Wähle den richtigen Detektiv: Die Methode APS ist besonders robust, wenn die Bedingungen unvorhersehbar sind (z. B. in der medizinischen Diagnostik), auch wenn sie manchmal etwas mehr Kandidaten auf die Liste setzt.

Zusammengefasst: Mit der richtigen Methode können wir diese mächtigen KI-Riesen so zähmen, dass sie nicht nur „raten", sondern uns verlässliche, sichere Hinweise geben – genau das, was wir in kritischen Situationen brauchen.

Technische Zusammenfassung

Titel: Sind Foundation Models für Computer Vision gute konforme Prädiktoren?

Autoren: Leo Fillioux, Julio Silva-Rodríguez, Ismail Ben Ayed, Paul-Henry Cournède, Maria Vakalopoulou, Stergios Christodoulidis, Jose Dolz.

---

1. Problemstellung

Foundation Models (FMs) für Computer Vision, wie DINOv2 oder CLIP, haben durch Selbstüberwachung und kontrastives Lernen in den letzten Jahren beispiellose Leistungen in einer Vielzahl von Aufgaben erzielt. Sie werden zunehmend in risikobehafteten und hochrelevanten Anwendungen (z. B. Gesundheitswesen, Sicherheit) eingesetzt.
Ein kritisches Problem bei der sicheren Bereitstellung dieser Modelle ist jedoch das Verständnis ihrer Unsicherheitsmodellierung. Während Kalibrierungsmethoden (z. B. Temperature Scaling) häufig eingesetzt werden, um die Übereinstimmung zwischen Vorhersagekonfidenz und tatsächlicher Richtigkeit zu verbessern, bieten diese keine theoretischen Garantien für die Abdeckung der wahren Klasse.
Conformal Prediction (CP) ist ein statistisches Framework, das theoretische Garantien für die marginale Abdeckung (marginal coverage) bietet. Bisher wurde jedoch kaum untersucht, wie sich CP auf moderne Vision-Foundation-Modelle auswirkt, insbesondere im Vergleich zu traditionell überwachten Modellen und unter realen Bedingungen wie Domänenverschiebungen (Distributional Shifts) oder Few-Shot-Anpassungen.

2. Methodik

Die Autoren führten eine umfassende empirische Analyse durch, um das Verhalten von Vision- und Vision-Language-Foundation-Modellen unter CP zu untersuchen.

• Modelle: Es wurden 17 verschiedene Foundation-Modelle getestet, darunter:
  • DINO / DINOv2: Selbstüberwachte Vision-Transformer (ViT).
  • VICReg: Selbstüberwachte CNNs (ResNet-Architekturen).
  • CLIP & Varianten: Vision-Language-Modelle (ViT und ConvNeXt Backbones).
  • Andere: MetaCLIP, LLaVa, Phi 3.5.
• Datensätze:
  • Standard-Benchmarks: CIFAR-10, CIFAR-100, ImageNet.
  • Domänenverschiebungen (OOD): ImageNet-R, ImageNet-A, ImageNet-Sketch, ImageNet-V2.
  • Few-Shot-Szenarien: 10 zusätzliche Datensätze (z. B. SUN397, StanfordCars) mit 16-Shot-Anpassung.
• Conformal Prediction Methoden: Drei gängige CP-Algorithmen wurden verglichen:
  1. LAC (Least Ambiguous Classifier): Basierend auf einem festen Schwellenwert der Softmax-Wahrscheinlichkeiten.
  2. APS (Adaptive Prediction Sets): Akkumuliert sortierte Softmax-Wahrscheinlichkeiten, um adaptive Schwellenwerte zu finden.
  3. RAPS (Regularized Adaptive Prediction Sets): Fügt einen Regularisierungsterm hinzu, um die Größe der Vorhersagemengen zu bestrafen und zu minimieren.
• Experimentelle Szenarien:
  • Leistung im Standard-Szenario (i.i.d. Daten).
  • Robustheit unter Domänenverschiebungen.
  • Einfluss von Konfidenz-Kalibrierung (Temperature Scaling) auf CP.
  • Einfluss von Few-Shot-Anpassung (Prompt Learning, Adapters) auf CP.

3. Wichtige Beiträge und Erkenntnisse

Die Studie liefert folgende zentrale Erkenntnisse:

1. Überlegenheit von Foundation-Modellen: Vision- und Vision-Language-Foundation-Modelle liefern im Vergleich zu traditionell überwachten Modellen (z. B. ViT, das nur auf ImageNet überwacht wurde) bessere CP-Metriken. Insbesondere Modelle mit Vision-Transformer-Architekturen (ViT) schneiden besser ab als solche mit CNNs (ConvNeXt, ResNet), was sich in kleineren Vorhersagemengen und besserer bedingten Abdeckung zeigt.
2. Leistung der CP-Methoden:
   • APS erweist sich als die robusteste Methode, insbesondere unter Domänenverschiebungen. Sie hält die marginalen Abdeckungsgarantien zuverlässig ein, auch wenn dies zu größeren Vorhersagemengen führt.
   • RAPS erzielt die kleinsten Mengen (höchste Effizienz), leidet aber unter Domänenverschiebungen und bei weniger genauen Modellen unter einer schlechteren bedingten Abdeckung (Coverage Gap), da der Regularisierungsterm die Anpassung an schwierige Fälle einschränkt.
3. Einfluss der Kalibrierung:
   • Die Anwendung von Temperature Scaling (TS) zur Verbesserung der Kalibrierung führt paradoxerweise zu einer Verschlechterung der Effizienz (größere Vorhersagemengen) bei adaptiven CP-Methoden (APS, RAPS).
   • Zwar verbessert sich die bedingte Abdeckung leicht, aber der Preis ist eine signifikante Vergrößerung der Mengen, da die Kalibrierung die Softmax-Verteilung glättet und die Konfidenz der Top-Klassen senkt.
4. Few-Shot-Anpassung:
   • Die Anpassung von Vision-Language-Modellen (z. B. CLIP) an Downstream-Aufgaben mittels Few-Shot-Learning führt im Vergleich zu Zero-Shot-Vorhersagen zu kleineren Mengen und geringeren Coverage-Gaps auf In-Distribution-Daten.
   • Dies steht im Kontrast zu früheren Annahmen, dass Anpassungen die Unsicherheit erhöhen; hier führt die Anpassung zu einer effizienteren CP.
5. Robustheit bei Domänenverschiebungen:
   • Unter OOD-Bedingungen (z. B. ImageNet-A) zeigt APS die höchste Robustheit, indem es die Mengen vergrößert, um die Abdeckungsgarantie aufrechtzuerhalten.
   • RAPS und LAC zeigen hier deutliche Einbrüche in der Abdeckung oder sehr große Mengen, um die Garantie zu erfüllen.

4. Ergebnisse (Zusammenfassung der Metriken)

• Mengenstärke (Set Size): Foundation-Modelle (ViT-basiert) erzeugen konsistent kleinere Mengen als überwachte Baseline-Modelle.
• Coverage Gap: APS minimiert den Gap am effektivsten, besonders wenn das Modell gut kalibriert ist, obwohl dies die Mengen vergrößert.
• Kalibrierungseffekt: Kalibrierte Modelle (T > 1) führen zu größeren Mengen (z. B. APS auf DINOv2-B steigt von ~7.5 auf ~10.5), was die Effizienz senkt, aber die Sicherheit (Abdeckung) erhöht.
• Few-Shot vs. Zero-Shot: Few-Shot-adaptierte Modelle (z. B. CoOp, CLAP) erreichen auf ID-Daten deutlich bessere Ergebnisse (kleinere Mengen, niedrigerer Gap) als Zero-Shot-Modelle.

5. Bedeutung und Fazit

Die Studie beantwortet die Frage, ob Foundation-Modelle gute Kandidaten für Conformal Prediction sind, mit einem klaren Ja.

• Sicherheitsgarantie: Foundation-Modelle, insbesondere ViT-Architekturen, sind hervorragend für CP geeignet und bieten robuste Unsicherheitsquantifizierung, die für kritische Anwendungen (Medizin, autonomes Fahren) essenziell ist.
• Methodenwahl: Die Wahl der CP-Methode hängt vom Anwendungskontext ab:
  • Für kritische Szenarien, bei denen das Übersehen einer Klasse (False Negative) inakzeptabel ist, ist APS vorzuziehen, da es die Abdeckungsgarantie auch unter Verschiebungen strikt einhält.
  • Für ressourcenbeschränkte Umgebungen, wo kleine Mengen wichtig sind, kann RAPS genutzt werden, birgt aber das Risiko einer schlechteren Abdeckung bei schwierigen Domänen.
• Praxisempfehlung: Die Autoren warnen davor, Kalibrierungstechniken blind auf CP anzuwenden, da dies die Effizienz (Mengenstärke) verschlechtern kann. Zudem zeigt sich, dass Few-Shot-Anpassungen die CP-Leistung verbessern können.

Insgesamt liefert das Paper einen wichtigen Leitfaden für die sichere und zuverlässige Integration von Unsicherheitsquantifizierung in den Einsatz moderner Vision-Foundation-Modelle.