📊 statistics

Conformal Prediction Sets for Instance Segmentation

Dieses Paper führt einen Conformal-Prediction-Algorithmus ein, der adaptive Konfidenz-Sets für die Instanzsegmentierung generiert und dabei nachweisbare Garantien bietet, dass mindestens eine Vorhersage innerhalb des Sets eine hohe Intersection-over-Union mit der Grundwahrheit erreicht, während gleichzeitig die strukturelle Unsicherheit über verschiedene Anwendungen hinweg effektiv erfasst wird.

Ursprüngliche Autoren: Kerri Lu, Dan M. Kluger, Stephen Bates, Sherrie Wang

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kerri Lu, Dan M. Kluger, Stephen Bates, Sherrie Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betrachten eine komplexe Stadtkarte und zeigen mit dem Finger auf einen bestimmten Punkt auf dem Bildschirm. Sie fragen einen Computer: „Was ist das?“

In der Welt der Instanzsegmentierung (ein schicker Begriff für das Finden und Umreißen einzelner Objekte in einem Bild) sind aktuelle KI-Modelle wie überhebliche Reiseführer. Sie zeigen auf einen Punkt und sagen: „Das ist definitiv ein Park“, und ziehen dabei eine einzige, scharfe Linie darum herum. Sie mögen meistens recht haben, aber sie geben nie zu: „Eigentlich ist dieser Bereich etwas verschwommen; es könnte ein Park sein, oder vielleicht ein Golfplatz, oder vielleicht zwei kleine Parks, die miteinander verschmolzen sind.“ Sie liefern eine einzige Antwort mit hoher Konfidenz, selbst wenn sie unsicher sind.

Dieses Paper stellt eine neue Art und Weise vor, wie man den Computer fragt: „Gib mir eine Liste von Möglichkeiten und versprich mir, dass eine davon korrekt ist.“

Hier ist die Aufschlüsselung ihrer Lösung unter Verwendung einfacher Analogien:

1. Das Problem: Der „Einmal-und-fertig“-Guide

Aktuelle KI-Modelle versuchen, die einzelne „beste“ Antwort auszuwählen. Aber im echten Leben sind Dinge oft mehrdeutig.

Das Problem: Wenn man eine KI bittet, ein Feld in einem Satellitenbild zu umreißen, zeichnet sie vielleicht eine Linie, die das Feld in der Mitte teilt (in der Annahme, es seien zwei Felder) oder zwei Felder zu einem einzigen verschmilzt.
Der Fehler: Das Modell weiß nicht, dass es verwirrt ist. Es liefert Ihnen einfach eine Maske (eine digitale Umrisslinie) und sagt: „Hier ist die Wahrheit.“ Wenn es falsch liegt, haben Sie keine Warnung.

2. Die Lösung: Das „Sicherheitsnetz“ der Optionen

Die Autoren haben eine Methode namens Conformal Prediction entwickelt. Anstatt die KI nach einer Antwort zu fragen, bitten wir sie, ein Confidence Set zu generieren – ein kleines Körbchen mit verschiedenen möglichen Umrissen für denselben Ort.

Denken Sie an eine Wettervorhersage.

Alter Weg: „Es wird um 14 Uhr regnen.“ (Wenn es nicht regnet, war die Vorhersage falsch).
Neuer Weg: „Es besteht eine Wahrscheinlichkeit von 90 %, dass der Regen zwischen 13 Uhr und 15 Uhr stattfindet.“ (Auch wenn Sie nicht die exakte Minute wissen, haben Sie ein garantiertes Zeitfenster, in dem die Wahrheit liegt).

In diesem Paper ist das „Zeitfenster“ eine Menge verschiedener Formen. Der Algorithmus verspricht: „Ich werde Ihnen eine Liste von 3 oder 4 verschiedenen Umrissen geben. Ich garantiere Ihnen, dass mindestens einer dieser Umrisse mit hoher Genauigkeit dem realen Objekt entspricht.“

3. Wie es funktioniert: Die „Regler“-Strategie

Das Geheimrezept ist die Art und Weise, wie diese verschiedenen Optionen erzeugt werden. Sie verwenden einen „abstimmbaren Parameter“ (wie einen Lautstärkeregler oder einen Schieberegler) am KI-Modell.

Die Analogie: Stellen Sie sich ein Radio mit einem leicht verrauschten Signal vor. Wenn Sie den Regler ein wenig nach links drehen, hören Sie die Musik klar, aber mit etwas Rauschen. Wenn Sie ihn ein wenig nach rechts drehen, ist das Rauschen weg, aber die Musik klingt dumpf. Keine einzelne Einstellung ist perfekt für jedes Lied.
Die Methode: Die Forscher nehmen einen Kalibrierungsdatensatz (einen Übungssatz von Bildern mit bekannten Antworten). Sie testen die KI mit vielen verschiedenen „Reglereinstellungen“.
- Einstellung A funktioniert super für Feld 1, scheitert aber an Feld 2.
- Einstellung B scheitert an Feld 1, funktioniert aber perfekt bei Feld 2.
Die Magie: Der Algorithmus betrachtet all diese Einstellungen und wählt eine minimale Gruppe von ihnen aus, die zusammen fast jedes Szenario im Übungssatz abdecken.

Wenn ein neues, unbekanntes Bild eintrifft, wählt die KI nicht einfach die „beste“ Einstellung. Sie lässt das Bild durch diese spezifische Gruppe von Einstellungen laufen und liefert Ihnen die daraus resultierende Liste von Masken.

4. Der „Duplikat“-Filter

Manchmal erzeugen verschiedene Einstellungen fast identische Umrisse. Um die Liste nützlich und nicht überfordernd zu halten, hat das System einen „Duplikatentferner“.

Die Analogie: Wenn Sie nach einer Liste von Restaurants fragen und „Das Pizza-Restaurant“, „Das Pizza-Restaurant (Innenstadt)“ und „Das Pizza-Restaurant (Hauptstraße)“ erhalten, und es sich alle um denselben Ort handelt, wollen Sie einfach nur einen Eintrag.
Das System entfernt Beinahe-Duplikate, sodass Sie bei einer sehr sicheren KI vielleicht nur 1 oder 2 Optionen erhalten. Wenn das Bild sehr verwirrend (mehrdeutig) ist, wird die Liste länger, um mehr distinkte Möglichkeiten einzuschließen.

5. Reale Tests

Die Autoren haben dies an drei sehr unterschiedlichen Aufgaben getestet:

Ackerflächen: Die Unterscheidung zwischen benachbarten Feldern in Satellitenbildern (oft ist schwer zu sagen, wo eines endet und das andere beginnt).
Zellen: Das Umreißen einzelner Zellen in einem Mikroskopbild (wo Zellen oft überlappen).
Fahrzeuge: Das Identifizieren von Autos in Straßenszenen.

Die Ergebnisse:

Abdeckung (Coverage): Ihre Methode hat ihr Ziel der Garantie (z. B. „90 % der Zeit ist eine unserer Masken korrekt“) viel besser erreicht als die Standardmethode der „besten Vermutung“.
Anpassungsfähigkeit: Wenn das Bild klar war, war die Liste kurz (effizient). Wenn das Bild unordentlich und verwirrend war, wurde die Liste länger (sicher), um sicherzustellen, dass der Nutzer nicht mit einer falschen Antwort zurückgelassen wird.
Struktur: Im Gegensatz zu älteren Methoden, die lediglich die Kanten einer einzelnen Form „verwaschen“ haben, lieferte diese Methode strukturell unterschiedliche Formen (z. B. eine Form, die sagt: „es ist ein großes Feld“, eine andere, die sagt: „es sind zwei kleine Felder“).

Zusammenfassung

Dieses Paper macht die KI nicht nur intelligenter, sondern macht sie ehrlich. Es gibt zu, dass es manchmal nicht die eine richtige Antwort gibt. Anstatt eine einzige, potenziell falsche Umrisslinie zu erzwingen, liefert es eine kuratierte Liste von Möglichkeiten und garantiert, dass die Wahrheit irgendwo in dieser Liste verborgen ist. Es verwandelt eine „Vermutung“ in ein „Sicherheitsnetz“.

Technisches Resümee: Konforme Vorhersagesets für die Instanzsegmentierung

Problemstellung
Aktuelle Modelle zur Instanzsegmentierung erreichen eine hohe durchschnittliche Leistung, lassen jedoch eine fundierte Unsicherheitsquantifizierung vermissen. Ihre Ausgaben, wie etwa Logits oder Konfidenzwerte, sind oft unkalibriert und bieten keine Garantie dafür, dass eine vorhergesagte Maske der Grundwahrheit (Ground Truth) nahe kommt. Bestehende Metriken zur Unsicherheit (z. B. Randwahrscheinlichkeiten) sind häufig unkalibriert und schwer interpretierbar. Darüber hinaus sind jüngste Ansätze der konformen Vorhersage für die Segmentierung darauf beschränkt, eine einzige modellgestützte Maske zu modifizieren (z. B. durch Dilatation oder Randexpansion). Diese Methoden erfassen lokale Randunsicherheit, versäumen es jedoch, strukturelle Unsicherheit zu adressieren – die Ambiguität darüber, ob benachbarte Regionen als ein einzelnes Objekt behandelt oder in mehrere Objekte aufgeteilt werden sollten. Diese Einschränkung ist in realen Anwendungen kritisch, in denen möglicherweise keine einzige „beste“ Parametereinstellung für alle Abfragen existiert.

Methodik
Die Autoren schlagen einen Algorithmus zur konformen Vorhersage vor, der adaptive Konfidenzsets von Instanzvorhersagen für ein gegebenes Bild und einen Pixelkoordinaten-Query generiert. Die Methode operiert unter folgendem Framework:

Setting: Der Input besteht aus einem Bild $I$ und einem Query-Punkt $(z_1, z_2)$ . Ziel ist es, eine binäre Maske $Y$ für das Objektinstanz zu sagen, das den Query enthält. Die Methode nutzt ein Instanzsegmentierungsmodell $f$ , das einen abstimmbaren Parameter $T$ (z. B. Watershed-Schwellenwerte, Logit-Schwellenwerte oder Maskenindizes) akzeptiert, um diverse Vorhersagen $\hat{Y} = f(X, T)$ zu erzeugen.
Kalibrierung: Unter Verwendung eines Kalibrierungsdatensatzes von $n$ Bild-Query-Paaren mit Ground-Truth-Masken evaluiert der Algorithmus den Intersection-over-Union (IoU) von Vorhersagen, die durch ein Gitter von $k$ Parameterwerten $\{t_1, \dots, t_k\}$ generiert wurden.
Set-Konstruktion (Set Cover): Für einen Ziel-IoU-Schwellenwert $\tau$ und eine Fehlerrate $\alpha$ identifiziert der Algorithmus eine minimale Teilmenge von Parameterindizes $J_{\alpha, \tau}$ , sodass die Vereinigung erfolgreicher Vorhersagen (jene mit IoU $> \tau$ ) mindestens $(1-\alpha)n$ Kalibrierungsbeispiele abdeckt. Dieser Schritt wird als Set-Cover-Problem formuliert und über einen Greedy-Algorithmus gefolgt von einer Brute-Force-Verfeinerung gelöst, um die Set-Größe zu minimieren.
Vorhersage: Für einen neuen Test-Input generiert der Algorithmus Vorhersagen unter Verwendung der ausgewählten Parametersubmenge $J_{\alpha, \tau}$ , wodurch das initiale Konfidenzset $C_{\alpha, \tau}(X_{test})$ gebildet wird.
Adaptive Verfeinerung (Duplikatentfernung): Um Redundanz zu vermeiden, entfernt der Algorithmus nahezu identische Masken (definiert durch einen sekundären IoU-Schwellenwert $\eta$ ) mittels eines Dominating-Set-Ansatzes. Dies resultiert in einer adaptiven Set-Größe, die je nach Schwierigkeitsgrad der Abfrage variiert.
Garantien: Die Methode liefert asymptotische Garantien, dass mit einer Wahrscheinlichkeit von $\ge 1-\alpha$ das finale Konfidenzset mindestens eine Maske enthält, die einen IoU größer als ein rekallibrierter Schwellenwert $\tilde{\theta}$ aufweist. Eine Finite-Sample-Version wird ebenfalls mittels Sample Splitting und Conformal Risk Control (CRC) bereitgestellt.

Wesentliche Beiträge

Neuartige Formulierung: Die Arbeit führt die erste konforme Vorhersageformulierung für die Instanzsegmentierung ein, welche strukturelle Unsicherheit erfasst. Im Gegensatz zu bisherigen Methoden, die eine einzelne Maske perturbieren, konstruiert dieser Ansatz set-wertige Vorhersagen über multiple Modellkonfigurationen hinweg.
Machbarkeit in nicht-monotonen Settings: Die Methode erfordert keine monotone Verlustfunktion (eine Voraussetzung für Standard-Conformal-Risk-Control und Learn-Then-Test-Frameworks). Dies ermöglicht die Verwendung von IoU-basierten Verlustfunktionen, die in Bezug auf Segmentierungsparameter inhärent nicht-monoton sind.
Adaptive Konfidenzsets: Der Algorithmus erzeugt Vorhersagesets, deren Größe je nach Schwierigkeit der Abfrage variiert, wobei Duplikate entfernt werden, um eine informativere Repräsentation der Unsicherheit zu liefern, ohne den Nutzer zu überfordern.
Theoretische Garantien: Die Arbeit liefert sowohl asymptotische als auch Finite-Sample-theoretische Garantien für die Abdeckung (Coverage) und stellt sicher, dass mindestens eine Vorhersage in dem Set einen hohen IoU mit der Ground Truth erreicht.

Experimentelle Ergebnisse
Der Algorithmus wurde auf drei unterschiedlichen Aufgaben evaluiert: landwirtschaftliche Feldabgrenzung, Zellsegmentierung und Fahrzeugerkennung.

Abdeckung (Coverage): Die Methode erreichte eine empirische Abdeckung nahe am Zielwert $(1-\alpha)$ und übertraf damit signifikant die Baselines. Beispielsweise verbesserte sich die Abdeckung bei der Fahrzeugerkennung von 66,1 % (naive Best-Parameter-Baseline) auf 84,3 %.
Baseline-Vergleich: Die „naive Best-Parameter“-Baseline (Auswahl eines einzelnen globalen Parameters) und die „morphologische Dilatations“-Baseline (Expansion einer einzelnen Maske) scheiterten daran, strukturelle Ambiguität zu erfassen. Die vorgeschlagene Methode konnte erfolgreich Fälle wiederherstellen, in denen die Baseline Objekte entweder über- oder untersegmentiert hatte.
Adaptivität: Die Größe der Vorhersagesets passte sich der Schwierigkeit der Abfrage an. In ambivalenten Szenarien (z. B. Feldgrenzen) erweiterten sich die Sets, um mehrere plausible Masken einzuschließen (bis zu 5), während sie in klaren Fällen (z. B. distinkte Zellen) auf eine oder zwei Größen kollabierten.
Schwellenwerte: Der rekallibrierte IoU-Schwellenwert $\tilde{\theta}$ blieb nahe bei oder über dem ursprünglichen Zielwert $\tau$ , was zeigt, dass die Duplikatentfernung die Coverage-Garantie nicht signifikant verschlechtert hat.

Bedeutung und Ansprüche
Die Autoren behaupten, dass diese Arbeit die erste ist, die strukturelle Unsicherheit in der Instanzsegmentierung erfasst, indem sie Konfidenzsets aus diversen Segmentierungsvorhersagen konstruiert. Die Bedeutung liegt im Paradigmenwechsel von der Bereitstellung einer einzigen „besten“ Vorhersage (die strukturell falsch sein kann) hin zur Bereitstellung eines beweisbaren Sets diverser Hypothesen. Dieser Ansatz erkennt an, dass in ambivalenter Bildgebung (z. B. kontrastarme Felder, überlappende Zellen) eine einzelne Maske oft unzureichend ist. Die Methode formalisiert die Zuverlässigkeit von Segmentierungsmodellen, indem sie explizit die Wahrscheinlichkeit quantifiziert, dass das wahre Objekt innerhalb des Sets repräsentiert ist.

Das Paper merkt bescheiden an, dass die konforme Vorhersage die inhärenten Limitationen des zugrunde liegenden Segmentierungsmodells nicht überwinden kann; wenn das Basismodell einen bestimmten IoU nicht erreichen kann, kann das Konfidenzset dies nicht garantieren. Zudem setzt die Methode die Existenz eines abstimmbaren Parameters voraus, der eine bedeutsame Diversität induziert. Die Autoren identifizieren zukünftige Arbeiten in der Entwicklung von Trainingsstrategien, die explizit Masken-Diversität fördern, sowie in der Erstellung skalierbarer Approximationen für die kombinatorischen Optimierungsschritte (Set Cover und Duplikatentfernung), um größere Parameterräume zu handhaben.