📊 statistics

Audited Conformal Prediction for Classification under Unknown Distribution Shift

Dieses Paper führt Audited Conformal Prediction (ACP) ein, ein neuartiges Framework, das einen kleinen gelabelten Zieldatensatz nutzt, um ein Hilfs-Audit-Modell zu trainieren, wodurch die bedingte Abdeckung verbessert und rigorose theoretische Garantien für die Unsicherheitsquantifizierung bei vortrainierten Klassifikatoren unter unbekannten Verteilungsverschiebungen bereitgestellt werden.

Ursprüngliche Autoren: Yanfei Zhou, Rizal Fathony, Nam H. Nguyen, Matteo Sesia

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yanfei Zhou, Rizal Fathony, Nam H. Nguyen, Matteo Sesia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr erfahrenen, altmodischen Detektiv (das „Legacy-Modell“), der tausende von Fällen basierend auf historischen Daten gelöst hat. Dieser Detektiv ist normalerweise großartig, aber die Welt verändert sich. Neue Arten von Verbrechen tauchen auf oder die Art und Weise, wie Kriminelle agieren, hat sich verschoben (das ist das, was das Paper als „Distribution Shift“ bezeichnet).

Das Problem ist, dass der Detektiv zwar immer noch manchmal die richtige Antwort errät, sich aber oft nicht bewusst ist, wenn er im Dunkeln tappt. Er könnte sagen: „Ich bin mir zu 100 % sicher, dass das eine Katze ist“, obwohl es eigentlich ein Hund ist, nur weil das Licht anders ist. In der Sprachmodellierung nennen wir das einen Mangel an Unsicherheitsquantifizierung (Uncertainty Quantification). Wir brauchen eine Möglichkeit zu sagen: „Ich bin mir nicht sicher“ oder „Ich bin mir nur zu 60 % sicher“, damit wir keine gefährlichen Fehler machen.

Die alte Art: „Vertraue einfach dem Durchschnitt“

Standardmethoden (genannt Conformal Prediction) versuchen dies zu beheben, indem sie sagen: „Okay, wir müssen im Durchschnitt zu 90 % richtig liegen.“ Um dies zu erreichen, schauen sie sich die Fehler des Detektivs in der Vergangenheit an und zeichnen ein Sicherheitsnetz.

Der Makel: Dieses Sicherheitsnetz ist wie eine Decke, die alle gleichermaßen abdeckt. Wenn der Detektiv gut darin ist, Katzen zu identifizieren, aber schlecht darin, Hunde in der neuen Umgebung zu identieren, könnte die Decke für die Hunde zu locker (sie durchkommen lassen) und für die Katzen zu eng (Zeit verschwenden) sein. Es garantiert, dass Sie insgesamt richtig liegen, aber es garantiert nicht, dass Sie für spezifische, knifflige Fälle richtig liegen.

Die neue Lösung: „Audited Conformal Prediction“ (ACP)

Die Autoren schlagen ein neues System namens Audited Conformal Prediction (ACP) vor. Anstatt nur dem alten Detektiv zu vertrauen, stellen sie einen neuen, spezialisierten Manager ein (das „Audit-Modell“).

So funktioniert die Analogie:

Der Legacy-Detektiv: Das ursprüngliche KI-Modell, das die Vorhersagen trifft. Es ist schnell und weiß viel, aber es könnte den Anschluss an die neue Welt verloren haben.
Der Audit-Manager: Ein kleineres, einfacheres KI-Modell, das mit einer winzigen Menge neuer, gelabelter Daten trainiert wurde. Seine einzige Aufgabe ist es nicht, den Fall zu lösen. Seine einzige Aufgabe ist es, die Arbeit des Detektivs zu prüfen und zu sagen: „Hey, ich glaube, der Detektiv wird hier einen Fehler machen“ oder „Das hier sieht sicher aus“.
- Betrachten Sie den Audit-Manager als einen Zuverlässigkeits-Radar. Er muss nicht die Antwort wissen; er muss nur wissen, wann der Detektiv wahrscheinlich falsch liegen wird.
Der Prozess:
- Der Detektiv macht eine Vermutung.
- Der Audit-Manager prüft die Vermutung. Wenn der Manager sagt: „Das sieht riskant aus“, weitet das System das Sicherheitsnetz (den Vorhersagesatz) automatisch aus, um mehr Möglichkeiten einzuschließen, nur um auf Nummer sicher zu gehen.
- Wenn der Manager sagt: „Das sieht sicher aus“, hält das System das Sicherheitsnetz eng und effizient.

Warum ist das besser?

Das Paper behauptet, dass diese Methode zwei Dinge erreicht, bei denen andere Methoden Schwierigkeiten haben:

Die „Fairness“-Garantie: Sie stellt sicher, dass das System insgesamt zu 90 % richtig liegt (Marginal Coverage).
Die „Intelligenz“-Garantie: Sie wird tatsächlich viel besser darin, bei den schwierigen Fällen richtig zu liegen (Conditional Coverage).

Die Analogie des Regenschirms:
Stellen Sie sich vor, es regnet.

Standardmethode: Gibt jedem einen riesigen, schweren Regenschirm. Er hält im Durchschnitt jeden trocken, aber er ist klobig und schwer für Leute, die nur unter einem Baum stehen (einfache Fälle), und er könnte im Falle eines Sturms (schwierige Fälle) immer noch zu klein sein.
ACP-Methode: Der Audit-Manager beobachtet den Himmel. Wenn es ein leichter Nieselregen ist, gibt er Ihnen einen kleinen, leichten Regenschirm. Wenn es ein Gewitter ist, reicht er Ihnen sofort einen massiven, verstärkten Regenschirm. Sie bleiben in beiden Situationen trocken, werden aber nicht belastet, wenn Sie ihn nicht brauchen.

Das „Geheimrezept“: Zwei Strategien

Das Paper beschreibt zwei Wege, den Audit-Manager zu nutzen:

Der „Smart Adjuster“ (ACP-MC): Diese Version passt die Konfidenzwerte des Detektivs an. Wenn der Audit-Manager denkt, dass der Detektiv übermäßig selbstbewusst ist, senkt er die Konfidenz. Dies hält das Sicherheitsnetz klein, macht es aber für knifflige Fälle viel genauer.
Der „Group Protector“ (ACP-ACC): Diese Version gruppiert Fälle danach, wie „riskant“ der Audit-Manager sie einschätzt. Sie garantiert, dass das System für die Gruppe „Hohes Risiko“ zu 90 % richtig liegt, und für die Gruppe „Niedriges Risiko“ ebenfalls zu 90 %. Dies ist wie ein spezifisches Sicherheitsprotokoll für die stürmischen Gebiete und ein anderes für die sonnigen Gebiete.

Was die Experimente zeigten

Die Autoren testeten dies mit:

Synthetischen Daten: Wo sie genau wussten, wo die „kniffligen“ Fälle lagen.
Realen Daten:
- Medizinische Bilder: Erkennung von Tumoren in Krankenhaus-Scans aus verschiedenen Krankenhäusern (wo sich die Ausrüstung und die Patienten unterscheiden).
- Auto-Fotos: Identifizierung von Autos in Bildern, die durch Regen, Nebel oder Unschärfe korrumpiert wurden.

Das Ergebnis:
In all diesen Tests war die ACP-Methode in der Lage:

Die Gesamtfehlerrate niedrig zu halten (die 90 %-Garantie einzuhalten).
Die Genauigkeit bei den „schwierigen“ oder „unzuverlässigen“ Stichproben im Vergleich zu einem bloßen Nachtrainieren des Modells oder Standardmethoden signifikant zu verbessern.
Vermeiden, dass die Vorhersagen zu vage werden (die „Regenschirme“ wurden nicht unnötig riesig).

Das Fazit

Das Paper argumentiert, dass man nicht immer das alte Modell wegwerfen und von Grund auf neu trainieren muss (was teuer und langsam ist), wenn ein KI-Modell in einer sich verändernden Welt eingesetzt wird. Stattdessen kann man eine kleine, intelligente „Audit“-Schicht hinzufügen, die weiß, wann das alte Modell wahrscheinlich scheitern wird. Dies ermöglicht es dem System, bei den schwierigen Dingen sicherer zu sein, ohne bei den einfachen Dingen klobig zu werden.

Die Autoren stellen explizit fest, dass diese Methode auch dann gut funktioniert, wenn man nur über eine geringe Menge an neuen, gelabelten Daten verfügt, was in der realen Welt ein häufiges Problem ist. Sie merken zudem an, dass der Erfolg der Methode davon abhängt, wie gut der „Audit-Manager“ darin ist, Risiken zu erkennen.

Technisches Resümee: Audited Conformal Prediction für Klassifikation unter unbekanntem Verteilungswandel

Problemstellung

Die Arbeit befasst sich mit der Herausforderung der Unsicherheitsquantifizierung für vortrainierte („Legacy“-) Klassifikationsmodelle, die in Umgebungen eingesetzt werden, die einem unbekannten Verteilungswandel (Distribution Shift) unterliegen. Während die Standard-Conformal-Prediction marginale Abdeckung (marginal coverage) garantiert (d. h. das wahre Label ist mit einer Wahrscheinlichkeit von $1-\alpha$ über die Population hinweg im Vorhersageset enthalten), verschleiert diese Garantie oft schwerwiegende konditionale Ausfälle. Speziell können bei unterschiedlichen Trainings- und Zielverteilungen Standardmethoden zu konservativen Vorhersagesets für einige Eingaben führen, während sie bei anderen (z. B. Proben, bei denen das Legacy-Modell wahrscheinlich versagt) systematisch eine Unterdeckung aufweisen.

Bestehende Ansätze zur Milderung dieses Problems erfordern entweder ein Nachtraining des Modells (was ressourcenintensiv und oft suboptimal bei begrenzten neuen gelabelten Daten ist) oder stützen sich auf Annahmen über die Art des Verteilungswandels. Die Autoren stellen fest, dass ein Nachtraining zwar intuitiv ist, aber ineffizient sein kann, wenn neue gelabelte Daten im Verhältnis zu historischen Datensätzen knapp sind. Darüber hinaus können Standard-Conformal-Methoden nicht inhärent zwischen „einfachen“ und „schwierigen“ Proben unter dem Einfluss des Wandels unterscheiden, was zu wenig informativen Vorhersagesets genau dort führt, wo Zuverlässigkeit am dringendsten benötigt wird.

Methodik: Audited Conformal Prediction (ACP)

Die vorgeschlagene Lösung, Audited Conformal Prediction (ACP), führt ein Hilfsmodell, das Audit-Modell, ein, um Eingaben zu identifizieren, bei denen das Legacy-Modell wahrscheinlich versagen wird, ohne das Legacy-Modell selbst neu trainieren zu müssen oder Annahmen über die Struktur des Wandels zu treffen.

Kernkomponenten

Das Audit-Modell ( $\hat{r}$ ): Ein binärer Klassifikator, der auf einer kleinen Teilmenge gelabelter Ziel-Daten trainiert wird. Seine Aufgabe ist es, die Korrektheit der Punktvorhersage ( $f_0$ ) des Legacy-Modells für einen gegebenen Input $X$ vorherzusagen.
- Training: Das Audit-Modell wird trainiert, um das binäre Label $R_i = \mathbb{1}[f_0(X_i) = Y_i]$ unter Verwendung von Merkmalen aus dem Input $X_i$ und Signalen des Legacy-Modells (z. B. Softmax-Wahrscheinlichkeiten, Entropie, Embedding-Distanzen) vorherzusagen.
- Oracle-Konzept: Theoretisch beruht die Methode auf einem Oracle-Audit-Modell $r^*(x) = P(f_0(X)=Y | X=x)$ , welches die wahre konditionale Zuverlässigkeit des Legacy-Modells darstellt.
Integrationsstrategien: Das Paper schlägt zwei komplementäre Strategien vor, um das Audit-Modell in das Conformal-Framework zu integrieren:
- Strategie 1: ACP mit marginaler Abdeckung (ACP-MC)
  - Mechanismus: Das Audit-Modell $\hat{r}$ wird verwendet, um die geschätzte konditionale Label-Verteilung des Legacy-Modells zu verfeinern. Für die binäre Klassifikation gilt: Wenn $f_0(x)=1$ , ist die geschätzte Wahrscheinlichkeit $(\hat{r}(x), 1-\hat{r}(x))$ ; andernfalls ist sie $(1-\hat{r}(x), \hat{r}(x))$ .
  - Ziel: Diese verfeinerte Verteilung wird zur Berechnung von Nonconformity-Scores verwendet. Die Methode garantiert die Standard-marginale Abdeckung ( $1-\alpha$ ), verbessert aber empirisch die konditionale Abdeckung, indem sie die Größe des Vorhersagesets basierend auf der geschätzten Zuverlässigkeit des Inputs anpasst.
- Strategie 2: ACP mit auditierter konditionaler Abdeckung (ACP-ACC/AEC)
  - Mechanismus: Dieser Ansatz zielt explizit auf die gruppen-konditionale Abdeckung ab. Der Merkmalsraum wird basierend auf der Ausgabe des Audit-Modells partitioniert (z. B. durch Binning von $\hat{r}(x)$ in High-Confidence- und Low-Confidence-Gruppen).
  - Ziel: Er erzwingt Abdeckungsgarantien bedingt auf diesen durch das Audit-Modell definierten Gruppen. Das Paper stellt ein Finite-Sample-Theorem auf, das zeigt, dass ACP, falls das Audit-Modell die Oracle-Zuverlässigkeit konsistent schätzt, Abdeckungsgarantien für die wahren Zuverlässigkeitsgruppen erreicht, wobei der Fehler durch die Diskrepanz zwischen den geschätzten und den wahren Audit-Gruppen begrenzt ist.
Adaptive ACP (AACP): Ein datengesteuertes Verfahren, das adaptiv zwischen ACP und einem neu trainierten Baseline-Modell wählt. Es teilt die Kalibrierungsdaten auf, um zu evaluieren, welche Methode eine höhere konditionale Abdeckung auf „unzuverlässigen“ Gruppen (identifiziert durch das Audit-Modell) liefert, und wählt den Gewinner aus.

Wichtigste Beiträge

Neuartiges Framework: Die Einführung von ACP, das ein kleines gelabeltes Ziel-Datenset nutzt, um ein Audit-Modell zu trainieren, welches das Versagen des Legacy-Modells vorhersagt, anstatt das Legacy-Modell selbst neu zu trainieren.
Theoretische Garantien:
- Beweis, dass ACP-MC die marginalen Abdeckungsgarantien beibehält.
- Ableitung einer Finite-Sample-Schranke für ACP-ACC, die zeigt, dass die konditionale Abdeckung der Oracle-Garantie entspricht, wenn der Schätzfehler des Audit-Modells gegen Null geht.
Praktische Effizienz: Die Methode vermeidet die Rechenkosten eines vollständigen Nachtrainings des Modells sowie den hohen Datenbedarf, der für das Fine-Tuning komplexer Modelle erforderlich ist, was sie für Szenarien mit begrenzten neuen gelabelten Daten geeignet macht.
Empirische Validierung: Umfangreiche Experimente mit synthetischen Daten (die Concept Shift, Covariate Shift und Label Noise abdecken) sowie realen Datensätzen (Camelyon17 und CIFAR-10/CIFAR-10-C) zeigen, dass ACP-Varianten eine signifikant höhere konditionale Abdeckung auf schwierigen Proben erreichen als Standard-Conformal-Prediction, AdaTS (Adaptive Temperature Scaling) und die Nachtraining-Baselines, ohne dabei die durchschnittliche Größe der Vorhersagesets aufzublähen.

Ergebnisse

Synthetische Daten: In Szenarien mit intrinsischer Label-Unsicherheit (Concept Shift) oder einem erhöhten Anteil schwieriger Proben (Covariate Shift) scheitern Standardmethoden und Nachtraining oft daran, zwischen einfachen und schwierigen Proben zu unterscheiden, was zu einer Unterdeckung in „schwierigen“ Bins führt. ACP-Varianten weisen erfolgreich größere Vorhersagesets für schwierige Proben und kleinere Sets für einfache Proben zu und erreichen eine nahezu perfekte konditionale Abdeckung in schwierigen Bins bei gleichzeitig kompakten durchschnittlichen Set-Größen.
Reale Daten: Auf Camelyon17 (Histopathologie) und CIFAR-10-C (korrumpierte Bilder) übertraf ACP die Baselines konsistent in der kondionalen Abdeckung über verschiedene Zuverlässigkeits-Bins hinweg. Während das Nachtraining oft zu übermäßig konservativen Sets führte, die keine Unterscheidung der Zuverlässigkeitsstufen ermöglichten, bewahrte ACP informative Set-Größen.
Trade-offs: Die Experimente verdeutlichen einen Trade-off zwischen der Strenge der kondionalen Garantien und der Set-Größe. ACP-ACC (das die Abdeckung über mehrere überlappende Gruppen erzwingt) ist am konservativsten, bietet aber die stärksten kondionalen Garantien, während ACP-MC eine Balance mit kleineren Set-Größen bietet.

Bedeutung und Ansprüche

Das Paper behauptet, dass ACP einen praktischen und statistisch fundierten Ansatz für die unsicherheitsbewusste Klassifikation unter beliebigen Verteilungswandeln bietet. Die primäre Bedeutung liegt in der Fähigkeit, die konditionale Abdeckung zu verbessern – also dort Zuverlässigkeit zu gewährleisten, wo sie am wichtigsten ist – ohne die prohibitiven Datenanforderungen eines Nachtrainings komplexer Modelle.

Die Autoren betonen, dass ihr Beitrag nicht das Design eines neuen Lernverfahrens für das Audit-Modell ist (welches jeder Standard-Klassifikator sein kann), sondern die Integration der Audit-Vorhersagen in das Conformal-Framework. Dies ermöglicht ein direktes Zuverlässigkeitsmaß, das keinen Zugriff auf die ursprünglichen Trainingsdaten oder Annahmen über den Mechanismus des Wandels erfordert.

Das Paper schließt bescheiden und räumt ein, dass die Effektivität der Methode von der Qualität des Audit-Modells abhängt, was in Szenarien mit sehr geringer Datenmenge eine Herausforderung darstellen kann. Als zukünftige Arbeiten, die von den Autoren angeregt werden, gelten dateneffizientere Erweiterungen (z. B. über Cross-Validation-Conformal-Methoden) sowie Anpassungen für Online- oder Streaming-Settings.