Conformal Tradeoffs: Guarantees Beyond Coverage

Die Arbeit stellt neue Werkzeuge für Split-Conformal-Vorhersagen vor, die über die reine Abdeckung hinausgehen, indem sie durch eine Small-Sample-Beta-Korrektur und einen Kalibrierungs- und Auditierungsansatz finite-garantierte operative Kennzahlen wie Entscheidungshäufigkeit und Fehlerexposition für den praktischen Einsatz bereitstellen.

Das Wesentliche

Das große Bild: Ein KI-System ist wie ein erfahrener Koch

Stellen Sie sich vor, Sie haben einen brillanten Koch (die KI), der Gerichte bewertet. Aber dieser Koch ist nicht perfekt. Manchmal ist er sich unsicher, manchmal macht er Fehler.

In der Welt der KI-Forschung gibt es eine Methode namens Conformal Prediction (Konforme Vorhersage). Der Zweck dieser Methode ist es, dem Koch eine Sicherheitsregel zu geben: „Wenn du dir nicht zu 90 % sicher bist, gib kein Gericht aus, sondern sage: 'Ich weiß es nicht'."

Bisher haben sich die Forscher nur darauf konzentriert, ob diese 90 %-Regel eingehalten wird. Das ist wie ein Zertifikat, das besagt: „Der Koch hat in 90 % der Fälle das richtige Gericht serviert."

Das Problem: Ein Zertifikat sagt Ihnen nicht alles über den Alltag in der Küche.

• Wie oft sagt der Koch einfach „Ich weiß es nicht" (und verlangsamt so den Service)?
• Wie oft serviert er ein Gericht, bei dem er sich sicher ist, aber es schmeckt trotzdem schlecht (der „entscheidende Fehler")?
• Wenn man die Regel ändert, um mehr Gerichte zu servieren, steigt dann die Anzahl der schlechten Gerichte?

Die Autoren dieses Papers sagen: „Hören Sie auf, nur auf das Zertifikat zu starren. Schauen Sie sich den gesamten Betriebsablauf an!"

---

Die drei neuen Werkzeuge der Autoren

Die Autoren entwickeln drei Werkzeuge, um diesen „Betriebsablauf" besser zu verstehen und zu planen.

1. Der präzise Wecker (SSBC – Small-Sample Beta Correction)

Das Problem: Wenn der Koch nur wenig Erfahrung hat (wenige Daten zum Kalibrieren), ist das Standard-Zertifikat oft trügerisch. Es verspricht 90 % Sicherheit, liefert aber nur 70 %.
Die Lösung: Die Autoren bauen einen „präzisen Wecker". Sie berechnen exakt, wie streng die Regel sein muss, damit sie wirklich hält, was sie verspricht, auch bei kleinen Datenmengen.

• Die Analogie: Statt zu sagen „Wir sind zu 90 % sicher", sagen sie: „Um wirklich zu 90 % sicher zu sein, müssen wir die Regel so einstellen, dass wir nur in 60 % der Fälle ein Gericht servieren." Es ist eine ehrliche Umrechnung von Wunschdenken in harte Realität.

2. Der unabhängige Prüfer (Calibrate-and-Audit)

Das Problem: Wenn man die Regel ändert, ändern sich auch andere Dinge (wie oft der Koch zögert). Aber man kann diese neuen Dinge nicht einfach aus dem alten Zertifikat ablesen.
Die Lösung: Die Autoren schlagen vor, einen zweiten, unabhängigen Prüfer (ein „Audit-Set") einzusetzen.

• Die Analogie: Stellen Sie sich vor, der Koch kalibriert seine Messer an einem Tag (Kalibrierung). Am nächsten Tag testet ein völlig anderer Prüfer, wie oft der Koch tatsächlich zögert oder Fehler macht, ohne dass der Koch davon weiß.
• Aus diesem Test erstellt man eine Karte der Möglichkeiten. Man sieht nicht nur einen Punkt, sondern eine ganze Landschaft: „Wenn wir hier stehen, haben wir viele Gerichte, aber mehr Fehler. Wenn wir dort stehen, haben wir weniger Gerichte, aber fast keine Fehler."

3. Die Landkarte der Kompromisse (Geometrie & Pareto-Front)

Das Problem: Man kann nicht alles gleichzeitig maximieren. Mehr Sicherheit bedeutet oft weniger Geschwindigkeit.
Die Lösung: Die Autoren zeigen, dass diese Trade-offs (Abwägungen) nicht zufällig sind, sondern durch die „Form" der Daten bestimmt werden.

• Die Analogie: Stellen Sie sich eine Karte mit Bergen und Tälern vor.
  • Der Berggipfel ist die perfekte Sicherheit.
  • Das Tal ist die maximale Geschwindigkeit.
  • Die Autoren zeichnen die Küstenlinie (die Pareto-Front) nach. Das ist der Pfad, auf dem man sich bewegen kann, ohne schlechter zu werden.
  • Sie zeigen auch, wo die Grenzen liegen: Es gibt Regionen, in die man gar nicht kommen kann, egal wie sehr man die Regler dreht. Es ist wie ein Auto, das nicht schneller als 200 km/h fahren kann, egal wie man am Gaspedal dreht.

---

Warum ist das wichtig? (Das „Warum" für den Alltag)

Stellen Sie sich vor, Sie leiten ein Krankenhaus oder eine Bank.

• Der alte Weg: Sie schauen auf das Zertifikat der KI: „Die Diagnose ist zu 95 % korrekt." Gut, denken Sie.
• Der neue Weg (dieses Paper): Sie schauen auf die Betriebsdaten:
  • „Okay, die Diagnose ist korrekt, aber die KI lehnt 40 % aller Patienten ab, weil sie unsicher ist. Das kostet uns Zeit."
  • „Und wenn sie doch eine Diagnose stellt, liegt sie in 10 % der Fälle falsch – und das sind genau die Fälle, die wir nicht abfangen konnten."

Die Autoren helfen Ihnen, diese Zahlen vor dem Einsatz zu planen. Sie können sagen: „Wir wollen lieber 10 % mehr Fehler akzeptieren, um 50 % mehr Patienten schneller zu behandeln." Oder umgekehrt.

Zusammenfassung in einem Satz

Dieses Papier verwandelt KI-Sicherheit von einem statischen Zertifikat (das nur sagt, ob die Regel eingehalten wird) in ein dynamisches Menü (das Ihnen zeigt, welche Kompromisse zwischen Geschwindigkeit, Sicherheit und Fehlern Sie tatsächlich eingehen können und welche Grenzen es gibt).

Es ist wie der Unterschied zwischen einem Führerschein (der sagt, Sie dürfen fahren) und einer detaillierten Fahrkarte, die Ihnen zeigt, wo die Staus sind, wo die Geschwindigkeitsbegrenzungen liegen und wie Sie Ihre Route optimal planen können.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Conformal Tradeoffs: Guarantees Beyond Coverage" von Petrus H. Zwart auf Deutsch.

1. Problemstellung und Motivation

Konforme Vorhersagen (Conformal Prediction, CP) sind ein etablierter Rahmen für die Erzeugung von Vorhersagemengen mit garantierter Abdeckung (Coverage) unter Austauschbarkeitsannahmen. In der Praxis werden konforme Prädiktoren jedoch oft als langlebige Entscheidungsinfrastruktur eingesetzt, die über finite operative Fenster hinweg wiederverwendet wird.

Das zentrale Problem, das dieses Paper adressiert, ist die Diskrepanz zwischen der theoretischen Randabdeckung (marginal coverage) und den für Stakeholder relevanten operativen Kennzahlen (operational quantities).

• Das Missverhältnis: Zwei konforme Regeln können identische marginale Abdeckungsgarantien aufweisen, sich aber im Einsatz völlig unterschiedlich verhalten.
• Operative Größen: Stakeholder interessieren sich nicht nur dafür, ob die wahre Klasse in der Menge liegt, sondern für:
  • Wie oft das System eine Entscheidung trifft (Commitment) vs. sich zurückhält (Deferral/Abstention).
  • Die Entscheidungsfehler-Exposition (Decisive Error Exposure): Die Fehlerrate unter den getroffenen Entscheidungen (d.h. Fehler, die durch das Zurückhalten-Verfahren nicht abgefangen wurden).
  • Die Kopplung dieser Größen: Eine Verbesserung der Zurückhaltungsrate kann zwangsläufig die Fehlerrate bei Entscheidungen erhöhen, abhängig von der Geometrie der Scores.

Bisherige Methoden bieten keine distributionfreien, endlichen Stichproben-Garantien für diese operativen Größen, da diese nicht allein durch Rangordnungen (wie die Abdeckung) bestimmt werden, sondern von der gemeinsamen Verteilung von Scores und Labels innerhalb der durch die Kalibrierung induzierten Partition des Score-Raums abhängen.

2. Methodik: Kalibrierung, Audit und Geometrie

Das Paper entwickelt einen Rahmen, der die konforme Vorhersage als festes, kalibriertes Interface betrachtet und operative Kennzahlen durch eine „Kalibrieren-und-Auditieren"-Strategie zertifiziert.

A. Das kalibrierungsbedingte Sichtfeld (Calibration-Conditional Viewpoint)

Anstatt die gesamte Trainings- und Kalibrierungsvariabilität zu betrachten, wird ein einmalig trainiertes Scoring-Modell als fest angenommen. Die Zufälligkeit liegt in der einmaligen Kalibrierung (Festlegung der Schwellenwerte $\tau$) und den zukünftigen Daten.

• Regionen-Partition: Die gewählten Schwellenwerte teilen den Score-Raum in eine endliche Anzahl von Regionen auf (z. B. Singletons, Hedge-Mengen, Zurückhaltung).
• Audit-Tabelle: Das fundamentale Objekt ist die joint region–class label table (Tabelle der gemeinsamen Wahrscheinlichkeiten von Region und Klasse). Diese Tabelle ist das „auditierbare Primitive", aus dem alle operativen Kennzahlen durch lineare Projektionen abgeleitet werden können.

B. Small-Sample Beta Correction (SSBC)

Um die Abdeckungsgarantie für den Einsatz in endlichen Fenstern präzise zu steuern, wird SSBC eingeführt.

• Problem: Bei kleinen Kalibrierungsstichproben führt die Standard-Konformität oft zu einer zu konservativen oder zu riskanten Abdeckung.
• Lösung: SSBC invertiert das exakte endliche Stichproben-Gesetz (Beta- bzw. Beta-Binomial-Verteilung) für die kalibrierungsbedingte Abdeckung.
• Funktionsweise: Ein Benutzerantrag $(\alpha^*, \delta)$ (z. B. „mindestens 90% Abdeckung mit 90% Konfidenz") wird in einen konkreten diskreten Kalibrierungspunkt (einen spezifischen Index auf der Gitterordnung) übersetzt. Dies liefert eine explizite, auditable Garantie für die Abdeckung im endlichen Fenster.

C. Calibrate-and-Audit Framework

Da für operative Kennzahlen (wie Commitment-Frequenz oder Fehlerexposition) kein distributionfreier Pivot wie bei der Abdeckung existiert, wird ein zweistufiger Ansatz vorgeschlagen:

1. Calibrate: Festlegung der Schwellenwerte auf einem Kalibrierungsdatensatz ($D_{cal}$), was die Regionen-Partition fixiert.
2. Audit: Nutzung eines unabhängigen, austauschbaren Audit-Datensatzes ($D_{audit}$), um die gemeinsame Verteilung der Regionen und Klassen zu schätzen.

• Predictive Envelopes: Basierend auf den Audit-Zählungen werden für zukünftige operative Fenster (Größe $m$) Beta-Binomial-Vorhersagehüllen (Predictive Envelopes) berechnet. Diese geben garantierte Intervalle für die zukünftigen Realisierungen von Kennzahlen wie Zurückhaltung oder Fehlerrate.
• LOO-Proxy: Falls kein separater Audit-Datensatz verfügbar ist, wird ein konservativer „Leave-One-Out"-Ansatz vorgeschlagen, der die Abhängigkeit zwischen Schwellenwertwahl und Schätzung reduziert.

D. Geometrische Charakterisierung und Pareto-Optimierung

Das Paper analysiert die geometrischen Beschränkungen, die durch die konforme Partitionierung entstehen:

• Regime-Grenzen: In binären Fällen mit normalisierten Scores (z. B. $s(x,0) + s(x,1) = 1$) existieren scharfe Grenzen (z. B. $\tau_0 + \tau_1 = 1$), die bestimmen, ob das System „hedgen" (Mehrdeutigkeit zulassen) oder „ablehnen" (Zurückhaltung) muss.
• Pareto-Front: Durch das Durchlaufen verschiedener Kalibrierungseinstellungen entsteht eine Menge erreichbarer operationaler Profile. Ein Pareto-Filter identifiziert die nicht-dominierten Betriebspunkte, die einen optimalen Kompromiss zwischen widersprüchlichen Zielen (z. B. niedrige Zurückhaltung vs. niedrige Fehlerexposition) darstellen.
• Kosten-Kohärenz: Das Paper leitet Bedingungen ab, unter denen eine festgelegte Entscheidungsstrategie (z. B. „entscheide bei Singleton") mit einem Kostenmodell konsistent ist. Dies hängt von der inneren Zusammensetzung der Regionen ab, nicht nur vom konformen Set selbst.

3. Hauptbeiträge

1. SSBC (Small-Sample Beta Correction): Ein Verfahren, das semantische Abdeckungsanforderungen in konkrete, diskrete Kalibrierungsschritte übersetzt und dabei PAC-artige (Probably Approximately Correct) Garantien für endliche Fenster bietet.
2. Calibrate-and-Audit: Ein Framework zur Zertifizierung operativer Kennzahlen jenseits der Abdeckung durch die Schätzung einer gemeinsamen Regionen-Klassen-Tabelle auf einem separaten Audit-Datensatz, ergänzt durch Beta-Binomial-Vorhersagehüllen.
3. Operational Menu & Pareto-Analyse: Die Visualisierung und Analyse der erreichbaren operationalen Profile als Pareto-Front. Dies ermöglicht Stakeholdern, Trade-offs zu verstehen, ohne sich auf eine einzige skalare Kostenfunktion festzulegen.
4. Geometrische Einsichten: Eine klare Charakterisierung der Kopplung zwischen operativen Kennzahlen, die durch die Partitionierung des Score-Raums erzwungen wird, und die Definition von Regime-Grenzen (z. B. Hedging vs. Zurückhaltung).

4. Ergebnisse und Validierung

Die Methoden wurden auf Benchmark-Datensätzen validiert:

• Tox21 (Molekulare Toxizität):

  • Der Datensatz weist eine starke Klassenungleichgewichtigkeit auf (wenige positive Beispiele in der Kalibrierung).
  • Ergebnis: SSBC reduziert die Verletzungswahrscheinlichkeit der Abdeckung im Vergleich zur Standard-Konformität signifikant, bleibt dabei aber weniger konservativ als DKWM-Korrekturen.
  • Die operativen Vorhersagehüllen (für Singletons, Doublets und Fehler) stimmen gut mit den empirischen Werten auf unabhängigen Testdaten überein. Der LOO-Proxy erwies sich als praktikabler Ersatz für einen separaten Audit-Satz.

• AquaSolDB (Wasserlöslichkeit):

  • Anwendung im Szenario der Szenarioplanung (Scenario Planning) für lipophile Verbindungen.
  • Ergebnis: Die Pareto-Front zeigt klar, wie sich Änderungen der Kalibrierungsparameter auf die Verteilung von „Verlust" (falsche Zurückhaltung), „Verschwendung" (unnötige Zurückhaltung) und „Entschlossenheit" auswirken.
  • Die Analyse der Kosten-Kohärenz zeigte, dass bestimmte Betriebspunkte auf der Pareto-Front nur für spezifische Bereiche von Kostenverhältnissen rational (kosten-minimierend) sind.

5. Bedeutung und Fazit

Das Paper verschiebt den Fokus der konformen Vorhersage von einer reinen Abdeckungszertifizierung hin zu einer operativen Zertifizierung.

• Praktische Relevanz: Es liefert Werkzeuge für Stakeholder, um nicht nur zu wissen, dass ein System korrekt ist, sondern wie es sich unter spezifischen Betriebsbedingungen verhalten wird (z. B. wie oft es sich zurückhält und wie teuer ein Fehler ist).
• Entscheidungsunterstützung: Durch die explizite Darstellung der Trade-offs (Pareto-Front) und der Unsicherheitsintervalle (Predictive Envelopes) können Organisationen fundierte Entscheidungen treffen, ohne vorab eine exakte Kostenfunktion spezifizieren zu müssen.
• Geometrisches Verständnis: Die Arbeit verdeutlicht, dass Kalibrierung nicht nur das Setzen eines Schwellenwerts ist, sondern die Auswahl einer festen Schnittstelle (Interface), die strukturelle Grenzen für erreichbare Leistungskennzahlen setzt.

Zusammenfassend bietet das Paper einen rigorosen, distributionfreien Rahmen, um konforme Prädiktoren als langlebige Entscheidungsinfrastruktur zu planen, zu zertifizieren und zu überwachen, wobei die Unsicherheit in endlichen Betriebsfenstern explizit quantifiziert wird.