📊 statistics

Prediction Sets for Counterfactual Decisions: Coverage, Optimality, and Conformal Prediction

Dieses Paper führt ein entscheidungstheoretisches Framework für kontrafaktische Entscheidungen ein, das „policy-coupled coverage“ als die optimale Verbindung zwischen Unsicherheit und Handlung definiert, was zur Entwicklung des PC-RACP-Algorithmus führt, der im Vergleich zu bestehenden Methoden einen höheren Nutzen und eine rigorose Finite-Sample-Validität erreicht.

Ursprüngliche Autoren: Yurui Zheng, Ying Jin

Veröffentlicht 2026-07-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yurui Zheng, Ying Jin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Arzt, ein Marketingmanager oder ein politischer Entscheidungsträger. Sie müssen eine wichtige Entscheidung treffen, wie etwa die Wahl einer Behandlung, das Versenden einer E-Mail oder die Einführung einer politischen Maßnahme. Das Problem ist: Sie kennen die Zukunft nicht. Sie haben eine Vorhersage, aber es ist kein Kristallball; es ist eher wie eine Wettervorhersage, die falsch sein kann.

Normalerweise versuchen Statistiker, dies zu lösen, indem sie ein „Sicherheitsnetz“ namens Vorhersagemenge (Prediction Set) bauen. Anstatt zu sagen: „Es wird regnen“, sagen sie: „Es wird zwischen 14:00 Uhr und 16:00 Uhr regnen.“ Dies gibt Ihnen einen Bereich an Möglichkeiten. Wenn Sie das tatsächliche Ergebnis innerhalb dieses Bereichs oft genug erfassen (sagen wir 95 % der Zeit), gilt die Methode als „valide“.

Das große Problem des Papers:
Dieses Paper weist auf einen Fehler hin, der auftritt, wenn wir diese Sicherheitsnetze bauen, während sich die Ergebnisse durch unsere Entscheidungen verändern.

Stellen Sie sich das so vor:

Standard-Vorhersage: Sie sagen das Wetter voraus. Egal, ob Sie Regen oder Sonnenschein vorhersagen, das Wetter passiert auf die gleiche Weise. Ihre Vorhersagemenge muss nur das tatsächliche Wetter „einfangen“.
Kontrafaktische Entscheidung (Dieses Paper): Sie sind ein Arzt. Wenn Sie Medikament A verschreiben, erhält der Patient Ergebnis A. Wenn Sie Medikament B verschreiben, erhält der Patient Ergebnis B. Das „Ergebnis“ ist keine feste Größe, die nur darauf wartet, eingefangen zu werden; Ihre Entscheidung der Handlung erschafft das Ergebnis.

Die Autoren argumentieren, dass, wenn man Standard-Sicherheitsnetze verwendet (die das Ergebnis als fest betrachten), man am Ende ein Sicherheitsnetz haben könnte, das mathematisch zwar „valide“ ist, aber praktisch nutzlos. Es könnte die falschen Dinge abdecken, weil es nicht berücksichtigt hat, dass Ihre Entscheidung die Realität verändert hat.

Die Lösung: „Policy-Coupled Coverage“ (Politik-gekoppelte Abdeckung)
Die Autoren führen einen neuen, klügeren Weg vor, um diese Sicherheitsnetze zu bauen. Sie nennen es Policy-Coupled Coverage.

Hier ist die Analogie:
Stellen Sie sich vor, Sie spielen ein Videospiel, bei dem Sie einen Pfad wählen müssen.

Der alte Weg: Sie zeichnen eine Karte aller möglichen Pfade. Sie prüfen, ob die Karte das Gelände abdeckt, das Sie vielleicht begehen werden, unabhängig davon, welchen Pfad Sie wählen.
Der neue Weg (Policy-Coupled): Sie entscheiden zuerst: „Okay, basierend auf meiner Karte werde ich Pfad A nehmen.“ Dann zeichnen Sie ein Sicherheitsnetz speziell für Pfad A. Es ist Ihnen nur wichtig, ob das Netz das Gelände einfängt, auf dem Sie tatsächlich landen werden.

Das Paper beweist, dass dieser „selbstreferenzielle“ Ansatz der Goldstandard ist. Er schlägt die perfekte Brücke zwischen „Ich bin mir nicht sicher, was passieren wird“ und „Ich muss eine sichere Entscheidung treffen“.

Wie sie es machen (Die PC-RACP-Maschine)
Die Autoren haben ein spezielles Rezept entwickelt (einen Algorithmus namens PC-RACP), um diese smarten Sicherheitsnetze zu erstellen. Denken Sie an einen dreistufigen Kochprozess:

Lerne die Karte: Sie nutzen vergangene Daten, um zu schätzen, was passiert, wenn man Aktion A, Aktion B usw. wählt.
Wähle den besten Pfad: Sie schauen sich all diese Vermutungen an und fragen: „Wenn ich sicher sein will, welche Aktion sieht am besten aus?“ Damit legen Sie diese Entscheidung fest.
Kalibriere das Netz: Schließlich bauen Sie das Sicherheitsnetz nur für diese festgelegte Entscheidung. Sie nutzen einen speziellen mathematischen Trick (Conformal Prediction), um sicherzustellen, dass dieses Netz in der realen Welt das tatsächliche Ergebnis zu 95 % einfängt.

Was sie herausgefunden haben (Die Ergebnisse)
Sie haben dies an zwei Dingen getestet:

Fiktive Daten (Simulationen): Sie haben eine fiktive Welt erschaffen, in der sie die Antworten kannten. Sie fanden heraus, dass ihre neue Methode viel besser dabei war, dem „Entscheidungsträger“ ein gutes Ergebnis zu ermöglichen und gleichzeitig sicher zu bleiben. Die alten Methoden waren entweder zu riskant oder zu vorsichtig (sie ließen Chancen ungenutzt).
Reale Daten (E-Mail-Marketing): Sie verwendeten einen echten Datensatz aus einer E-Mail-Marketing-Kampagne (Versand von E-Mails, um Produkte zu verkaufen).
- Das Ergebnis: Ihre Methode half dem Unternehmen, mehr Geld zu verdienen (höherer Nutzen/Utility) als die alten Methoden.
- Warum? Die alten Methoden waren zu ängstlich, E-Mails zu versenden, weil ihre Sicherheitsnetze zu breit und vage waren. Die neue Methode wusste genau, wann es sicher war, eine E-Mail zu senden und wann man lieber zurückhalten sollte, was zu besseren Entscheidungen führte.

Das Fazit
Die Kernbotschaft ist einfach: Betrachten Sie Ihre Entscheidung nicht wie ein Zuschauer.

Wenn Ihre Entscheidung das Ergebnis verändert (wie die Verschreibung eines Arztes oder eine Marketing-E-Mail), können Sie keine Standard-„Sicherheitsnetze“ verwenden. Sie benötigen ein Sicherheitsnetz, das an Ihre spezifische Wahl „gekoppelt“ ist. Die Autoren zeigen, dass, wenn Sie Ihre Unsicherheit um die Entscheidung herum aufbauen, die Sie tatsächlich treffen, Sie bessere Ergebnisse erzielen, höhere Belohnungen erhalten und dennoch genauso sicher bleiben wie zuvor.

Sie nennen dies Policy-Coupled Coverage, und es verwandelt Unsicherheit von einem beängstigenden Unbekannten in ein zuverlässiges Werkzeug für bessere Entscheidungen.

Technisches Resümee: Prädiktionsmengen für kontrafaktische Entscheidungen

1. Problemstellung

Die Arbeit befasst sich mit der Herausforderung, Entscheidungen unter hoher Tragweite bei prädiktiver Unsicherheit in kontrafaktischen Settings zu treffen. In Standard-Vorhersageproblemen ist das Ergebnis $Y$ fest vorgegeben, unabhängig von der getroffenen Maßnahme. In der kontrafaktischen Entscheidungsfindung (z. B. Behandlungsselektion, politische Entscheidungsfindung, Marketing) hängt das realisierte Ergebnis $Y(A)$ jedoch von der gewählten Aktion $A$ ab.

Die zentrale Schwierigkeit liegt in der Interdependenz zwischen Unsicherheitsquantifizierung und der Entscheidungsregel:

Gekoppelte Ergebnisse: Das Ergebnis, das durch eine Prädiktionsmenge „abgedeckt“ werden soll, ist nicht fixiert; es wird durch die gewählte Aktion bestimmt.
Validitäts- vs. Optimalitätslücke: Während Conformal Prediction statistische Validität (Coverage-Garantien) für feste Ergebnisse bietet, bleibt unklar, wie sich diese Garantien auf die Optimalität übertragen, wenn die Entscheidungsregel selbst die Verteilung des realisierten Ergebnisses verändert. Bestehende Methoden behandeln potenzielle Ergebnisse oft unabhängig oder ignorieren die kontrafaktische Struktur, was zu suboptimalen Entscheidungen oder ungültiger Abdeckung für die induzierte Policy führt.

Die zentrale Frage lautet: Was ist die richtige Schnittstelle zwischen Unsicherheitsquantifizierung und kontrafaktischer Entscheidungsfindung, wenn Aktionen bestimmen, welches potenzielle Ergebnis realisiert wird?

2. Methodik und Framework

Die Autoren schlagen ein entscheidungstheoretisches Framework vor, das auf Policy-Coupled Coverage (Policy-gekoppelter Abdeckung) und einem zweistufigen Konstruktionsverfahren namens Policy-Coupled Risk-Averse Conformal Prediction (PC-RACP) basiert.

2.1 Entscheidungstheoretische Grundlagen

Risikoaverses Ziel: Das Framework verwendet ein risikoaverses Ziel, bei dem ein Agent versucht, eine mit hoher Wahrscheinlichkeit gesicherte Untergrenze (Utility Certificate) auf den realisierten Nutzen zu maximieren.
Mengen-induzierte Entscheidungsregel: Gegeben sei eine Sammlung von Prädiktionsmengen $\{C(x, a)\}_{a \in \mathcal{A}}$ (eine für jede Aktion), wendet der Agent eine Max-Min-Regel an:
$\pi_{RA}(x; C) = \arg\max_{a \in \mathcal{A}} \inf_{y \in C(x, a)} u(a, y)$
Diese Regel wählt die Aktion, die den Worst-Case-Nutzen innerhalb der prädizierten Ergebnismengen maximiert.

2.2 Policy-Coupled Coverage (PCC)

Das Paper führt Policy-Coupled Coverage als notwendigen Validitätsbegriff ein. Im Gegensatz zur Standard-marginalen Abdeckung pro Aktion (die $P(Y(a) \in C(X, a)) \ge 1-\alpha$ für alle $a$ erfordert), verlangt PCC, dass die Prädiktionsmengen das realisierte Ergebnis unter der durch die Mengen induzierten Policy abdecken:
$P\left( Y(\pi_{RA}(X)) \in C(X, \pi_{RA}(X)) \right) \ge 1 - \alpha$
Theoretische Rechtfertigung:

Minimax-Optimalität: Theorem 2.1 stellt fest, dass unter Verteilungsambiguität (wo die wahre Verteilung unbekannt ist, aber PCC erfüllt) die Max-Min-Regel $\pi_{RA}$ die minimax-optimale Entscheidungsregel ist.
Verlustfreie Schnittstelle: Theorem 3.1 beweist, dass die Optimierung von Prädiktionsmengen unter PCC äquivalent zur direkten Optimierung über Policies und Utility Certificates (RA-DPO) ist. Somit dienen Prädiktionsmengen als eine „verlustfreie Schnittstelle“ für risikoaverse kontrafaktische Entscheidungen.
Äquivalenz zur universellen Abdeckung: Theorem 3.2 zeigt, dass die Optimierung unter PCC äquivalent zur Optimierung unter einer stärkeren „universellen Abdeckung“ (gültig für jede Policy) ist, wobei PCC jedoch strikt schwächer und praktischer für die induzierte Policy ist.

2.3 PC-RACP Algorithmus

Um diese Mengen in endlichen Stichproben zu konstruieren, schlagen die Autoren ein zweistufiges Verfahren vor:

Modellschätzung & Policy-Lernen:
- Aufteilung der Daten in Trainings-, Lern- und Kalibrierungssets.
- Schätzung der bedingten Nutzen-Quantile $\hat{\gamma}(x, t, a)$ und der optimalen bedingten Coverage-Zuweisungsregel $\hat{g}(x, \beta)$ .
- Verwendung des Lernsets, um einen vorläufigen Parameter $\hat{\beta}$ zu finden, der eine approximative Coverage-Constraint erfüllt und eine feste Max-Min-Policy $\hat{a}(\cdot)$ induziert.
Gewichtete Conformal Kalibrierung:
- Fixierung der Policy $\hat{a}(\cdot)$ , um die Entscheidungsregel von der Coverage-Garantie zu entkoppeln.
- Verwendung des Kalibrierungssets (gefiltert auf Instanzen, bei denen die geloggte Aktion mit $\hat{a}(X)$ übereinstimmt), um gewichtete Conformal Prediction durchzuführen.
- Korrektur von Kovariaten-Shift mittels Importance Weights basierend auf der Behavior Policy.
- Konstruktion der finalen Prädiktionsmengen $\hat{C}(x, a)$ , sodass sie die PCC-Garantie für die induzierte Policy $\hat{a}(\cdot)$ erfüllen.

3. Zentrale Beiträge

Neuartiger Validitätsbegriff: Identifikation von Policy-Coupled Coverage als der entscheidungstheoretisch optimale Übergang zwischen Unsicherheit und kontrafaktischer Entscheidungsoptimierung.
Theoretische Äquivalenz: Beweis, dass die Optimierung von Prädiktionsmengen unter PCC äquivalent zur Optimierung unter universeller Abdeckung sowie zur direkten risikoaversen Policy-Optimierung ist, was Prädiktionsmengen als eine verlustfreie Schnittstelle etabliert.
Explizite optimale Form: Ableitung der expliziten Form für populations-optimale Prädiktionsmengen (Theorem 3.4), welche auf bedingten Nutzen-Quantilen basierende Schwellenwerte nutzen.
Endliche-Stichproben-Verfahren: Entwicklung von PC-RACP, einem praktischen Algorithmus, der rigorose Finite-Sample-Coverage-Garantien für das realisierte Ergebnis unter der induzierten Policy liefert, selbst wenn die Policy aus Daten gelernt wurde.

4. Experimentelle Ergebnisse

Die Autoren validieren ihr Framework durch Simulationen und ein reales E-Mail-Marketing-Experiment (Hillstrom-Datensatz).

Synthetische Simulationen:
- Coverage: PC-RACP erreicht eine empirische Abdeckung nahe am Zielwert $1-\alpha$ . Im Gegensatz dazu fällt eine Standard-Risk-Averse-Conformal-Methode (RAC), die die kontrafaktische Struktur ignoriert, unter den Zielwert, und eine „Plug-in“-Baseline liefert keine exakte Abdeckung.
- Utility: PC-RACP erzielt konsistent den höchsten durchschnittlichen Utility Certificate über verschiedene Miscoverage-Level $\alpha$ hinweg und übertrifft sowohl RAC als auch die Plug-in-Baseline.
Hillstrom E-Mail-Marketing-Experiment:
- Coverage: PC-RACP hält die Abdeckung nahe am Nominalwert. RAC ist übermäßig konservativ (Coverage signifikant über dem Zielwert).
- Utility: PC-RACP liefert einen höheren Nutzen.
- Mechanismus des Gewinns: Die Analyse zeigt, dass PC-RACP Nutzen in zwei Regimen gewinnt:
  - Kleines $\alpha$ : Durch Konstruktion schärferer Prädiktionsmengen (Reduktion der Häufigkeit ambivalenter Mengen wie $\{0, 1\}$ ) für die dominante Aktion.
  - Großes $\alpha$ : Durch häufigere Auswahl der hochbelohnten Aktion (E-Mail senden) im Vergleich zu RAC, während die valide Abdeckung aufrechterhalten wird.

5. Bedeutung und Behauptungen

Das Paper beansprucht, das erste entscheidungstheoretische Framework bereitgestellt zu haben, das die Verbindung zwischen Unsicherheitsquantifizierung und kontrafaktischer Entscheidungsoptimierung rigoros herstellt.

Suboptimalität durch Ignorieren der Struktur: Die Autoren zeigen auf, dass das Ignorieren der kontrafaktischen Natur des Entscheidungsproblems (d. h. die Behandlung von Ergebnissen als fixiert) sowohl für die statistische Validität als auch für den Entscheidungsnutzen suboptimal ist.
Entscheidungsbewusste Unsicherheit: Die Arbeit argumentiert, dass die Unsicherheitsquantifizierung in kontrafaktischen Problemen um die Entscheidungen herum gestaltet werden muss, die sie unterstützt. Policy-Coupled Coverage wird als fundamentaler Schritt zu einer breiteren Theorie der entscheidungsbewussten Unsicherheitsquantifizierung präsentiert.
Praktische Anwendbarkeit: Die vorgeschlagene PC-RACP-Methode bietet ein konkretes, in endlichen Stichproben valides Verfahren für hochsensible Entscheidungen, bei denen Aktionen die Ergebnisse beeinflussen, und schließt die Lücke zwischen der Theorie der Conformal Prediction und Anwendungen der kausalen Inferenz.