🔢 mathematics

Synthetic Counterfactual Labels for Efficient Conformal Counterfactual Inference

Dieser Beitrag stellt SP-CCI vor, ein neuartiges Framework, das synthetische kontrafaktische Labels nutzt, die von vortrainierten Modellen generiert und durch inferenzgestützte Entzerrung bereinigt werden, um im Vergleich zu bestehenden konformen Methoden engere, jedoch statistisch valide Vorhersageintervalle für individuelle kontrafaktische Ergebnisse zu erzeugen.

Ursprüngliche Autoren: Amirmohammad Farzaneh, Matteo Zecchin, Osvaldo Simeone

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Amirmohammad Farzaneh, Matteo Zecchin, Osvaldo Simeone

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „fehlende Seite" im Bilderbuch

Stellen Sie sich vor, Sie sind ein Arzt und müssen entscheiden, ob ein neues, teures Medikament einem bestimmten Patienten helfen wird. Sie haben die Krankengeschichte des Patienten (Kovariaten). Sie können sehen, was passiert, wenn er die Standardbehandlung erhält (das „beobachtete" Ergebnis).

Aber Sie können niemals sehen, was passiert wäre, wenn er stattdessen das neue Medikament genommen hätte. Das ist das kontrafaktische Ergebnis – das „Was-wäre-wenn"-Szenario. Es ist wie ein Bilderbuch, bei dem eine Seite herausgerissen wurde. Sie kennen die Geschichte bis zu einem gewissen Punkt, aber Sie wissen nicht, wie das Kapitel endet, wenn die Figur eine andere Wahl getroffen hätte.

Um sichere Entscheidungen zu treffen, müssen Sie ein „Vorhersageintervall" ziehen. Denken Sie daran als an ein Sicherheitsnetz oder einen Bereich möglicher Ergebnisse.

Zu breit: „Die Gesundheit des Patienten könnte sich um irgendwo zwischen 0 % und 100 % verbessern." Das ist technisch sicher, aber für eine Entscheidungsfindung nutzlos.
Zu schmal: „Der Patient wird genau 42 % besser." Das ist präzise, aber wenn Sie falsch liegen, ist es gefährlich.

Der alte Weg: Das Problem des „kleinen Stichprobenumfangs"

Die Standardmethode zum Erstellen dieser Sicherheitsnetze (genannt Conformal Counterfactual Inference oder CCI) funktioniert, indem sie vergangene Daten betrachtet. Sie fragt: „Bei Menschen, die diesem Patienten ähnelten und das neue Medikament tatsächlich eingenommen haben, wie stark haben sie sich verbessert?"

Der Haken: In der realen Welt werden teure oder riskante Behandlungen selten verabreicht. Die meisten Menschen erhalten die Standardversorgung.

Stellen Sie sich vor, Sie haben eine Bibliothek mit 1.000 Büchern über „Standardversorgung", aber nur 10 Bücher über „neue Medizin".
Wenn Sie versuchen, das Ergebnis für die neue Medizin vorherzusagen, haben Sie nur 10 Beispiele, von denen Sie lernen können.
Da die Stichprobe so klein ist, muss das Sicherheitsnetz (Vorhersageintervall) riesig sein, um statistisch sicher zu sein. Es ist wie der Versuch, das Wetter in einer neuen Stadt mit nur 10 Tagen Daten vorherzusagen; Sie müssen sagen: „Es könnte alles sein, von einem Blizzard bis zu einer Hitzewelle."

Die neue Lösung: SP-CCI (Der „synthetische Assistent")

Die Autoren schlagen eine neue Methode namens SP-CCI (Synthetic Data-Powered Conformal Counterfactual Inference) vor.

Die Idee:
Anstatt sich nur auf die 10 echten Bücher über die neue Medizin zu verlassen, verwenden sie ein intelligentes KI-Modell, um 1.000 gefälschte (synthetische) Bücher zu schreiben über das, was passiert wäre, wenn diese 1.000 Menschen das neue Medikament genommen hätten.

Jetzt haben Sie 1.010 Beispiele (10 real + 1.000 gefälscht). Das sollte es Ihnen ermöglichen, ein viel engeres, nützlicheres Sicherheitsnetz zu ziehen, oder?

Die Gefahr:
Es gibt ein Problem. Die gefälschten Bücher wurden von einer KI geschrieben, nicht von der Realität. Sie sind „Annäherungen". Wenn Sie die gefälschten Bücher einfach mit den echten mischen und Ihr Sicherheitsnetz ziehen, bricht die Mathematik zusammen. Das Netz sieht vielleicht eng aus, fängt aber nicht die Wahrheit ein, und Sie könnten einen gefährlichen Fehler machen.

Wie SP-CCI es behebt: Der „Ent-Biasing"-Trick

SP-CCI ist clever. Es wirft die gefälschten Daten nicht einfach hinein. Es verwendet einen zweistufigen „Ent-Biasing"-Prozess, um sicherzustellen, dass das Sicherheitsnetz gültig bleibt:

Die „Korrektur" (Prediction-Powered Inference):
Stellen Sie sich vor, die KI hat eine gefälschte Geschichte geschrieben, aber ein paar Fehler gemacht. SP-CCI betrachtet die wenigen echten Geschichten, die es hat. Es berechnet den Unterschied zwischen der Vermutung der KI und der echten Wahrheit für diese wenigen Fälle. Dann verwendet es diesen Unterschied, um die Tausenden gefälschten Geschichten zu „korrigieren". Es ist wie ein Lehrer, der einen Übungstest eines Schülers korrigiert, um zu sehen, wie stark der Schüler über- oder unterschätzt, und dann die Endnote entsprechend anpasst.
Die „Risikokontrolle" (RCPS):
Selbst nach der Korrektur gibt es immer noch eine winzige Unsicherheit. SP-CCI verwendet einen statistischen „Sicherheitsregler" (gesteuert durch einen Parameter namens $\delta$ ). Dieser Regler stellt sicher, dass, selbst wenn die KI leicht falsch liegt, das finale Sicherheitsnetz breit genug ist, um die Wahrheit 99 % der Zeit (oder auf einem von Ihnen gewählten Niveau) einzufangen.

Das Ergebnis: Ein engeres, sichereres Netz

Durch die Verwendung dieser Methode erreicht SP-CCI zwei Dinge, die die alte Methode nicht konnte:

Es bleibt sicher: Es garantiert, dass das wahre Ergebnis innerhalb des Intervalls liegt (das Sicherheitsnetz funktioniert).
Es ist viel schärfer: Weil es die zusätzlichen synthetischen Daten (korrigiert für Fehler) verwendet hat, ist das Intervall viel schmaler als bei der alten Methode.

Die Analogie:

Alte Methode (CCI): Sie haben 10 echte Wetterberichte. Sie sagen: „Es könnte regnen oder scheinen." (Riesiger Bereich).
Schlechte neue Methode: Sie bitten einen Wetter-Bot, die anderen 990 Tage zu erraten, mischt sie ein und sagt: „Es wird definitiv regnen." (Zu schmal, wahrscheinlich falsch).
SP-CCI: Sie bitten den Bot zu raten, aber Sie prüfen seine Arbeit gegen Ihre 10 echten Berichte, korrigieren seine Fehler und sagen dann: „Es wird wahrscheinlich zwischen 14:00 und 16:00 Uhr regnen." (Schmal, nützlich und statistisch bewiesen sicher).

Was das Papier tatsächlich behauptet (und was nicht)

Was es tut: Es beweist mathematisch, dass diese Methode funktioniert, und zeigt durch Computersimulationen (unter Verwendung von gefälschten Daten und einem halb-realen medizinischen Datensatz namens IHDP), dass die Vorhersageintervalle konsistent schmaler sind als bei den alten Methoden.
Was es NICHT behauptet: Das Papier behauptet nicht, dass dies ein neues Medikament, eine neue medizinische Behandlung oder ein garantierter Weg ist, morgen im Krankenhaus Leben zu retten. Es ist ein statistisches Werkzeug für bessere Vorhersagen.
Das „LLM"-Experiment: Die Autoren haben dies getestet, indem sie ein vortrainiertes Large Language Model (wie einen Chatbot) verwendeten, um die gefälschten medizinischen Ergebnisse zu generieren. Sie stellten fest, dass SP-CCI, obwohl der Chatbot nicht auf den spezifischen medizinischen Daten trainiert war, immer noch seine Vermutungen nutzen konnte, um bessere Vorhersagen zu erstellen als die alte Methode.

Kurz gesagt: SP-CCI ist ein neuer Weg, KI-generierte „Was-wäre-wenn"-Szenarien zu nutzen, um Vorhersagen präziser zu machen, ohne die statistischen Sicherheitsgarantien zu verlieren, die für Entscheidungen mit hohem Risiko erforderlich sind.

Technisches Fazit: Synthetische kontrafaktische Labels für effiziente konformale kontrafaktische Inferenz (SP-CCI)

1. Problemdefinition und Motivation

Die Arbeit adressiert die Herausforderung, zuverlässige Vorhersageintervalle für individuelle kontrafaktische Ergebnisse in Szenarien mit Ungleichgewicht der Behandlung zu konstruieren. In der kausalen Inferenz wird für eine Einheit mit Kovariaten $X$ und beobachteter Behandlung $T$ nur ein potenzielles Ergebnis $Y(T)$ beobachtet, während das kontrafaktische Ergebnis $Y(1-T)$ unbeobachtet bleibt.

Bestehende Methoden, insbesondere die Konformale Kontrafaktische Inferenz (CCI) (Lei und Candès, 2021), bieten marginale Abdeckungsgarantien für diese kontrafaktischen Vorhersagen. CCI stützt sich jedoch auf Kalibrierungsdaten aus dem spezifischen Behandlungsarm von Interesse. In vielen realen Szenarien (z. B. medizinische Studien, bei denen teure Behandlungen selten sind, oder Online-Werbung mit spärlicher Exposition) ist der Datensatz für den Zielbehandlungsarm ( $D_1$ ) erheblich kleiner als der Kontrollarm ( $D_0$ ). Diese Knappheit führt zu übermäßig konservativen, weiten Vorhersageintervallen, die den Nutzen der konformalen Inferenz bei entscheidungsrelevanten Entscheidungen einschränken.

Obwohl synthetische Daten, die von vortrainierten Modellen generiert werden, den knappen Kalibrierungssatz ergänzen könnten, würde die direkte Einbeziehung dieser synthetischen Labels in Standardverfahren der konformalen Inferenz die statistische Validität brechen, da synthetische Ergebnisse verzerrte Annäherungen an die Wahrheit darstellen.

2. Methodik: SP-CCI-Rahmenwerk

Die Autoren schlagen Synthetic data-powered Conformal Counterfactual Inference (SP-CCI) vor, ein Rahmenwerk, das den Kalibrierungssatz mit synthetischen kontrafaktischen Labels ergänzt und dabei marginale Abdeckungsgarantien durch ein entzerrtes Schätzverfahren bewahrt.

Kernkomponenten

Generierung synthetischer Daten:
- Die Methode nutzt ein vortrainiertes kontrafaktisches Generativmodell $\hat{P}_{Y(1)|X}$ (das ein neuronales Netz oder ein Large Language Model sein kann), um synthetische kontrafaktische Labels $\hat{Y}(1)$ für Einheiten im größeren Kontrolldatensatz $D_0$ zu generieren.
- Dies erzeugt einen erweiterten synthetischen Datensatz $\tilde{D}_1 = \{(X_i, \hat{Y}_i(1))\}_{i=1}^{n_0}$ .
Entzerrte Schätzung der Nichtabdeckung (Integration von PPI):
- Um die durch synthetische Labels eingeführte Verzerrung zu korrigieren, adaptiert SP-CCI Prediction-Powered Inference (PPI) (Angelopoulos et al., 2023a).
- Der Kalibrierungssatz $D_1$ (reale behandelte Daten) wird verwendet, um die synthetischen Schätzungen zu „korrigieren". Konkret werden die $n_0$ synthetischen Stichproben in $n_1$ Gruppen partitioniert, die jeweils einer realen behandelten Stichprobe $(X_i, Y_i) \in D_1$ zugeordnet werden.
- Ein unverzerrter Schätzer für die Wahrscheinlichkeit der Nichtabdeckung $\hat{L}_\eta$ wird unter Verwendung einer gewichteten Differenz zwischen dem Verlust auf synthetischen Daten und dem Verlust auf realen Daten konstruiert:
  $\hat{\ell}_{i,\eta} = \frac{1}{r} \sum_{j} \tilde{w}_j \ell_\eta(\tilde{X}_j, \tilde{Y}_j) - w_i [\ell_\eta(X_i, \hat{Y}_i) - \ell_\eta(X_i, Y_i)]$
  wobei $w_i$ und $\tilde{w}_i$ Importance-Weights sind, die Propensitäts-Scores und Behandlungswahrscheinlichkeiten berücksichtigen.
Risikogesteuerte Vorhersagemengen (RCPS):
- Die Methode verwendet Risk-Controlling Prediction Sets (RCPS) (Bates et al., 2021), um den Parameter zur Intervallverbreiterung $\eta$ auszuwählen.
- Anstatt eine bedingungslose Abdeckung zu garantieren, stellt SP-CCI sicher, dass das Risiko der Nichtabdeckung mit hoher Wahrscheinlichkeit ( $1-\delta$ ) über die Ziehung des Kalibrierungsdatensatzes kontrolliert wird.
- Der Verbreiterungsparameter $\hat{\eta}$ wird so gewählt, dass die obere Konfidenzgrenze der geschätzten Nichtabdeckungswahrscheinlichkeit das Zielniveau $\alpha$ nicht überschreitet.
Umgang mit Fehlspezifikation der Gewichte:
- Das Rahmenwerk enthält theoretische Garantien für Fälle, in denen Importance-Weights geschätzt und nicht exakt bekannt sind. Es wird gezeigt, dass Abdeckungsgarantien aufrechterhalten werden können, indem der Verbreiterungsparameter angepasst wird, um die Fehlergrenzen der geschätzten Gewichte zu berücksichtigen.

3. Hauptbeiträge

Methodik: Einführung von SP-CCI, das reale und synthetische Kalibrierungsdaten über einen entzerrten Schätzer für die Nichtabdeckung integriert und die Nutzung umfangreicher Kontrolldaten zur Verbesserung der Inferenz für knappe Behandlungsarme ermöglicht.
Theoretische Garantien: Formaler Nachweis, dass SP-CCI unter sowohl exakter als auch approximativer Importance-Weighting eine Abdeckung mit hoher Wahrscheinlichkeit (gesteuert durch den Parameter $\delta$ ) erreicht. Die Arbeit unterscheidet dies von der bedingungslosen marginalen Abdeckung der Standard-CCI und bietet einen justierbaren Mechanismus zur Kontrolle von „Ausfällen".
Effizienz: Theoretischer und empirischer Nachweis, dass SP-CCI im Vergleich zur Standard-CCI und dem GESPI-Rahmenwerk (Bashari et al., 2025) signifikant schmalere Vorhersageintervalle liefert, insbesondere wenn hochwertige synthetische Generatoren verfügbar sind.

4. Experimentelle Ergebnisse

Die Autoren bewerteten SP-CCI auf synthetischen Daten (nach Lei und Candès, 2021) und dem semi-synthetischen IHDP-Datensatz (Hill, 2011) und verglichen es mit der Standard-CCI und GESPI.

Synthetische Daten: SP-CCI erzeugte konsistent schmalere Vorhersageintervalle als CCI und GESPI, während die erforderlichen Abdeckungsgarantien eingehalten wurden. Die Intervallbreite nahm mit der Qualität des kontrafaktischen Generativmodells ab (Niedrig/Mittel/Hoch Qualität).
IHDP-Datensatz:
- SP-CCI erreichte eine durchschnittliche Vorhersageintervallbreite (APIW) von 3,52 (hochwertige synthetische Labels) im Vergleich zu 20,24 für die Standard-CCI.
- Während GESPI mit einer gelockerten Sicherheitsbarriere schmalere Intervalle erzeugen konnte, litt es bei Verschärfung unter einer hohen Verletzungsrate der Abdeckung (CVR) von 42 %, was es für entscheidungsrelevante Szenarien ungeeignet machte. SP-CCI behielt über alle Varianten hinweg eine niedrige CVR (2–6 %) bei.
- Die Methode nutzte erfolgreich ein vortrainiertes LLaMA-2-13B-Modell als generative Quelle und erzielte konkurrenzfähige Leistungen, obwohl das Modell außerhalb des spezifischen Datensatzes trainiert wurde, was Robustheit gegenüber Verteilungsverschiebungen demonstriert.
Zusätzliche Experimente:
- Politikbewertung: In einem Szenario für drahtloses Handover lieferte SP-CCI im Vergleich zu CCI eine präzisere Leistungsquantifizierung (schmalere Intervalle) für feste Strategien.
- Extreme Ungleichgewichte: Auf dem Twins-Datensatz mit extremem Behandlungsungleichgewicht (63 behandelte vs. 11.921 Kontrolleinheiten) erzeugte CCI Intervalle, die fast 20-mal breiter waren als die von SP-CCI, um die Abdeckung aufrechtzuerhalten. SP-CCI behielt eine nahezu zielgenaue Abdeckung mit signifikant engeren Intervallen bei.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass SP-CCI einen bedeutenden Schritt nach vorne darstellt, um die konformale kontrafaktische Inferenz für unausgewogene Datensätze praktikabel zu machen. Durch die effektive Nutzung synthetischer Daten ohne Kompromisse bei der statistischen Validität adressiert die Methode den „Fluch der Dimensionalität" und die Datenknappheit, die der kausalen Inferenz für seltene Behandlungen inhärent sind.

Die Autoren betonen, dass SP-CCI einen justierbaren Trade-off zwischen Intervallbreite und Zuverlässigkeit der Abdeckung über den Parameter $\delta$ bietet, eine Eigenschaft, die der Standard-CCI ohne Bedingung fehlt. Die Arbeit zeigt, dass hochwertige synthetische Daten, wenn sie ordnungsgemäß entzerrt werden, die Effizienz der kausalen Inferenz drastisch verbessern können, wodurch sie für reale Anwendungsbereiche wie personalisierte Medizin und Politikbewertung anwendbarer wird, wo Behandlungsdaten oft knapp sind.

Die Arbeit schließt bescheiden, indem sie feststellt, dass Erweiterungen auf Mehrarm-Behandlungen, kontinuierliche Behandlungen und Szenarien, in denen weder ein potenzielles Ergebnis beobachtet wird, offene Probleme für zukünftige Arbeiten bleiben.