📊 statistics

CANDOR: Counterfactual ANnotated DOubly Robust Off-Policy Evaluation

Das Papier stellt CANDOR vor, eine Familie doppelt robuster Off-Policy-Evaluations-Schätzer, die absichtlich unvollkommene, von Experten annotierte kontrafaktische Daten ausschließlich in die direkte Methode integrieren, um in Szenarien der medizinischen Entscheidungsfindung überlegene Robustheit und Leistung zu erzielen.

Ursprüngliche Autoren: Aishwarya Mandyam, Shengpu Tang, Jiayu Yao, Jenna Wiens, Barbara E. Engelhardt

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aishwarya Mandyam, Shengpu Tang, Jiayu Yao, Jenna Wiens, Barbara E. Engelhardt

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Neue Regeln testen, ohne Dinge zu zerstören

Stellen Sie sich vor, Sie sind ein Arzt, der entscheiden muss, ob ein neuer Behandlungsplan (wie eine neue Art, Patienten Kalium zu verabreichen) besser ist als der alte. Sie können ihn nicht sofort an echten Patienten ausprobieren; wenn der neue Plan schlecht ist, könnte er ihnen schaden.

Sie möchten also eine „Simulation" mit alten Patientenakten durchführen, um zu sehen, wie der neue Plan hätte funktionieren können. Dies nennt man Off-Policy Evaluation (OPE).

Der Haken: Alte Aufzeichnungen zeigen nur, was passiert ist, als Ärzte den alten Regeln folgten. Wenn der neue Plan eine Behandlung vorschlägt, die in der Vergangenheit nie gegeben wurde (z. B. eine bestimmte hohe Dosis Kalium), enthalten die alten Aufzeichnungen keine Daten dazu. Es ist, als würde man versuchen vorherzusagen, wie sich ein Auto auf einer neuen Straßenart verhält, wenn man nur Autobahnen gefahren ist. Sie stecken fest, weil Ihnen Daten für diese spezifischen Szenarien fehlen.

Die vorgeschlagene Lösung: Experten nach „Was-wäre-wenn"-Fragen befragen

Um die fehlenden Daten zu beheben, haben Forscher versucht, menschliche Experten (oder KI) zu bitten, alte Patientenakten anzusehen und zu sagen: „Wenn wir diesem Patienten eine andere Behandlung gegeben hätten, hier ist das, was wir denken, wäre passiert." Diese nennt man Counterfactual Annotations (Gegenfaktische Anmerkungen).

Stellen Sie sich dies vor, als würden Sie Lücken in einer Geschichte füllen. Wenn die ursprüngliche Geschichte sagt: „Der Patient nahm Medikament A", könnte ein Experte eine Notiz hinzufügen: „Wenn sie Medikament B genommen hätten, wären sie wahrscheinlich besser gefühlt."

Das Problem: Experten sind nicht perfekt. Sie könnten falsch raten oder voreingenommen sein. Wenn Sie diesen Vermutungen blind vertrauen, könnte Ihre Simulation weniger genau enden, als wenn Sie die Vermutungen ganz ignoriert hätten.

Die Lösung: Die „CANDOR"-Strategie

Die Autoren schlagen eine neue Familie von Methoden vor, um diese unvollkommenen Expertenvermutungen sicher zu nutzen. Sie bauten ihre Methode auf einem Konzept namens Doubly Robust (DR)-Schätzung auf.

Um dies zu verstehen, stellen Sie sich vor, Sie versuchen, das Endergebnis eines Sportspiels zu erraten. Sie haben zwei Möglichkeiten zu raten:

Der Statistiker (Direkte Methode): Sie schauen sich die vergangenen Statistiken der Teams an und bauen ein Modell, um das Ergebnis vorherzusagen.
Der Buchmacher (Importance Sampling): Sie schauen sich die tatsächlichen Spielergebnisse an und passen sie an, basierend darauf, wie wahrscheinlich es war, dass die Teams so spielten.

Eine Doubly Robust-Methode kombiniert beides. Sie sagt: „Ich werde die Vorhersage des Statistikers verwenden, aber wenn diese Vorhersage falsch ist, werde ich sie mit den Daten des Buchmachers korrigieren." Das Magische ist, dass die Methode gut funktioniert, wenn entweder der Statistiker recht hat oder die Daten des Buchmachers stimmen. Sie brauchen nicht, dass beide perfekt sind.

Die drei Möglichkeiten, die „Expertenvermutungen" einzumischen

Das Papier testet drei verschiedene Wege, diese unvollkommenen Expertenvermutungen in diese Doubly-Robust-Formel einzubringen:

Methode A (DM-IS+): Nutzen Sie die Expertenvermutungen, um dem „Buchmacher" (dem Teil der Datenanpassung) zu helfen, halten Sie aber den „Statistiker" (das Vorhersagemodell) nur auf echten, beobachteten Daten trainiert.
Methode B (DM+-IS+): Nutzen Sie die Expertenvermutungen, um sowohl dem Buchmacher als auch dem Statistiker zu helfen.
Methode C (DM+-IS): Nutzen Sie die Expertenvermutungen, um dem Statistiker (dem Vorhersagemodell) zu helfen, halten Sie aber den Teil des „Buchmachers" strikt auf echten, beobachteten Daten basierend.

Die große Entdeckung

Die Autoren führten Experimente mit simulierten medizinischen Daten und echten Krankenhausakten (MIMIC-IV) durch. Sie stellten fest, dass Methode C (DM+-IS) der klare Gewinner war.

Hier ist der Grund, mit einer Analogie:
Stellen Sie sich vor, Sie versuchen, eine Stadt mit einer Karte (dem Statistiker) und einem GPS zu navigieren, das Ihren Weg basierend auf Verkehrsberichten korrigiert (der Buchmacher).

Die Expertenvermutungen sind wie „crowd-sourced Verkehrsberichte", die manchmal falsch sein könnten.
Methode A und B lassen diese potenziell falschen crowd-sourced Berichte die GPS-Korrektur durcheinanderbringen. Wenn die Menge falsch liegt, lenkt das GPS Sie von einer Klippe ab.
Methode C verwendet die crowd-sourced Berichte nur, um die Karte zu verbessern. Selbst wenn die Menge über eine bestimmte Straße falsch liegt, wird die Karte nur etwas unschärfer, aber das GPS (das auf echten Verkehrsdaten basiert) weiß immer noch, wie es Sie sicher steuern kann.

Das Ergebnis:

Wenn die Expertenvermutungen perfekt waren, funktionierten alle Methoden gut.
Wenn die Expertenvermutungen unvollkommen waren (voreingenommen oder verrauscht), versagten die Methoden, die sie in den „GPS"-Teil mischten (Methode A und B), katastrophal. Ihre Schätzungen wurden schlechter, als wenn sie die Experten ganz ignoriert hätten.
Methode C (DM+-IS) blieb robust. Sie konnte die Experten nutzen, um fehlende Lücken in der Karte zu füllen, ohne die Fehler der Experten die finale Navigation ruinieren zu lassen.

Zusammenfassung

Das Papier stellt CANDOR vor, eine Methode, die es uns erlaubt, unvollkommene Expertenvermutungen sicher zu nutzen, um neue medizinische Richtlinien zu bewerten. Es beweist, dass der sicherste Weg dies zu tun darin besteht, die Vermutungen nur zum Trainieren des Vorhersagemodells (der „Karte") zu verwenden, während der Datenkorrekturmechanismus (das „GPS") strikt auf echten, beobachteten Fakten basiert. Dies stellt sicher, dass selbst wenn Experten Fehler machen, die finale Bewertung der neuen Richtlinie zuverlässig und sicher bleibt.

Technische Zusammenfassung: CANDOR – Counterfactual ANnotated DOubly Robust Off-Policy Evaluation

Problemstellung

Die Off-Policy-Evaluation (OPE) ist entscheidend für den sicheren Einsatz kontextueller Banditalgorithmen in hochriskanten Bereichen wie dem Gesundheitswesen, wo neue Behandlungsrichtlinien vor der Implementierung in der realen Welt mithilfe retrospektiver Daten bewertet werden müssen. Standard-OPE-Techniken sind jedoch grundsätzlich durch die Abdeckung des verfügbaren Verhaltensdatensatzes begrenzt. Fehlen in den historischen Daten Beobachtungen für bestimmte Zustands-Aktions-Paare (z. B. ein neues Medikament, das nie verschrieben wurde), können OPE-Methoden den Wert einer Richtlinie, die diese Aktionen empfiehlt, nicht zuverlässig schätzen.

Neuere Ansätze, wie der IS+-Schätzer, versuchen dies zu mildern, indem sie Verhaltensdatensätze um von Experten annotierte kontrafaktische Stichproben (vorhergesagte Belohnungen für nicht beobachtete Aktionen) erweitern. Diese Methoden gehen jedoch typischerweise davon aus, dass die Annotationen perfekt sind. In der Praxis sind Expertenannotationen (oder solche, die von Large Language Models generiert werden) oft unvollkommen und enthalten Verzerrungen oder Rauschen. Die naive Einbeziehung solcher unvollkommener Annotationen in bestehende Schätzer kann die Leistung verschlechtern und manchmal zu schlechteren Ergebnissen führen als das vollständige Ignorieren der Annotationen. Die zentrale Herausforderung, die diese Arbeit adressiert, besteht darin, herauszufinden, wie unvollkommene kontrafaktische Annotationen in OPE-Schätzer integriert werden können, ohne Fehler zu kumulieren, insbesondere bei fehlspezifizierten Belohnungsmodellen.

Methodik

Die Autoren schlagen eine Familie von OPE-Schätzern vor, die auf dem Doubly Robust (DR)-Rahmenwerk basieren, welches Importance Sampling (IS) und ein Direct Method (DM)-Belohnungsmodell kombiniert. Das DR-Rahmenwerk wird aufgrund seiner theoretischen Garantie für die Erwartungstreue gewählt, sofern entweder die Propensities (IS) oder das Belohnungsmodell (DM) korrekt spezifiziert sind.

Der Artikel untersucht drei spezifische Strategien zur Einbeziehung kontrafaktischer Annotationen ( $g_i$ ) in den DR-Schätzer, definiert durch die Art und Weise, wie die Annotationen in den DM- und IS-Komponenten genutzt werden:

DM+-IS: Das Belohnungsmodell ( $\hat{R}^+$ ) wird auf dem erweiterten Datensatz (faktisch + kontrafaktisch) trainiert, aber die IS-Komponente verwendet nur die ursprünglichen faktischen Daten und die standardmäßigen Propensities.
$\hat{V}_{DM^+-IS} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}^+(s_i, \pi_e) + \rho_{s_i}(a_i)(r_i - \hat{R}^+(s_i, a_i)) \right)$
DM-IS+: Das Belohnungsmodell ( $\hat{R}$ ) wird nur auf faktischen Daten trainiert, während die IS-Komponente unter Verwendung der kontrafaktischen Annotationen mit Neugewichtung erweitert wird (ähnlich dem IS+-Ansatz).
$\hat{V}_{DM-IS^+} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}(s_i, \pi_e) + \sum_{a \in A} w_i^a \rho^+_{s_i}(a)(c_i^a - \hat{R}(s_i, a)) \right)$
DM+-IS+: Sowohl das Belohnungsmodell als auch die IS-Komponente nutzen den erweiterten Datensatz.
$\hat{V}_{DM^+-IS^+} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}^+(s_i, \pi_e) + \sum_{a \in A} w_i^a \rho^+_{s_i}(a)(c_i^a - \hat{R}^+(s_i, a)) \right)$

Theoretische Analyse

Die Autoren liefern eine rigorose Bias-Varianz-Analyse unter drei Annotationsregimen:

Perfekte Annotationen: Alle drei Schätzer sind erwartungstreu.
Verzerrte Annotationen: Die Autoren beweisen, dass DM+-IS auch bei systematisch verzerrten Annotationen ein erwartungstreuer Schätzer für den Wert der Zielrichtlinie bleibt. Im Gegensatz dazu führen DM-IS+ und DM+-IS+ einen Bias-Term ein, der proportional zum Annotationsfehler ( $\epsilon_G$ ) ist, was sie anfällig für Leistungsverschlechterungen macht.
Verrauschte Annotationen: Während alle Schätzer aufgrund von Annotationsrauschen eine erhöhte Varianz erfahren, zeigt die theoretische Herleitung, dass DM+-IS den Varianzeinfluss auf die Belohnungsmodellschätzung isoliert, während die anderen Methoden das Rauschen durch den neugewichteten IS-Term kumulieren.

Experimentelle Ergebnisse

Die vorgeschlagenen Methoden wurden in drei Domänen evaluiert:

Heartsteps: Ein semi-synthetischer Simulator für mobile Gesundheitsanwendungen zur Intervention bei körperlicher Aktivität.
Sepsis: Ein semi-synthetischer Simulator für die Sepsisbehandlung (adaptiert von einem MDP-Setting zu einem kontextuellen Bandit).
MIMIC-IV: Ein realer Datensatz aus elektronischen Gesundheitsakten (EHR), der sich auf die intravenöse Kaliumsubstitution konzentriert. Kontrafaktische Annotationen für diesen Datensatz wurden mit dem OpenAI-Modell "o1" generiert.

Wichtige Erkenntnisse:

Robustheit gegenüber Verzerrungen: In Szenarien mit verzerrten Annotationen erzielte DM+-IS konsistent den niedrigsten Root Mean Squared Error (RMSE). Der RMSE von DM+-IS blieb stabil, während die Verzerrung der Annotationen zunahm, wohingegen DM-IS+ und DM+-IS+ eine signifikante Leistungsverschlechterung aufwiesen.
Robustheit gegenüber Fehlspezifikation: In Kombination mit fehlspezifizierten Belohnungsmodellen (ein häufiges Szenario in der realen Welt) blieb DM+-IS der robusteste Schätzer. Er nutzte die kontrafaktischen Daten effektiv, um die Abdeckung zu verbessern, ohne den Bias aus den Annotationen zu übernehmen.
Leistung in der realen Welt: Auf dem MIMIC-IV-Datensatz übertraf DM+-IS alle Baselines (einschließlich Standard-IS, DM, DR und annotierungsergänzter Varianten) über unterschiedliche Anzahlen von kontrafaktischen Annotationen hinweg. Bemerkenswert ist, dass sich die Leistung von DM+-IS mit zunehmender Anzahl der Annotationen verbesserte und dann ein Plateau erreichte, während andere Schätzer (wie IS+ und DM-IS+) entweder höhere Fehlerquoten aufwiesen oder diese hoch blieben.
Qualität der Annotationen: Die Experimente zeigten, dass die Verzerrung der Annotationen einen weitaus stärkeren negativen Einfluss auf die Leistung des Schätzers hat als die Varianz (Rauschen) der Annotationen.

Bedeutung und Beiträge

Der Artikel leistet folgende Beiträge:

Neue Familie von Schätzern: Es wird eine Familie von DR-inspirierten Schätzern eingeführt und theoretisch analysiert, die speziell für den Umgang mit unvollkommenen kontrafaktischen Annotationen entwickelt wurden.
Theoretische Einsicht: Es wird identifiziert, dass die Einbeziehung kontrafaktischer Annotationen nur in die Direct Method (DM)-Komponente (die DM+-IS-Strategie) der optimale Ansatz ist. Diese Strategie bewahrt die Erwartungstreue des Schätzers, selbst wenn Annotationen verzerrt sind, eine Eigenschaft, die Methoden, die die IS-Komponente erweitern, nicht teilen.
Empirische Validierung: Durch umfangreiche Experimente mit synthetischen, semi-synthetischen und realen Gesundheitsdaten demonstrieren die Autoren, dass DM+-IS die robusteste Wahl für die Richtlinienbewertung ist, wenn sowohl die Genauigkeit des Belohnungsmodells als auch die Qualität der Annotationen unbekannt sind.

Fazit

Diese Arbeit adressiert die kritische Lücke zwischen dem theoretischen Versprechen der Erweiterung durch kontrafaktische Daten und der praktischen Realität unvollkommener Annotationen. Durch die Einführung des DM+-IS-Schätzers stellen die Autoren eine Methode bereit, die die Anwendbarkeit von OPE in hochriskanten Umgebungen wie dem Gesundheitswesen erweitert. Der Ansatz ermöglicht es Praktikern, unvollkommene Experten- oder KI-generierte Annotationen sicher zur Bewertung von Richtlinien für Aktionen zu nutzen, die in historischen Daten nicht gut abgedeckt sind, ohne das Risiko einzugehen, systematische Verzerrungen einzuführen, die zu einem unsicheren Einsatz von Richtlinien führen könnten. Der Artikel kommt zu dem Schluss, dass unter realistischen Bedingungen, bei denen die Qualität der Annotationen unbekannt ist, DM+-IS den zuverlässigsten Weg für die Off-Policy-Evaluation bietet.