📊 statistics

Set-Valued Policy Learning

Dieser Beitrag stellt ein mengenbasiertes Rahmenwerk für das Lernen von Politiken bei mehreren Behandlungen vor, das eine Menge plausibler Interventionen anstelle einer einzelnen Empfehlung ausgibt und dadurch durch neuartige Methoden wie die größte untere Schranke und konformes Policy-Learning eine intrinsische Unsicherheitsquantifizierung sowie robuste Entscheidungsfindung ermöglicht.

Ursprüngliche Autoren: Laura Fuentes-Vicente, Mathieu Even, Gaëlle Dormion, Antoine Chambaz, Uri Shalit, Julie Josse

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Laura Fuentes-Vicente, Mathieu Even, Gaëlle Dormion, Antoine Chambaz, Uri Shalit, Julie Josse

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Arzt, der versucht, die beste Behandlung für einen Patienten zu entscheiden. In der Welt der traditionellen „Präzisionsmedizin" wirkt KI wie ein strenger GPS-Navigator. Sie betrachtet die Daten des Patienten und sagt: „Biegen Sie hier links ab. Nehmen Sie Behandlung A." Sie liefert eine einzige Antwort und behauptet, dies sei der beste Weg zu einem gesunden Ergebnis.

Doch hier liegt das Problem: KI ist nicht perfekt. Manchmal sind die Daten unscharf, das Modell ist etwas fehlerhaft, oder zwei verschiedene Behandlungen könnten tatsächlich genauso gut wirken. Wenn das GPS Sie zwingt, links abzubiegen, obwohl das Rechtsabbiegen genauso gut gewesen wäre, könnten Sie am Ende eine riskante Entscheidung treffen, ohne es zu wissen.

Diese Arbeit schlägt eine neue Art vor, wie KI agieren soll. Anstatt eines GPS, das eine einzige Abbiegung vorgibt, stellen Sie es sich als Reiseführer vor, der Ihnen eine Kurzliste mit drei oder vier großartigen Routen überreicht.

Die Kernidee: „Mengenwertige" Politiken

Die Autoren nennen dies „Set-Valued Policy Learning" (Mengenwertiges Politik-Lernen). Anstatt zu sagen: „Führen Sie Behandlung A durch", sagt die KI: „Basierend auf den Daten sind die Behandlungen A, B und C allesamt plausible Gewinner. Hier ist Ihre Kurzliste."

Warum ist das besser? Es räumt Unsicherheit ein. Wenn die KI zu 100 % sicher ist, enthält die Liste möglicherweise nur einen Eintrag. Wenn sie verwirrt ist oder wenn mehrere Behandlungen gleich gut sind, wird die Liste länger. Die Größe der Liste sagt dem Arzt: „Hey, ich bin nicht ganz sicher, welche davon die absolut beste ist, also sollten Sie diese Optionen prüfen."
Die Rolle des Menschen: Die KI trifft nicht die endgültige Entscheidung. Sie filtert die schlechten Optionen heraus und überlässt die Entscheidung dem menschlichen Arzt, der dann Aspekte berücksichtigen kann, die die KI nicht messen kann, wie die Kosten des Medikaments, die Angst des Patienten vor Nebenwirkungen oder Budgetbeschränkungen des Krankenhauses.

Wie stellen sie sicher, dass es sicher ist?

Sie könnten fragen: „Woher wissen wir, dass die KI nicht einfach nur rät und alles auf die Liste setzt?"

Die Arbeit verwendet ein mathematisches Sicherheitsnetz namens Konforme Vorhersage (Conformal Prediction). Stellen Sie sich dies wie ein „Qualitätskontroll-Siegel" vor. Die Forscher entwickelten eine Methode, um mathematisch zu garantieren, dass die tatsächlich beste Behandlung mit an Sicherheit grenzender Wahrscheinlichkeit in dieser Kurzliste enthalten ist. Wenn die KI sagt: „Die beste Behandlung befindet sich in dieser Gruppe von drei", können Sie darauf vertrauen, dass es statistisch sehr wahrscheinlich ist, dass sie dort zu finden ist.

Sie testeten zwei Hauptmethoden zum Erstellen dieser Listen:

Die „Konfidenzschranken"-Methode: Dies ist wie ein Blick in die Wettervorhersage. Wenn die Vorhersage eine 95-prozentige Wahrscheinlichkeit für Regen sagt, nehmen Sie einen Regenschirm mit. Die KI prüft die „Konfidenz" verschiedener Behandlungen und schließt nur diejenigen ein, bei denen der „Regen" (schlechtes Ergebnis) unwahrscheinlich ist.
Die „Noisy Label"-Methode: Dies ist die große Innovation der Arbeit. In der Medizin wissen wir oft nicht die wahre beste Behandlung für einen Patienten (wir wissen nur, was passiert ist, nachdem sie ein bestimmtes Medikament eingenommen haben). Die KI muss die „beste" Behandlung basierend auf unvollkommenen Daten erraten. Die Autoren erkannten, dass die KI, wenn sie zu selbstbewusst in ihren Vermutungen ist, die wirklich beste Option verpassen könnte. Daher führten sie einen Trick namens „Randomness Injection" (Einspeisung von Zufälligkeit) ein.
- Die Analogie: Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt. Wenn er zu selbstbewusst ist, könnte er ein Thema nicht lernen, von dem er glaubt, es zu kennen, es aber tatsächlich nicht tut. Die Autoren sagen zur KI: „Tun Sie manchmal so, als würden Sie die Antwort nicht wissen. Mischen Sie ein wenig zufälliges Raten bei." Dies zwingt die KI zur Bescheidenheit. Es verhindert, dass die KI zu engstirnig wird, und stellt sicher, dass die „Kurzliste" breit genug ist, um den echten Gewinner zu erfassen, selbst wenn die Daten unordentlich sind.

Realer Test: Das IVF-Beispiel

Die Autoren testeten dies an einem realen Datensatz, der In-vitro-Fertilisation (IVF) betraf.

Die Situation: Ärzte müssen Hormondosierungen für Patienten wählen. Zu wenig, und die Behandlung schlägt fehl. Zu viel, und der Patient riskiert einen gefährlichen Zustand, das Ovariale Hyperstimulationssyndrom (OHSS).
Das Ergebnis: Die KI sagte nicht einfach: „Geben Sie 5 Einheiten." Sie sagte: „Für diesen Patienten sind die Dosen 3, 4 oder 5 allesamt sichere und wirksame Optionen."
Der Nutzen: Dies ermöglichte dem Arzt die Wahl. Wenn der Patient sich Sorgen um OHSS macht, kann der Arzt die niedrigere Dosis (3 oder 4) aus der sicheren Liste der KI wählen. Wenn der Patient einen stärkeren Schub benötigt, können sie die 5 wählen. Die KI lieferte das Sicherheitsnetz (garantierte, dass die beste Option in der Liste war), und der Mensch traf die endgültige, kontextbewusste Entscheidung.

Zusammenfassung

Diese Arbeit argumentiert, dass KI in hochriskanten Bereichen wie der Medizin nicht versuchen sollte, der Chef zu sein. Stattdessen sollte sie eine intelligente Assistentin sein, die sagt: „Hier sind die Top-3-Optionen, die statistisch wahrscheinlich funktionieren. Sie wählen diejenige aus, die am besten zur Situation passt."

Indem sie Mathematik verwenden, um zu garantieren, dass die „beste" Antwort immer in der Gruppe enthalten ist, und indem sie ein wenig „Zufälligkeit" einsetzen, um die KI bescheiden zu halten, schaffen sie ein System, das sowohl zuverlässig ist (es wird die beste Option nicht verpassen) als auch flexibel (es lässt Menschen die endgültige Entscheidung treffen).

Technische Zusammenfassung: Lernen von mengenwertigen Politiken

Problemstellung

Das konventionelle Lernen von Behandlungspolitiken in der Präzisionsmedizin bildet typischerweise Patientenkovariaten auf eine einzelne empfohlene Intervention ab, um die erwarteten klinischen Ergebnisse zu maximieren. Dieser punktuelle Ansatz stößt jedoch auf erhebliche Grenzen:

Empfindlichkeit gegenüber Unsicherheit: Empfehlungen sind hochgradig empfindlich gegenüber Schätzunsicherheit, Modellspezifikation und Variabilität bei endlichen Stichproben.
Fehlende Vertrauensführung: Standardpolitiken geben kaum Hinweise darauf, wie sehr man der empfohlenen Aktion vertrauen sollte.
Ignorieren von Mehrdeutigkeit: Wenn mehrere Behandlungen vergleichbare Ergebnisse liefern, erfassen punktuelle Politiken diese Mehrdeutigkeit nicht und können potenziell den Präferenzen von Praktizierenden widersprechen, die sich auf nicht quantifizierte Kosten oder unerwünschte Ereignisse beziehen.
Nichtverfügbarkeit der Ground Truth: In der kausalen Inferenz wird nur das Ergebnis der verabreichten Behandlung beobachtet; kontrafaktische Ergebnisse (und somit die tatsächlich optimale Behandlung) sind unbeobachtet, was die Konstruktion von Politiken mit formalen Garantien erschwert.

Die Autoren schlagen ein Paradigma des Lernens mengenwertiger Politiken für Settings mit mehreren Behandlungen ( $K > 1$ ) vor. Anstatt einer einzelnen Empfehlung gibt die Politik eine Teilmenge plausibler Behandlungen aus. Das primäre Ziel besteht darin, Politiken $C$ zu konstruieren, sodass die Menge mit hoher Wahrscheinlichkeit mindestens eine optimale Behandlung enthält:
$P(\Pi^\star(X) \cap C(X) \neq \emptyset) \geq 1 - \alpha$
wobei $\Pi^\star(X)$ die Menge der optimalen Behandlungen für Kovariaten $X$ ist und $\alpha$ ein vom Benutzer spezifiziertes Fehlerniveau darstellt. Dies verschiebt die Rolle des Modells von der Vorgabe einer Entscheidung hin zur Unterstützung durch Bereitstellung einer gefilterten Auswahl von Optionen, wobei die Unsicherheit natürlicherweise über die Kardinalität der Menge quantifiziert wird.

Methodik

Die Arbeit stellt zwei primäre Rahmenwerke für das Lernen mengenwertiger Politiken mit formalen Abdeckungsgarantien vor:

1. Methode des größten unteren Schätzwerts (GLB)

Dieser Ansatz erweitert das Framework „Learning-to-Defer" auf mehrere Behandlungen unter Verwendung von Schätzern für die bedingten mittleren Ergebnisse.

Mechanismus: Er verlässt sich auf vertrauenswürdige untere ( $\ell_n$ ) und obere ( $u_n$ ) Konfidenzschranken für die bedingten mittleren Ergebnisse $\mu(x, a)$ .
Konstruktion:
1. Identifiziere die Behandlung $a_{maxmin}$ , die die untere Schranke maximiert: $a_{maxmin}(x) \in \arg\max_a \ell_n(x, a)$ .
2. Konstruiere die Menge $C_\alpha(x)$ , indem alle Behandlungen aufgenommen werden, deren obere Schranke die Benchmark des größten unteren Schätzwerts übersteigt:
  $C_\alpha(x) = \{a \in A : u_n(x, a) \geq \ell_n(x, a_{maxmin}(x))\}$
Garantie: Unter der Annahme, dass gültige Konfidenzschranken existieren, erreicht diese Methode eine bedingte Abdeckung, was eine marginale Abdeckung impliziert.
Einschränkung: Sie erfordert die nicht-triviale Konstruktion gültiger Schranken und ist empfindlich gegenüber Schätzungenauigkeiten.

2. Konformales Lernen mengenwertiger Politiken (Regime mit verrauschten Labels)

Da optimale Behandlungen unbeobachtet sind, fassen die Autoren das Lernen von Politiken als Klassifikationsaufgabe unter einem Regime mit verrauschten Labels auf, wobei geschätzte optimale Behandlungen als Stellvertreter für die Ground Truth dienen.

Meta-Algorithmus:
1. Generierung schwarzer Kasten-Labels: Trainiere einen Politik-Lerner (z. B. Q-Learning, Policy Trees) auf einem Teil der Daten, um verrauschte Labels $\hat{A}^*$ (Schätzungen optimaler Behandlungen) zu generieren.
2. Nichtkonformitäts-Score: Lerne eine Score-Funktion $s_n(x, a)$ (z. B. margenbasiert) unter Verwendung eines Trainings-Teils, um die Übereinstimmung einer Kandidatenbehandlung relativ zu den Kalibrierungsdaten zu quantifizieren.
3. Verrauschte Kalibrierung: Berechne Scores auf einem Kalibrierungs-Set unter Verwendung der verrauschten Labels $\hat{A}^*$ und leite einen Quantilsschwellenwert $\hat{q}_{1-\alpha}$ ab.
4. Vorhersagemenge: Definiere $C_\alpha(x) = \{a : s_n(x, a) < \hat{q}_{1-\alpha}\}$ .
Adressierung von Abdeckungslücken: Standardkonforme Vorhersage auf verrauschten Labels garantiert ohne Annahmen keine Abdeckung für die tatsächlichen optimalen Behandlungen. Die Autoren schlagen zwei Strategien vor, um eine marginale Abdeckung sicherzustellen:
1. Rank-Preserving-Annahme: Nimmt an, dass der Schätzer die Reihenfolge der Behandlungsmittelwerte bewahrt. Wenn dies erfüllt ist, ist die Abdeckung garantiert.
2. Einspeisung von Zufälligkeit: Ein neuer Ansatz zur Erzwingung stochastischer Dominanz ohne strikte strukturelle Annahmen.
  - Störe die verrauschten Labels, indem sie mit einer Wahrscheinlichkeit $r$ mit rein zufälligen Labels gemischt werden: $\hat{A}^*_{r,i} = R_i \cdot A^{rd}_i + (1-R_i) \cdot \hat{A}^*_i$ .
  - Diese kontrollierte Zufälligkeit erhöht die Nichtkonformitäts-Scores stochastisch und stellt sicher, dass die Vorhersagemengen konservativ genug sind, um die tatsächlichen optimalen Behandlungen abzudecken. Satz 1 liefert eine Bedingung für $r$ , um die Abdeckung zu garantieren.

Evaluierungsmetriken

Die Arbeit führt den Wert der Mengen-Politik ein, um diese Politiken zu bewerten, da Standardmetriken für Politikwerte für Mengen unzureichend sind.

Wahlfunktion ( $\delta$ ): Eine Abbildung, die eine einzelne Behandlung aus der Menge auswählt.
Uniformer Mengen-Politik-Wert ( $\bar{V}_P(C)$ ): Das erwartete Ergebnis, wenn eine Behandlung zufällig gleichverteilt aus der Menge ausgewählt wird. Dies dient als untere Schranke für den Wert, der von einem Entscheidungsträger erreicht wird, der besser abschneidet als eine zufällige Auswahl.

Wichtige Ergebnisse

Synthetische Experimente

Abdeckung: Die Experimente zeigen, dass ohne Einspeisung von Zufälligkeit ( $r=0$ ) Abdeckungsgarantien aufgrund von Schätzfehlern häufig verletzt werden. Die Einführung eines moderaten Zufälligkeitssniveaus (z. B. $r=0,2$ ) stellt die marginale Abdeckung erfolgreich wieder her.
Kompromisse: Eine Erhöhung von $r$ erhöht die mittlere Kardinalität der vorhergesagten Mengen (macht sie größer und konservativer), um die Abdeckung sicherzustellen. Die GLB-Methode erreicht ebenfalls eine Abdeckung, neigt jedoch aufgrund der Empfindlichkeit gegenüber Schätzfehlern zu einer Überabdeckung.
Wert: Höhere Vertrauensniveaus (niedrigeres $\alpha$ ) oder höhere Zufälligkeitsssniveaus sind erforderlich, um hohe Mengen-Politik-Werte zu erhalten, wobei der Kompromiss zwischen Mengengröße (Informationsgehalt) und Zuverlässigkeit der Abdeckung ausbalanciert wird.

Anwendung in der realen Welt: In-vitro-Fertilisation (IVF)

Datensatz: 18.538 Ovarialstimulationszyklen mit ordinalen Gonadotropin-Dosierungen und Ergebnissen (follikuläre Ausbeute und Östradiolspiegel).
Ergebnisse:
- Mengenwertige Politiken filtern extreme Dosen erfolgreich heraus und bewahren die ordinale Struktur der Behandlungen.
- Entscheidungsunterstützung: Das Framework ermöglicht die Integration sekundärer Ziele. Beispielsweise kontrollierte eine „Minimale-Dosis"-Strategie ( $\delta_{lower}$ ), angewendet auf die mengenwertige Ausgabe, effektiv die Östradiolspiegel (Reduzierung des OHSS-Risikos) bei nur einer marginalen Verringerung der follikulären Ausbeute im Vergleich zur uniformen Stichprobenziehung.
- Kardinalität: Wie in synthetischen Settings führten höhere Zufälligkeitsssniveaus zu größeren Mengen, die sicherere, aber potenziell belastendere Entscheidungsräume bieten.

Bedeutung und Behauptungen

Die Arbeit beansprucht, die erste zu sein, die mengenwertige Politiken mit formalen Abdeckungsgarantien innerhalb des Rahmens des kausalen Politiklernens lernt. Ihre Bedeutung liegt in:

Paradigmenwechsel: Der Übergang vom „Vorgaben" einer einzelnen Entscheidung hin zum „Unterstützen" von Entscheidungsträgern mit einer Menge plausibler Optionen, wodurch das Framework „Learning-to-Defer" auf Settings mit mehreren Behandlungen verallgemeinert wird.
Intrinsische Unsicherheitsquantifizierung: Die Größe der vorhergesagten Menge spiegelt natürlicherweise den Grad der Entscheidungsambiguität wider und bietet Kliniken handlungsrelevante Vertrauensniveaus.
Modellagnostizismus: Der konforme Ansatz ist modellagnostisch und kann mit beliebigen Black-Box-Methoden zum Lernen von Politiken kombiniert werden, ohne dass spezialisierte Robustheitsmodifikationen erforderlich sind.
Umgang mit unbeobachteter Ground Truth: Durch die Nutzung von Erkenntnissen aus der Literatur zu verrauschten Labels und die Einführung der Einspeisung von Zufälligkeit überbrückt die Methode die Lücke zwischen unbeobachteten optimalen Behandlungen und geschätzten Regeln und liefert rigorose Abdeckungsgarantien, ohne sich auf die Robustheitseigenschaften des zugrundeliegenden Schätzers zu verlassen.
Klinische Relevanz: Die IVF-Anwendung zeigt, dass diese Methoden robuste, handlungsrelevante Politiken produzieren, die klinische Einschränkungen (z. B. Dosisdeeskalation) einbeziehen und Leistung mit Sicherheit ausbalancieren können.

Die Autoren schließen, dass eine zuverlässige individualisierte Entscheidungsfindung Methoden erfordert, die auch bei statistischer Unsicherheit und Modellfehlern vertrauenswürdig bleiben. Ihr Framework unterstützt Entscheidungsträger, anstatt sie zu ersetzen, und erleichtert kontextbewusste Entscheidungen, die sekundäre Ziele und klinisches Urteilsvermögen einbeziehen.