Technische Samenvatting: Set-gebaseerd Beleidslernen

Probleemstelling

Conventioneel beleidslernen voor behandelingen in precisiegeneeskunde koppelt patiëntcovariaten doorgaans aan één enkele aanbevolen interventie om de verwachte klinische uitkomsten te maximaliseren. Deze aanpak met puntwaarden kent echter aanzienlijke beperkingen:

1. Gevoeligheid voor Onzekerheid: Aanbevelingen zijn sterk gevoelig voor schattingsonzekerheid, modelspecificatie en variabiliteit in eindige steekproeven.
2. Gebrek aan Zekerheidsrichtlijnen: Standaard beleidsregels geven weinig indicatie hoe zeker men moet zijn van de aanbevolen actie.
3. Negeer Ambiguïteit: Wanneer meerdere behandelingen vergelijkbare uitkomsten opleveren, slagen beleidsregels met puntwaarden er niet in deze ambiguïteit vast te leggen, wat mogelijk in strijd is met de voorkeuren van de beoefenaar ten aanzien van niet-gekwantificeerde kosten of bijwerkingen.
4. Niet-beschikbaarheid van de Waarheid: Bij causale inferentie wordt alleen de uitkomst van de toegediende behandeling waargenomen; contrafactuele uitkomsten (en dus de werkelijk optimale behandeling) zijn niet waargenomen, wat de constructie van beleidsregels met formele garanties bemoeilijkt.

De auteurs stellen een paradigma voor set-gebaseerd beleidslernen voor multi-behandelingssettings ($K > 1$). In plaats van één aanbeveling, geeft het beleid een subset van plausibele behandelingen uit. Het primaire doel is het construeren van beleidsregels $C$ zodat de set met hoge waarschijnlijkheid ten minste één optimale behandeling bevat:
$$P(\Pi^\star(X) \cap C(X) \neq \emptyset) \geq 1 - \alpha$$
waarbij $\Pi^\star(X)$ de set van optimale behandelingen is voor covariaten $X$, en $\alpha$ een door de gebruiker gespecificeerd foutniveau is. Dit verschuift de rol van het model van het voorschrijven van een beslissing naar het ondersteunen ervan door een gefilterde set opties te bieden, waarbij onzekerheid op natuurlijke wijze wordt gekwantificeerd via de kardinaliteit van de set.

Methodologie

Het artikel introduceert twee primaire kaders voor het leren van set-gebaseerde beleidsregels met formele dekkinggaranties:

1. Methode van de Grootste Ondergrens (GLB)

Deze aanpak breidt het "learning-to-defer"-kader uit naar meerdere behandelingen met behulp van schatters voor de conditionele gemiddelde uitkomst.

• Mechanisme: Het vertrouwt op betrouwbare ondergrenzen ($\ell_n$) en bovengrenzen ($u_n$) voor de conditionele gemiddelde uitkomsten $\mu(x, a)$.
• Constructie:
  1. Identificeer de behandeling $a_{maxmin}$ die de ondergrens maximaliseert: $a_{maxmin}(x) \in \arg\max_a \ell_n(x, a)$.
  2. Construeer de set $C_\alpha(x)$ door alle behandelingen op te nemen waarvan de bovengrens de benchmark van de grootste ondergrens overschrijdt:
     $$C_\alpha(x) = \{a \in A : u_n(x, a) \geq \ell_n(x, a_{maxmin}(x))\}$$
• Garantie: Onder de aanname dat geldige betrouwbaarheidsintervallen bestaan, bereikt deze methode conditionele dekking, wat marginale dekking impliceert.
• Beperking: Het vereist de niet-triviale constructie van geldige grenzen en is gevoelig voor schattingsonnauwkeurigheden.

2. Conformaal Set-gebaseerd Beleidslernen (Regime met Ruisachtige Labels)

Omdat optimale behandelingen niet worden waargenomen, kaderen de auteurs beleidslernen in als een classificatietaken onder een regime met ruisachtige labels, waarbij geschatte optimale behandelingen dienen als proxies voor de waarheid.

• Meta-algoritme:

  1. Generatie van Black-box Labels: Train een beleidsleerder (bijv. Q-learning, beleidsbomen) op een subset van de data om ruisachtige labels $\hat{A}^*$ (schatters van optimale behandelingen) te genereren.
  2. Niet-conformiteitscore: Leer een scoresfunctie $s_n(x, a)$ (bijv. op marge gebaseerd) met behulp van een trainingssubset om de uitlijning van een kandidaat-behandeling ten opzichte van de kalibratie-data te kwantificeren.
  3. Ruisachtige Kalibratie: Bereken scores op een kalibratieset met behulp van de ruisachtige labels $\hat{A}^*$ en leid een quantiel-drempel $\hat{q}_{1-\alpha}$ af.
  4. Voorspellende Set: Definieer $C_\alpha(x) = \{a : s_n(x, a) < \hat{q}_{1-\alpha}\}$.

• Aanpak van Dekkingsgaten: Standaard conformale voorspelling op ruisachtige labels garandeert geen dekking voor de ware optimale behandelingen zonder aannames. De auteurs stellen twee strategieën voor om marginale dekking te waarborgen:

  1. Rankbehoudende Aanneming: Neemt aan dat de schatter de ordening van behandelingsgemiddelden behoudt. Als deze wordt voldaan, is dekking gegarandeerd.
  2. Injectie van Willekeur: Een nieuwe aanpak om stochastische dominantie af te dwingen zonder strikte structurele aannames.
     • Perturbeer de ruisachtige labels door ze te mengen met puur willekeurige labels met waarschijnlijkheid $r$: $\hat{A}^*_{r,i} = R_i \cdot A^{rd}_i + (1-R_i) \cdot \hat{A}^*_i$.
     • Deze gecontroleerde willekeur verhoogt de niet-conformiteitsscores stochastisch, waardoor de voorspellende sets conservatief genoeg zijn om de ware optimale behandelingen te dekken. Stelling 1 biedt een voorwaarde voor $r$ om dekking te garanderen.

Evaluatiemetrieken

Het artikel introduceert Set-Beleidswaarde om deze beleidsregels te evalueren, aangezien standaard beleidswaardemetrieken ontoereikend zijn voor sets.

• Keuzefunctie ($\delta$): Een mapping die één enkele behandeling selecteert uit de set.
• Uniforme Set-Beleidswaarde ($\bar{V}_P(C)$): De verwachte uitkomst als een behandeling willekeurig uit de set wordt geselecteerd. Dit dient als een ondergrens voor de waarde die wordt bereikt door een besluitnemer die beter presteert dan willekeurige selectie.

Belangrijkste Resultaten

Synthetische Experimenten

• Dekking: De experimenten tonen aan dat zonder injectie van willekeur ($r=0$) dekkinggaranties vaak worden geschonden door schattingsfouten. Het introduceren van een gematigd niveau van willekeur (bijv. $r=0,2$) herstelt de marginale dekking succesvol.
• Trade-offs: Het verhogen van $r$ verhoogt de gemiddelde kardinaliteit van de voorspelde sets (waardoor ze groter en conservatiever worden) om dekking te waarborgen. De GLB-methode bereikt ook dekking, maar neigt tot overdekking door gevoeligheid voor schattingsfouten.
• Waarde: Hogere zekerheidsniveaus (lagere $\alpha$) of hogere niveaus van willekeur zijn vereist om hoge set-beleidswaarden te behouden, waarbij de afweging tussen setgrootte (informativiteit) en betrouwbaarheid van dekking in evenwicht wordt gebracht.

Toepassing in de Wereld: In-vitrofertilisatie (IVF)

• Dataset: 18.538 ovariële stimulatiecycli met ordinale gonadotropinedoseringen en uitkomsten (follikelopbrengst en oestrogeenniveaus).
• Vondsten:
  • Set-gebaseerde beleidsregels filteren extreme doseringen succesvol, waarbij de ordinale structuur van behandelingen wordt behouden.
  • Besluitondersteuning: Het kader maakt integratie van secundaire doelstellingen mogelijk. Een "minimale dosis"-strategie ($\delta_{lower}$) toegepast op de set-gebaseerde output controleerde bijvoorbeeld effectief de oestrogeenniveaus (verlaging van het OHSS-risico) met slechts een marginale reductie in follikelopbrengst vergeleken met uniforme bemonstering.
  • Kardinaliteit: Zoals in synthetische settings leidden hogere niveaus van willekeur tot grotere sets, wat veiligere maar potentieel meer belastende beslissingsruimtes biedt.

Betekenis en Claims

Het artikel claimt de eerste te zijn die set-gebaseerde beleidsregels leert met formele dekkinggaranties binnen het kader van causaal beleidslernen. De betekenis ligt in:

1. Paradigmaverschuiving: Van het "voorschrijven" van één enkele beslissing naar het "ondersteunen" van besluitnemers met een set van plausibele opties, waardoor het "learning-to-defer"-kader wordt gegeneraliseerd naar multi-behandelingssettings.
2. Intrinsieke Kwantificering van Onzekerheid: De grootte van de voorspelde set weerspiegelt op natuurlijke wijze de mate van beslissingsambiguïteit, waardoor clinicians uitvoerbare zekerheidsniveaus worden geboden.
3. Modelonafhankelijkheid: De conformale aanpak is modelonafhankelijk en kan worden gecombineerd met willekeurige black-box methoden voor beleidslernen zonder dat gespecialiseerde robuustheidsmodificaties nodig zijn.
4. Omgaan met Niet-waargenomen Waarheid: Door inzicht te halen uit de literatuur over ruisachtige labels en injectie van willekeur in te voeren, overbrugt de methode de kloof tussen niet-waargenomen optimale behandelingen en geschatte regels, en biedt rigoureuze dekkinggaranties zonder te vertrouwen op de robuustheidseigenschappen van de onderliggende schatter.
5. Klinische Relevantie: De IVF-toepassing toont aan dat deze methoden robuuste, uitvoerbare beleidsregels produceren die klinische beperkingen (bijv. dosisde-escalatie) kunnen integreren en prestaties in evenwicht brengen met veiligheid.

De auteurs concluderen dat betrouwbare geïndividualiseerde besluitvorming methoden vereist die betrouwbaar blijven in aanwezigheid van statistische onzekerheid en modelfouten. Hun kader ondersteunt in plaats van vervangt menselijke besluitnemers, en faciliteert contextbewuste keuzes die secundaire doelstellingen en klinisch oordeel integreren.