Technische Samenvatting: Voorspellingssets voor Counterfactuele Beslissingen

1. Probleemstelling

Het artikel behandelt de uitdaging van het nemen van beslissingen met hoge inzet onder voorspellende onzekerheid in counterfactuele settings. In standaard voorspellingsproblemen is de uitkomst $Y$ vast, ongeacht de ondernomen actie. Echter, in counterfactuele besluitvorming (bijv. behandelingsselectie, beleidsvorming, marketing), hangt de gerealiseerde uitkomst $Y(A)$ af van de gekozen actie $A$.

De kern van de moeilijkheid ligt in de interdependentie tussen onzekerheidskwantificatie en de beslissingsregel:

1. Gekoppelde Uitkomsten: De uitkomst die "gedekt" moet worden door een voorspellingsset is niet vast; deze wordt bepaald door de actie die wordt gekozen.
2. Validiteits- versus Optimaliteitsgat: Hoewel conformal prediction statistische validiteit (dekkinggaranties) biedt voor vaste uitkomsten, is het onduidelijk hoe deze garanties vertalen naar optimaliteit wanneer de beslissingsregel zelf de distributie van de gerealiseerde uitkomst verandert. Bestaande methoden behandelen potentiële uitkomsten vaak onafhankelijk of negeren de counterfactuele structuur, wat leidt tot suboptimale beslissingen of ongeldige dekking voor het geïnduceerde beleid.

De centrale vraag is: Wat is de juiste interface tussen onzekerheidskwantificatie en counterfactuele besluitvorming waar acties bepalen welke potentiële uitkomst wordt gerealiseerd?

2. Methodologie en Raamwerk

De auteurs stellen een besluitvormingstheoretisch raamwerk voor dat gecentreerd is rond Policy-Coupled Coverage en een twee-staps constructieprocedure genaamd Policy-Coupled Risk-Averse Conformal Prediction (PC-RACP).

2.1 Besluitvormingstheoretische Fundamenten

• Risico-avers Doelstelling: Het raamwerk hanteert een risico-averse doelstelling waarbij een agent streeft naar het maximaliseren van een waarschijnlijkheids-hoge ondergrens (utiliteitscertificaat) op de gerealiseerde utiliteit.
• Set-Geïnduceerde Beslissingsregel: Gegeven een collectie voorspellingssets $\{C(x, a)\}_{a \in \mathcal{A}}$ (één voor elke actie), gebruikt de agent een max-min regel:
  $$\pi_{RA}(x; C) = \arg\max_{a \in \mathcal{A}} \inf_{y \in C(x, a)} u(a, y)$$
  Deze regel selecteert de actie die de slechtst denkbare utiliteit binnen de voorspelde uitkomstsets maximaliseert.

2.2 Policy-Coupled Coverage (PCC)

Het artikel introduceert Policy-Coupled Coverage als de noodzakelijke validiteitsnotie. In tegen tegenstelling tot standaard per-actie marginale dekking (die vereist dat $P(Y(a) \in C(X, a)) \ge 1-\alpha$ voor alle $a$), vereist PCC dat de voorspellingssets de gerealiseerde uitkomst dekken onder het beleid dat door de sets zelf wordt geïnduceerd:
$$P\left( Y(\pi_{RA}(X)) \in C(X, \pi_{RA}(X)) \right) \ge 1 - \alpha$$
Theoretische Rechtvaardiging:

• Minimax Optimaliteit: Theorem 2.1 stelt vast dat onder distributionele ambiguïteit (waarbij de ware distributie onbekend is maar aan PCC voldoet), de max-min regel $\pi_{RA}$ de minimax-optimale beslissingsregel is.
• Lossless Interface: Theorem 3.1 bewijst dat het optimaliseren van voorspellingssets onder PCC equivalent is aan het direct optimaliseren over beleidsregels en utiliteitscertificaten (RA-DPO). Zo dienen voorspellingssets als een "lossless interface" voor risico-averse counterfactuele beslissingen.
• Equivalentie met Universele Dekking: Theorem 3.2 toont aan dat optimaliseren onder PCC equivalent is aan optimaliseren onder een sterkere "universele dekking"-conditie (geldig voor elk beleid), hoewel PCC strikt zwakker en praktischer is voor het geïnduceerde beleid.

2.3 PC-RACP Algoritme

Om deze sets in eindige steekproeven te construeren, stellen de auteurs een twee-staps procedure voor:

1. Model Schatting & Beleidsleren:
   • Splits de data in trainings-, leer- en kalibratiesets.
   • Schat conditionele utiliteitskwantielen $\hat{\gamma}(x, t, a)$ en de optimale conditionele dekkingstoewijzingsregel $\hat{g}(x, \beta)$.
   • Gebruik de leerset om een voorlopige parameter $\hat{\beta}$ te vinden die aan een benaderde dekkingrestrictie voldoet, wat een vast max-min beleid $\hat{a}(\cdot)$ induceert.
2. Gewogen Conformal Kalibratie:
   • Fixeer het beleid $\hat{a}(\cdot)$ om de beslissingsregel te ontkoppelen van de dekkinggarantie.
   • Gebruik de kalibratieset (gefilterd op instanties waar de gelogde actie overeenkomt met $\hat{a}(X)$) om gewogen conformal prediction uit te voeren.
   • Corrigeer voor covariate shift met behulp van importance weights gebaseerd op het gedragsbeleid (behavior policy).
   • Construeer de uiteindelijke voorspellingssets $\hat{C}(x, a)$ zodat ze de PCC-garantie voor het geïnduceerde beleid $\hat{a}(\cdot)$ voldoen.

3. Belangrijkste Bijdragen

1. Nieuwe Validiteitsnotie: Identificatie van Policy-Coupled Coverage als de besluitvormingstheoretisch optimale interface tussen onzekerheid en actie in counterfactuele settings.
2. Theoretische Equivalentie: Bewijs dat het optimaliseren van voorspellingssets onder PCC equivalent is aan zowel universele dekking-optimalisatie als directe risico-averse beleidsoptimalisatie, waarmee voorspellingssets als een lossless interface worden gevestigd.
3. Expliciete Optimale Vorm: Afleiding van de expliciete vorm van populatie-optimale voorspellingssets (Theorem 3.4), die drempelgebaseerd zijn op conditionele utiliteitskwantielen.
4. Eindige Steekproef Procedure: Ontwikkeling van PC-RACP, een praktisch algoritme dat rigoureuze eindige-steekproef dekkinggaranties bereikt voor de gerealiseerde uitkomst onder het geïnduceerde beleid, zelfs wanneer het beleid uit data is geleerd.

4. Experimentele Resultaten

De auteurs valideren het raamwerk via simulaties en een real-world e-mailmarketingexperiment (Hillstrom dataset).

• Synthetische Simulaties:
  • Dekking: PC-RACP bereikt een empirische dekking die dicht bij de doelwaarde $1-\alpha$ ligt. In contrast hiermee valt een standaard Risk-Averse Conformal (RAC) methode (die de counterfactuele structuur negeert) onder de doelwaarde, en faalt een "Plug-in" baseline in het bieden van exacte dekking.
  • Utiliteit: PC-RACP behaalt consistent de hoogste gemiddelde utiliteitscertificaat over diverse miscoverages $\alpha$ heen, en presteert beter dan zowel RAC als de Plug-in baseline.
• Hillstrom E-mail Marketing Experiment:
  • Dekking: PC-RACP behoudt een dekking die dicht bij het nominale niveau ligt. RAC is overdreven conservatief (dekking ligt significant boven het doel).
  • Utiliteit: PC-RACP levert hogere utiliteit op.
  • Mechanisme van Winst: Analyse laat zien dat PC-RACP utiliteit wint in twee regimes:
    • Kleine $\alpha$: Door scherpere voorspellingssets te construeren (het verminderen van de frequentie van ambigue sets zoals $\{0, 1\}$) voor de dominante actie.
    • Grote $\alpha$: Door de actie met een hoge beloning (een e-mail verzenden) vaker te selecteren dan RAC, terwijl geldige dekking behouden blijft.

5. Betekenis en Claims

Het artikel claimt het eerste besluitvormingstheoretische raamwerk te bieden dat onzekerheidskwantificatie rigoureus verbindt met counterfactuele beslissingsoptimaliteit.

• Suboptimaliteit van het Negeren van Structuur: De auteurs demonstreren dat het negeren van de counterfactuele aard van het beslissingsprobleem (oftewel, het behandelen van uitkomsten als vast) suboptimaal is voor zowel statistische validiteit als beslissingsutiliteit.
• Beslissingsbewuste Onzekerheid: Het werk betoogt dat onzekerheidskwantificatie in counterfactuele problemen ontworpen moet worden rond de beslissingen die het ondersteunt. Policy-coupled coverage wordt gepresenteerd als een fundamentele stap naar een bredere theorie van beslissingsbewuste onzekerheidskwantificatie.
• Praktische Toepasbaarheid: De voorgestelde PC-RACP methode biedt een concrete, in eindige steekproeven geldige procedure voor beslissingen met hoge inzet waarbij acties uitkomsten beïnvloeden, waarmee de kloof tussen de theorie van conformal prediction en causale inferentie toepassingen wordt overbrugd.