Mind the Gap: Optimal and Equitable Encouragement Policies

1. Probleemstelling

In veel consequente domeinen (zoals gezondheidszorg, sociale zekerheid en justitie) kunnen beleidsmakers individuen niet dwingen tot een bepaalde behandeling (bijvoorbeeld het nemen van medicijnen of het deelnemen aan een programma). In plaats daarvan kunnen ze alleen aanmoediging of aanbevelingen geven (bijvoorbeeld herinneringen, nudges of risicoscores). Dit creëert een discrepantie tussen de toewijzing van een aanmoediging en de daadwerkelijke behandelingsopname (take-up) door de individu.

De kernproblemen zijn:

• Niet-naleving (Non-adherence): Individuen negeren vaak aanbevelingen.
• Meervoudige doelstellingen: Beleidsmakers moeten niet alleen de uiteindelijke uitkomsten maximaliseren (bijv. gezondheid of werkgelegenheid), maar ook rekening houden met eerlijkheid (fairness) in de toegang tot behandeling en de lasten die aanmoediging met zich meebrengt.
• Verkeerde focus: Traditionele optimalisatiemethoden richten zich vaak op de "Intention-to-Treat" (ITT) effecten of op de aanbevelingsratio's zelf, wat kan leiden tot onbedoelde ongelijkheden in de daadwerkelijke toegang tot behandeling, vooral als groepen verschillend reageren op aanmoediging.

2. Methodologie

De auteur introduceert een raamwerk voor gepersonaliseerde besluitvorming waarbij de planner controle heeft over de aanmoediging ($R$), niet over de behandeling ($T$) zelf.

Kernmodellerende aannames:

• Exclusierestrictie (No Direct Effect): Aanmoediging beïnvloedt het eindresultaat ($Y$) alleen via het effect op de behandeling-opname ($T$). Er is geen direct effect van de aanmoediging op de uitkomst.
• Decompositie van de "Encouragement Score": De waarde van een aanmoediging wordt ontbonden in twee componenten:
  1. Responsiviteit (Compliance): Hoe waarschijnlijk is het dat een individu de behandeling opneemt als ze wordt aangespoord? ($\kappa(x, a)$).
  2. Behandelingsefficacy: Hoe groot is het effect van de behandeling op de uitkomst voor dat individu? ($\tau(x, a)$).
  • De totale score is het product: $s(x, a) = \kappa(x, a) \cdot \tau(x, a)$.

Optimalisatie en Fairness:

• Het doel is om een beleid $\pi$ te vinden dat de verwachte uitkomst maximaliseert onder budgetbeperkingen en eerlijkheidsbeperkingen.
• Eerlijkheidsdoel: In plaats van eerlijkheid te eisen in de aanbevelingsratio's, eist de auteur eerlijkheid in de behandelingsopname (take-up). Dit is de natuurlijke target omdat de planner de opname indirect beïnvloedt.
• Audit-stroom: De methologie stelt een "audit-to-remedy" workflow voor: eerst analyseren of ongelijkheden worden veroorzaakt door verschillen in behandelingseffectiviteit of door verschillen in responsiviteit op aanmoediging. Deze twee vereisen verschillende operationele oplossingen.

Statistische Schatting en Robuustheid:

• Doubly Robust Estimators: Er worden schatters gebruikt die consistent blijven als ofwel het model voor de aanmoediging of het model voor de uitkomst correct is gespecificeerd.
• Robuuste Extrapolatie: Voor scenario's met algoritmische aanbevelingen (waarbij de "overlap"-aanname kan worden geschonden omdat algoritmes deterministisch zijn), wordt een robuuste benadering ontwikkeld. Door de decompositie hoeft men alleen de responsiviteit op aanmoediging te extrapoleren (wat vaak monotoon of glad is), in plaats van het complexe uitkomstmodel. Dit maakt de robuustheid minder conservatief.
• Tweestaps-algoritme: Om de variabiliteit in de schattingen te beheersen en eerlijkheidsbeperkingen strikter te handhaven in steekproeven, wordt een tweestapsprocedure voorgesteld. Eerst wordt een kandidaat-beleid geschat, waarna een tweede stap de beperkingen verfijnt met variatie-gebaseerde slacks (slacks) om overfitting te voorkomen.

3. Belangrijkste Bijdragen

1. Conceptueel Kader: Het onderscheid tussen aanmoediging en behandeling wordt expliciet gemaakt als een fundamenteel probleem in causale inferentie en beleidsontwerp. Het toont aan dat eerlijkheid moet worden gemeten op basis van daadwerkelijke opname, niet op basis van aanbevelingen.
2. Decompositie-analyse: De paper biedt een methodologie om ongelijkheden te diagnosticeren: komen ze voort uit verschillen in wie baat heeft bij de behandeling (efficacy) of uit verschillen in wie reageert op de aanmoediging (responsiviteit)?
3. Tractabele Karakterisatie: Onder de exclusierestrictie kunnen optimale beleidsregels worden gekarakteriseerd als drempelregels op een specifieke "encouragement score", zelfs onder budget- en eerlijkheidsbeperkingen.
4. Robuustheid bij Algoritmische Advies: De methode vermindert de conservatisme van robuuste optimalisatie door alleen de responsiviteit op aanmoediging te beschermen tegen onzekerheid, in plaats van het volledige uitkomstmodel.
5. Tweestaps Variatie-regularisatie: Een nieuw algoritme dat de prestaties van beleidsleer verbetert door variatie te reguleren, wat leidt tot betere controle van eerlijkheidsbeperkingen in eindige steekproeven.

4. Resultaten en Case Studies

De methoden worden getest op twee real-world datasets:

A. SNAP-hercertificering (Voedselbonnen):

• Context: Tekstberichten als herinnering om een interview te doen voor het behoud van voedselbonnen.
• Vindst: Naïeve targeting (gebaseerd op ITT) creëert grote ongelijkheden tussen witte en niet-witte ontvangers.
• Oorzaak: De ongelijkheid wordt voornamelijk gedreven door verschillen in responsiviteit (niet-witte ontvangers reageren minder op de herinnering, waarschijnlijk door administratieve barrières), niet door verschillen in de behandelingseffectiviteit.
• Oplossing: Het apart analyseren van opname en efficacy toont aan dat operationele redesign (bijv. betere navigatiehulp) nodig is, in plaats van het veranderen van de behandeling zelf. Gepersonaliseerde targeting kan de uitkomsten verbeteren, maar de "toegangsgap" blijft bestaan zonder extra ondersteuning.

B. Voorlopige vrijlating met elektronisch toezicht (Pretrial Supervised Release):

• Context: Algoritmische risicoscores (PSA-DMF) die rechters adviseren over elektronisch toezicht.
• Vindst: Er zijn dispariteiten in hoe rechters reageren op algoritmische aanbevelingen, zelfs bij gelijke risicoprofielen.
• Oplossing: Door lokale aanpassingen aan interpreteerbare scorekaarten (gebaseerd op FTA en NCA scores) en het toepassen van robuuste extrapolatie, kan de ongelijkheid in toezicht (bijv. tussen etnische groepen) aanzienlijk worden verminderd (van ~5.7% naar ~2.2%) met een verwaarloosbaar verlies in de doelstelling (verminderen van het niet-verschijnen in de rechtbank).
• Signaal: Zelfs kostenminimaliserende scorekaarten zonder expliciete fairnesstraining kunnen ongelijkheden verminderen ten opzichte van de status quo, mits ze robuust zijn tegen onzekerheid.

5. Betekenis en Conclusie

De paper benadrukt dat in een wereld waar "nudges" en algoritmische adviezen steeds vaker worden gebruikt, beleidsmakers niet kunnen volstaan met het optimaliseren van aanbevelingen.

• Operationeel: Het is cruciaal om te begrijpen waarom ongelijkheden ontstaan. Als ze door responsiviteit worden veroorzaakt, zijn oplossingen gericht op toegang en administratieve lasten nodig. Als ze door efficacy worden veroorzaakt, moet de behandeling zelf worden aangepast.
• Methodologisch: Het bieden van een raamwerk dat zowel causaliteit (via instrumentele variabelen-achtige logica) als eerlijkheid combineert, biedt een praktische route voor het ontwerpen van eerlijke en effectieve beleidsregels in complexe, mens-in-de-lus systemen.
• Praktisch: De voorgestelde tweestapsmethode en de focus op "take-up" als eerlijkheidsdoel stellen organisaties in staat om algoritmen te auditeren en lokaal te verbeteren zonder de algehele efficiëntie te offeren.

Kortom, de paper levert een brug tussen causale inferentie, operationeel onderzoek en algoritmische eerlijkheid, met als kernboodschap: meet en optimaliseer op basis van wat mensen doen (opname), niet alleen op basis van wat je zegt (aanbeveling).