Technische Samenvatting: Evaluatie van voorspellingsgebaseerde interventies met de menselijke besluitvormer in gedachten

Probleemstelling

Geautomatiseerde Beslissingssystemen (ADS) worden steeds vaker ingezet om menselijke besluitvorming te ondersteunen in cruciale contexten zoals strafrecht, gezondheidszorg en onderwijs. Terwijl onderzoek naar machine learning vaak gericht is op het evalueren van de voorspellende nauwkeurigheid van modellen tegenover benchmark-datasets, laten deze beoordelingen de complexe interactie tussen mensen en algoritmen ongemoeid. Specifiek vertrouwen huidige experimentele ontwerpen voor het evalueren van voorspellingsgebaseerde interventies op vereenvoudigende aannames over menselijke besluitvorming om causale schattingen af te leiden.

Het kernprobleem dat wordt geïdentificeerd, is dat specifieke keuzes in het experimentele ontwerp cognitieve vooroordelen kunnen induceren bij menselijke besluitvormers, wat de geobserveerde effectgroottes significant verandert. Bestaande paradigma's gaan vaak uit van een "geval-onafhankelijk" model waarbij de behandelingsstatus van één besluitonderwerp de andere niet beïnvloedt (in overeenstemming met de Stable Unit Treatment Value Assumption, of SUTVA). Dit artikel betoogt echter dat menselijke besluitvormers (bijv. rechters) interne staten bezitten die evolueren op basis van hun blootstelling aan algoritmische aanbevelingen, wat afhankelijkheden tussen besluitonderwerpen creëert die SUTVA schenden en leiden tot een vertekende schatting van het behandeleffect.

Methodologie

Theoretisch Kader

De auteurs stellen een nieuw causaal model voor van algoritme-ondersteunde menselijke besluitvorming dat expliciet rekening houdt met de interne staat van de besluitvormer. In tegenstelling tot het standaard geval-onafhankelijke model, indexeert dit kader beslissingen door zowel het besluitonderwerp ($i$) als de besluitvormer ($k$).

Het model introduceert twee latente variabelen:

1. $J_{i,k}$: De responsiviteit van rechter $k$ voor behandelunit $i$, representerend de waarschijnlijkheid dat de rechter de algoritmische aanbeveling opvolgt.
2. $\epsilon_{i,k}$: Een willekeurige variabele getrokken uit een Bernoulli-distributie met parameter $J_{i,k}$, die aangeeft of de rechter de aanbeveling naleeft.

De beslissingsfunctie $D_{i,k}$ wordt gedefinieerd als een functie van de standaardbeslissing van de rechter $\lambda_k(X_i)$ en de algoritmische aanbeveling $\bar{D}(\hat{Y}_i)$, gemoduleerd door de responsiviteit $J_{i,k}$.

Cognitieve Bias Modellen

Het artikel formaliseert drie specifieke modellen van cognitieve bias die de responsiviteit van de rechter ($J_{i,k}$) dynamisch en afhankelijk maken van experimentele ontwerpkeuzes:

1. Behandelingsblootstellingsmodel (Treatment Exposure Model): De responsiviteit neemt toe naarmate de gemiddelde blootstelling aan de voorspellende hulp toeneemt. Rechters kunnen vertrouwen op consistente informatie in plaats van protocollen voor elk geval aan te passen, wat leidt tot een hogere naleving na frequente blootstelling.
2. Capaciteitsbeperkingsmodel (Capacity Constraint Model): De responsiviteit neemt af naarmate de frequentie van positieve (hoog-risico) voorspellingen toeneemt. In situaties met hoge inzet kunnen besluitvormers een drempel bereiken waarbij ze minder responsief worden op verdere "hoog-risico" meldingen.
3. Laag Vertrouwen Model (Low Trust Model): De responsiviteit neemt af naarmate de geobserveerde foutmarge van het algoritme toeneemt. Als rechters gerealiseerde uitkomsten observeren en voorspellingsfouten detecteren (bijv. fout-positieven), nemen hun vertrouwen en daaropvolgende naleving af.

Experimentele Analyse

De auteurs bewijzen wiskundig dat onder deze modellen de beslissing $D_{i,k}$ niet onvoorwaardelijk onafhankelijk is van eerdere behandelingstoewijzingen $(Z_{1,k}, \dots, Z_{i-1,k})$ gegeven de huidige behandeling $Z_{i,k}$. Dit vormt een schending van SUTVA.

Om de praktische impact aan te tonen, vergelijkt het artikel twee randomisatie-schema's:

• Uniforme Randomisatie: Gevallen worden op individueel niveau gerandomiseerd (single-level), wat resulteert in gemengde behandelingsblootstelling voor elke rechter.
• Twee-niveau Randomisatie: Rechters worden gerandomiseerd naar behandelclusters (bijv. één rechter ziet 100% behandelde gevallen, een ander 0%), wat zorgt voor onderscheidende blootstellingsprofielen.

Semi-synthetische Experimenten

De auteurs valideren hun theoretische bevindingen met behulp van data uit een echte Randomized Control Trial (RCT) door Imai et al. [2020] met betrekking tot de Public Safety Assessment (PSA) risicoscores in Dane County, Wisconsin. Ze simuleren meerdere rechters en passen de drie bias-modellen toe om alternatieve beslissingssequenties te genereren. Ze observeren hoe het wijzigen van experimentele ontwerpkeuzes (behandelingsassignatie, model-drempelwaarden en nauwkeurigheid) de geschatte Average Treatment Effect (ATE) verandert.

Belangrijkste Bijdragen

1. Formalisering van Dynamische Responsiviteit: Het artikel gaat verder dan de aanname dat de responsiviteit van een rechter een statisch, inherent kenmerk is. Het formaliseert hoe responsiviteit een dynamische functie is van experimentele ontwerpkeuzes, specifiek de behandelingsassignatie ($Z$), de positieve voorspellingspercentages van het model ($P(\hat{Y}=1)$) en de correctheid van het model ($P(\hat{Y}=Y)$).
2. Bewijs van SUTVA-schending: De auteurs leveren wiskundige bewijzen dat de voorgestelde gedragsmodellen interferentie tussen besluitonderwerpen induceren, wat de SUTVA-aanname schendt. Dit maakt standaard estimators ongeldig die uitgaan van onafhankelijkheid.
3. Demonstratie van Schattingsbias: Het artikel toont aan dat standaard randomisatie-schema's (single-level) kunnen leiden tot een significante onderschatting of overschatting van de Average Treatment Effect (ATE), afhankelijk van het actieve bias-model. Bijvoorbeeld, onder het model voor behandelingsblootstelling leidt uniforme randomisatie tot een onderschatting van de ATE, terwijl het onder het capaciteitsbeperkingsmodel juist kan leiden tot een overschatting.
4. Empirische Simulatie: Met behulp van semi-synthetische experimenten gebaseerd op Imai et al. [2020], tonen de auteurs aan dat het wijzigen van ontwerpkeuzes (bijv. de verhouding van behandelde gevallen per rechter of de drempelwaarde van het algoritme) de causale effectschattingen met een factor 10 kan veranderen voor specifieke demografische subgroepen.

Resultaten

• SUTVA-schending: Theoretische analyse bevestigt dat wanneer de responsiviteit van de rechter afhangt van historische blootstelling, de behandelingsstatus van één geval de beslissing over opeenvolgende gevallen door dezelfde rechter beïnvloedt. Standaard permutatietests gebruikt in eerdere studies (zoals Imai et al., 2020) detecteren deze interferentie niet omdat ze de gemiddelde behandelingsproportie behouden, waardoor de volgorde van gevallen irrelevant is voor de teststatistiek.
• Richting van de Bias:
  • Behandelingsblootstelling: Uniforme randomisatie leidt tot een onderschatting van het behandeleffect vergeleken met twee-niveau randomisatie. Het gat wordt groter naarmate rechters gevoeliger worden voor eerdere blootstelling en de divergentie tussen de standaardbeslissing en de aanbevolen beslissing toeneemt.
  • Capaciteitsbeperking: Uniforme randomisatie leidt tot een overschatting van het behandeleffect. Het gat vergroot bij hogere positieve voorspellingspercentages.
  • Laag Vertrouwen: Een lagere algoritmische nauwkeurigheid leidt tot verminderde responsiviteit en een onderschatting van het behandeleffect, wat met name de maten van beslissingscorrectheid beïnvloedt.
• Simulatiebevindingen: In de semi-synthetische experimenten leidde het wijzigen van het behandelingsblootstellingsregime (bijv. het toewijzen van 100% van de gevallen aan een rechter versus 50%) tot substantiële afwijkingen in de gemeten ATE. Specifiek varieerde de geschatte causale effect op beslissingen voor niet-witte vrouwelijke subjecten met een factor 10, afhankelijk van het blootstellingsregime.

Betekenis en Claims

Het artikel claimt dat de wetenschappelijke validiteit van evaluatieschema's voor de inzet van ADS momenteel in gevaar komt door het negeren van de dynamische aard van menselijke besluitvorming. Door voorspellingsgebaseerde interventies te behandelen als geïsoleerde voorspellingsproblemen in plaats van beleidsinterventies, riskeren onderzoekers onjuiste conclusies te trekken over de effectiviteit van deze systemen.

De auteurs betogen dat toekomstige experimentele ontwerpen rekening moeten houden met de "mens-in-de-lus" als een dynamische actor wiens gedrag wordt gevormd door het experiment zelf. Ze suggeren dat:

• Standaard single-level randomisatie onvoldoende is om de causale impact van voorspellende systemen te schatten wanneer deze als volledige beleidsmaatregelen worden ingezet.
• Twee-niveau randomisatieontwerpen (randomisatie op het niveau van de besluitvormer) of multi-factor ontwerpen noodzakelijk zijn om het behandeleffect nauwkeurig te schatten in aanwezigheid van rechter-bias.
• De bevindingen zich uitstrekken buiten het strafrecht naar andere domeinen zoals de gezondheidszorg en het onderwijs, waar vergelijkbare cognitieve biases en interferentie-effecten waarschijnlijk aanwezig zijn.

Het werk dient als een oproep tot actie voor de onderzoeksgemeenschap om experimentele paradigma's te verfijnen zodat ze beter de realiteit van mens-algoritme interactie weerspiegelen, om zo te garanderen dat causale schattingen het werkelijke effect van voorspellende interventies op downstream-uitkomsten reflecteren.