Technische Samenvatting: Eutopia Simuleren: Het Herbezoeken van Langetermijnrechtvaardigheid met Uitkomsten, Performativiteit en Dynamiek

1. Probleemstelling

Moderne AI-gestuurde Besluitvormers (ADMs), zoals kredietverstrekkers, opereren niet in passieve omgevingen. Hun beslissingen vormen actief het sociaaleconomische gedrag van de populaties die zij bedienen, een fenomeen dat bekend staat als performativiteit. Terwijl de bestaande literatuur over algoritmische rechtvaardigheid uitgebreid heeft gestudeerd op korte-termijnmetrieken (bijv. demografische pariteit op een enkel besluitpunt) en langetermijnrechtvaardigheid in statische omgevingen, negeert het grotendeels twee kritieke realiteiten van moderne ADMs:

1. Endogene Dynamiek: Het gedrag van de populatie (bijv. aanvraagpercentages, vermogensopbouw) verandert als reactie op het beleid van de ADM.
2. Uitkomst versus Voorspellingsbias: De meeste rechtvaardigheidsmetrieken richten zich op discrepanties in instantane voorspellingen in plaats van op downstream gelijkheid (bijv. de langetermijnverdeling van rijkdom).

Gevolgelijk kunnen lerende algoritmen die geoptimaliseerd zijn voor korte-termijnrechtvaardigheid of statische langetermijnrechtvaardigheid, onbedoeld structurele achterstanden versterken of er niet in slagen echte gelijkheid te bereiken wanneer ze in performatieve settings worden ingezet. Het artikel adresseert de vraag: Wat zijn de langetermijneffecten van performatieve interacties tussen AI-gestuurde besluitvormers en de menselijke samenleving in termen van zowel efficiëntie als rechtvaardigheid?

2. Methodologie

2.1 Formalisering: Performatieve MDP

De auteurs formaliseren het kredietverleningsprobleem als een Performatieve Markov-beslissingsproces (PeMDP). In tegenstelling tot standaard MDP's waar de transitiedynamiek exogeen is, zijn in een PeMDP de transitie- en beloningsfuncties reactief op het ingezette beleid $\pi$.

• Toestand (State): Omvat aanvragerkenmerken, groepslidmaatschap, gemiddeld vermogen van de groep, Hawkes-intensiteiten (aanvraagpercentages) en cumulatieve wanbetalingspercentages.
• Actie (Action): Binaire leningbeslissingen (goedkeuren/afwijzen) voor een batch aanvragers.
• Dynamiek:
  • Vermogenstransitie: Goedgekeurde leningen verhogen het vermogen van de lener indien terugbetaald, of resulteren in een verlies bij wanbetaling. Afgewezen aanvragers ervaren geen verandering in vermogen.
  • Aanvraagdynamiek: Gemodelleerd via een Hawkes-proces. De aankomstsnelheid van aanvragen voor een demografische groep is endogeen en reageert op geobserveerde goedkeuringspatronen en het huidige gemiddelde vermogen van de groep (wat het "Matthew-effect" vangt waarbij rijkere groepen vaker aanvragen).
• Doelstelling: De auteurs hanteren een gemiddelde-beloningscriterium ($V^\pi = \lim_{T \to \infty} \frac{1}{T} \mathbb{E}[\sum r_t]$) om te optimaliseren voor steady-state gedrag in plaats van gedisconteerde korte-termijnrendementen.

2.2 Simulatieomgeving: Eutopia

Om het gebrek aan testomgevingen voor performatieve rechtvaardigheid aan te pakken, hebben de auteurs Eutopia ontwikkeld, een lening-simulator.

• Kernkenmerk: Het is een continue omgeving waarin de toestand (vermogen, aanvraaggeschiedenis) persisteert over episodes heen, waardoor de performatieve feedbackloop in stand wordt gehouden.
• Componenten:
  • Hawkes Aankomstproces: Legt de temporele clustering van aanvragen vast die gedreven worden door groepsvermogen en eerdere goedkeuringen.
  • Vermogenstransitiemodel: Simuleert vermogensopbouw op basis van uitkomsten van leningterugbetalingen.
  • Selectieve Labels: Terugbetalingsuitkomsten worden alleen waargenomen voor goedgekeurde aanvragers, wat selectiebias simuleert.

2.3 Datageneratie: LOANLY

Om Eutopia met realistische data te vullen, hebben de auteurs LOANLY gecreëerd, een performatieve datagenerator.

• Basis: Gebouwd op de UCI Adult Income dataset om realistische demografische en economische heterogeniteit te waarborgen.
• Mechanisme: Genereert initieel vermogen, grondwaarheid over kredietwaardigheid en vaste financiële typen (leningsbedrag, kans op wanbetaling, vermogenswinst).
• Performativiteit: Codeert parameters die bepalen hoe de populatie in de loop van de tijd reageert op beslissingen, waardoor de studie naar hoe modeloutputs toekomstige data vormgeven, mogelijk wordt gemaakt.

2.4 Leeralgoritmen en Doelstellingen

De studie vergelijkt twee leerparadigma's:

1. Passieve RL (RL): Standaard Policy Gradient (REINFORCE) die de omgeving als statisch behandelt (negeert distributieverschuiving).
2. Performatieve RL (PERL): Performatieve Policy Gradient (PePG) die expliciet de afhankelijkheid van de transitieverdeling van de omgeving van het beleid modelleert.

Deze agenten worden geëvalueerd over verschillende Rechtvaardigheidsperspectieven (Uitkomst, Besluitvormer, Tweezijdig) en Nutfuncties (Utilitair, Sociaal Welvaart, Rawlsiaanse Max-Min, Fairness Lagrangian).

3. Belangrijkste Bijdragen

1. Eutopia Simulator: De eerste speciaal ontwikkelde simulator voor het testen van performatieve rechtvaardigheid in langetermijnkredietverlening, die zowel statische (MDP) als performatieve (PeMDP) modi ondersteunt voor directe vergelijking.
2. LOANLY Datagenerator: Een gestandaardiseerde pipeline voor het genereren van synthetische leningdatasets die performatieve dynamiek coderen, wat de studie naar hoe modeloutputs toekomstige data vormgeven mogelijk maakt zonder dat daarvoor propriëtaire financiële data nodig is.
3. Formeel Kader: Een formalisering van bankkredietverlening als een gemiddelde-belonings PeMDP, waarbij de feedbackloop tussen leningbeslissingen, vermogensopbouw en aanvraagpercentages expliciet wordt gemodelleerd.
4. Empirische Analyse: Een systematische evaluatie van hoe lerende modellen (statisch versus performatief) en de vormgeving van doelstellingen (rechtvaardigheidsbewust versus utilitair) de langetermijnefficiëntie en gelijkheid beïnvloeden.

4. Experimentele Resultaten

4.1 Leren met Performatieve Dynamiek Maakt Verschil

• PERL vs. RL: Leren met performatieve dynamiek (PERL) leidt consistent tot betere langetermijnefficiëntie en gelijkheid vergeleken met passieve RL (RL).
• Vermogensverschillen: PERL bereikt lagere vermogensverschillen en ongelijkheidsratio's dan RL over alle rechtvaardigheidsdoelstellingen heen. Zo verminderde PERL onder de Rawlsiaanse nutfunctie met uitkomstrechtvaardigheid het gemiddelde vermogensverschil tot 47,2 vergeleken met 49,1 voor RL.
• Sociale Welvaart: PERL bereikt uniform betere sociale welvaart dan RL, wat aangeeft dat het modelleren van de feedbackloop doorslaggevend is voor langetermijnimplementaties.

4.2 De Rol van Rechtvaardigheidsdoelstellingen

• Uitkomstrechtvaardigheid: Doelstellingen die gericht zijn op groepsvermogen (Uitkomstrechtvaardigheid) bereiken over het algemeen de beste balans tussen gelijkheid en winst. Specifiek leverde de Fairness Lagrangian (FL) onder uitkomstrechtvaardigheid de hoogste winst en sociale welvaart op voor PERL, terwijl een bijna-pariteit in ongelijkheidsratio's werd behouden ($\rho \approx 1,01$).
• Geen Universele Winnaar: Geen enkele nutfunctie domineert over alle metrieken (winst, vermogensverschil, sociale welvaart, ongelijkheidsratio). De keuze van het nut moet worden beschouwd als een beleidsbeslissing die reflecteert op regulatoire verplichtingen.
• Inclusiviteit: Training op basis van uitkomstrechtvaardigheid leidt tot een grotere inclusiviteit. De Fairness Lagrangian onder uitkomstrechtvaardigheid resulteerde in een meer evenredige verdeling van toegang tot leningen (reach rates) tussen demografische groepen vergeleken met utilitaire winstdoelstellingen.

4.3 Micro-niveau Analyse (Inclusiviteit en Diversiteit)

• Matthew-effect: Over alle configuraties heen nam de concentratie van leningen binnen groepen in de loop van de tijd toe (Lorenz-curves bewogen weg van gelijkheid).
• Beperkingen van DM-rechtvaardigheid: Besluitvormer (DM) rechtvaardigheid, die winstdispariteit per stap beperkt, faalde in het voorkomen van vermogensdivergentie tussen groepen. Dit resulteerde in de grootste vermogensverschillen.
• Trade-offs van Uitkomstrechtvaardigheid: Hoewel uitkomstrechtvaardigheid de vermogensverschillen tussen groepen verminderde, kon het soms de concentratie binnen groepen verergeren (leningen geconcentreerd bij de reeds rijken), met name onder de Sociale Welvaart en Fairness Lagrangian doelstellingen.
• Reach Rates: Strategieën die bewust zijn van de uitkomst behaalden hogere reach rates (fractie van unieke ontvangers) dan DM-rechtvaardigheid, hoewel dit gepaard ging met een scherpere concentratie binnen de groep.

5. Betekenis en Claims

Het artikel claimt dat leren met een adequaat model van populatiedynamiek (performativiteit) en goed ontworpen rechtvaardigheidsdoelstellingen geëvalueerd op sociale uitkomsten essentieel is voor het waarborgen van langetermijn-gelijkheid.

• Voorbij Statische Rechtvaardigheid: De studie toont aan dat statische rechtvaardigheidsrestricties of modellen die performatieve verschuivingen negeren, onvoldoende zijn voor langetermijn-gelijkheid. Statische beleidsregels (zoals eenstapsvoorspellers) kunnen direct winstgevend zijn, maar falen in het corrigeren van de vermogensverschillen die zij in de loop van de tijd induceren.
• Ontwerpkwesties Doen Er Toe: De keuze van het leeralgoritme (PERL vs. RL) en de rechtvaardigheidsdoelstelling (bijv. Uitkomst vs. DM rechtvaardigheid) interageren kwalitatief. Bijvoorbeeld: PERL presteert beter dan RL onder uitkomstrechtvaardigheid, maar RL kan beter presteren dan PERL onder tweezijdige rechtvaardigheid.
• Beleidsimplicaties: De resultaten suggereren dat het bereiken van langetermijn-gelijkheid een gezamenlijke overweging vereist van het vermogen van het leeralgoritme om feedbackloops te modelleren en de specifieke rechtvaardigheidsmetrieken die gebruikt worden om optimalisatie te sturen. Er is geen "gratis lunch"; verschillende doelstellingen geven prioriteit aan verschillende dimensies van rechtvaardigheid (bijv. gelijkheid tussen groepen versus inclusiviteit binnen groepen), en deze trade-offs moeten expliciet worden beheerd.

De auteurs concluderen dat hoewel hun simulator de echte wereld niet perfect nabootst, de niet-triviale en moeilijk te voorzien uitkomsten die voortvloeien uit de performatieve feedbackloops in Eutopia, de ontwikkeling van nieuwe algoritmische kaders motiveren die de veelzijdige aard van langetermijn-rechtvaardigheid erkennen.