Learning to Decide with AI Assistance under Human-Alignment

Technische Samenvatting: Leren beslissen met AI-ondersteuning onder menselijke uitlijning

Probleemformulering
Dit artikel behandelt de uitdaging van het leren van optimale beleidsregels voor beslissingen in domeinen met hoge risico's, waarbij menselijke besluitvormers worden bijgestaan door AI-modellen. De setting wordt gedefinieerd door binaire voorspellingen en binaire beslissingen. Bij elke interactie $t$ observeert een besluitvormer een kenmerkvector $(x, v)$, een voorspelling $\hat{y}$ van een classifier, en het vertrouwen $b \in B$ van de classifier (waarbij $B \subseteq [0, 1]$). De besluitvormer beschikt ook over een persoonlijk vertrouwen $h \in H$ met betrekking tot het label $y=1$, waarbij $H$ een eindige, totaal geordende discrete verzameling is. Het doel is een beleidsregel $\pi(h, b) \in \{0, 1\}$ te leren die de verwachte nuttigheid $u(a, y)$ maximaliseert, gegeven dat de nuttigheid hoger is wanneer de beslissing $a$ overeenkomt met het ware label $y$.

De kernmoeilijkheid ligt in het onvermogen van de besluitvormer om vertrouwen effectief te moduleren op basis uitsluitend van het door de AI gecommuniceerde vertrouwen. Eerdere werken (Corvelo Benz en Gomez-Rodriguez, 2023, 2025) suggereren dat de mate van "uitlijning" tussen het vertrouwen van de AI en het vertrouwen van de mens de nuttigheid van AI-ondersteunde besluitvorming significant beïnvloedt. De mate waarin deze uitlijning echter de complexiteit beïnvloedt van het leren van een optimale beleidsregel door middel van herhaalde interacties, bleef tot nu toe onopgehelderd.

Methodologie en theoretisch kader
De auteurs kaderen het probleem van het leren om te beslissen met AI-ondersteuning als een online contextueel leerprobleem met twee armen en volledige feedback.

• Context: Het paar vertrouwenswaarden $(h_t, b_t)$.
• Armen: De binaire beslissingen $a \in \{0, 1\}$.
• Feedback: Volledige feedback is beschikbaar omdat, gegeven het label $y_t$, de besluitvormer de nuttigheid voor beide mogelijke acties kan berekenen.

Het artikel stelt een ondergrens vast voor de verwachte regret voor elke leerder in het algemene geval (zonder uitlijning aan te nemen) en analyseert vervolgens de complexiteit onder de aanname van perfecte uitlijning. Perfecte uitlijning wordt zo gedefinieerd dat voor elke $h < h'$ en $b < b'$, de conditionele waarschijnlijkheid $P(Y=1 | H=h, B=b)$ niet-stijgend is met betrekking tot de vertrouwensniveaus.

Belangrijkste bijdragen en resultaten

1. Algemene ondergrens:
   De auteurs bewijzen dat zonder uitlijningsaannames de verwachte regret $E[R(T)]$ voor elke leerder ondergrensd is door $\Omega(\sqrt{|H| \cdot |B| \cdot T})$. Dit geeft aan dat de complexiteit van het leren schaalt met het product van de grootte van de menselijke en AI-vertrouwensverzamelingen.

2. Regretreductie onder perfecte uitlijning:
   Onder de aanname van perfecte uitlijning wordt aangetoond dat de optimale beleidsregel $\pi^*$ een drempelfunctie is over het AI-vertrouwen $b$, waarbij de drempel $b^*(h)$ afhangt van het menselijke vertrouwen $h$.

   • Algoritme: De auteurs stellen een online leeralgoritme voor (Algoritme 1) dat deze drempels leert. Het behandelt het probleem als $|H|$ onafhankelijke multi-armed bandit-problemen (één voor elk menselijk vertrouwensniveau), waarbij de "armen" de kandidaat-drempels in $B$ zijn.
   • Regretgrens 1: Met behulp van de ongelijkheid van Dvoretzky-Kiefer-Wolfowitz (DKW) om schattingsfouten uniform over drempels te begrenzen, bereikt het algoritme een verwachte regret van $O(\sqrt{|H| \cdot T \log T})$. Opmerkelijk is dat deze grens onafhankelijk is van de grootte van de AI-vertrouwensverzameling $|B|$.
   • Regretgrens 2: Wanneer $\sqrt{|H|} = O(\log T)$ en $B$ aftelbaar is, leiden de auteurs een niet-triviale generalisatie van de DKW-ongelijkheid af voor drempelbeleid. Dit maakt het mogelijk het probleem te herformuleren als het leren van één enkele functie $\ell: H \to B$ in plaats van $|H|$ onafhankelijke drempels. Dit verbetert de regretgrens tot $O(\sqrt{T} \log T)$, waardoor de afhankelijkheid van zowel $|H|$ als $|B|$ wordt verwijderd.

3. Robuustheid tegen imperfecte uitlijning:
   Het artikel toont theoretisch aan dat, indien perfecte uitlijning niet geldt, de mate van misalignement (gemeten door Maximum Alignment Error, MAE) de kloof begrenst tussen de nuttigheid van de geleerde beleidsregel en de optimale beleidsregel. Specifiek is de geleerde beleidsregel bijna-optimaal, waarbij de prestatiekloof lineair schaalt met de MAE.

Experimentele validatie
De theoretische bevindingen worden gevalideerd met behulp van echte data uit twee studies met menselijke proefpersonen:

• Human-Alignment Dataset (Corvelo Benz en Gomez-Rodriguez, 2025): Deelnemers voorspelden uitkomsten in een kaartspel met variërende graden van AI-menselijke vertrouwensuitlijning over verschillende groepen.
• Human-AI Interactions Dataset (Vodrahalli et al., 2022a): Deelnemers voerden binaire classificatietaken uit (Kunst, Sarkasme, Steden, Volkstelling) met AI-ondersteuning.

Resultaten:

• Het voorgestelde algoritme (Algoritme 1) behaalde consistent een lagere empirische gemiddelde regret vergeleken met een standaard contextueel online leer-baseline (Algoritme 2) over alle groepen en taken, met uitzondering van de taak 'Volkstelling' waarbij de monotonie werd geschonden.
• De resultaten bevestigen dat zelfs wanneer perfecte uitlijning niet strikt aanwezig is, de aanname van perfecte uitlijning betere prestaties oplevert dan het niet maken van een dergelijke aanname, mits een zwakker concept van uitlijning (monotonie van $P(Y=1|H, B)$ met betrekking tot $B$) geldt.

Betekenis
Het artikel stelt dat uitlijning tussen AI- en menselijk vertrouwen de complexiteit van het leren om beslissingen te nemen met AI-ondersteuning fundamenteel kan reduceren. Door gebruik te maken van de structurele eigenschappen die door uitlijning worden veroorzaakt (specifiek, de aard van de optimale beleidsregel als drempelfunctie), kunnen leerders aanzienlijk strakkere regretgrenzen bereiken die onafhankelijk zijn van de granulariteit van de vertrouwensoutput van de AI. Dit suggereert dat het ontwerpen van AI-systemen met vertrouwensmetrieken die zijn uitgelijnd met menselijke intuïtie niet slechts een gebruiksgemakkenis is, maar een mechanisme om het leren van optimale beleidsregels in herhaalde interacties te versnellen.