Proxy reliance in large language model decisions is uncalibrated to predictive evidence

In de moderne wereld wordt er steeds vaker van algoritmen gevraagd om beslissingen met grote impact te nemen over mensen, van het bepalen wie een lening krijgt tot het beslissen welke patiënt in het ziekenhuis als eerste zorg nodig heeft. Wanneer deze systemen worden gebouwd met behulp van large language models—krachtige computerprogramma's die zijn getraind op enorme hoeveelheden tekst—wordt de vraag naar eerlijkheid ingewikkeld. De wet accepteert over het algemeen dat een besluitvormer informatie kan gebruiken als dat helpt bij het voorspellen van een goede uitkomst, zoals het gebruik van de bloeddruk van een patiënt om diens risico op een hartaanval te voorspellen. Het verbiedt echter het gebruik van informatie die slechts als vervanger dient voor een beschermd kenmerk, zoals ras of geslacht, zelfs als die informatie statistisch nuttig is. Dit staat bekend als proxy-discriminatie. De moeilijkheid ligt in het feit dat één enkel datapunt, zoals de woonwijk van een persoon, zowel een legitieme medische indicator als een verborgen signaal van diens ras kan zijn. Huidige methoden om te testen of een algoritme eerlijk is, vertrouwen vaak op een eenvoudige controle: als je de etniciteit van een persoon in de prompt van de computer verandert en de beslissing verandert, dan is het systeem bevooroordeeld. Maar deze aanpak mist de nuance van de werkelijkheid. Een rationele besluitvormer zou van mening veranderen als de nieuwe informatie daadwerkelijk nuttig is, en een systeem dat nooit van mening verandert, zou belangrijke bewijslast kunnen negeren in plaats van eerlijk te zijn.

Onderzoekers aan de Universiteit van Osaka zetten zich in om dit probleem op te lossen door verder te gaan dan eenvoudige ja-nee-controles en over te stappen op een nauwkeurigere meting van hoeveel een algoritme op bepaalde aanwijzingen moet vertrouwen. Ze creëerden een gesimuleerde wereld waarin ze de exacte waarheid wisten over elke patiënt en elke uitkomst, waardoor ze de perfecte mate van vertrouwen in elk gegeven stuk informatie konden berekenen. In deze gecontroleerde omgeving vroegen ze vier verschillende large language models om op te treden als triage-specialisten, waarbij ze paren van gesimuleerde patiënten rangschikten op basis van prioriteit voor behandeling. De patiënten werden beschreven door numerieke indicatoren, waarvan sommige legitieme medische signalen waren en andere "proxies" die correleerden met een verborgen beschermd kenmerk maar geen echte medische waarde hadden. De onderzoekers konden vervolgens het gedrag van de modellen vergelijken met een wiskundige standaard van wat een perfect rationele besluitvormer met dezelfde informatie zou doen.

De studie onthulde een schokkende discrepantie tussen de bewijslast die beschikbaar was voor de modellen en hoe zij die daadwerkelijk gebruikten. Wanneer de onderzoekers de modellen aanwijzingen gaven die absoluut geen voorspellende waarde hadden, vertrouwden de modellen er nog steeds op, waarbij ze nutteloze informatie behandelden alsof het ertoe deed. Dit gebeurde consistent bij alle vier de geteste modellen, ongeacht de aanbieder. Wanneer de aanwijzingen daadwerkelijk nuttig waren, pasten de modellen hun mate van vertrouwen niet aan om overeen te komen met de kracht van het bewijs. In plaats daarvan opereerden ze op een groot positief basisniveau van vertrouwen dat het bewijs ernstig ondertrachte naarmate de voorspellende waarde toenam. Met andere woorden, de modellen luisterden niet naar de data; ze volgden een rigide intern script dat de veranderende realiteit van de situatie negeerde. Dit betekent dat een systeem in één specifieke test eerlijk kan lijken, maar in een andere diep gebrekkig kan zijn, simpelweg omdat de test niet overeenkomt met de werkelijke omstandigheden waar het bewijs sterker of zwakker is.

De onderzoekers onderzochten ook of het veranderen van de namen van de gegevensvelden dit gedrag kon stoppen. Wanneer ze de proxy-aanwijzingen labelden met sociaal beladen termen zoals "woonwijk" of "beroep" in plaats van neutrale medische termen, verminderden de modellen hun vertrouwen in deze aanwijzingen. Dit leek op het eerste gezicht een veiligheidsfunctie. Echter, de studie vond dat deze onderdrukking fragiel was en gemakkelijk kon worden doorbroken. Wanneer de onderzoekers voorbeelden aan de prompt toevoegden om de modellen te helpen de taak te begrijpen—een veelvoorkomende praktijk in real-world toepassingen—begonnen de modellen onmiddellijk weer op de sociale labels te vertrouwen, waarbij ze het beschermende effect van de namen vaak volledig negeerden. De studie merkte echter op dat het contrast tussen sociale en neutrale labels standhield in drie van de zes gevallen waarin voorbeelden werden meegeleverd, wat aangeeft dat de onderdrukking niet volledig werd uitgewist maar aanzienlijk werd verzwakt. Dit suggereert dat de schijnbare veiligheid van deze modellen een oppervlakkige reactie is op specifieke formuleringen in plaats van een diep, betrouwbaar begrip van eerlijkheid. De modellen konden worden misleid tot oneerlijk gedrag door simpelweg de context te veranderen waarin ze gevraagd werden te werken.

Bovendien toonde de studie aan dat de nauwkeurigheid van de beslissing van een model geen betrouwbare indicator is van de vraag of het informatie eerlijk gebruikt. Een model kan de juiste keuze maken om de juiste redenen, of de verkeerde keuze maken om de verkeerde redenen, en toch met dezelfde score eindigen. In sommige gevallen zorgde het moeilijker maken van de taak door meer datapunten toe te voegen ervoor dat de modellen zwaarder op de oneerlijke proxies vertrouwden, terwijl het in andere gevallen de afhankelijkheid juist verminderde. Deze inconsistentie betekent dat het simpelweg controleren of een model accuraat is, ons niet vertelt of het discrimineert. De onderzoekers ontdekten dat de relatie tussen hoeveel datapunten een model ziet en hoe het deze gebruikt, volledig afhangt van hoe die datapunten met elkaar verbonden zijn, een factor die sterk varieert in medische gegevens uit de echte wereld.

Uiteindelijk demonstreert het werk dat de huidige methoden voor het auditen van kunstmatige intelligentie onvoldoende zijn voor de complexiteit van inzet in de echte wereld. De studie bewijst dat het zonder een bekende standaard van wat het bewijs rechtvaardigt, onmogelijk is om te bepalen of een model eerlijk is of simpelweg nuttige data negeert. De bevindingen suggereren dat de configuraties die er het veiligst uitzien—diegene die in eenvoudige tests het meeststandvastig lijken tegenover bias—vaak de minst representatieve zijn van hoe ze zich daadwerkelijk zullen gedragen in een ziekenhuis of een bank. Het onderzoek concludeert dat om deze systemen echt te begrijpen en te reguleren, we voorbij eenvoudige controles op bias moeten gaan en manieren moeten ontwikkelen om te meten of de afhankelijkheid van een algoritme van specifieke informatie overeenkomt met de werkelijke waarde van die informatie. Totdat we dat kunnen doen, riskeren we ofwel systemen te straffen voor het zijn van rationeel, of nog gevaarlijker, systemen te vertrouwen die stilletjes oneerlijke beslissingen nemen op basis van een fragiel begrip van de wereld.