Language Models Reproduce Human Reductionist Bias and Decision Inconsistency in Neurodevelopmental Disorders Assessment

In de complexe wereld van de geestelijke gezondheidszorg staan artsen en psychologen vaak voor een moeilijke taak: bepalen of de toestand van een persoon ernstig genoeg is om in aanmerking te komen voor overheidssteun. Dit gaat niet alleen over het diagnosticeren van een ziekte; het gaat over het beoordelen van de mate waarin een persoon in staat is om het eigen leven te beheersen. In veel plaatsen bepaalt dit oordeel of een gezin geld krijgt voor zorg, gespecialiseerde huisvesting of het recht om een ouder thuis te laten blijven om te helpen. De beslissing hangt af van een specifieke vraag: kan deze persoon zelfstandig leven, of heeft diegene constante hulp nodig bij de basisbehoeften? Voor mensen met neurodevelopmentale condities zoals autisme of ADHD is het antwoord zelden eenvoudig. Hun strijd kan onzichtbaar zijn in een dokterskamer, maar overweldigend in de echte wereld. Omdat deze beslissingen zoveel gewicht in de schaal leggen, is er een groeiende hoop dat kunstmatige intelligentie zou kunnen helpen om ze eerlijker en consistenter te maken. Large language models, de krachtige computerprogramma's die kunnen schrijven en redeneren, worden getest om te zien of ze als onpartijdige rechters kunnen optreden. Maar voordat we hen vertrouwen met dergelijke belangrijke keuzes, moeten we begrijpen hoe zij de wereld zien. Interpreteren zij menselijke behoeften op dezelfde manier als mensen dat doen, of missen zij de subtiele, sociale aspecten van een leven die onafhankelijkheid mogelijk maken?

Een team van onderzoekers in Polen zette zich in om dit te testen door zowel menselijke experts als kunstmatige intelligentie door een reeks strenge proeven te leiden. Ze verzamelden vijfendertig menselijke professionals, een mix van achttien artsen en zeventien psychologen, die regelmatig werken in commissies voor arbeidsongeschiktheidsbeoordeling. Dit zijn de commissies die beslissen wie steun krijgt. Om hen eerlijk te vergelijken, selecteerden de onderzoekers ook zeven verschillende large language models van vooraanstaande technologiebedrijven. Het doel was om te zien of de machines dezelfde fouten zouden maken als de mensen, of dat ze een nieuw soort vooroordeel met zich mee zouden brengen. De onderzoekers ontwierpen een studie die naar drie specifieke zaken keek: of de besluitvormers konden worden misleid door de volgorde van informatie of door een misleidende foto, hoe nederig ze waren over hun eigen kennis, en, het belangrijkste, hoe zij de term "basislevensbehoeften" definieerden.

Het experiment begon met een reeks fictieve casestudy's. De menselijke experts en de computermodellen kregen de opdracht om beschrijvingen van mensen met verschillende condities te lezen en vervolgens twee vragen te beantwoorden. Eerst moesten ze beoordelen hoe goed de persoon functioneerde. Daarna moesten ze beslissen of die persoon constante zorg of ondersteuning nodig had om zelfstandig te kunnen leven. Om te testen of de besluitvormers gemakkelijk werden beïnvloed door irrelevante details, speelden de onderzoekers een paar trucjes. In sommige gevallen plaatsten ze alle negatieve informatie over de problemen van een persoon helemaal aan het begin van het verhaal, in de hoop dat de lezer zou blijven hangen bij die eerste slechte indrukken. In andere gevallen voegden ze een foto toe van een persoon die verdrietig of bedrukt keek aan een verhaal dat verder identiek was aan een verhaal met een neutrale foto. Ze wilden zien of het zien van een verdrietig gezicht de experts ertoe zou brengen meer steun toe te kennen, zelfs als de tekst zei dat de persoon het goed deed.

De resultaten van deze trucjes waren verrassend consistent over beide groepen. Zowel de menselijke experts als de kunstmatige intelligentiemodellen vertoonden geen significante verandering in hun beslissingen op basis van de volgorde van de tekst of de emotie in de foto. Beide groepen leken deze afleidingen te negeren en zich te concentreren op de kernfeiten van de casus. Dit was een opluchting, wat suggereerde dat de modellen niet gemakkelijk werden misleid door dezelfde visuele of tekstuele aanwijzingen die een mens in de war zouden kunnen brengen. Echter, toen de onderzoekers dieper in de werkelijke beslissingen keken, kwam er een ander soort probleem aan het licht. Ze ontdekten dat noch de mensen, noch de machines erg consistent waren in hun logica. Een persoon kon worden beoordeeld als een "significant beperkt" niveau van functioneren, en toch kreeg diezelfde persoon mogelijk niet de steun die nodig was. Omgekeerd kon iemand met een "gemiddeld" functioneren toch hulp krijgen. De beoordeling van hoe goed iemand functioneerde, voorspelde niet betrouwbaar of zij de steun zouden krijgen. Deze inconsistentie bestond in zowel de menselijke artsen als de computermodellen, wat suggereerde dat de sprong van het beschrijven van een probleem naar het verlenen van een oplossing een rommelig, menselijk proces is dat de machines ook hebben overgenomen.

Misschien wel het meest onthullende deel van de studie kwam toen de onderzoekers de deelnemers vroegen om hun denken toe te lichten. Ze vroegen de mensen en de machines om te definiëren wat "basislevensbehoeften" eigenlijk betekende. Hier verscheen een duidelijk onderscheid. De menselijke psychologen hadden de neiging een brede visie te hebben. Zij inclusieerden emotioneel welzijn, het vermogen om te communiceren en sociale verbinding als essentiële onderdelen van een basisleven. Als een persoon niet met anderen kon praten of sociale signalen niet kon begrijpen, zagen de psychologen dat als een falen om aan een basisbehoefte te voldoen. De menselijke artsen namen echter een nauwer standpunt in. Zij richtten zich bijna volledig op fysiek overleven: het vermogen om te eten, aan te kleden, te lopen en naar het toilet te gaan. De kunstmatige intelligentiemodellen sloten verrassend genoeg aan bij de artsen. Zij definieerden basisbehoeften bijna uitsluitend in termen van biologisch overleven en zelfzorg. Ze noemden zelden communicatie of sociale interactie, tenzij dit direct gekoppeld was aan fysieke veiligheid.

Dit verschil in definitie had een directe impact op de uiteindelijke beslissingen. Omdat de psychologen sociale en communicatieve problemen opnamen in hun definitie van "basisbehoeften", waren zij veel eerder geneigd om steun toe te kennen aan de fictieve patiënten. De artsen en de kunstmatige intelligentiemodellen, die vasthielden aan een strikte biologische checklist, verleenden minder vaak steun. Hoewel de modellen beweerden zeer nederig te zijn over hun kennis — ze scoorden hoger op een test van intellectuele nederigheid dan de menselijke artsen — maakte deze nederigheid hun beslissingen niet consistenter of beter afgestemd op de menselijke experts. Sterker nog, de hoge scores van de modellen op nederigheid leken een oppervlakkige eigenschap te zijn, een manier van spreken die niet vertaalde naar een dieper begrip van menselijke complexiteit. De machines waren bereid om te zeggen dat ze er naast konden zitten, maar ze opereerden nog steeds binnen een nauw biologisch kader dat de sociale realiteit van de mensen die zij beoordeelden, miste.

De studie concludeert dat hoewel kunstmatige intelligentie misschien goed is in het negeren van eenvoudige trucjes zoals een verdrietige foto of een verwarrende zinsvolgorde, het nog niet klaar is om de menselijke oordeelsvorming in deze gevoelige gebieden te vervangen. De modellen reproduceren een reductionistische kijk op het menselijk leven, een kijk die fysieke onafhankelijkheid belangrijker vindt dan sociale en communicatieve verbinding. Door zich alleen te richten op het vermogen van het lichaam om te functioneren, riskeren de machines steun te weigeren aan mensen wier grootste strijd zich afspeelt op het gebied van interactie en begrip. De onderzoekers suggereren dat voor kunstmatige intelligentie werkelijk nuttig te zijn in de geestelijke gezondheidszorg en bij de beoordeling van arbeidsongeschiktheid, het moet worden geleerd om de hele persoon te zien, en niet alleen de biologische machine. Totdat de technologie de volledige zwaarte kan vatten van wat het betekent om een menselijk leven te leiden, zal het vertrouwen op deze technologie voor dergelijke beslissingen simpelweg dezelfde nauwe perspectieven versterken die het werk van menselijke experts al zo lang compliceren.