Default-filled outcome labels in a deployed cognitive-screening programme: an operator-level audit and the construction of twenty-four language-model arms

In de stille hoekjes van gezondheidscentra in heel China wordt elke dag een enorme hoeveelheid gegevens gegenereerd. Inwoners komen langs om hun geheugen en denkvaardigheden te controleren, waarbij ze een reeks vragen over hun dagelijks leven beantwoorden en korte cognitieve tests voltooien. Deze antwoorden worden in een digitaal systeem vastgelegd, waardoor een enorme bibliotheek aan gezondheidsgegevens ontstaat. Jarenlang hebben onderzoekers gehoopt deze bibliotheek te gebruiken om computers te leren hoe ze vroege tekenen van cognitieve achteruitgang kunnen herkennen, zoals milde geheugenverlies of dementie, zonder dat daarvoor een gespecialiseerde arts nodig is om elk afzonderlijk bestand te beoordelen. Het idee is simpel: als een computer kan leren van duizenden routinematige records, zou het mensen die zorg nodig hebben veel sneller en goedkoper kunnen identificeren dan het huidige systeem. Er is echter een verborgen probleem met het gebruik van deze routinematige records. De mensen die de gegevens in het systeem typen, zijn niet altijd artsen; het zijn vaak medewerkers van de kliniek of vrijwilligers. De kwaliteit van de informatie die zij invoeren, kan sterk variëren afhankelijk van wie er typt, en soms worden de gegevens automatisch ingevuld zonder dat iemand daadwerkelijk de conditie van de patiënt heeft gecontroleerd. Dit creëert een situatie waarin de computer probeert te leren van een tekstboek dat veel fouten bevat, wat het moeilijk maakt om te weten of de computer daadwerkelijk de waarheid leert of alleen de fouten uit het hoofd leert.

Een team van onderzoekers besloot dit probleem rechtstreeks aan te pakken door te kijken naar een specifiek, grootschalig cognitief screeningsprogramma dat in de gemeenschap wordt uitgevoerd. In plaats van onmiddellijk een nieuw computermodel te bouwen, traden ze eerst op als auditors door de ruwe gegevens te onderzoeken om te zien wie de gegevens invoerde en hoe accuraat de invoer was. Ze ontdekten een opmerkelijk patroon: bijna veertig procent van de gehele database was ingevoerd door een kleine groep accounts die nooit één enkel geval van cognitieve beperking registreerde, ongeacht hoeveel patiënten ze verwerkten. Met andere woorden, deze accounts hadden waarschijnlijk voor iedereen simpelweg op een standaardknop voor "normaal" geklikt, ongeacht de werkelijke testresultaten. Dit was geen willekeurige ruis; het was een systematische fout die geconcentreerd was in specifieke gebruikersaccounts. De onderzoekers testten en ontgieerden de gedachte dat dit werd veroorzaakt door een computerfout die tijdstempels in bulk invulde, waarmee ze bevestigden dat het een menselijk gedragsprobleem was. Zodra ze deze problematische accounts hadden geïdentificeerd, verwijderden ze die gegevens om te zien wat er overbleef, wat onthulde dat het werkelijke percentage cognitieve beperkingen in het programma veel hoger was dan de ruwe cijfers suggereerden.

Met dit schoongemaakte begrip van de gegevens zetten de onderzoekers zich vervolgens af om te testen op vierentwintig verschillende manieren om een computer te trainen om de cognitieve status te voorspellen. Ze wilden zien of moderne kunstmatige intelligentie, specifiek grote taalmodellen, de bestaande eenvoudige computerprogramma's die door het gezondheidssysteem worden gebruikt, kon overtreffen. Het bestaande programma was een rechttoe rechtaan statistisch hulpmiddel dat naar een eenentwintig specifieke variabelen keek, zoals leeftijd, opleiding en testscores, om een voorspelling te doen. De onderzoekers bouwden een matrix van nieuwe modellen, variërend van kleine, lokaal geïnstalleerde computers tot enorme, krachtige systemen van kunstmatige intelligentie. Ze probeerden deze nieuwe modellen te trainen met de routinematige gegevens, met uitsluitend de geverifieerde diagnoses van specialisten, en zelfs met een combinatie van beide. Ze testten ook geavanceerde technieken zoals het laten "hardop denken" van de computer voordat deze antwoord geeft, of reinforcement learning, wat een methode is waarbij de computer leert door middel van vallen en opstaan om een beloning te maximaliseren.

De resultaten waren verrassend en duidelijk. Geen van de complexe modellen van kunstmatige intelligentie, wanneer getraind op de routinematige gegevens of zelfs op de kleine set specialistische diagnoses, slaagde erin het eenvoudige, bestaande statistische hulpmiddel te verslaan. Sterker nog, de geavanceerde technieken maakten de modellen vaak slechter. Bijvoorbeeld, toen de onderzoekers de modellen vroegen hun redenering stap voor stap uit te leggen, daalde de nauwkeurigheid. Wanneer ze reinforcement learning probeerden te gebruiken om de modellen te verfijnen op slechts enkele honderden specialistische gevallen, viel de prestatie aanzienlijk onder de eenvoudige baseline. De studie toonde aan dat het simpelweg hebben van een krachtigere computer of een complexere trainingsmethode geen betere resultaten garandeert als de gegevens gebrekkig zijn of als de trainingsset te klein is om het complexe systeem effectief te onderwijzen. Het eenvoudige hulpmiddel bleef de meest betrouwbare voorspeller omdat het goed gekalibreerd was en niet in de war werd gebracht door de ruis in de gegevens.

De onderzoekers vonden echter een weg vooruit die beter werkte dan wat dan ook. Ze gebruikten een krachtig, geavanceerd model van kunstmatige intelligentie, dat te duur en te traag was om direct in de klinieken te draaien, als een "leraar". Dit leraar-model bekeek de routinematige records en gaf ze een nieuwe, hoogwaardige label. De onderzoekers namen vervolgens een kleinere, lokale versie van het AI-model en leerden deze het model de antwoorden van de leraar na te bootsen. Dit proces, bekend als kennisdistillatie (knowledge distillation), stelde het kleine model in staat om van de expertise van de leraar te leren zonder dat het voor zijn eigen training de labels van specialistische artsen nodig had. Het resultaat was een klein, snel model dat op een standaardcomputer in een kliniek kon draaien, en dat zowel het eenvoudige statistische hulpmiddel als de leraar zelf met een kleine maar statistisch significante marge versloeg. Dit succes kwam voort uit het feit dat het kleine model in staat was om de kleine fouten die de leraar mogelijk maakte, uit te middelen, waardoor een stabielere en nauwkeurigere voorspeller ontstond.

De studie concludeert dat voordat men complexe systemen van kunstmatige intelligentie probeert te bouwen voor de gezondheidszorg, het essentieel is om eerst de gegevens te auditeren. De onderzoekers ontdekten dat veertig procent van de routinematige labels effectief nutteloos was omdat ze door specifieke accounts als standaardwaarden waren ingevuld, en dat trainen op deze gegevens geen voordeel bood. Ze toonden aan dat complexe methoden zoals reinforcement learning of het laten redeneren van de computer door problemen niet hielpen wanneer de gegevens ruisig waren of de specialistische voorbeelden te schaars waren. In plaats daarvan was de meest effectieve strategie om een krachtig, kant-en-klaar model van kunstmatige intelligentie te gebruiken als een labelingsinstrument om de routinematige gegevens op te schonen, en vervolgens die kennis te distilleren in een kleiner, inzetbaar model. Deze aanpak produceerde het meest nauwkeurige en betrouwbare systeem voor het identificeren van cognitieve beperkingen, wat bewees dat de beste manier om geavanceerde technologie te gebruiken soms niet is om het de uiteindelijke beslissing te laten nemen, maar om het een eenvoudiger, praktischer hulpmiddel te leren hoe het de taak correct moet uitvoeren.