Detecting Self-Repairs from Spontaneous Speech with Prompt Ablation Across LLMs and Fine-Tuned Encoder

De menselijke stem draagt meer dan alleen woorden; zij draagt het ritme van de gedachte. Wanneer we spreken, vooral wanneer we moe zijn, afgeleid of worstelen om het juiste woord te vinden, struikelen onze zinnen vaak. We beginnen misschien aan een frase, stoppen, en beginnen dan opnieuw met een andere. In het vakgebied van de cognitieve gezondheid staan deze momenten van aarzeling en correctie bekend als zelfreparaties (self-repairs). Decennialang hebben onderzoekers vermoed dat de frequentie en aard van deze zelfreparaties kunnen dienen als een subtiel venster naar de gezondheid van de hersenen, wat potentieel vroege stadia van cognitieve achteruitgang signaleert lang voordat er meer voor de hand liggende symptomen verschijnen. De uitdaging is altijd geweest dat deze correcties vluchtig en contextafhankelijk zijn; ze worden niet gedefinieerd door specifieke woorden, maar door hoe een spreker halverwege een zin van gedachten verandert. Het automatisch identificeren ervan in een opname is moeilijk omdat een computer de flow van een gesprek moet begrijpen, en niet alleen de woordenschat.

Een team onderzoekers aan de Universiteit van Pennsylvania zette zich in om dit probleem op te lossen door kunstmatige intelligentie te leren om deze zelfreparaties in spontane spraak op te merken. Ze richtten zich op een specifiek type spraakmonster waarbij individuen de 'Cookie Theft picture' beschrijven, een standaardtaak die wordt gebruikt om geheugen en taal te evalueren. Het doel was om te bepalen of moderne grote taalmodellen — krachtige computersystemen getraind op enorme hoeveelheden tekst — konden leren om deze correcties even nauwkeurig te detecteren als een menselijke expert, en of kleinere, minder dure computermodellen hetzelfde werk konden doen. De onderzoekers vergeleken twee zeer verschillende benaderingen: het gebruik van een massief, cloud-gebaseerd AI-model dat aanzienlijke rekenkracht vereist, en het gebruik van een veel kleiner, gespecialiseerd model dat potentieel op een lokaal apparaat kan draaien. Ze testten ook of het veranderen van de manier waarop ze de AI vroegen de taak uit te voeren, zoals het geven van een specifieke rol of het vragen om de redenering uit te leggen, de nauwkeurigheid zou verbeteren.

De studie toonde aan dat de grootte van het AI-model er aanzienlijk toe deed, maar niet op de manier die men zou verwachten. Het grootste model, een geavanceerd systeem dat via een beveiligde internetverbinding wordt geraadpleegd, bleek de meest nauwkeurige detector te zijn. Het identificeerde zelfreparaties correct in ongeveer 73 procent van de testgevallen, een prestatieniveau dat stabiel bleef, ongeacht hoe de onderzoekers hun instructies formuleerden. Dit best presterende model was grotendeids ongevoelig voor de specifieke details van de prompt, wat betekent dat het de correcties betrouwbaar kon vinden, of de instructies nu simpel of complex waren. In contrast hiermee worstelde een kleiner, open-source model dat bijna honderd keer minder rekenkracht kostte, aanzienlijk. Het slaagde erin om zelfreparaties in slechts ongeveer 47 procent van de gevallen te detecteren en was zeer gevoelig voor de manier waarop de instructies waren geschreven; het veranderen van de prompt kon het succespercentage drastisch veranderen. De onderzoekers ontdekten dat het simpelweg gedetailleerder maken van de instructies of het vragen aan het kleinere model om stap voor stap te "denken" voordat het antwoord geeft, niet hielp om het niveau van het grotere systeem in te halen. Sterker nog, het vragen aan het kleinere model om het probleem te redeneren, maakte het soms zelfs slechter, waardoor het te veel niet-reparaties als correcties markeerde.

Misschien wel de meest verrassende bevinding was dat een piepklein, gespecialiseerd computerprogramma, bekend als een fine-tuned encoder, net zo goed kon presteren als het veel grotere open-source model. Dit kleine programma, dat ontworpen is om efficiënt te zijn en op standaard hardware kan draaien, werd getraind op een specifieke dataset van spraakcorrecties. Wanneer het voldoende voorbeelden kreeg om van te leren, kwam het qua prestaties overeen met het grotere, duurdere open-source model, ondanks dat het bijna 100 keer kleiner was. Het is echter belangrijk op te merken dat hoewel dit kleine model overeenkwam met het open-source model, beide aanzienlijk werden overtroffen door het topniveau cloud-gebaseerde systeem. Dit suggereert dat voor deze specifieke medische taak de flessenhals niet de omvang van de computerhersenen is, maar de beschikbaarheid van hoogwaardige, geannoteerde voorbeelden van spraakcorrecties. De onderzoekers merkten op dat de prestaties van het kleine model aanzienlijk verbeterden wanneer het eerst werd getraind op een algemene dataset van conversationele spraak voordat het werd gespecialiseerd voor deze specifieke taak. Dit wijst erop dat de beperking ligt in de schaarste aan gelabelde data in plaats van in de capaciteit van het model zelf.

De studie bracht ook een subtiele fout aan het licht in de manier waarop deze AI-systemen langere zinnen afhandelen. Naarmate de lengte van een gesproken zin toenam, begonnen de kleinere modellen meer fouten te maken, waarbij ze normale herhalingen of pauzes onterecht als zelfreparaties identificeerden. Het grotere model leed niet zo ernstig onder dit probleem en behield een stabiel foutpercentage, ongeacht de lengte van de zin. Deze bevinding benadrukt dat hoewel de krachtigste modellen momenteel de meest betrouwbare zijn, zij ook aanzienlijke nadelen met zich meebrengen voor klinisch gebruik. Ze vereisen het versturen van patiëntgegevens naar externe servers, wat privacyzorgen oproept, en ze brengen voortdurende kosten met zich mee voor elk gebruik. De kleinere, lokaal inzetbare modellen bieden een weg voorwaarts voor privacy-bewarende instrumenten, maar vereisen momenteel meer trainingsdata om hetzelfde niveau van betrouwbaarheid te bereiken.

Uiteindelijk wijst het onderzoek naar een toekomst waarin cognitieve screeningsinstrumenten zowel accuraat als praktisch kunnen zijn. Het vermogen om zelfreparaties automatisch te detecteren is een veelbelovende stap naar het creëren van een uitgebreid systeem dat vroege tekenen van cognitieve achteruitgang signaleert. Hoewel de krachtigste AI-systemen momenteel de leiding hebben in nauwkeurigheid, suggereert de studie dat kleinere, lokaal draaiende modellen met meer data en betere training uiteindelijk hun prestaties kunnen evenaren. Dit zou artsen in staat stellen om deze instrumenten in een privé-omgeving te gebruiken zonder afhankelijk te zijn van externe clouddiensten, waardoor vroege detectie van cognitieve achteruitgang toegankelijker en veiliger wordt. Het werk bevestigt dat zelfreparaties een levensvatbaar signaal zijn voor het monitoren van de gezondheid van de hersenen, en het schetst een duidelijke weg naar de integratie van deze detectie in de routineuze klinische zorg, mits de juiste databronnen worden ontwikkeld om de volgende generatie efficiënte, lokale modellen te trainen.