Condence, Calibration, and Abstention in Small Open-Weight Language Models on Psychiatric Knowledge Questions: A Cross-Domain Replication
Deze pilotstudie toont aan dat kleine, open-weight taalmodellen toegepast op psychiatrische kennisvragen een slechte vertrouwenskalibratie, domeinafhankelijke nauwkeurigheidsrangschikkingen vertonen, en dat het aansturen van deze modellen om het antwoord te weigeren de prestaties vaak verslechtert in plaats van verbetert wanneer ze worden geëvalueerd met rigoureuze gepaarde statistieken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de stille hoekjes van de moderne geneeskunde komt een nieuw soort instrument op de markt: kleine, zelfstandige computerprogramma's die in staat zijn om menselijke gezondheid te lezen en vragen daarover te beantwoorden. In tegenstelling tot de enorme, cloud-gebaseerde systemen die krachtige internetverbindingen vereisen en zorgen baren over privacy, kunnen deze kleinere modellen op een enkele lokale computer draaien, waardoor gevoelige patiëntgegevens buiten het internet blijven. Deze capaciteit heeft hoop gewekt voor hun gebruik in de psychiatrie, een vakgebied waar artsen vaak vertrouwen op subjectieve rapportages in plaats van op bloedtesten of scans om beslissingen te nemen. Er blijft echter een kritische vraag over voor elk hulpmiddel dat medisch advies biedt: weet het wanneer het het fout heeft? Als een computerprogramma zelfverzekerd maar onjuist is, kunnen de gevolgen ernstig zijn. Onderzoekers bestuderen al lang of deze systemen hun eigen zekerheid accuraat kunnen inschatten, maar het grootste deel van dat werk heeft zich gericht op enorme, propriëtaire systemen of algemene medische kennis. Het specifieke gedrag van kleinere, lokaal draaiende modellen wanneer zij worden geconfronteerd met de genuanceerde, subjectieve vragen van de psychiatrie, is een mysterie gebleven.
Een recente pilotstudie zette zich in om dit gat te vullen door vier verschillende kleine taalmodellen te testen op een specifieke set van 150 meerkeuzevragen over psychiatrische kennis. De onderzoekers wilden zien of deze modellen niet alleen vragen correct konden beantwoorden, maar ook konden herkennen wanneer ze zouden moeten zeggen: "Ik weet het niet." Ze vergeleken de prestaties van de modellen op deze psychiatrische vragen met hun prestaties op algemene medische vragen om te zien of de rangschikking van welk model het "beste" was, hetzelfde bleef. De studie onderzocht ook een veelvoorkomend veiligheidsconcept: dat het een model de optie geven om te onthouden van het beantwoorden wanneer het zich onzeker voelt, het automatisch veiliger en nauwkeuriger zou maken. Het team voerde deze tests volledig uit op een lokale werkstation, waardoor er geen gegevens de machine verlieten, en gebruikte strikte statistische methoden om de resultaten te vergelijken vóór en na de modellen de mogelijkheid gaven om vragen over te slaan.
De resultaten toonden aan dat het landschap van deze kleine modellen veel complexer is dan een eenvoudige lijst van "beste" en "slechtste" prestaties. Wanneer de modellen werden getest op algemene medische kennis, rangschikte één specifiek model derde van de vier. Echter, toen ditzelfde model werd geconfronteerd met de psychiatrische vragen, daalde de prestatie aanzienlijk en eindigde het op de laatste plaats. Dit suggereert dat de vaardigheid van een model geen vaststaand kenmerk is dat gemakkelijk overdraagbaar is van de ene medische specialisatie naar de andere; wat goed werkt voor de algemene geneeskunde, werkt niet noodzakelijkerwijs goed voor de psychiatrie. Bovendien stelde de studie vast dat de modellen consequent overmoedig waren. Gemiddeld beweerden ze 90 tot 95 procent zeker te zijn van hun antwoorden, terwijl hun werkelijke nauwkeurigheid slechts varieerde tussen de 57 en 75 procent. Deze kloof tussen de geuite zekerheid en de werkelijke juistheid was veel groter dan wat bij grotere, commerciële systemen wordt waargenomen.
Misschien wel de meest verrassende bevinding betrof het idee om de modellen vragen te laten overslaan waarvan ze niet zeker waren. Een eenvoudige blik op de vragen die de modellen kozen te beantwoorden, suggereerde dat het overslaan de scores voor sommigen van hen zou kunnen verbeteren. Echter, toen de onderzoekers naar exact dezelfde vragen keken onder beide condities — gedwongen om te antwoorden versus de mogelijkheid om over te slaan — vonden zij een ander verhaal. Voor drie van de vier modellen leidde de mogelijkheid om over te slaan niet tot een echte verbetering van de nauwkeurigheid. Sterker nog, voor het best presterende model zorgde de beslissing om over te slaan er zelfs voor dat het vragen miste die het correct zou hebben beantwoord als het gedwongen was om te proberen. Het model met het beste vermogen om de eigen zekerheid te rangschikken, slaagde er nog steeds niet in om dit vermogen te gebruiken om slimme keuzes te maken over wanneer te stoppen.
Het enige model dat een duidelijke verandering vertoonde wanneer het de mogelijkheid kreeg om vragen over te slaan, was het kleinste model, en de verandering was negatief. Wanneer dit minuscule model de optie kreeg om "Ik weet het niet" te zeggen, daalde de algehele nauwkeurigheid aanzienlijk. Dit resultaat was geen toeval; het weerspiegelde een vergelijkbare daling die werd gevonden in een aparte test op algemene medische vragen, wat wijst op een specifieke zwakte in hoe dit specifieke kleine model met onzekerheid omgaat. De studie concludeert dat het simpelweg toevoegen van een "Ik weet het niet"-optie geen magische veiligheidsschakelaar is. Voor deze kleine, lokale modellen is de instructie om af te zien van een antwoord niet in staat om fouten betrouwbaar te filteren en kan het de prestaties soms zelfs verslechteren. De onderzoekers benadrukken dat deze bevindingen specifiek zijn voor deze kleine groep modellen en dit type examenvragen, en dienen als een hypothese voor toekomstige, grotere studies in plaats van een definitieve regel voor klinisch gebruik. De belangrijkste les is dat in de wereld van kleine, lokale AI, zelfvertrouwen vaak een illusie is, en het vermogen om te weten wanneer te stoppen, niet gegarandeerd is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.