OOD Detection for EEG-based Machine Learning in High-Risk Environments
Dit artikel introduceert een benchmark voor EEG-gebaseerde out-of-distribution (OOD) detectie, evalueert diverse methoden over klinische downstream-taken, en demonstreert hoe het combineren van OOD-detectie met onzekerheidsschatting van modellen een robuust vangnet creëert voor het inzetten van EEG-modellen in omgevingen met een hoog risico.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het menselijk brein spreekt in elektriciteit. Kleine uitbarstingen van elektrische activiteit rimpelen over de hoofdhuid en dragen de complexe signalen van gedachte, beweging en sensatie over. Artsen en onderzoekers gebruiken al lang de elektro-encefalografie, of EEG, om naar deze taal te luisteren, waarbij sensoren op het hoofd worden geplaatst om deze patronen te registreren. In de afgelopen jaren hebben computerprogramma's die getraind zijn op deze gegevens veelbelovend gebleken; ze leren tekenen van epilepsie, slaapstoornissen of cognitieve achteruitgang met indrukwekkende snelheid te herkennen. Deze programma's zijn echter fragiel. Ze zijn als studenten die een tekstboek perfect hebben uit het hoofd geleerd, maar volledig falen wanneer er een vraag wordt gesteld die op een iets andere manier is geformuleerd. Als de gegevens die ze ontvangen afkomstig zijn van een ander ziekenhuis, een ander apparaat, of een patiënt met een unieke fysiologie die de computer nog nooit eerder heeft gezien, kan het programma niet alleen onzeker zijn; het kan vol vertrouwen een volkomen foutief antwoord geven. Dit is een gevaarlijk probleem in de geneeskunde, waar een zelfverzekerde fout kan leiden tot een gemiste diagnose of onnodige behandeling. De kernuitdaging is om deze systemen te leren herkennen wanneer ze buiten hun expertise vallen, om toe te geven wanneer de gegevens die ze zien vreemd zijn, en om opzij te stappen voor een menselijke expert voordat er een ramp gebeurt.
Een team van onderzoekers aan de Universiteit van Edinburgh zette zich af om dit specifieke probleem voor hersengolfanalyse op te lossen. Ze wilden weten of huidige computerprogramma's betrouwbaar het verschil kunnen zien tussen bekende en onbekende hersengolven, en of ze dat kunnen doen zonder de vreemde gegevens vooraf te hoeven zien. Om dit te testen, creëerden ze een rigoureus experiment met echte patiëntgegevens uit twee grote ziekenhuiscollecties. Ze namen normale hersengolfopnames en veranderden deze doelbewust op manieren die echte fouten en variaties in de praktijk nabootsen. Ze veranderden de snelheid waarmee de signalen werden opgenomen, husselden de volgorde van de sensoren op de hoofdhuid, en filterden specifieke frequenties weg, waardoor een breed scala aan "out-of-distribution" gegevens ontstond. Deze aangepaste opnames vertegenwoordigden de soort onverwachte verschuivingen die een computer in een druk klinisch milieu zou kunnen tegenkomen. De onderzoekers lieten vervolgens twee verschillende soorten computerprogramma's tegen deze uitdagingen strijden: één type dat simpelweg leerde om hersengolven als normaal of abnormaal te classificeren, en een ander type dat leerde de onderliggende structuur van de hersengolven zelf te begrijpen.
De resultaten toonden een scherp onderscheid tussen deze twee benaderingen. De programma's die uitsluitend vertrouwden op classificatie, wat de meest gebruikte types zijn vandaag de dag, faalden bijna volledig in het opsporen van de vreemde gegevens. Wanneer ze werden geconfronteerd met aangepaste hersengolven, bleven deze systemen voorspellingen doen met een hoge mate van vertrouwen, waarbij ze vaak niet in staat waren om de aangepaste gegevens van de echte gegevens te onderscheiden. Ze waren effectief blind voor het feit dat de input was veranderd. In contrast hiermee presteerden de programma's die ontworpen waren om de structuur van de gegevens te begrijpen opmerkelijk goed. Deze systemen, die een model bouwen van hoe "normale" hersenactiviteit eruitziet, konden gemakkelijk detecteren wanneer de input afweek van dat model. Eén specifieke methode, die controleert of de ruis in het signaal overeenkomt met wat het systeem verwacht, bleek de meest effectieve te zijn; deze identificeerde de aangepaste gegevens met hoge nauwkeurigheid, zelfs wanneer de veranderingen subtiel waren. Deze bevinding suggereert dat voor hersengolfanalyse het simpelweg trainen van een computer om gegevens te sorteren niet genoeg is; de computer moet ook de vorm van de gegevens begrijpen die hij sorteert.
De onderzoekers ontdekten echter dat het verhaal genuanceerder was dan een eenvoudige overwinning voor één zijde. Hoewel de structurele modellen uitstekend waren in het opsporen van onbekende gegevens, waren ze niet erg goed in het aangeven hoe zeker het computerprogramma moest zijn wanneer de gegevens bekend waren. Wanneer de hersengolven normaal waren, maar de casus moeilijk of ambigu was, gaven de structurele modellen niet aan dat de computer worstelde. De classificatiemodellen, ondanks hun falen bij het opsporen van de vreemde gegevens, waren juist wel heel goed in deze tweede taak. Ze konden aanvoelen wanneer een specifiek hersengolfpatroon verwarrend was, zelfs als dat patroon afkomstig was van een patiënt die ze eerder hadden gezien. Dit leidde de onderzoekers tot de cruciale conclusie dat de twee typen programma's verschillende zaken meten. De één meet of de gegevens nieuw en onbekend zijn, terwijl de andere meet hoe moeilijk de huidige taak is.
De meest significante bevinding van het onderzoek was dat deze twee capaciteiten geen rivalen zijn, maar partners. Door de twee benaderingen te combineren, creëerden de onderzoekers een vangnet dat veel sterker was dan elke methode alleen. In hun tests zetten ze een systeem op waarbij de computer alleen een diagnose zou stellen als het aan twee controles voldeed: eerst bevestigde het structurele model dat de gegevens bekend genoeg waren om op te vertrouwen, en ten tweede bevestigde het classificatiemodel dat het programma voldoende zeker was van zijn antwoord. Wanneer ze dit gecombineerde systeem testten, voorkwam het succesvol fouten bij zowel de vreemde, aangepaste gegevens als bij de moeilijke, bekende gevallen. Het systeem leerde zich terug te treken en de verantwoordelijkheid over te dragen aan een menselijke arts zodra aan een van beide voorwaarden werd voldaan. Deze aanpak biedt een praktisch pad voor het gebruik van kunstmatige intelligentie in medische omgevingen met een hoog risico. Het laat zien dat we, door het begrijpen van de beperkingen van wat verschillende computerprogramma's kunnen, en door hun sterke punten te combineren, systemen kunnen bouwen die niet alleen slim zijn, maar ook veilig en betrouwbaar genoeg om in echte ziekenhuizen te worden gebruikt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.