Uncertainty-Aware Deep Learning for Genomics Applications: Insights from an Empirical Study
Dit artikel presenteert een empirische studie waarin Deep Ensembles, Bayesiaanse Neurale Netwerken en Monte Carlo dropout worden vergeleken voor onzekerheidskwantificatie in de genomica, waarbij wordt onthuld dat Bayesiaanse Neurale Netwerken superieur zijn voor het omgaan met klassenonbalans en out-of-distribution data, terwijl de bruikbaarheid van onzekerheidsscores voor het selecteren van hoogwaardige eiwit-RNA-interactievoorspellingen wordt aangetoond.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van vingerafdrukken kijk je naar de geheime code van het leven: DNA en RNA. Deze code vertelt onze cellen hoe ze eiwitten moeten bouwen, die fungeren als de piepkleine machines die ons lichaam laten functioneren. In de afgelopen jaren zijn superintelligente computerprogramma's, genaamd "deep learning", de sterdetectives geworden die deze genetische codes lezen om te voorspellen hoe eiwitten zich zullen gedragen. Ze zijn ongelooflijk snel en meestal erg goed in hun werk. Maar hier zit de adder onder het gras: soms zijn deze programma's zelfverzekerd wanneer ze eigenlijk ongelijk hebben, en weten ze niet altijd wanneer ze aan het gokken zijn.
Dit is waar "onzekerheidskwantificering" (uncertainty quantification) om de hoek komt kijken. Denk aan het computerprogramma dat je een "betrouwbaarheidsscore" geeft naast je antwoord. Het is als een weer-app die niet alleen zegt: "Het gaat regenen," maar ook toevoegt: "Ik ben voor 90% zeker," of "Ik ben slechts voor 40% zeker, dus neem voor de zekerheid misschien een paraplu mee." In de wereld van de biologie is het juist krijgen van deze betrouwbaarheidsscore een kwestie van leven of dood. Als een model wordt gebruikt om een ziekte te diagnosticeren of een nieuw medicijn te ontwerpen, moeten we weten wanneer we het kunnen vertrouwen en wanneer we het moeten controleren. Het probleem is dat biologie rommelig is. Data kunnen ruis bevatten, labels kunnen foutief zijn, en soms krijgt de computer de opdracht om een puzzel op te lossen die hij nog nooit eerder heeft gezien. Wetenschappers proberen erachter te komen welke methode voor het berekenen van deze betrouwbaarheidsscores het meest betrouwbaar is, maar het is een beetje een gokspel geweest.
Dit artikel is als een enorme, gecontroleerde wetenschapsbeurs waar de auteurs drie verschillende "betrouwbaarheids-calculators" op de proef hebben gesteld om te zien welke de beste detective voor genomics is. De drie kanshebbers zijn Deep Ensembles (een team van computers die stemmen over het antwoord), Bayesian Neural Networks (een enkele computer die een mentale lijst bijhoudt van alle mogelijkheden die hij ooit heeft overwogen), en MC-dropout (een computer die willekeurig met zijn ogen "knippert" tijdens het testen om te zien hoeveel zijn antwoord wiebelt). De onderzoekers keken niet alleen naar echte wereldgegevens; ze bouwden ook hun eigen "gesimuleerde" werelden waarin ze precies wisten wat de waarheid was, waardoor ze specifieke problemen konden introduceren zoals ontbrekende aanwijzingen of door elkaar gehusselde labels om te zien hoe elke calculator daarop reageerde.
De resultaten van dit empirische onderzoek zijn zeer onthullend. De auteurs ontdekten dat hoewel alle drie de methoden het juiste hoofdlantwoord kunnen krijgen, ze heel verschillend reageren wanneer de zaken rommelig worden. Het Bayesian Neural Network (BNN) kwam naar voren als de meest betrouwbare detective voor de specifieke uitdagingen van de biologie. Wanneer de data ongebalanceerd waren (zoals 100 aanwijzingen voor de ene verdachte maar slechts 5 voor een andere) of wanneer de computer werd geconfronteerd met data uit een compleet ander "universum" (zoals het testen van een op mensen getraind model op een virus), was de BNN de enige die consequent zijn hand opstak en zei: "Hé, ik weet dit niet zeker!" Het identificeerde correct dat het met onbekend terrein te maken had.
In tegenstelling hiertoe faalde de MC-dropout methode, die populair is omdat het goedkoop en gemakkelijk uit te voeren is, vaak om het alarm te slaan. In veel gevallen gaf het een betrouwbaarheidsscore van exact nul voor een groot deel van de data, waardoor het effectief stilviel op momenten dat het juist "Ik weet het niet!" had moeten roepen. De Deep Ensembles methode was een solide middenweg; deze stemde vaak overeen met de BNN, maar werd soms overmoedig bij ongebalanceerde data, waarbij het deed alsof het het antwoord wist terwijl dat niet zo was.
De studie toonde ook aan dat deze betrouwbaarheidsscores niet alleen theoretische getallen zijn; het zijn praktische hulpmiddelen. Door de betrouwbaarheidsscores van de BNN te gebruiken om de "gokjes" eruit te filteren, konden de onderzoekers de nauwkeurigheid van hun voorspellingen aanzienlijk verbeteren. Ze ontdekten dat wanneer ze de voorspellingen weggoiden waar de computer onzeker over was, de resterende antwoorden van veel hogere kwaliteit waren. Dit suggereert dat in de rommelige, ruisige wereld van de genomics, het gebruik van een Bayesiaanse aanpak de beste manier kan zijn om ervoor te zorgen dat wanneer een computer zegt dat hij er zeker van is, hij dat ook echt meent. Hoewel de BNN meer tijd en computerkracht vereist om te trainen, suggereert het artikel dat voor kritieke taken waarbij betrouwbaarheid essentieel is, die extra inspanning het waard is om niet misleid te worden door een zelfverzekerde maar onjuiste voorspelling.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.