In Other Words: Learning When to Trust Generated Protein Function Descriptions

Cellen zijn de fundamentele eenheden van het leven, en binnen elke cel verrichten piepkleine machines, genaamd eiwitten, het zware werk. Ze bouwen structuren, dragen signalen over en drijven de chemische reacties aan die een organisme in leven houden. Decennialang hebben wetenschappers het chemische recept voor deze machines gekend — de sequentie van aminozuren waaruit ze bestaan — maar het kennen van het recept onthult niet altijd wat de machine daadwerkelijk doet. Hoewel een klein deel van de bekende eiwitten zorgvuldig is bestudeerd en beschreven door menselijke experts, blijven de overgrote meerderheid een mysterie. Voor deze onbekende eiwitten hebben wetenschappers vertrouwd op computers om hun functie te raden door ze te vergelijken met bekende eiwitten, maar deze methode faalt vaak wanneer het nieuwe eiwit anders is dan alles in de database. Het probleem is niet alleen een gebrek aan data, maar een gebrek aan vertrouwen; wanneer een computer een beschrijving schrijft, is er geen manier om te weten of het een briljant inzicht of een zelfverzekende hallucinatie is.

Een team onderzoekers van Emory University en een partnerinstelling in Polen heeft een nieuwe aanpak ontwikkeld om dit specifieke probleem van vertrouwen op te lossen. Ze creëerden een systeem genaamd ProtTale, dat vrije tekstbeschrijvingen genereert van wat een eiwit doet, net zoals een mens dat in een biologiehandboek zou schrijven. De echte innovatie ligt echter niet in het schrijven zelf, maar in een tweede component die fungeert als een rechter. Dit systeem produceert niet alleen een antwoord; het berekent een betrouwbaarheidsscore voor dat antwoord, waardoor de gebruiker precies weet hoeveel vertrouwen hij in de beschrijving moet stellen. De onderzoekers ontdekten dat hoewel hun nieuwe methode niet perfect is in het voorspellen van elke functie, het opmerkelijk goed is in weten wanneer het gelijk heeft en wanneer het aan het gissen is. Door de voorspellingen met een laag vertrouwen eruit te filteren, waren ze in staat de nauwkeurigheid van de beschrijvingen voor kortere eiwitten te verdubbelen, waardoor een stroom van onzekere gissingen werd omgezet in een betrouwbare set feiten.

De kern van de moeilijkheid in dit veld is dat eiwitfunctie complex en contextafhankelijk is. Traditionele computermethoden proberen deze beschrijvingen in rigide categorieën te dwingen, zoals het plaatsen van een eiwit in een specifieke box op een schema. Hoewel dit de consistentie bewaart, mist het vaak de nuance van hoe een eiwit daadwerkelijk werkt. Nieuwere kunstmatige intelligentiemodellen hebben geleerd om in natuurlijke taal te schrijven, wat flexibelere en expressievere beschrijvingen biedt. Maar deze vrijheid komt met een prijs: een vloeiende zin kan overtuigend klinken, zelfs als het volkomen onjuist is. Er was geen standaardmanier om te meten of twee verschillende tekstbeschrijvingen hetzelfde betekenen, waardoor wetenschappers geen manier hadden om te verifiëren of de computer de functie van het eiwit werkelijk begrepen of alleen de biologische taal had nagebootst.

Om dit aan te pakken, bouwden de onderzoekers een "rechter" met behulp van een groot taalmodel, een type kunstmatige intelligentie dat getraind is om de kwaliteit van tekst te evalueren. In plaats van te controleren op eenvoudige woordoverlap, vergelijkt deze rechter de door de computer gegenereerde beschrijving met de bekende, door experts geschreven beschrijving van een eiwit om te zien of ze dezelfde functie beschrijven. De rechter wijst een label toe: een zelfverzekerde match, een zelfverzekerde mismatch, of iets ertussenin. De onderzoekers testten dit systeem op duizenden eiwitten en vonden dat de rechter zeer consistent en conservatief was; hij gaf alleen een "match" wanneer de functies werkelijk equivalent waren. Deze rechter werd vervolgens de leraar voor het hoofdmodel, ProtTale.

ProtTale werd in twee fasen getraind. Eerst leerde het patronen in eiwitsequenties te herkennen die suggereerden dat ze een gedeelde functie hadden, gebruikmakend van een enorme database van miljoenen eiwitten. Daarna leerde het tekstbeschrijvingen te genereren op basis van die patronen. Cruciaal was dat het model ook leerde zijn eigen betrouwbaarheid te voorspellen. Het leerde te kijken naar de eiwitsequentie en de waarschijnlijkheid in te schatten dat zijn eigen beschrijving de test van de rechter zou doorstaan. Dit resulteerde in een score, die de auteurs pJay noemen, die fungeert als een betrouwbaarheidsmeter. Een hoge score betekent dat het model waarschijnlijk correct is; een lage score betekent dat het model waarschijnlijk aan het gissen is.

Wanneer de onderzoekers ProtTale testten op een set eiwitten die het model nog nooit eerder had gezien, ontdekten ze dat het qua ruwe nauwkeurigheid net zo goed presteerde als andere toonaangevende methoden. De belangrijkste verschillen zaten echter in de details. Terwijl andere methoden over sommige eiwitten gelijk hadden en over andere ongelijk, was ProtTale over een andere set eiwitten juist wel correct. Belangrijker nog was dat de betrouwbaarheidsscore fungeerde als een krachtig filter. Toen de onderzoekers de voorspellingen met lage scores negeerden en alleen naar de voorspellingen met hoge scores keken, steeg de nauwkeurigheid van de beschrijvingen aanzienlijk. Voor korte eiwitten werd de precisie bijna verdubbeld. Dit betekent dat voor de eiwitten waarbij het model zich zelfverzekerd voelde, de beschrijving bijna zeker correct was.

De studie onthulde ook dat de betrouwbaarheidsscore niet alleen een reflectie was van de interne staat van het model, maar een intrinsieke eigenschap van het eiwit zelf. Eiwitten die gemakkelijker te begrijpen zijn vanaf hun sequentie alleen, ontvingen hogere scores, terwijl degenen die structureel complex of uniek waren, lagere scores ontvingen. De onderzoekers valideerden dit door een menselijke expert, die niet op de hoogte was van de betrouwbaarheidsscores, een selectie van de voorspellingen te laten beoordelen. De beoordelingen van de expert stemden nauw overeen met het vertrouwen van het model: wanneer het model aangaf dat het onzeker was, vond de mens de beschrijving zwak, en wanneer het model zelfverzekerd was, vond de mens de beschrijving accuraat.

Dit werk suggereert een nieuwe standaard voor hoe we kunstmatige intelligentie in de biologie gebruiken. Het doel is niet noodzakelijkerwijs om het model elke keer gelijk te laten hebben, wat gezien de complexiteit van het leven misschien onmogelijk is, maar om het model eerlijk te laten zijn over wanneer het het wél weet. Door een generatieve beschrijving te koppelen aan een geleerd vertrouwenssignaal, kunnen wetenschappers deze tools eindelijk gebruiken om de "donkere" delen van de eiwitwereld te annoteren — het enorme aantal eiwitten die nog nooit zijn bestudeerd. De onderzoekers betogen dat dit vermogen om te zeggen "ik weet het niet" net zo waardevol is als het vermogen om te zeggen "ik weet het", omdat het experimentele onderzoekers in staat stelt hun tijd en middelen te richten op de voorspellingen waarop ze daadwerkelijk kunnen vertrouwen.