Task- and dataset-specific information in protein language models
Deze studie onthult dat de meest informatieve embeddings voor downstream-taken van proteïnelanguagemodellen vaak te vinden zijn in intermediaire lagen in plaats van de laatste laag, waarbij de optimale laag afhangt van de vraag of de taak individuele residuen, volledige proteïnen of kunstmatige sequenties betreft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je voor dat je een enorme, magische bibliotheek hebt waar elk boek een recept is voor het bouwen van een levende machine genaamd een eiwit. Jarenlang hebben wetenschappers geprobeerd computers te leren deze recepten te lezen en te begrijpen wat de machines doen. Om dit te doen, hebben ze "Protein Language Models" (PLM's) gebouwd. Denk aan deze modellen als superintelligente studenten die miljarden van deze eiwitrecepten hebben gelezen. Ze onthouden niet alleen de woorden; ze leren de verborgen grammatica en stijl van de taal. Nadat ze hun studie hebben voltooid, kunnen deze studenten een eiwitrecept omzetten in een geheime code (een "embedding") die andere computers kunnen gebruiken om dingen te voorspellen zoals: Zal dit eiwit licht geven? Zal het aan een virus plakken? Zal het oplossen in water?
Een lange tijd namen we aan dat het "slimste" deel van deze studentenmodellen zich aan het uiterste einde van hun brein bevond—de laatste laag. Het was alsof we ervan uitgingen dat nadat je een heel boek hebt gelezen, de laatste zin die je las de belangrijkste betekenis bevat. Maar wat als de meest nuttige aanwijzingen eigenlijk verborgen zitten in het midden van het boek, of zelfs in de eerste paar pagina's? Dit artikel stelt een eenvoudige maar lastige vraag: Waar in deze gigantische AI-hersenen vindt de echte magie plaats? Hebben we echt de allerlaatste laag nodig om de beste antwoorden te krijgen, of missen we iets belangrijks door de lagen daartussen te negeren?
De onderzoekers achter deze studie besloten een detective te spelen. Ze namen 13 verschillende eiwitlerende modellen en testten deze op 15 verschillende taken, variërend van het voorspellen van de stabiliteit van een eiwit tot het uitzoeken waar het zich in een cel bevindt. Ze keken niet alleen naar het uiteindelijke antwoord; ze keken in de modellen tijdens elke stap van hun denkproces, van de eerste laag tot de laatste.
Dit is wat ze ontdekten, en het blijkt dat de oude regel van "de laatste laag is de beste" grotendeels onjuist is.
Het Midden is Vaak het Zoete Punt
Wanneer de wetenschappers deze modellen testten op taken die betrekking hebben op volledige eiwitten (zoals het voorspellen of een eiwit oplosbaar is of waar het zich in een cel bevindt), ontdekten ze dat de allerlaatste laag zelden de winnaar was. In plaats daarvan was de "beste" laag meestal ergens in het midden—vaak tussen de 10e en 90e percentielen van de diepte van het model. Het is alsof de student het boek leest, het hoofdverhaal in de middelste hoofdstukken begrijpt, en vervolgens begint te raken in de war of zaken te veel gaat analyseren tegen de tijd dat hij de laatste pagina bereikt. Sterker nog, voor veel taken nam de prestatie zelfs af in de diepste lagen.
Het Hangt Af van Wat Je Vraagt
Het artikel vond dat de "beste" laag niet hetzelfde is voor elke taak. Het hangt sterk af van het type data dat je gebruikt:
- De "Mutant" Datasets: Wanneer de data afkomstig was van "Deep Mutational Scanning" (waarbij wetenschappers één specifiek eiwit nemen en duizenden heel kleine, licht veranderde versies ervan maken), werkten de modellen het best met de ondiepe, vroege lagen. Het lijkt erop dat de vroeende lagen uitstekend zijn in het spotten van kleine, lokale details, zoals hoe het veranderen van één letter in een woord de betekenis ervan verandert.
- De "Diverse" Datasets: Wanneer de data afkomstig was van een enorme mix van vele verschillende, ongerelateerde eiwitten (zoals een bibliotheek van duizenden verschillende boeken), werkten de modellen het best met de diepere lagen. Hier moet het model grote, algemene regels begrijpen die van toepassing zijn op veel verschillende eiwitten, wat meer "denkwerk" en diepere lagen vereist om te ontrafelen.
Het "Artificiële" Probleem
Een van de meest verrassende bevindingen ging over "artificiële" eiwitten. De onderzoekers testten de modellen op eiwitten die door computers waren ontworpen in plaats van gevonden in de natuur. De modellen hadden hier aanzienlijk moeite mee. Zelfs als de artificiële eiwitten functioneel waren, konden de modellen hun eigenschappen niet goed voorspellen. Dit suggereert dat deze AI-modellen hebben geleerd om de "taal" van de natuurlijke evolutie te begrijpen, maar ze hebben de "taal" van computerontworpen eiwitten nog niet helemaal onder de knie. Ze zijn vloeiend in het oude dialect, maar struikelen over het nieuwe jargon.
Waarom de Laatste Laag Niet Altijd Koning is
Het artikel legt uit dat dit komt door de manier waarop deze modellen worden getraind. Ze worden eerst getraind om ontbrekende woorden in een zin te raden (een taak die gericht is op kleine, lokale details). Wanneer je ze een grote, overkoepelende taak vraagt (zoals het voorspellen van de stabiliteit van een heel eiwit), probeert de allerlaatste laag nog steeds die taak van het raden van kleine woorden uit te voeren, wat in de weg zit. Echter, als je het model specif으로 "fine-tunt" voor een grote taak, dan beginnen de lagen beter in volgorde te werken, waarbij de laatste laag weer de meest nuttige wordt. Maar in de standaard, vooraf getrainde staat, houden de middelste lagen vaak de gouden informatie vast.
De Conclusie
Dit onderzoek suggereert dat wetenschappers niet blindelings de laatste laag van een eiwit-AI-model moeten pakken voor hun werk. In plaats daarvan moeten ze dieper in het "brein" van het model kijken om de specifieke laag te vinden die bij hun taak past. Als ze naar minuscule mutaties kijken, moeten ze naar de vroege lagen kijken. Als ze naar een diverse mix van eiwitten kijken, moeten ze dieper kijken. En als ze met computerontworpen eiwitten werken, moeten ze extra voorzichtig zijn, want de modellen begrijpen deze misschien niet zo goed als de creaties van de natuur zelf.
Kortom, dit artikel onthult dat deze AI-modellen complexe, gelaagde denkers zijn, en dat het "slimste" deel van hun brein verandert afhankelijk van de vraag die je stelt. De laatste pagina van het boek is niet altijd de belangrijkste pagina; soms ligt het beste antwoord gewoon in het midden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.