Rotation, rescaling, or replacement? Decomposing organ adaptation in single-cell transformer representations

Stel je voor dat je een detective bent die probeert uit te zoeken hoe een superintelligente robot leert de wereld te begrijpen. In het vakgebied van de biologie bouwen wetenschappers deze robots—genaamd "transformers"—om de instructiehandleidingen binnen onze cellen te lezen. Deze handleidingen zijn geschreven in een taal van genen, en de robots worden getraind op enorme bibliotheken van celdata om te begrijpen hoe verschillende delen van het lichaam werken. De grote vraag is: wanneer we een robot iets leren over een specifiek orgaan, zoals een hersenen of een nier, leert hij dan simpelweg naar dezelfde oude feiten te kijken vanuit een nieuwe hoek, of herschrijft hij zijn hele begrip volledig? Dit is belangrijk omdat als de robot zijn blik slechts "roteert", we wat hij leert over hersenen gemakkelijk kunnen vertalen om de nieren te begrijpen. Maar als hij zijn hele wereldbeeld "vervangt", moeten we elke keer opnieuw beginnen wanneer we van orgaan wisselen.

Dit artikel onderzoekt precies dat mysterie met behulp van een speciale set van drie robotbreinen die zijn gecreëerd door het scGPT-project. De onderzoekers hadden een uniek voordeel: ze hadden drie versies van dezelfde robot, gebouwd met exact dezelfde blauwdrukken en uitgaande van exact dezelfde willekeurige "seed" van getallen. Het enige verschil was hun trainingsbibliotheek: de één las 33 miljoen cellen van het hele menselijke lichaam, één las 13,2 miljoen hersencellen, en één las 814.000 niercellen. Door deze drie te vergelijken, konden de auteurs precies zien wat de data de robots leerde versus wat gewoon willekeurige ruis was die overbleef van hun geboorte.

Het Grote "Wat Heb Je Geleerd?" Experiment

Beschouw deze drie AI-modellen als drie studenten die op dezelfde dag aan school begonnen, in dezelfde stoelen zaten, met dezelfde lege notitieblokken en dezelfde willekeurige krabbels in de marges (de "initialisatie").

• Student A las een enorme encyclopedie van 33 miljoen pagina's die elk deel van het menselijk lichaam beslaat.
• Student B las een dik tekstboek van 13,2 miljoen pagina's, maar alleen over de hersenen.
• Student C las een dun pamflet van 814.000 pagina's, maar alleen over de nier.

De onderzoekers wilden weten: toen Student B en Student C klaar waren met hun lezen, hadden ze dan alleen hun hoofd gekanteld om naar dezelfde feiten op een andere manier te kijken (een rotatie), of hadden ze de grootte van de woorden waar ze om geven aangepast (een rescaling)? Of hadden ze de oude feiten weggegooid en volledig nieuwe geschreven (een vervanging)?

De "Geest" in de Machine

Voordat ze de grote vraag beantwoordden, vonden de onderzoekers een spookachtige aanwijzing. Ze merkten op dat duizenden specifieke regels in de notitieblokken van alle drie de studenten bit-voor-bit identiek waren. Dit waren regels die geen enkele student ooit daadwerkelijk had gelezen of geleerd. Omdat de notitieblokken begonnen met willekeurige krabbels, en deze regels nooit veranderden, realiseerden de onderzoekers zich: "Aha! Alle drie de studenten begonnen met exact dezelfde willekeurige krabbels!"

Dit was een game-changer. Het betekende dat de onderzoekers precies wisten hoe "ruis" eruitzag. Ze konden een lijn in het zand trekken: alles onder die lijn was gewoon de oorspronkelijke willekeurige krabbels; alles boven die lijn was echt leren.

De Schokkende Resultaten: Het is Geen Rotatie, het is een Herschrijving

Zodra ze de willekeurige krabbels eruit filterden, was het antwoord op hun hoofdvraag duidelijk en verrassend.

1. De "Nier"-student heeft niet echt veel geleerd
De student die alleen het nierpamflet (814.000 cellen) las, veranderde zijn notitieblok nauwelijks. Van de 512 mogelijke richtingen die hij had kunnen leren, waren er slechts 12 werkelijk nieuw. De rest was gewoon de oorspronkelijke willekeurige krabbels. Het is alsof je een nieuwe taal probeert te leren door een enkel stripboek te lezen; je kent de taal nog niet echt. De onderzoekers vonden dat voor deze student het "leren" zo zwak was dat het grotendeels uit ruis bestond.

2. De "Hersenen"-student veranderde de kaart, niet alleen de hoek
De student die het hersentextboek (13,2 miljoen cellen) las, leerde wel meer—ongeveer 104 nieuwe richtingen. Maar hier komt de twist: hij heeft niet alleen de kaart geroteerd of de bestaande wegen groter gemaakt. Hij heeft de wegen vervangen.

De onderzoekers probeerden de kaart van de hersenstudent op de kaart van de hele-lichaam-student te passen met behulp van een "rotatie" (het draaien van de kaart) of een "rescaling" (het uitrekken van de kaart). Dat werkte niet goed.

• Een eenvoudige rotatie verklaarde minder dan 30% van de veranderingen.
• Zelfs het toevoegen van een "stretch" voor elke weg verklaarde slechts een klein beetje meer.
• Om de kaarten te laten matchen, moesten ze een complexe, rommelige lineaire kaart gebruiken die slechts ongeveer 57% van de veranderingen verklaarde.

Dit betekent dat wanneer de robot iets leert over een specif orga, hij niet alleen naar dezelfde biologische feiten kijkt vanuit een andere hoek. Hij verwerpt de meeste van de oude "assen" (de belangrijkste manieren waarop hij informatie organiseert) en schrijft nieuwe. De hersenstudent en de nierstudent spreken verschillende dialecten van dezelfde taal, niet alleen hetzelfde dialect met een ander accent.

3. Het "Midden" is waar de magie gebeurt
De onderzoekers keken ook naar waar in het brein van de robot het leren plaatsvond. Ze ontdekten dat het leren geconcentreerd was in de middelste lagen van het netwerk van de robot, specifiek in de delen die aandacht besteden aan verbindingen (attention) en de delen die informatie verwerken (feed-forward). De "normalisatie"-delen (die de robot stabiel houden) veranderden nauwelijks. Het is alsof de student de middelste hoofdstukken van hun tekstboek heeft herschreven, maar de inleiding en conclusie precies zo heeft gelaten als ze begonnen.

4. Richting is belangrijker dan Grootte
Toen de robot leerde over de hersenen versus de nier, vertelde de grootte van de verandering hen niet welk orgaan het was. Een gen dat veel veranderde, kon overal vandaan komen. Maar de richting van de verandering was een doodgive. Als een gen in een specifieke richting bewoog, was het bijna zeker een hersengen. Als het de tegenovergestelde kant op bewoog, was het een niergen. De robot leerde organen te herkennen door welke kant de informatie op verschoof, niet door hoeveel de informatie verschoof.

De Les voor Toekomstige Ontdekkingsreizigers

Het artikel biedt een paar zeer praktische regels voor iedereen die deze AI-robots wil gebruiken om biologie te begrijpen:

• Houd je aan de Generalist: Als je biologie wilt begrijpen, gebruik dan het model dat getraind is op het hele menselijke lichaam (het model van 33 miljoen cellen). Het heeft de meeste "geleerde" richtingen en de duidelijkste structuur.
• Ga er niet vanuit dat overdraagbaarheid bestaat: Je kunt niet simpelweg een ontdekking uit het "hersenen"-model toepassen op het "nier"-model door aan een knop te draaien. De interne kaarten zijn te verschillend. Als je de bevindingen van het hersenmodel voor de nieren wilt gebruiken, moet je ze vanaf nul opnieuw leren.
• Pas op voor kleine datasets: Als een model wordt getraind op minder dan ongeveer 10 miljoen cellen (zoals het nier-model in deze studie), heeft het misschien helemaal niets echt geleerd. Het kan simpelweg de eigen willekeurige beginkrabbels echoën. Voordat je een klein orgaan-specifiek model vertrouwt, moet je controleren of het daadwerkelijk iets heeft geleerd dat verder gaat dan de ruis.

Kortom, de robot draait niet alleen zijn hoofd om een nieuw orgaan te zien; hij moet een nieuw hoofd groeien. En als hij niet genoeg tijd heeft om te lezen (genoeg data), groeit hij misschien helemaal geen nieuw hoofd—hij staart dan gewoon glazig naar de willekeurige krabbels waarmee hij begon.