VINTER: a generative vision-language model for annotating and interrogating spatial tissues

Weefsels zijn niet alleen platte kaarten van cellen; het zijn complexe, driedimensionale buurten waar de identiteit van een enkele cel sterk afhangt van wie er naast woont. In het menselijk lichaam wordt de functie van een cel vaak bepaald door de directe omgeving, vergelijkbaar met hoe de rol van een persoon in een gemeenschap verandert op basis van de mensen met wie zij dagelijks interageren. Decennialang hebben wetenschappers geprobeerd deze buurten op een enkele, verenigde manier te lezen. Ze konden het weefsel onder een microscoop bekijken om de vorm en structuur te zien, of ze konden de chemische signalen binnen de cellen meten om hun activiteit te begrijpen, maar het gelijktijdig doen van beide is moeilijk geweest. Traditionele methoden dwingen vaak tot een keuze: ofwel beschrijf je het weefsel aan de hand van het visuele uiterlijk, ofwel aan de hand van de moleculaire signatuur, waarbij ze zelden de mogelijkheid bieden dat de twee elkaar in real time kunnen spreплиken. Deze scheiding laat een gat achter in het begrip van hoe de fysieke lay-out van een tumor of een orgaan het gedrag van de cellen daarin beïnvloedt.

Een nieuwe benadering genaamd VINTER heeft als doel dit gat te dichten door het weefsel te behandelen als één enkel, leesbaar verhaal. De onderzoekers ontwikkelden een computermodel dat een afbeelding van een weefselmonster kan bekijken, de lijst met actieve genen binnen een specifieke plek kan lezen, en tegelijkertijd de genactiviteit van de zes omliggende plekken kan overwegen. In plaats van de computer te dwingen te kiezen tussen het beeld en de genen, leest het model alle drie de bronnen — de visuele structuur, de lokale genen en de buurtcontext — als één continue sequentie van informatie. Dit stelt het systeem in staat om een beslissing te nemen over wat voor soort weefsel het bekijkt, terwijl het ook een verslag bijhoudt van precies welke stukken bewijs tot die conclusie hebben geleid. Omdat de genetische informatie wordt gepresenteerd als een lijst met namen in plaats van abstracte getallen, kunnen de onderzoekers de input bewerken, waarbij ze specifieke genen verwijderen of herschikken om te zien hoe de beslissing van het model verandert. Dit verandert het proces van weefselidentificatie van een statisch label naar een interactieve ondervraging, waarbij wetenschappers "wat als"-vragen kunnen stellen over de samenstelling van het weefsel.

Het team testte dit systeem op een verscheidenheid aan biologische uitdagingen, beginnend met de menselijke hersenen. Ze vroegen het model om de verschillende lagen van de cerebrale cortex te identificeren, een taak waarbij het bestaande methoden die uitsluitend op gengegevens of beeldgegevens vertrouwen, overtrof. Het model bereikte een hoog niveau van nauwheid en identificeerde de corticale lagen in het overgrote deel van de gevallen correct. Belangrijker nog was dat het systeem een opmerkelijk vermogen toonde om zijn kennis over te dragen naar nieuwe situaties zonder dat het opnieuw getraind hoefde te worden. Toen de onderzoekers een model dat getraind was op borstkankergegevens toepasten op een volledig andere groep patiënten met drievoudig negatieve borstkanker, identificeerde het succesvol weefseltypen die het nog nooit eerder had gezien. Dit suggere咗 dat het model een fundamentele taal van weefselorganisatie heeft geleerd die van toepassing is op verschillende ziekten en patiënten, in plaats van slechts specifieke voorbeelden te hebben onthouden.

Een van de meest opvallende ontdekkingen kwam voort uit het bestuderen van tertiaire lymfoïde structuren, kleine, georganiseerde clusters van immuuncellen die zich binnen tumoren vormen en invloed kunnen hebben op hoe het lichaam kanker bestrijdt. De onderzoekers gebruikten het vermogen van het model om inputs te bewerken om erachter te komen welke signalen deze structuren naar hun omgeving sturen. Ze ontdekten dat het oordeel van het model of een structuur "volwassen" of "onvolwassen" was, afhing van twee tegenovergestelde programma's van genactiviteit in de buurt. Eén programma, gedreven door folliculaire B-cellen, maakte de structuur er meer volwassen uitziend, terwijl een ander programma, gedreven door plasmacellen die antilichamen produceren, het er minder volwassen uit liet zien. Door deze signalen terug te mappen op het weefsel, ontdekten ze een verborgen ruimtelijke patron: de volwassen, organiserende signalen waren geconcentreerd in het centrum van de structuur, terwijl de antilichaam-producerende signalen naar de uiterste randen werden gedrukt. Dit onthulde dat de "volwassenheid" van deze immuunhubs niet een enkele staat is, maar een dynamisch evenwicht tussen een kern en een periferie, een nuance die standaardmethoden over het hoofd zouden zien.

De kracht van deze benadering strekte zich ook uit tot het vinden van verborgen details in drievoudig negatieve borstkanker, een ziekte die bekend staat om zijn complexiteit. In veel gevallen labelen pathologen een regio van weefsel als "stroma", of bindweefsel, wat een brede categorie is die significante verschillen kan verbergen. Het model keek echter naar de waarschijnlijkheid van elk mogelijk weefseltype voor elke plek en vond dat binnen deze breed gelabelde stromale regio's duidelijke zones van immuunactiviteit bestonden. Sommige gebieden waren rijk aan immuuncellen en vertoonden tekenen van een actieve, ontstoken reactie, terwijl andere gebieden rustig en stil waren. Dit vermogen om de "hete" en "koude" zones binnen een enkel label te zien, hielp de onderzoekers om een specifiek type immuunmilieu te identificeren dat bekend staat om zijn goede respons op bepaalde kankerbehandelingen. Bovendien, door naar de secundaire waarschijnlijkheden van het model te kijken, waren ze in staat om plekken te markeren die als goedaardig werden gelabeld, maar die in werkelijkheid verborgen kankercellen bevatten. Toen zij deze gemarkeerde plekken controleerden, vonden zij bijna de helft van de kanker terug die door de standaard single-label benadering was gemist, met name in de meest agressieve subtypes van de ziekte.

Ten slotte lieten de onderzoekers zien dat deze methode werkt over verschillende schalen van observatie, van grote weefselmonsters tot individuele cellen. Ze pasten hetzelfde model toe op hoogresolutiegegevens van colorectale kanker, waarbij het er succesvol in slaagde om immuunstructuren te identificeren en onderscheid te maken tussen verschillende typen immuuncellen zonder extra training. Het model identificeerde correct dat bepaalde immuuncellen, specifiek de cellen die een specifiek type antilichaam produceren, zich verzamelden aan de randen van deze structuren, terwijl anderen in het midden bleven. Deze consistentie over verschillende technologieën en resoluties heen suggereert dat het model een robuust begrip heeft gevangen van hoe weefsel is georganiseerd. Door ruimtelijke annotatie te veranderen in een interpreteerbare lezing van weefsel, biedt VINTER een nieuwe manier om de buurten van het lichaam te verkennen, waardoor wetenschappers vragen kunnen stellen over het bewijs achter elke biologische beslissing en de verborgen patronen kunnen zien die gezondheid en ziekte definiëren.