💻 computer science

ImmuVis: Hyperconvolutional Foundation Model for Imaging Mass Cytometry

ImmuVis is een hyperconvolutioneel fundamenteel model dat is getraind op het enorme IMC17M-dataset en de variabele markersets in imaging mass cytometry aanpakt door marker-adaptieve kernen te gebruiken, waardoor efficiënte analyse zonder hertraining mogelijk wordt met gekalibreerde onzekerheid over willekeurige marker-subsets.

Oorspronkelijke auteurs: Dawid Uchal, Marcin MoĊejko, Krzysztof Gogolewski, Piotr Kupidura, Szymon Łukasik, Jakub Giezgała, Tomasz Nocoń, Kacper Pietrzyk, Robert Pieniuta, Mateusz Sulimowicz, Michal Orzyłowski, Tomasz Siłkows

Gepubliceerd 2026-05-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Dawid Uchal, Marcin MoĊejko, Krzysztof Gogolewski, Piotr Kupidura, Szymon Łukasik, Jakub Giezgała, Tomasz Nocoń, Kacper Pietrzyk, Robert Pieniuta, Mateusz Sulimowicz, Michal Orzyłowski, Tomasz Siłkowski, Karol Zagródka, Eike Staub, Ewa Szczurek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent die probeert complexe, meerlagige gerechten (weefsels) na te maken op basis van een lijst met ingrediënten (biologische markers) die je tot je beschikking hebt.

In de wereld van Imaging Mass Cytometry (IMC) nemen wetenschappers foto's van weefselmonsters om te zien welke eiwitten aanwezig zijn. Denk aan elk eiwit als een specifiek ingrediënt. Het probleem is dat geen enkele kok (onderzoeksstudie) exact hetzelfde recept gebruikt. De ene studie heeft misschien 20 ingrediënten, de andere 40, en ze overlappen zelden perfect.

Het Probleem: De Valstrik van het "Vaststaande Menu"

Vorige AI-modellen voor het analyseren van deze beelden waren als koks die alleen wisten hoe ze moesten koken als je hen een vaststaand menu gaf. Als je hen een recept gaf met ingrediënten die ze nog nooit hadden gezien, of als je een ingrediënt miste dat ze verwachtten, zouden ze het laten afweten of weigeren te koken. Ze konden zich niet aanpassen.

Bovendien, wanneer deze koks probeerden een ontbrekend ingrediënt te raden (een proces dat "virtuele kleuring" wordt genoemd), gaven ze je slechts één gok. Als de gok verkeerd was, vertelden ze je dat niet. Ze deden alsof ze 100% zeker waren, zelfs wanneer het bewijs zwak was.

De Oplossing: ImmuVis (De "Aanpasbare Sous-chef")

De auteurs van dit artikel introduceren ImmuVis, een nieuwe familie van AI-modellen die is ontworpen als de ultieme aanpasbare sous-chef. Hier is hoe het werkt, met eenvoudige analogieën:

1. De Magische Gereedschapsriem (Hyperconvoluties)

In plaats van een vaste set gereedschappen te hebben voor specifieke ingrediënten, heeft ImmuVis een magische gereedschapsriem.

Hoe het werkt: Wanneer je het model een specifieke set ingrediënten (markers) geeft, "3D-print" het direct de perfecte gereedschappen (convolutiekernen) die nodig zijn om precies die ingrediënten te verwerken.
Het Voordeel: Het maakt niet uit of je het 5 ingrediënten of 30 geeft, of dat ze volledig verschillend zijn van wat het eerder heeft geleerd. Het bouwt de juiste gereedschappen ter plekke. Het kan elke combinatie van markers verwerken zonder opnieuw getraind te hoeven worden of zonder dat zijn architectuur moet worden aangepast.

2. De Universele Vertaler (Pan-marker Latente Ruimte)

Zodra het model zijn aangepaste gereedschappen heeft, vertaalt het alle verschillende ingrediënten naar een universele taal (een gedeelde latente ruimte).

De Analogie: Stel je voor dat je een gesprek vertaalt tussen mensen die 20 verschillende dialecten spreken naar één gemeenschappelijke taal. Zodra alles in deze gemeenschappelijke taal is, kan het model de relaties tussen de ingrediënten begrijpen, ongeacht welke specifieke ingrediënten in het oorspronkelijke beeld aanwezig waren.

3. De "Eerlijke" Voorspelling (Onzekerheid)

Wanneer ImmuVis probeert een ontbrekend ingrediënt te voorspellen (virtuele kleuring), geeft het je niet zomaar een getal. Het geeft je een vertrouwensscore.

De Analogie: Als het model een ontbrekend kruid raadt op basis van zwak bewijs, zegt het: "Ik denk dat het paprika is, maar ik ben niet erg zeker." Als het bewijs sterk is, zegt het: "Het is beslist paprika."
Waarom dit belangrijk is: Dit voorkomt dat het model met zekerheid biologische feiten verzonnen wanneer de data onduidelijk is. Het markeert de "risicovolle" voorspellingen zodat wetenschappers weten waar ze voorzichtig moeten zijn.

4. Snelheid en Efficiëntie

Vorige modellen waren als zware, trage vrachtwagens die probeerden alle mogelijke ingrediënten tegelijk te vervoeren. ImmuVis is als een lichtgewicht, wendbare sportauto.

Het verwerkt beelden veel sneller en gebruikt aanzienlijk minder rekenkracht (energie) dan zijn concurrenten, waardoor het praktisch is voor grootschalige studies met duizenden afbeeldingen.

De Opleidingslocatie: IMC17M

Om dit model te leren, creëerden de auteurs de grootste "kookschool" die ooit voor deze taak is samengesteld, genaamd IMC17M.

Het bevat meer dan 17 miljoen beeldfragmenten uit 28 verschillende studies (cohorten).
Het bestrijkt 265 verschillende markers (ingrediënten).
Door te trainen op deze enorme, diverse dataset, leerde het model patronen te herkennen over verschillende "recepten" en weefseltypen heen, waardoor het goed presteert zelfs op nieuwe, ongezette combinaties van markers.

De Resultaten

Bij testen bleek ImmuVis:

Meer Accuraat: Het maakte ontbrekende markers beter na dan eerdere state-of-the-art modellen.
Meer Eerlijk: Zijn vertrouwensscores kwamen perfect overeen met hoe fout of juist zijn gissen waren.
Sneller: Het draaide aanzienlijk sneller en goedkoper dan de zware Transformer-gebaseerde modellen waarmee het concurreerde.
Veelzijdig: Het werkte goed voor het identificeren van celtypen en het voorspellen van klinische uitkomsten, wat bewijst dat zijn "universele taal" van weefsel nuttig is voor veel verschillende taken.

Kortom, ImmuVis is een flexibel, snel en eerlijk AI-kader dat wetenschappers eindelijk in staat stelt complexe weefselafbeeldingen te analyseren, ongeacht welke specifieke markers zijn gemeten, en zo het probleem van "onverenigbare recepten" in biologische beeldvorming oplost.

Technische Samenvatting: ImmuVis

Probleemstelling
Imaging Mass Cytometry (IMC) maakt hoge-doorvoer, subcellulaire ruimtelijke profilering van weefsels mogelijk door het meten van met metaal gelabelde antilichamen. Een fundamentele uitdaging bij het modelleren van IMC-gegevens is echter het ontbreken van een vaste kanaalruimte. In tegenstelling tot natuurlijke beelden met een statische RGB-kanaalset, variëren IMC-panelen aanzienlijk tussen studies vanwege fysieke kanaalinterferentie en cohort-specifieke experimentele ontwerpen. Deze heterogeniteit schendt de kernaanname van standaard visuele backbones, die een vaste invoerdimensie vereisen. Bestaande benaderingen, zoals U-Nets, zijn beperkt tot vaste markerpanelen, terwijl recente op Transformer gebaseerde modellen (bijv. VirTues, EVA) proberen variabele invoer te verwerken door marker-specifieke ruimtelijke tokens te concateneren met identiteitscoderingen. Deze op tokens gebaseerde methoden negeren vaak cruciale lokale marker-afhankelijkheden en leiden tot hoge rekenkosten naarmate het aantal markers en de ruimtelijke resolutie toenemen. Bovendien is virtuele kleuring (het voorspellen van niet-gemeten markers) een slecht gesteld probleem wanneer het bewijs zwak is; huidige modellen missen vaak gekalibreerde onzekerheidsschattingen, waardoor het moeilijk is om onderscheid te maken tussen biologisch plausibele reconstructies en foutieve voorspellingen.

Methodologie
De auteurs introduceren ImmuVis, een familie van fundamentele modellen die variabele-invoer leren, rekenefficiëntie en onzekerheidskwantificering verenigt. De kerninnovatie is een marker-adaptieve hyperconvolutie-architectuur.

Hyperconvolutionele Architectuur:
- Marker-agnostische codering: Invoermarkerkanalen worden eerst onafhankelijk verwerkt door een gedeelde convolutiestam ( $Enc_{ma}$ ) om lokale ruimtelijke patronen vast te leggen.
- Conditionele hyperconvolutie: In plaats van vaste gewichten, maakt het model gebruik van een hypernetwerk dat convolutiekernen genereert die zijn geconditioneerd op geleerde marker-embeddings. Voor een invoerset van markers $I_e$ wordt een hyperkernel $H^e_{I_e}$ geconstrueerd door geleerde kernelgeneratoren $\phi_e(i)$ voor elke marker $i \in I_e$ te concateneren. Hierdoor kan het model zijn kenmerkextractie-operatoren dynamisch aanpassen aan het specifieke subset van waargenomen markers zonder architecturale wijzigingen.
- Pan-marker backbone: De output van de hyperconvolutie is een geünificeerde, vaste grootte embedding die kan worden verwerkt door standaard computer visie backbones (bijv. ConvNeXt v2, Swin Transformer, ViT).
- Symmetrische decoder: De decoder spiegelt de encoder, waarbij gebruik wordt gemaakt van een marker-geconditioneerde hyperconvolutie om de latente representatie af te beelden op specifieke doelmarkers, waarbij zowel de gemiddelde expressie als de log-variatie (onzekerheid) worden voorspeld.
Trainingsstrategie:
- Dataset: De modellen worden voorgetraind op IMC17M, de grootste IMC-dataset tot nu toe, bestaande uit 24.405 afbeeldingen, 265 markers en meer dan 17 miljoen patches verspreid over 28 cohorts.
- Doelstelling: De modellen worden getraind met een gemaskerd-kanaal reconstructie taak en een Gaussische heteroscedastische regressie verliesfunctie. Deze doelstelling modelleert de doelpixels als onafhankelijke Gaussische verdelingen, waardoor het netwerk zowel het gemiddelde ( $\mu$ ) als de variantie ( $\sigma^2$ ) kan voorspellen. De variantievoorspelling biedt een gekalibreerde onzekerheidsschatting die correleert met de reconstructiefout.
- Preprocessing: De auteurs maken gebruik van een specifieke preprocessing-pijplijn die arcsinh-transformatie omvat (om ionentel-dynamiek te hanteren), Butterworth-laagdoorlaatfiltering (om IMC-specifiek ruis te verminderen) en min-99e percentiel-schaalvergroting.

Belangrijkste bijdragen

Hyperconvolutioneel ontwerp: Een nieuwe architectuur die convolutiekernen genereert uit geleerde marker-embeddings, waardoor een enkel model willekeurige marker-subsets kan verwerken zonder hertraining of architecturale aanpassing.
Efficiënte familie fundamentele modellen: Implementatie van drie varianten (ImmuVisConv, ImmuVisSwin, ImmuVisViT) die gevestigde backbones benutten. Deze modellen bereiken state-of-the-art prestaties met aanzienlijk lagere rekenkosten in vergelijking met Transformer-alternatieven op basis van token-concatenatie.
Onzekerheidsbewust leren: Integratie van een heteroscedastische waarschijnlijkheidsdoelstelling die pixel-voor-pixel onzekerheidsschattingen produceert, waarmee de betrouwbaarheidsproblemen worden aangepakt die inherent zijn aan virtuele kleuring voor zeldzame fenotypes of atypische patronen.
Grootschalige voortraining: De curatie en het gebruik van IMC17M, wat het leren van robuuste, overdraagbare representaties over diverse histologieën en markerpanelen faciliteert.

Resultaten

Virtuele kleuring: ImmuVis-varianten presteren beter dan state-of-the-art baselines (VirTues, EVA) in taken voor virtuele kleuring. Specifiek behaalden ImmuVisSwin en ImmuVisConv de laagste Mean Squared Error (MSE) en de hoogste Pearson-correlatie, wat een superieure behoud van ruimtelijke structuur aantoont in vergelijking met op tokens gebaseerde methoden.
Onzekerheidskalibratie: De heteroscedastische kop produceert onzekerheidsschattingen die sterk correleren met reconstructiefout (Pearson-correlatie > 0,92). De modellen bieden betekenisvolle per-pixel vertrouwenssignalen, waarbij ImmuVisSwin de laagste Area Under Sparsification Error (AUSE) bereikt.
Representatieleren: In downstream-taken leverden ImmuVis-embeddings state-of-the-art prestaties op bij celtypering (ImmuVisConv behaalde een Macro-F1 van 0,709) en klinische voorspelling (ImmuVisSwin behaalde een Macro-F1 van 0,641), waarmee ze VirTues- en EVA-varianten overtroffen.
Rekenefficiëntie: ImmuVis-modellen werken met aanzienlijk lagere rekenkosten. ImmuVisConv vereist ongeveer 89,9 GFLOPs per forward pass, wat een orde van grootte lager is dan VirTues (1049,3 GFLOPs) en bijna 40 keer lager dan EVA (3590 GFLOPs). De inferentietijden zijn dienovereenkomstig sneller (bijv. 13,4 ms versus 28,5 ms voor VirTues).

Betekenis
Het artikel positioneert ImmuVis als een praktisch kader voor IMC-modellering in de echte wereld dat de kritieke beperkingen van panelheterogeniteit en rekenefficiëntie aanpakt. Door een enkel fundamenteel model in staat te stellen te opereren op willekeurige marker-subsets zonder hertraining, faciliteert ImmuVis grootschalige ruimtelijke weefselprofilering en retrospectieve upgrading van legacy-cohorts. De integratie van gekalibreerde onzekerheid biedt een betrouwbaarheidsbewuste aanpak voor virtuele kleuring, wat cruciaal is voor klinische toepassingen waarbij vals-positieven of voorspellingen met lage betrouwbaarheid moeten worden gemarkeerd. De auteurs suggereren dat deze operator-niveau kanaaladaptiviteit een algemeen recept biedt voor het bouwen van fundamentele modellen in multiplex imaging en daarbuiten, waarbij flexibiliteit, efficiëntie en betrouwbaarheid binnen één architectuur worden gecombineerd.