Evaluating Vision Foundation Models for Pixel and Object Classification in Microscopy

Dit onderzoek toont aan dat visuele fundamentele modellen, zowel algemeen als domeinspecifiek, in combinatie met ondiepe leertechnieken, consistente verbeteringen bieden voor pixel- en objectclassificatie in microscopie ten opzichte van traditionele methoden, en legt hiermee een benchmark voor toekomstige ontwikkelingen.

De kern

Stel je voor dat je een enorme bibliotheek hebt vol met microscopische foto's van cellen, weefsels en bacteriën. Voor een bioloog is het vinden van de juiste "boeken" (bijvoorbeeld: "dit is een kankercel" of "dit is een gezonde cel") vaak een tijdrovende klus. Vroeger deden computers dit door te zoeken naar specifieke patronen, zoals een bepaalde vorm of kleur, maar dat werkte niet goed als de foto's er anders uitzagen.

Deze paper onderzoekt een nieuwe, slimme manier om computers te helpen bij het sorteren van deze foto's. Ze gebruiken hiervoor Vision Foundation Models (VFMs).

Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Alleskunner" vs. De "Specialist"

Stel je voor dat je een Vision Foundation Model hebt als een geniale, maar vermoeide student. Deze student heeft in zijn hele leven miljoenen boeken gelezen (grote datasets van internet) en kan daardoor heel goed begrijpen wat een "hond" of een "auto" is. Maar als je hem vraagt om een heel specifiek type bacterie in een microscopische foto te herkennen, kijkt hij verward. Hij heeft die specifieke kennis niet.

Vroeger moesten wetenschappers de computer van nul af aan leren (supervised learning), wat betekent dat ze duizenden foto's handmatig moesten labelen. Dat is als proberen die student alles opnieuw te leren door hem elke dag een nieuwe les te geven. Dat kost te veel tijd en energie.

2. De Oplossing: Twee Manieren om de Student te Hulp te Schieten

De auteurs van dit paper zeggen: "Laten we die slimme student niet opnieuw leren, maar hem gewoon een korte handleiding geven." Ze testen twee manieren om dit te doen:

Manier A: De Random Forest (De "Snelle Schatting")

Stel je voor dat je de student vraagt: "Kijk naar deze foto en vertel me wat je ziet." Hij geeft je een beschrijving (een 'embedding'). Vervolgens neem je die beschrijving en stop je hem in een Random Forest.

• De Analogie: Een Random Forest is als een groepje snelle experts die samen beslissen. Ze kijken naar de beschrijving van de student en zeggen: "Ah, dit lijkt op een kankercel!"
• Het Voordeel: Dit gaat razendsnel. Je kunt het direct in een programma gebruiken waar je met je muis over de foto klikt en de computer reageert direct. Het is als een schatting die vaak goed genoeg is, zelfs met heel weinig voorbeelden.

Manier B: Attentive Probing (De "Diepe Analyse")

Dit is een iets complexere methode, genaamd DeAP (voor pixels) en ObAP (voor objecten).

• De Analogie: In plaats van de student alleen te laten praten, geef je hem een versterkend bril en een specifiek zoekopdracht. De computer kijkt nu heel precies naar de details in de foto die relevant zijn voor jouw vraag. Het is alsof je de student niet alleen vraagt "wat is dit?", maar zegt: "Kijk specifiek naar de randen van deze cel en vergelijk ze met wat je weet."
• Het Voordeel: Dit levert vaak nog betere resultaten op dan de snelle schatting, zelfs als je maar heel weinig voorbeelden hebt (soms zelfs maar 100 getekende pixels!).
• Het Nadeel: Het duurt iets langer om dit "bril" te kalibreren (trainen), maar daarna werkt het fantastisch.

3. Wat hebben ze ontdekt?

De onderzoekers hebben dit getest op vijf verschillende soorten microscopie-data (van menselijk weefsel tot wormpjes). Hier zijn de belangrijkste bevindingen, vertaald naar onze analogie:

• De "Specialist" wint vaak: Als je een model hebt dat specifiek is getraind op microscopie (zoals µSAM of PathoSAM), werkt dit vaak beter dan de generieke "student" (zoals SAM of DINO). Het is alsof je een bioloog vraagt in plaats van een wiskundige.
• De "Snelle Schatting" is ideaal voor interactie: Als je snel wilt werken en direct feedback wilt zien terwijl je klikt, is de Random Forest-methode het beste. Het is snel en werkt goed met weinig data.
• De "Diepe Analyse" is de kampioen: Als je de allerbeste resultaten wilt en je kunt even wachten op het trainen, dan wint de Attentive Probing-methode (DeAP/ObAP). Deze kan zelfs beter presteren dan oude, zware methoden die duizenden voorbeelden nodig hadden, maar dan met slechts een handvol voorbeelden.
• DINOv3 was minder goed: Een van de geteste modellen (DINOv3) deed het niet zo goed in dit specifieke werk. Het was alsof die student wel veel boeken had gelezen, maar de juiste taal voor microscopie niet sprak.

4. Waarom is dit belangrijk?

Vroeger moesten onderzoekers duizenden foto's labelen voordat een computer iets nuttigs kon doen. Met deze nieuwe methoden kunnen ze slechts een paar foto's (of zelfs maar een paar streepjes met de muis) gebruiken en de computer leert het al snel.

Het is alsof je eerder een hele school moest bouwen om één kind te leren lezen, maar nu volstaat het om het kind een slimme tablet te geven met een paar goede instructies, en het leert het zelf.

Kortom: Deze paper laat zien dat we de kracht van de nieuwste AI-modellen kunnen gebruiken om microscopie veel sneller en makkelijker te maken, zonder dat we jarenlang data hoeven te verzamelen. Het combineert de snelheid van oude methoden met de slimheid van de nieuwste AI.

Technische samenvatting

Probleemstelling

In de biomedische beeldvorming, en specifiek in de microscopie, is diep leren (Deep Learning - DL) de standaard geworden voor taken zoals cel-instantiesegmentatie. Echter, voor interactieve semantische segmentatie (vaak "pixel-classificatie" genoemd) en object-classificatie (het indelen van reeds gesegmenteerde objecten in klassen, bijv. celtypen), blijft men vaak afhankelijk van traditionele machine learning-methoden.

De redenen hiervoor zijn:

1. Data-diversiteit: Microscopische data varieert enorm tussen organismen, assays en beeldvormingscondities.
2. Gebrek aan grote datasets: Er ontbreken grote, vooraf getrainde datasets voor specifieke microscopie-taken.
3. Efficiëntie-eisen: Interactieve tools vereisen lage rekenkracht en weinig labels (label-efficiëntie).

Bestaande tools (zoals ilastik) gebruiken handgemaakte features met klassieke ML (bijv. Random Forests), maar deze zijn onvoldoende voor complexe taken. Aan de andere kant vereisen volledig gesuperviseerde DL-modellen (zoals U-Net) te veel annotatie en rekentijd voor interactief gebruik. Er is een behoefte aan een oplossing die de kracht van moderne Vision Foundation Models (VFMs) combineert met de efficiëntie van interactief leren.

Methodologie

De auteurs evalueren of VFMs de prestaties kunnen verbeteren ten opzichte van bestaande benaderingen voor pixel- en object-classificatie. Ze onderzoeken twee kernontwerpkeuzes:

1. De Vision Foundation Models (VFMs):

   • Algemeen: SAM (Segment Anything Model), SAM2, en DINOv3.
   • Domeinspecifiek: µSAM (voor microscopie) en PathoSAM (voor histopathologie).

2. Leerst strategieën:

   • Random Forest (RF): De embeddings van de VFM worden gebruikt als input voor een klassieke Random Forest-classificator. Dit simuleert de huidige interactieve workflows.
   • Attentieve Probing (Attentive Probing): Een kleine adapter wordt getraind op de bevroren VFM-features.
     • DeAP (Dense Attentive Probing): Voor pixel-classificatie. Dit gebruikt cross-attention over een vast rooster om dichte voorspellingen te maken.
     • ObAP (Object-Guided Attentive Probing): Een nieuwe methode voor object-classificatie. In plaats van een rooster, wordt er per object (gebaseerd op een bestaand masker) een query geïnitieerd. Deze queries gebruiken Gaussian-masked cross-attention om relevante features uit de embedding te halen, gevolgd door een lichtgewicht MLP voor de classificatie.

Dataverwerking:

• Voor pixel-classificatie worden de VFM-embeddings opgehoogd (upsampled) met AnyUp om de resolutie te behouden.
• Voor object-classificatie worden embeddings binnen objectmaskers geaggregeerd (gemiddeld) en aangevuld met objecteigenschappen zoals oppervlakte.
• De training gebeurt met spare annotaties (weinig gelabelde pixels of objecten) om interactieve scenario's te simuleren.

Belangrijkste Bijdragen

1. Systematische Evaluatie: De eerste uitgebreide studie die VFMs toepast op zowel pixel- als object-classificatie in de microscopie, in plaats van alleen op segmentatie.
2. ObAP: Introductie van Object-Guided Attentive Probing, een nieuwe architectuur die VFMs effectief toepast op object-classificatie zonder volledige end-to-end training.
3. Benchmark: Het stellen van een nieuwe benchmark voor VFMs in de microscopie, inclusief vergelijking met handgemaakte features, klassieke ML en volledig gesuperviseerde DL-baselines (U-Net, ResNet).
4. Praktische Richtlijnen: Het bieden van concrete richtlijnen voor het kiezen van het juiste model en de juiste strategie afhankelijk van de beschikbare data en rekenkracht.

Resultaten

De evaluatie vond plaats op vijf diverse datasets (LIVECell, CRC, HBM, PanNuke, Planari) met verschillende microscopietechnieken.

• Pixel-classificatie:

  • Random Forest: VFM-features (vooral domeinspecifieke modellen zoals µSAM) presteren consistent beter dan handgemaakte features (ilastik) en zijn veel sneller te trainen dan een U-Net.
  • DeAP: Presteert over het algemeen beter dan Random Forest. Opmerkelijk is dat DeAP met slechts 100 gelabelde pixels prestaties bereikt die vergelijkbaar zijn met of beter zijn dan Random Forest-modellen getraind op 100.000 pixels. Op sommige datasets (CRC, PanNuke, LIVECell) overtreft DeAP zelfs de volledig gesuperviseerde U-Net.
  • Modelverschil: SAM2 presteerde het beste met DeAP, terwijl DINOv3 over het algemeen de slechtste resultaten leverde.

• Object-classificatie:

  • Random Forest: VFM-features overtreffen handgemaakte features. Domeinspecifieke modellen (µSAM, PathoSAM) presteren het beste in combinatie met een Random Forest.
  • ObAP: Presteert beter dan Random Forest op de meeste datasets en overtreft op drie van de vijf datasets (PanNuke, LIVECell, CRC) zelfs de ResNet-baseline.
  • Efficiëntie: Random Forest-training is zeer snel en geschikt voor interactief gebruik. ObAP en DeAP zijn duurder in trainingstijd (vergelijkbaar met ResNet/U-Net) maar leveren hogere kwaliteit op.

Betekenis en Conclusie

De studie toont aan dat Vision Foundation Models de staat der kunst kunnen verbeteren voor pixel- en object-classificatie in de microscopie, zelfs met zeer beperkte annotaties.

• Interactiviteit vs. Kwaliteit: Er is een duidelijke trade-off. Voor interactieve workflows (waar snelheid en weinig labels cruciaal zijn) is de combinatie van een VFM (bij voorkeur domeinspecifiek) met een Random Forest de beste keuze.
• Maximale Kwaliteit: Als er meer rekentijd beschikbaar is en de hoogste nauwkeurigheid vereist is, bieden attentieve probing-methoden (DeAP/ObAP) superieure resultaten, vaak beter dan volledig gesuperviseerde DL-modellen.
• Toekomst: De auteurs suggereren dat verdere optimalisatie van de trainingsefficiëntie van adapters (zoals ObAP) deze methoden direct toepasbaar zou maken voor interactieve tools in de toekomst. Ook het combineren met andere domeinspecifieke VFMs (bijv. voor ruimtelijke proteomica) wordt aanbevolen.

Kortom, dit werk legt de basis voor de volgende generatie microscopie-analysetools die zowel krachtig als gebruiksvriendelijk zijn.