AnnotateAnyCell: Open-Source AI Framework for Efficient Annotation in Digital Pathology

Dit artikel introduceert AnnotateAnyCell, een open-source semi-supervised AI-framework dat de annotatiebelasting in de digitale pathologie met 25% verlaagt door actief contrastief leren en menselijke feedback te combineren, terwijl het toch expertniveau-accuraatheid bereikt voor het classificeren van celstructuren.

De kern

AnnotateAnyCell: De Slimme Assistent voor Pathologen

Stel je voor dat je een gigantische bibliotheek binnenloopt, maar dan niet met boeken, maar met miljoenen kleine, ingekleurde foto's van cellen uit weefselmonsters. Dit is wat een patholoog (een arts die ziektes onderzoekt onder de microscoop) moet doen met digitale beelden. Ze moeten elke cel bekijken en zeggen: "Dit is een gezonde cel," "Dit is een kankercel," of "Dit is een cel die zich aan het delen is."

Het probleem? Er zijn zo'n miljoenen cellen op één plaatje. Als je dit allemaal met de hand moet doen, duurt het eeuwen. Het is alsof je probeert een hele berg stenen te tellen terwijl je blinddoek op hebt.

De Oplossing: Een Slimme Lijst met Kleurrijke Steentjes

De onderzoekers van deze paper hebben AnnotateAnyCell bedacht. Dit is een gratis, open-source computerprogramma dat helpt om die enorme berg werk veel sneller en slimmer te doen.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De "Sorteermachine" (UMAP en Clustering)

Stel je voor dat je een grote doos hebt vol met verschillende soorten knikkers: rode, blauwe, groene, en een paar rare, gekke vormen. Als je ze allemaal door elkaar gooit, is het een chaos.

• Hoe het werkt: Het programma pakt al die cellen en gooit ze in een virtuele ruimte waar de computer ze automatisch sorteert op basis van hoe ze eruit zien.
• Het resultaat: Alle "rondjes" komen bij elkaar, alle "ovale" vormen bij elkaar, en de "rare, gekke" cellen vormen hun eigen groepje. Dit heet clustering.
• De winst: In plaats van dat de arts één voor één door de hele doos moet zoeken, ziet hij nu direct een groepje met alleen maar "verdachte" cellen. Hij hoeft dan maar een paar te controleren, en de computer weet: "Ah, dit hele groepje is waarschijnlijk ook verdacht!"

2. De "Leraar met een Leerling" (Actief Leren)

Stel je voor dat je een leraar bent en een slimme leerling hebt.

• De oude manier: De leraar moet elke dag 100 nieuwe voorbeelden tonen, ook al weet de leerling al hoe een appel eruitziet.
• De AnnotateAnyCell-methode: De computer kijkt eerst naar de hele klas en zegt: "Ik weet al hoe een appel eruitziet, maar ik twijfel nog over deze ene vreemde vrucht. Laat de leraar alleen maar die ene vrucht bekijken."
• Het proces: De arts (de leraar) geeft het antwoord voor die ene twijfelachtige cel. De computer leert hier direct van en past zijn "sorteermachine" direct aan. Dit gaat in een cirkel: Sorteren -> Arts kijkt naar twijfelgevallen -> Computer leert -> Sorteren wordt beter.

3. De "Gokker die Slim Gokt" (Pseudolabels)

Soms durft de computer een gokje te wagen. Hij zegt: "Ik heb deze cel nog niet gezien, maar hij lijkt zo sterk op de rode knikkers die we al kennen, dat ik bijna zeker weet dat hij rood is."

• De arts hoeft niet elke cel te checken. Hij kijkt alleen naar de gokken waar de computer het minst zeker van is.
• Dit bespaart enorm veel tijd. Het is alsof je een boek leest en alleen de moeilijke woorden opzoekt, in plaats van elk woord in het woordenboek te controleren.

Wat hebben ze ontdekt? (De Resultaten)

De onderzoekers hebben dit getest op weefsel van honden met blaaskanker (wat veel lijkt op menselijke blaaskanker).

• Snelheid: Het duurde 47 minuten om 300 cellen te labelen met dit slimme systeem, terwijl het 63 minuten duurde met de oude, saaie manier. Dat is 25% sneller.
• Nauwkeurigheid: Voor duidelijke kenmerken (zoals de kern van de cel of nucleoli) was het systeem bijna perfect (98% goed).
• Moeilijke gevallen: Voor dingen die lastig te onderscheiden zijn (zoals de exacte vorm van een cel of of een cel zich aan het delen is), was het nog steeds een uitdaging. Hier zijn menselijke experts nog steeds nodig om de "grijze gebieden" op te lossen.

Waarom is dit belangrijk?

Voor nu moeten pathologen urenlang zitten te mikken op schermen om cellen te tellen. Met AnnotateAnyCell kunnen ze die tijd gebruiken om echt na te denken over de diagnose, in plaats van als een robot te werken.

Het is alsof je van een fiets met trappers op een e-bike stapt: je komt nog steeds op dezelfde bestemming, maar je bent veel sneller en minder moe. En het beste van alles? Het is gratis en openbaar, zodat elke ziekenhuisafdeling het kan gebruiken om betere diagnoses te stellen.

Kortom: Het is een slimme assistent die de saaie, repetitieve klusjes doet, zodat de menselijke expert zich kan focussen op wat echt belangrijk is.

Technische samenvatting

Probleemstelling

De handmatige annotatie van histopathologische whole slide images (WSI) vormt een kritieke bottleneck voor de toepassing van computationele pathologie en klinische AI.

• Hoge kosten en tijdsinvestering: Expert pathologen moeten honderden uren besteden aan het afbakenen van celgrenzen en het toewijzen van morfologische classificaties.
• Schalingsproblemen: Moderne WSI's bij 40x vergroting bevatten honderdduizenden cellen en beslaan meerdere gigabytes, wat een volledige handmatige controle onmogelijk maakt.
• Beperkingen van bestaande methoden: Bestaande benaderingen vertrouwen vaak op volledig toezicht (fully supervised learning), wat enorme gelabelde datasets vereist. Semi-supervised platforms missen vaak intuïtieve interfaces, vereisen zware computinfrastructuur en bieden geen iteratieve feedbackloops om klinisch vertrouwen op te bouwen.
• Generalisatieproblemen: Modellen generaliseren slecht tussen instellingen vanwege variaties in weefselbereiding en scanners, wat hertraining per instelling vereist.

Methodologie: AnnotateAnyCell Framework

De auteurs hebben AnnotateAnyCell ontwikkeld, een open-source semi-supervised framework dat actief leren (active learning) combineert met contrastief leren en menselijke feedback in een iteratieve cyclus. Het systeem bestaat uit vier hoofdstadia:

1. Pre-processing en Segmentatie:

   • Gebruik van vooringestelde Cellpose-modellen (cyto3) voor het segmenteren van H&E-gekleurde weefselafbeeldingen.
   • Extractie van individuele cellen in drie complementaire representaties: ruwe patches, geïsoleerde nucleaire gebieden en semantische masks.
   • Dimensiereductie via UMAP om cellen te visualiseren in een 2D latent space gebaseerd op morfologische gelijkenis.

2. Actief Leren en Interactieve Interface:

   • Een webgebaseerde interface (gebouwd met BokehJS) stelt pathologen in staat om cellen te annoteren binnen de geleerde inbeddingsruimte (UMAP) in plaats van alleen op ruimtelijke coördinaten.
   • Pathologen labelen representatieve cellen (bijv. mitotische figuren, nucleoli, chromatinestructuur).
   • Het systeem gebruikt onzekerheidsbemonstering (uncertainty sampling) met diversiteitsbevordering om de meest informatieve monsters voor expertreview te selecteren.

3. Semi-supervised Leren en Pseudolabeling:

   • Een contrastief leermodel (met InfoNCE-verlies) wordt getraind op gelabelde en ongelabelde data om morfologisch vergelijkbare cellen dicht bij elkaar te brengen in de latent space.
   • Klasse-gebalanceerde pseudolabeling: Het model genereert hoge-vertrouwens pseudolabels voor ongelabelde data (top-N per klasse) om bias naar dominante morfologieën te voorkomen.
   • Een multi-modale convolutionele autoencoder (VAE-achtig) verwerkt ruwe afbeeldingen, nucleaire kenmerken en masks tegelijkertijd om compacte latent embeddings te leren die fijne morfologische details en context vastleggen.

4. Iteratieve Cyclus:

   • Experts valideren of corrigeren de pseudolabels in de geüpdatete visualisatie.
   • Het model wordt hertraint, wat leidt tot verfijnde clusters en verbeterde classificatie, totdat voldoende annotatiebereik is bereikt.

Dataset: Het framework werd geëvalueerd op canine invasieve urotheelcarcinoom (IncUC), een translatiemodel voor menselijk blaaskanker. Er werden 5 whole slide images gebruikt met variërende histologische graden.

Belangrijkste Bijdragen

• Integrale Workflow: Een uniek platform dat diep leren, interactieve visualisatie (UMAP) en mens-in-de-lus feedback combineert in één open-source ecosysteem.
• Efficiënte Annotatie: Vermindering van de handmatige werklast door het gebruik van clustering-gestuurde selectie in plaats van sequentiële annotatie.
• Schaalbaarheid: Mogelijkheid om snel instellingsspecifieke modellen te trainen met beperkte gelabelde data (200-500 cellen) door gebruik te maken van unsupervised pre-training.
• Open Source: Beschikbaarheid van code en data voor de academische gemeenschap om de drempel voor computergestuurde pathologie te verlagen.

Resultaten

Het framework werd getest met 11 gecertificeerde veterinaire pathologen:

• Efficiëntie:

  • Clustering-gestuurde annotatie vereiste 47 minuten voor 300 cellen, tegenover 63 minuten voor sequentiële annotatie.
  • Dit resulteert in een 25% reductie in tijd (95% CI 18–32%).
  • De tijdsbesparing was consistent over verschillende aantallen cellen (van 50 tot 300).

• Classificatie Nauwkeurigheid:

  • Nucleoli: 98,3% nauwkeurigheid (±1,4%) met 1.075 gelabelde monsters; 95,5% nauwkeurigheid met slechts 215 monsters.
  • Mitotische figuren: 96,3% nauwkeurigheid (±1,2%) met 1.075 monsters.
  • Kernvorm: 59,5% nauwkeurigheid (±2,1%), wat lager is vanwege de subjectiviteit en morfologische ambiguïteit van vormklassificaties.

• Inter-Annotator Overeenstemming:

  • Hoog: Chromatinestructuur (κ = 1,00) en nucleoli (κ = 0,95).
  • Matig: Mitotische figuren (κ = 0,58) en kernvorm (κ = 0,36), wat de inherente moeilijkheid van deze categorieën aangeeft.

• Schaalgedrag: De nauwkeurigheid voor nucleoli en mitotische figuren vertoonde vroege verzadiging (diminishing returns), terwijl kernvorm een steilere leercurve behield, wat suggereert dat meer data nodig is voor deze lastige kenmerken.

Betekenis en Toekomstperspectief

• Klinische Toepasbaarheid: Het framework biedt een schaalbare route naar AI-gesteunde diagnostiek, zelfs in omgevingen met beperkte middelen. Het kan automatisch hoge-vertrouwens voorspellingen accepteren (bijv. nucleoli) en twijfelachtige gevallen (bijv. vorm) markeren voor menselijke review.
• Democratisering: Het stelt instellingen in staat om snel eigen modellen te ontwikkelen zonder prohibitieve annotatie-infrastructuur.
• Toekomstig Werk: De auteurs plannen uitbreiding naar multi-weefsel generalisatie, verbetering van de tolerantie voor labelruis bij ambiguïteit, en validatie in prospectieve klinische workflows.

Samenvattend biedt AnnotateAnyCell een robuuste oplossing voor het "data bottleneck"-probleem in digitale pathologie door menselijke expertise te combineren met geavanceerde semi-supervised leertechnieken, waardoor de tijd voor annotatie aanzienlijk wordt verkort zonder in te leveren op de nauwkeurigheid voor goed gedefinieerde morfologische kenmerken.