Million-scale multimodal pollen microscopy with expert-guided foundation models

Technische Samenvatting: Miljoenschaal Multimodale Pollenmicroscopie met Expert-gestuurde Foundation Models

Probleemstelling
Geautomatiseerde identificatie van pollen via microscopie blijft een kritieke flessenhals in de aerobiologie, paleo-ecologie en biodiversiteitsmonitoring. Bestaande schaalbare systemen hebben moeite met het generaliseren over variaties in monstervoorbereiding, scannerinstellingen en geografische herkomst, terwijl ze de palynologische interpreteerbaarheid moeten behouden. Huidige publieke bronnen zijn vaak beperkt door een beperkte taxonomische breedte, aantal monsters of beeldvormingsmodaliteiten, en de meeste missen gestructureerde, natuurlijke taal morfologische records gekoppeld op korrelniveau. Bovendien is de training van traditionele supervised detectoren fragiel wanneer deze wordt ingezet op taxa of condities die verschillen van het gelabelde trainingsregime. Er is een gebrek aan een grootschalige, acquisitie-diverse, expert-gegronde bron die individuele bright-field pollen-crops koppelt aan gestructureerde beschrijvingen in natuurlijke taal.

Methodologie
De auteurs presenteren de Pollen AI Atlas, een miljoenschaal multimodale bron geconstrueerd uit pure-species whole-slide bright-field beelden. De workflow vertrouwt op "weak supervision" met behulp van pure-species slides, waarbij slide-niveau taxonomische labels dienen als context zonder dat uitputtende per-korrel annotatie vereist is. De pijplijn bestaat uit vijf stadia:

1. One-Shot Initialisatie: Voor elke bron-slide wordt één handmatig geselecteerd pollenkorrel-exemplar gebruikt om het proces te initiëren. Dit exemplar wordt gebruikt met OWL-ViT om initiële kandidaat bounding boxes te genereren via image-guided detectie.
2. Token-Level Mining: In plaats van een taakspecifieke detector te trainen, mijnt het systeem dichte visuele representaties direct. Een handmatig geselecteerd exemplar initieert een zoekopdracht in de feature space van een gefinetunede DINOv2-gebaseerde LVD-ViT-S backbone. Het systeem construeert een query-representatie in de token space, vergelijkt deze met whole-slide tokens middels cosine similarity, en extraheert iteratief kandidaat-objecten.
3. Kwaliteitsfiltering: Een vierstaps filtering-pijplijn verwijdert debris en duplicaten:
   • Attention-gebaseerde re-embedding: Kandidaten worden opnieuw ge-embedded via cross-attention pooling om uniforme representaties te creëren.
   • Prototype-gebaseerde reranking: Iteratieve medoid-berekening verfijnt een slide-niveau prototype om exemplar-bias te verminderen.
   • Non-maximum suppression (NMS): Ruimtelijke overlappingen worden verwijderd met een lage IoU-drempel (0.10).
   • Classifier gating: Een gefinetunede LVD-ViT-S classifier fungeert als een semantische gate om achtergrond en detecties met een lage betrouwbaarheid af te wijzen.
4. Vision-Language Captioning: De gefilterde detecties worden verwerkt door vijf open-weight Vision-Language Models (VLMs): Qwen2.5-VL, Qwen3-VL, Qwen3.5, Qwen3.6 en Gemma4. Generatie wordt gestuurd door door experts geverifieerde palynologische ankers (voornamelijk afgeleid van Beug's Leitfaden der Pollenbestimmung en PalDat). Prompts verbieden expliciet taxon-naam lekkage en ruwe numerieke metingen, wat strikte beschrijvingen van aperture-systemen, wandornamentatie, vorm en grootte afdwingt.
5. Expert Ground Truth: Een subset van regio's (TS2) werd handmatig gecureerd door experts om de detectieprecisie te evalueren en dient als benchmark voor downstream taken.

Belangrijkste Bijdragen

• Schaal en Diversiteit van de Dataset: De release bevat 1.51 de 1.390 gefilterde pollenkorrel-detecties uit 80 whole-slide beelden, verspreid over vier geografische herkomsten (Frankrijk, Hongarije, Middellandse Zeegebied, Zweden), vier scannerinstellingen en 46 taxon-labels over 31 botanische families.
• Multimodale Alignment: Elke detectie is gekoppeld aan machine-gegenereerde, expert-geankerde morfologische captions, wat de eerste miljoenschaal image-caption microscopie bron voor pollen creëert.
• Weak-Supervision op Schaal: De studie demonstreert dat een enkel handmatig geselecteerd exemplar per slide, gecombineerd met dense feature mining en filtering, een hoog-precieze corpus kan opleveren zonder uitputtende handmatige annotatie.
• Benchmarking Suite: De release bevat data, annotaties, captions, splits, code en weights, waarmee benchmarks worden vastgesteld voor pollenherkenning, cross-regionale domeinadaptatie en domeinspecifieke multimodale leerprocessen.

Resultaten

• Detectiekwaliteit: De pijplijn bereikte een precisie van 99,6% (20 fout-positieven op 4.506 waar-positieven in expert-gecureerde testregio's) met een recall van 43,6%. Precisie overtrof 99% in alle regionale subsets, wat de "precision-first" werkmodus bevestigt die geschikt is voor referentie corpora.
• Caption Diagnostiek: Onder de vijf geëvalueerde modellen bood Gemma4 de meest gecontroleerde output, met 0% taxon-naam lekkage, minimale numerieke grootte lekkage en de sterkste text-retrieval prestaties. Het produceerde captions met een gemiddelde lengte van 70,6 woorden, waarbij de 60–80 woorden restrictie strikt werd nageleefd.
• Classificatie: Een lineaire probe op bevroren visuele features behaalde 88,16% Top-1 nauwkeurigheid op de gecombineerde-herkomst testset. Training met een enkele herkomst resulteerde in lagere nauwkeurigheid (66,16%–74,92%), wat de uitdaging van cross-regionale generalisatie benadrukt. Stain normalisatie (Macenko) verbeterde de prestaties voor de Hongaarse subset (+10,7%) maar verslechterde de gecombineerde model prestaties (-21,2%), wat aangeeft dat acquisitie-verschuivingen niet uniform zijn.
• Cross-Regionale Retrieval: Dit was de meest significante multimodale bevinding. In een "leave-origin-out" test (CROSS-REG) daalde de image-only retrieval prestatie aanzienlijk (mAP@20 van 0,917 naar 0,262). In contrast hiermee bleef text-gebaseerde retrieval met Gemma4 captions robuust (mAP@20 0,811), wat aantoont dat morfologie-gefocusseerde tekst-embeddings invarianter zijn voor scanner en preparatie verschuivingen dan ruwe image features.

Betekenis en Claims
Het artikel claimt dat de Pollen AI Atlas dient als een hoog-precieze, expert-gestuurde, pure-species referentiebron voor het trainen en benchmarken, in plaats van een uitputtende detector voor willekeurige gemengde milieumonsters. De auteurs stellen dat de atlas aantoont hoe beperkte expert input (exemplar selectie, anchor curatie, gesamplede validatie) gecombineerd kan worden met foundation models om schaalbare, herbruikbare resources voor multimodale microscopie AI te creëren.

Het werk benadrukt dat morfologie-gefocusseerde tekst robuuster is over domein verschuivingen dan image similarity alleen, wat de praktijk van de expert-palynoloog weerspiegelt waarbij identificatie rust op morfologische kenmerken in plaats van acquisitie-specifieke cues. De auteurs positioneren de atlas niet als een definitieve oplossing voor zero-shot operationele detectie, maar als essentiële infrastructuur voor toekomstige pollen-geadapteerde vision-language modellen en expert-gestuurde analyse. De studie breidt eerdere detector-georiënteerde workflows uit naar een retrieval-gebaseerd paradigma, en suggereert dat dense visuele features gecombineerd met expert-geankerde tekstgeneratie een levensvatbaar pad bieden om de grenzen van handmatige annotatie voor microscopie datasets te overstijgen.