Automated Histopathology Report Generation via Pyramidal Feature Extraction and the UNI Foundation Model

Deze paper presenteert een hiërarchisch visueel-taalframework dat het UNI-foundationmodel, meervoudige resolutie-patchselectie en BioGPT-tokenisatie combineert om diagnostische rapporten te genereren uit gigapixel histopathologie-afbeeldingen, waarbij de betrouwbaarheid wordt verhoogd door een retrieval-gebaseerde verificatiestap.

De kern

Stel je voor dat een patholoog (een arts die weefsels onder de microscoop bekijkt om kanker te diagnosticeren) geconfronteerd wordt met een gigantische foto. Deze foto, een 'Whole Slide Image' (WSI), is zo groot dat hij miljarden pixels telt. Het is alsof je probeert een heel landschap te bekijken door door een klein gaatje te kijken, maar dan in 40x vergroting.

Het probleem? Een computer moet van deze enorme foto een medisch verslag schrijven. Dat is als proberen een heel boek te schrijven terwijl je maar één woord per seconde kunt zien.

De auteurs van dit paper (van het bedrijf ViseurAI) hebben een slimme manier bedacht om dit op te lossen. Hier is hoe hun systeem werkt, vertaald naar alledaagse taal:

1. De Slimme Zoeker (De Piramide-strategie)

Stel je voor dat je een enorm veld met gras moet inspecteren op onkruid. Als je elk grassprietje één voor één bekijkt, duurt het eeuwen.
In plaats daarvan kijkt het systeem eerst van ver weg (zoals vanuit een helikopter). Het ziet waar de grote stukken gras zitten en waar het kale asfalt (de achtergrond) is. Het negeert het asfalt direct.
Daarna zoomt het langzaam in op de interessante stukken gras. Het kijkt niet naar alles, maar selecteert alleen de stukjes waar echt iets te zien is.

• De truc: Ze gebruiken een 'piramide' van vergrotingen. Eerst kijken ze naar een klein plaatje, dan iets groter, en pas op het laatst heel dichtbij. Ze gebruiken ook slimme filters om te zien of de foto scherp is (niet wazig) en of de kleuren goed zijn (niet te donker of te licht). Alleen de beste stukjes worden geselecteerd.

2. De Expert die niet meer hoeft te leren (Het UNI-model)

Vroeger moest je een computer van nul af aan leren wat een kankercel is. Dat kostte jaren en enorme rekenkracht.
Deze auteurs gebruiken echter een reeds opgeleide expert: het 'UNI'-model.

• De analogie: Stel je voor dat je een meester-architect hebt die al 100 miljoen gebouwen heeft bestudeerd en alles over bouwstijlen weet. Je hoeft die architect niet opnieuw te leren bouwen. Je geeft hem alleen de foto's van jouw specifieke huis en vraagt: "Wat zie jij hier?"
• Omdat deze 'architect' al zo slim is, hoeven ze hem niet meer te trainen (hij is 'bevroren'). Ze gebruiken alleen zijn kennis. Dit bespaart enorm veel tijd en energie.

3. De Schrijver die medisch spreekt (De Decoder)

Nu heeft de computer de 'kennis' van de architect over de foto's, maar die moet nog in een verslag worden omgezet.
Ze gebruiken een speciale schrijver (een Transformer-decoder) die alleen de tekst schrijft.

• De taal: Normale computers gebruiken woordenboeken voor alledaagse taal. Maar medische termen zijn lastig (bijv. "invasief ductaal carcinoom"). Als je die in gewone letters splitst, wordt het onzin.
• De oplossing: Ze gebruiken een speciaal woordenboek voor medicijnen (BioGPT). Het is alsof de schrijver een medische vertaler is die precies weet hoe termen samengesteld moeten worden, zodat hij niet "kanker van de borst" schrijft, maar de juiste, professionele diagnose.

4. De Controleur (De Retriever)

Soms verzinnen computers dingen die klinken alsof ze waar zijn, maar niet kloppen (dit noemen ze 'hallucinaties'). In de geneeskunde is "goedaardig" vs. "kwaadaardig" een enorm groot verschil.
Om dit te voorkomen, hebben ze een controleur toegevoegd.

• Hoe het werkt: Nadat de computer een verslag heeft geschreven, kijkt de controleur in een enorme bibliotheek met echte, goedgekeurde verslagen.
• Als het nieuwe verslag heel erg lijkt op een verslag dat al in de bibliotheek staat (meer dan 85% gelijkenis), dan wordt het nieuwe verslag vervangen door het bewezen, echte verslag.
• Als het een heel zeldzame ziekte is die niet in de bibliotheek staat, blijft het originele verslag staan, maar dan weet je dat het een 'nieuwe' interpretatie is.

Waarom is dit belangrijk?

Deze methode is als het bouwen van een efficiënte fabriek in plaats van een dure, energievretende supercomputer.

• Het is snel: Omdat ze de zware 'architect' niet opnieuw hoeven te trainen.
• Het is betrouwbaar: Door de controleur en de slimme selectie van de foto's.
• Het werkt goed: In een internationale wedstrijd (REG 2025) haalde dit team de 8e plek van 24 teams, wat heel goed is, gezien ze een 'lichter' systeem gebruikten dan de zware concurrenten.

Kortom: Ze hebben een systeem gebouwd dat eerst slim selecteert wat belangrijk is, dan een expert raadpleegt die al alles weet, laat een medische schrijver het verslag maken, en tot slot een controleur laat checken of het klopt. Zo krijgen artsen sneller en nauwkeuriger hulp bij het diagnosticeren van kanker.

Technische samenvatting

Probleemstelling

Het genereren van diagnostische teksten uit histopathologische whole-slide images (WSI's) is een aanzienlijke uitdaging vanwege twee hoofdfactoren:

1. Schaal: WSI's hebben een gigapixel-resolutie (vaak >10^10 pixels), wat standaard vision-language architecturen (ontworpen voor 224x224 beelden) computationeel onuitvoerbaar maakt.
2. Semantische complexiteit: De output vereist precieze, domeinspecifieke medische taal. Bestaande methoden zoals end-to-end Multimodal Large Language Models (MLLM's) zijn vaak duur om te trainen, gevoelig voor "hallucinaties" (het verzinnen van niet-bestaande kenmerken) en vereisen vaak agressieve token-pruning die zeldzame diagnostische features kan verliezen.

Methodologie

De auteurs stellen een hiërarchisch, modulair vision-language framework voor dat bestaat uit drie sequentiële modules:

1. Hiërarchische Pyramide Patch Selectie & Kwaliteitsfiltering
Om de gigapixel-beelden hanteerbaar te maken, wordt een "coarse-to-fine" strategie toegepast:

• Pyramide Scanning: Het systeem scant WSI-pyramide-niveaus in dalende volgorde (van vergroting 2^3 tot 2^6).
• Weefselsegmentatie: Op elk niveau wordt een binaire weefselmasker gegenereerd op basis van HSV-kleurdrempels om glasachtergrond te verwijderen.
• Kwaliteitsfiltering: Alleen diagnostisch relevante patches worden behouden via:
  • Laplacian-variance: Om onscherpe patches te verwijderen.
  • Exposure & Artifact filtering: Om onderbelichte patches of die met vuil/vlekken te verwijderen.
• Sampling: Er wordt een maximum budget van 2500 patches per WSI gehandhaafd via stratified random sampling over de verschillende vergrotingsniveaus.

2. Feature Extractie met de UNI Foundation Model

• Frozen Encoder: De geselecteerde patches (256x256) worden verwerkt door de UNI (Universal Pathology) Vision Transformer (ViT-Large), een model vooraf getraind op >100 miljoen histopathologische patches.
• Bevroren Weegs: De UNI-encoder blijft volledig bevroren (307M parameters). Dit elimineert de noodzaak voor backpropagation door de encoder, wat het GPU-geheugengebruik drastisch verlaagt (van ~16GB naar ~4GB) en de robuuste morfologische representaties behoudt.
• Output: Elke patch levert een 1024-dimensionaal feature-vector op.

3. Transformer Decoder & Generatie

• Architectuur: Een lichtgewicht, aangepaste 6-laags Transformer-decoder wordt getraind om de visuele features naar diagnostische tekst te vertalen.
• BioGPT Tokenizer: In plaats van een generieke tokenizer wordt BioGPT gebruikt. Dit optimaliseert de verwerking van biomedische terminologie (bijv. histologische gradaties) en voorkomt fragmentatie van medische termen.
• Cross-Attention: De decoder gebruikt cross-attention om dynamisch te focussen op relevante beeldregio's tijdens het genereren van diagnostische termen.

4. Retrieval-Based Verificatie (Post-Processing)
Om hallucinaties te minimaliseren, wordt een verificatiestap toegevoegd:

• De gegenereerde rapporten worden geëncodeerd met Sentence-BERT.
• Er wordt een vergelijkingsmeting (cosine similarity) uitgevoerd met een corpus van ground-truth rapporten uit de trainingsset.
• Als de gelijkenis een drempelwaarde (τ = 0.85) overschrijdt, wordt het gegenereerde rapport vervangen door het gevonden ground-truth referentierapport. Dit verhoogt de betrouwbaarheid voor veelvoorkomende diagnoses.

Belangrijkste Bijdragen

1. Pyramide Scanning Strategie: Een efficiënte, interpreteerbare aanpak voor het verwerken van gigapixel-beelden die achtergrondruis onderdrukt en weefselgebieden prioriteert.
2. Modulair Design: Integratie van een bevroren UNI-encoder met een lichtgewicht decoder, wat end-to-end hertraining van zware visuele backbones vermijdt.
3. Domeinspecifieke Tokenisatie: Toepassing van de BioGPT-tokenizer om de vocabulaire-mismatch tijdens het decoderen te verminderen.
4. Retrieval-Verificatie: Een schaalbare methode om de betrouwbaarheid van rapporten te verhogen door gebruik te maken van een referentiecorpus, zonder de complexiteit van Reinforcement Learning from Human Feedback (RLHF).

Resultaten

Het model werd geëvalueerd op de REG 2025 Grand Challenge dataset (10.494 WSI-rapportparen van 5 instituten).

• Prestatie: Het team (MedInsight-ViseurAI) behaalde een rangschikkingsscore van 0.8093 en eindigde op plaats 8 van de 24 deelnemende teams.
• Kwalitatieve Analyse: Het model toonde sterke prestaties in het identificeren van orgaansystemen, biopsie-types en primaire diagnoses.
• Beperkingen: Fouten werden vooral waargenomen bij complexe, multi-attribuut gradaties (bijv. het onderscheid tussen in situ en invasieve kanker, of precieze Gleason-scores), wat wijst op uitdagingen bij zeldzame diagnostische combinaties.

Betekenis en Conclusie

Dit paper demonstreert dat competitieve geautomatiseerde rapportage mogelijk is zonder de enorme rekenkracht die nodig is voor end-to-end training van multimodale LLM's.

• Efficiëntie: Door de encoder bevroren te houden, wordt de trainingstijd en hardware-eis drastisch verlaagd, wat onderzoek in resource-beperkte omgevingen mogelijk maakt.
• Betrouwbaarheid: De combinatie van een gestructureerde encoder-decoder architectuur en een retrieval-based verificatiestap resulteert in rapporten die strikt voldoen aan klinische formaten en minder gevoelig zijn voor hallucinaties dan pure generatieve LLM-approaches.
• Toekomst: De auteurs suggereren dat voor complexe gradaties gestructureerde predictie-methoden nodig zijn en dat validatie op diverse datasets essentieel is voor algemene toepasbaarheid.