Footprint-Guided Exemplar-Free Continual Histopathology Report Generation

Deze paper introduceert een exemplaarvrij continu leerframework voor het genereren van pathologierapporten uit gigapixel-scanbeelden, dat catastrofale vergetelheid voorkomt door compacte 'voetafdrukken' te gebruiken voor het synthetiseren van pseudo-gegevens en het distilleren van domeinspecifieke stijlen zonder historische data op te slaan.

De kern

Stel je voor dat een patholoog (een arts die ziektes onderzoekt onder de microscoop) een enorme bibliotheek heeft. Elke dag komen er nieuwe boeken binnen met foto's van weefsels en de bijbehorende medische verslagen.

Het probleem is dat deze bibliotheek nooit stopt met groeien. Er komen nieuwe soorten organen, nieuwe ziekenhuizen met andere schrijfstijlen en nieuwe machines die de foto's maken.

Als je een computer wilt leren om deze verslagen automatisch te schrijven, loop je tegen een groot probleem aan: Vergeten. Als je de computer nieuwe dingen leert, vergeet hij vaak alles wat hij eerder wist. Dit noemen wetenschappers "catastrophic forgetting".

De auteurs van dit paper hebben een slimme oplossing bedacht, die ze "Footprint-Guided Continual Learning" noemen. Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De Zware Koffer

Normaal gesproken zou je om te voorkomen dat de computer vergeet, alle oude foto's en verslagen op te slaan. Maar dat is onmogelijk:

• De foto's (Whole Slide Images) zijn gigantisch groot (gigapixels).
• Je mag patiëntgegevens vaak niet opslaan vanwege privacywetten.
• Het opslaan van alles kost te veel ruimte en tijd.

Het is alsof je probeert een nieuwe taal te leren, maar je mag je oude woordenboeken niet meer raadplegen. Als je alleen naar de nieuwe taal kijkt, vergeet je de oude.

2. De Oplossing: De "Voetafdruk" (Footprint)

In plaats van de hele koffer met oude foto's mee te nemen, maakt de computer een compacte voetafdruk van elk orgaan dat hij heeft gezien.

Stel je voor dat je een bos hebt bezocht. Je hoeft niet elke boom, elk blad en elke steen mee te nemen om te onthouden hoe het bos eruitzag. Je maakt in plaats daarvan een kleine schets:

• "Er waren veel eikenbomen."
• "De grond was modderig."
• "Er waren veel vogels."

In de computerwereld is deze "voetafdruk" een klein bestandje dat samenvat hoe de weefsels eruitzagen (de vorm, de kleuren, de patronen) en hoe de artsen erover schreven. Het is een samenvatting van de essentie, zonder de originele, zware foto's.

3. De Oefening: Dromen van Oude Beelden

Hoe leert de computer dan nog steeds de oude dingen?
De computer gebruikt zijn "voetafdrukken" om droombeelden te maken.

• Hij zegt: "Oké, ik heb de voetafdruk van 'Long' en 'Nier'. Laten we eens een nieuwe, nep-Long en een nep-Nier bedenken die lijken op de oude."
• Vervolgens laat hij een "leraar" (een oudere versie van het programma) een verslag schrijven voor deze nep-beelden.
• De huidige computer leert van dit verslag.

Dit is alsof je een chef-kok bent die een nieuw recept moet leren, maar zijn oude kookboeken kwijt is. In plaats daarvan maakt hij een schets van de oude gerechten (de "voetafdruk"), probeert hij die gerechten na te maken in zijn hoofd, en laat hij zijn oude zelf (de leraar) vertellen hoe het eruit had moeten zien. Zo blijft hij de oude gerechten beheersen zonder de boeken nodig te hebben.

4. De Schrijfstijl: De "Stijl-Bril"

Een ander probleem is dat artsen in verschillende ziekenhuizen anders schrijven. De een is kort en bondig, de ander is heel gedetailleerd.
De computer leert voor elke "voetafdruk" een speciale bril (een stijl-prototype).

• Bij het bekijken van een nieuwe foto, kijkt de computer: "Welke bril past het beste bij deze foto?"
• Zonder dat iemand hoeft te zeggen "dit is een long", past de computer automatisch de juiste schrijfstijl toe. Het is alsof de computer intuïtief voelt: "Ah, dit is een long, dus ik schrijf het in de 'long-stijl'."

Waarom is dit belangrijk?

Deze methode is revolutionair omdat:

1. Privacy: Je hoeft geen enkele patiëntfoto op te slaan. Alleen de kleine, anonieme "voetafdrukken".
2. Efficiëntie: Het kost weinig ruimte en rekenkracht.
3. Toekomstbestendig: De computer kan blijven leren van nieuwe ziekenhuizen en organen zonder dat hij zijn oude kennis verliest.

Kort samengevat:
In plaats van een zware koffer vol oude foto's mee te slepen, maakt de computer een kleine schets (voetafdruk) van wat hij heeft geleerd. Met deze schets droomt hij oude beelden na en oefent hij ze opnieuw, zodat hij nooit vergeet hoe hij een medisch verslag moet schrijven, ongeacht hoeveel nieuwe organen erbij komen.

Technische samenvatting

Probleemstelling

De automatische generatie van pathologierapporten uit gigapixels grote hele-slice beelden (Whole Slide Images, of WSIs) heeft grote stappen gezet dankzij vision-language modellen. Echter, de meeste bestaande systemen worden getraind in een statische omgeving waarbij toegang is tot alle data tegelijkertijd. In de klinische praktijk is dit niet haalbaar: nieuwe organen, instellingen en rapportageconventies ontstaan continu.

Het traditionele aanpakken van dit probleem door sequentieel te fine-tunen op nieuwe data leidt tot catastrophic forgetting (CF): het model vergeet wat het eerder heeft geleerd over oude domeinen. Bestaande oplossingen zoals rehearsal (het opslaan en opnieuw trainen met oude voorbeelden) zijn in de computergestuurde pathologie vaak onuitvoerbaar vanwege:

1. De enorme opslagkosten van WSIs (die bestaan uit duizenden patch-embeddings).
2. Privacy- en governance-beperkingen die het langdurig bewaren van patiëntdata verbieden.
3. Het gebrek aan consistente domein-identificatoren (metadata) bij de inferentie.

Methodologie

De auteurs introduceren een exemplar-vrij (exemplar-free) continu leerframework dat het probleem van het opslaan van ruwe beelden of features omzeilt. Het framework bestaat uit drie kerncomponenten:

1. Compacte Domein-Afdrukken (Domain Footprints)
In plaats van WSIs op te slaan, wordt elk domein (bijv. een specifiek orgaan of instelling) samengevat in een compacte "afdruk" binnen een bevroren patch-embedding ruimte:

• Codebook: Een kleine verzameling representatieve morfologische tokens (k-means clusters van patch-embeddings).
• Histogrambank: Slide-niveau statistieken die de co-voorkomende verdeling van deze tokens weergeven.
• Priors: Statistieken over het aantal patches per slide om realistische slide-groottes te kunnen reproduceren.
• Stijl-prototype: Een compacte vector die de linguïstische kenmerken van de rapportage voor dat domein vastlegt.

2. Generatieve Replay met Pseudo-Rapporten
Tijdens het trainen van een nieuw domein ($t$), wordt het model getraind op de huidige data én op synthetische data van vorige domeinen ($j < t$):

• Synthese: Er worden "pseudo-WSI" representaties gegenereerd door codes uit de opgeslagen histogrammen en codebooks te samplen.
• Pseudo-Rapporten: Omdat er geen ground-truth rapporten zijn voor deze synthetische data, fungeert een "leraar" (een snapshot van het model aan het einde van de vorige episode) als generator van pseudo-ground-truth rapporten.
• Training: Het huidige model wordt getraind om deze synthetische input-paren te voorspellen, waardoor het kennis van oude domeinen behoudt zonder de originele data te zien.

3. Domein-Agnostische Inferentie en Stijl-Conditionering

• Stijl-Conditionering: Het taalmodel (LLM) wordt gestuurd door een "style-prefix" die is afgeleid van het domein-specifieke rapport-stijl-prototype.
• Automatische Domein-Selectie: Tijdens de inferentie is de domein-ID vaak onbekend. Het model berekent de reconstructiefout van de slide-embeddings ten opzichte van alle opgeslagen codebooks en kiest het meest compatibele domein. Vervolgens wordt het bijbehorende stijl-prototype gebruikt om de rapportgeneratie te sturen.

Kernbijdragen

1. Exemplar-vrij Framework: Een oplossing die het opslaan van ruwe WSIs of grote feature-archieven overbodig maakt, wat privacy en opslagproblemen oplost.
2. Footprint-based Generative Replay: Een methode om voorgaande domeinen te "rehearsen" via synthetische representaties en leraar-generatie, met prestaties die vergelijkbaar zijn met methoden die echte voorbeelden opslaan.
3. Domein-agnostische Stijl-Overdracht: Een mechanisme dat rapportageconventies (stijl) leert en toepast zonder expliciete domein-identificatoren nodig te hebben tijdens de inferentie.

Resultaten

De methode is geëvalueerd op twee publieke datasets (REG2025 en PathText) met verschillende scenario's voor organverschuivingen en heterogene verschuivingen (verschillende organen en rapportstijlen).

• Prestaties: De voorgestelde methode overtreft bestaande exemplar-vrije baselines (zoals EWC, SI, LwF) aanzienlijk en presteert vergelijkbaar met methoden die een groot buffer van echte voorbeelden gebruiken (bijv. DER met B=50).
  • Op het OS-R-benchmark behaalde de methode een gemiddelde ranking score (AVG) van 0.6961, vergeleken met 0.6620 voor de beste replay-methode met buffer.
• Vergeetgedrag (Forgetting): De methode toont een significant lagere "Backward Transfer" (BWT) waarde (minder verlies van oude kennis) dan naïve fine-tuning of reguliere methoden.
• Kwalitatieve Analyse: In kwalitatieve tests bleek het model organ-specifieke details correct te behouden (bijv. een blaas-rapport genereren in plaats van een maag-rapport na training op een nieuw orgaan), terwijl naïve modellen vaak "cross-organ drift" vertoonden.
• Ablatie-studie: Het verwijderen van de generatieve replay (footprints) leidde tot een drastische daling in prestaties, wat aantoont dat dit de belangrijkste component is. De stijl-prototypes leverden een extra, maar consistente verbetering op, vooral bij heterogene verschuivingen.

Significantie

Dit werk biedt een praktische en schaalbare oplossing voor de implementatie van AI in de klinische pathologie. Door het probleem van "catastrophic forgetting" op te lossen zonder de privacy van patiëntdata te schenden of enorme opslagcapaciteiten te vereisen, maakt het framework continu leren mogelijk in dynamische omgevingen. Het stelt systemen in staat om zich aan te passen aan nieuwe organen en veranderende rapportagestandaarden terwijl ze hun eerdere kennis behouden, wat essentieel is voor de langetermijndeployments van diagnostische AI-systemen.