Parameter-efficient Prompt Tuning and Hierarchical Textual Guidance for Few-shot Whole Slide Image Classification

Hieronder volgt een gedetailleerde technische samenvatting van het paper "Parameter-efficient Prompt Tuning and Hierarchical Textual Guidance for Few-shot Whole Slide Image Classification" in het Nederlands.

Titel

Parameter-efficiënte Prompt Tuning en Hiërarchische Tekstuele Geleiding voor Few-shot Classificatie van Whole Slide Images (WSI)

1. Het Probleem

Whole Slide Images (WSI) in de computationele pathologie zijn gigapixel-groot en worden voor analyse vaak opgesplitst in kleinere "instanties" (patches). Het verkrijgen van gedetailleerde annotaties op instantieniveau is echter extreem duur en tijdrovend. Daarom wordt vaak gebruikgemaakt van Few-shot Weakly Supervised Classification (FSWC), waarbij modellen worden getraind met slechts een beperkt aantal slide-level labels (bijv. 1 tot 16 slides per klasse).

Bestaande methoden die Vision-Language Models (VLMs) zoals CLIP of CONCH gebruiken voor FSWC, hebben echter drie belangrijke tekortkomingen:

1. Hoge rekentijd en parameters: Bestaande prompt-tuning methoden (zoals CoOp met cross-attention) verhogen het aantal trainbare parameters en de inferentie-overhead aanzienlijk, wat overfitting in few-shot scenario's riskeert.
2. Informatieverlies door harde filtering: Veel methoden verwijderen instanties die een lage alignering hebben met tekst-embeddings van de VLM. Dit kan leiden tot het verwijderen van diagnostisch relevante gebieden die niet perfect in de tekst worden beschreven, wat vooral schadelijk is bij weinig data.
3. Gebrek aan hiërarchische structuur: WSIs hebben een inherente ruimtelijke hiërarchie (cellen -> weefselgebieden -> hele slide). Bestaande methoden negeren vaak deze hiërarchie of aggregatie zonder rekening te houden met de ruimtelijke organisatie, wat de signaalkwaliteit vermindert.

2. Methodologie: HIPSS

De auteurs stellen HIPSS (Hierarchical textual guidance based WSI representation learning and Prompt tuning with Scaling and Shifting features) voor. Het framework bestaat uit twee kerncomponenten:

A. Parameter-efficiënte Prompt Tuning met Scaling and Shifting (SSF)

In plaats van cross-attention mechanismen te gebruiken om tekst en beeld te fuseren, passen de auteurs een lichte aanpassing toe op de tekstencoder van de pre-getrainde VLM:

• Scaling and Shifting: Voor geselecteerde lagen in de tekstencoder worden twee learnable parameters per laag toegevoegd: een schaalparameter ($\gamma$) en een verschuifparameter ($\beta$).
• Transformatie: De features $x$ worden getransformeerd naar $y = \gamma \cdot x + \beta$.
• Efficiëntie: Alleen deze $\gamma$ en $\beta$ parameters worden getraind; de rest van de VLM blijft bevroren. Deze lineaire transformaties kunnen tijdens inferentie worden samengevoegd met het model (re-parameterization), wat geen extra inferentie-overhead oplevert.
• Prompt Formulering: Een Large Language Model (LLM) genereert gedetailleerde tekstuele beschrijvingen voor zowel het niveau van de hele slide als voor specifieke regio's binnen de slide. Deze beschrijvingen dienen als input voor de tekstencoder.

B. Hiërarchische Tekstuele Geleiding (Soft Hierarchical Guidance)

In plaats van instanties hard te filteren op basis van tekst-alignement, gebruikt HIPSS een "soft" aanpak binnen een hiërarchische structuur:

1. Hiërarchie: Een WSI wordt eerst opgesplitst in regio's (bijv. 4096x4096 pixels), en elke regio wordt verder opgesplitst in instanties (256x256 pixels).
2. Region Encoder: Instanties binnen een regio worden samengevoegd tot een regio-embedding via een attention-pooling blok.
3. WSI Encoder: Regio-embeddings worden samengevoegd tot een slide-level embedding.
4. Soft Geleiding: De attention-weights in beide stadia worden verfijnd op basis van de cosine-相似iteit tussen de visuele features en de tekst-embeddings.
   • Negatieve similariteiten worden onderdrukt.
   • Lage positieve similariteiten worden lineair gewogen (om onzekere maar informatieve instanties te behouden).
   • Hoge similariteiten worden versterkt.
   • Belangrijk: Er vindt geen hard filteren plaats; alle instanties dragen bij, maar met een aangepast gewicht.

C. Training

Het model wordt getraind met een contrastieve loss-functie die de visuele embedding van de slide dichter bij de bijbehorende tekst-embedding brengt en verder van niet-overeenkomende paren.

3. Belangrijkste Bijdragen

1. Nieuwe Prompt Tuning: Introductie van SSF in de tekstencoder, wat het aantal trainbare parameters drastisch verlaagt ten opzichte van cross-attention methoden, zonder inferentie-kosten.
2. Zachte Hiërarchische Geleiding: Een nieuwe strategie voor WSI-representatie die de inherente hiërarchie van pathologische slides benut en informatiebehoud garandeert door het vermijden van hard instantie-filtering.
3. Superieure Prestaties: Consistente verbeteringen ten opzichte van state-of-the-art (SOTA) methoden op drie grote pathologie-datasets (borstkanker, longkanker, eierstokkanker) in diverse few-shot settings.
4. Sterke Lokalisatie: Het model leert hoogwaardige features die ook uitstekend presteren in weakly-supervised tumorlokalisatie taken.

4. Resultaten

De methode werd geëvalueerd op drie datasets: Camelyon16 (borstkanker), TCGA-Lung (longkanker) en UBC-OCEAN (eierstokkanker).

• Classificatieprestaties (AUC):
  • Camelyon16: Verbetering van +10,9% (4-shot), +7,7% (8-shot) en +8,4% (16-shot) ten opzichte van de tweede beste methode.
  • TCGA-Lung: Verbetering van +7,8% (4-shot) en +3,7% (2-shot).
  • UBC-OCEAN: Een opvallende verbetering van +13,8% in de extreme 1-shot setting.
• Parameter-efficiëntie:
  • HIPSS reduceert het aantal trainbare parameters met 18,1% (voor borst- en longkanker) en 5,8% (voor eierstokkanker) ten opzichte van de meest efficiënte concurrenten.
  • De inferentie-tijd per slide is met 12,6% sneller dan de huidige SOTA-methoden.
• Tumor Lokalisatie:
  • Op de Camelyon16 dataset bereikte HIPSS een Dice-coëfficiënt van 0,732 voor tumorsegmentatie, wat aanzienlijk hoger is dan andere few-shot methoden (bijv. TOP: 0,203) en zelfs concurrentieert met gespecialiseerde MIL-methoden.

5. Betekenis en Conclusie

HIPSS biedt een doorbraak in de toepassing van Vision-Language Models voor medische beeldanalyse onder beperkte datacondities. Door de combinatie van parameter-efficiënte aanpassing (SSF) en hiërarchische, zachte tekstuele geleiding, lost het paper de dilemma's op van overfitting, hoge rekentijd en informatieverlies.

De studie toont aan dat het behouden van alle instanties (via zachte weging in plaats van hard filteren) cruciaal is voor het behoud van diagnostisch relevante informatie in few-shot scenario's. De methode is niet alleen superieur in classificatie, maar genereert ook representaties die zeer bruikbaar zijn voor downstream taken zoals tumorsegmentatie, wat de klinische toepasbaarheid van AI in de pathologie verder versterkt. Een beperking die de auteurs noemen, is de afhankelijkheid van door LLM's gegenereerde beschrijvingen, die in de toekomst door expert-validatie kunnen worden verfijnd.