RPG-SAM: Reliability-Weighted Prototypes and Geometric Adaptive Threshold Selection for Training-Free One-Shot Polyp Segmentation

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een arts bent die op zoek is naar kleine, gevaarlijke uitstulpingen (poliepen) in de darmen van een patiënt. Normaal gesproken heb je duizenden foto's nodig met handmatig getekende lijnen om een computer dit te leren. Maar wat als je maar één voorbeeldfoto hebt?

Dat is waar RPG-SAM om de hoek komt kijken. Het is een slimme computerprogramma dat zonder extra "leren" (trainen) een poliep kan vinden op basis van slechts één voorbeeld.

Hier is hoe het werkt, vertaald naar alledaagse taal en met een paar leuke vergelijkingen:

1. Het Probleem: De "Eén-grootte-voor-iedereen" Fout

Stel je voor dat je een detective bent die een verdachte zoekt. De meeste oude methodes kijken naar de foto van de verdachte en zeggen: "Oké, elke plek op deze foto is even belangrijk."

Maar in de werkelijkheid is dat niet zo:

Slechte foto's: Soms zit er een vlek op de lens, of is er een reflectie van het licht (zoals een spiegelende druppel water). Als de computer die vlek ook als "verdachte" ziet, maakt hij een fout.
De achtergrond: De computer vergeet vaak dat de achtergrond (de normale darmwand) ook belangrijk is om te weten wat niet de verdachte is.
De drempel: Oude methodes gebruiken een starre regel: "Als het beeld 50% helder is, dan is het een poliep." Maar soms is een poliep heel donker, en soms heel licht. Die vaste regel werkt dan niet.

2. De Oplossing: RPG-SAM (De Slimme Detective)

RPG-SAM lost deze problemen op met drie slimme trucs:

A. De Betrouwbare Getuige (RWPM)

In plaats van naar de hele foto te kijken alsof alles even goed is, kijkt RPG-SAM kritisch: "Welke delen van de voorbeeldfoto zijn echt betrouwbaar?"

De Analogie: Stel je voor dat je een getuige vraagt een verdachte te beschrijven. Als de getuige zegt: "Hij heeft een rode pet," maar je ziet dat de pet in de foto eigenlijk een lichtreflectie is, dan negeer je die tip. RPG-SAM doet precies dit: het filtert de "slechte" tips (zoals reflecties) en focust alleen op de "echte" kenmerken.
Het gebruikt ook de achtergrond als een negatieve aanwijzing. Het zegt: "Dit is de normale darmwand, dus als we dat zien, is het GEEN poliep." Dit helpt om ruis weg te houden.

B. De Slimme Drempel (GAS)

Stel je voor dat je een metaaldetector gebruikt. Een oude detector gaat altijd af bij een bepaalde geluidsdrempel. Maar als je in een gebied loopt waar het metaal anders klinkt, werkt die vaste drempel niet.

De Analogie: RPG-SAM heeft een dynamische detector. In plaats van een vaste regel, kijkt het naar de vorm van wat het ziet. "Ziet dit eruit als een ronde, gezonde poliep, of is het maar een klein vlekje ruis?"
Het scant verschillende instellingen en kiest automatisch de beste "drempel" voor die specifieke foto, gebaseerd op hoe de vorm eruitziet (zoals een stevige, ronde bal).

C. De Iteratieve Polijster (PIR)

Zelfs de slimste detective maakt soms een kleine fout in de omtrek.

De Analogie: Stel je voor dat je een tekening maakt en de lijnen zijn een beetje onnauwkeurig. RPG-SAM gebruikt een automatische polijstmachine (SAM2). Het kijkt naar zijn eigen tekening, vergelijkt die met de ideale vorm, en zegt: "Hier is de lijn te breed, hier te smal." Het doet dit steeds opnieuw (in een lusje) tot de randen van de poliep perfect zijn.

Waarom is dit belangrijk?

In de medische wereld is tijd geld, en experts zijn schaars.

Geen dure training: Je hoeft geen supercomputer te gebruiken om het systeem maandenlang te laten leren. Je geeft het één voorbeeld, en het werkt direct.
Veel robuuster: Omdat het slim omgaat met slechte foto's (reflecties) en verschillende soorten poliepen, werkt het betrouwbaarder in echte ziekenhuizen dan de oude methodes.

Kort samengevat:
RPG-SAM is als een ervaren detective die niet blindelings naar een foto kijkt, maar eerst controleert of de foto niet vervaagd is, weet wat de achtergrond is, zijn gereedschap aanpast aan de situatie, en zijn werk tot in de puntjes polijst voordat hij een oordeel velt. Hierdoor vinden ze meer poliepen en maken ze minder fouten, zelfs als ze maar één voorbeeld hebben.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

De automatische detectie van poliepen is cruciaal voor de vroege screening van colorectale kanker. Hoewel toezichtmodellen (supervised models) hoge nauwkeurigheid bereiken, zijn ze afhankelijk van grote hoeveelheden pixel-voor-pixel annotaties, wat de schaalbaarheid in klinische omgevingen beperkt.
"Training-free one-shot segmentation" (segmentatie zonder training met slechts één voorbeeld) biedt een oplossing, vaak gebaseerd op foundation-modellen zoals SAM (Segment Anything Model). Echter, bestaande methoden hebben drie fundamentele tekortkomingen die de prestaties beperken:

Regionale Heterogeniteit: Bestaande methoden behandelen alle pixels in het ondersteunende voorbeeld (support image) als even representatief. In werkelijkheid bevatten endoscopische beelden vaak vervormde gebieden (bijv. door reflecties of slijm) die leiden tot valse positieven.
Contextuele Heterogeniteit: De achtergrond in het ondersteunende beeld wordt vaak genegeerd als een distincte informatielaag. Het niet gebruiken van de achtergrond als een negatieve referentie maakt het moeilijk om poliepen te onderscheiden van vergelijkbare darmvouwen.
Intensiteits-Heterogeniteit: De overgang van warmtekaarten (heatmaps) naar binaire maskers wordt vaak bepaald door statische, vaste drempelwaarden. De responsintensiteit varieert echter sterk tussen verschillende query-afbeeldingen, waardoor vaste regels ontoereikend zijn.

Methodologie: RPG-SAM

RPG-SAM is een trainingsvrij raamwerk dat specifiek is ontworpen om deze heterogeniteitskieren te overbruggen. Het bestaat uit drie hoofdcomponenten:

1. Reliability-Weighted Prototype Mining (RWPM)

Deze module lost de regionale en contextuele heterogeniteit op.

Superpixels: Het ondersteunende beeld wordt opgedeeld in superpixels (via SLIC) om prototypes te genereren voor zowel het voor- als achtergrondgebied.
Betrouwbaarheidsmeting: Elke voorgrond-prototype wordt gewogen op basis van twee metrieken:
- Contrast Factor: Meet hoe goed een prototype zich onderscheidt van de achtergrond binnen het ondersteunende beeld.
- Reverse Purity Factor: Meet de stabiliteit van de matching tussen het ondersteunende beeld en de query-afbeelding.
Achteronderdrukkingsmechanisme: In plaats van alleen naar voorgrondfeatures te kijken, worden achtergrondprototypes expliciet gebruikt als "negatieve ankers" om valse positieve activaties in de warmtekaart te onderdrukken. Dit resulteert in een initieel, schoner warmtekaart ( $H_{init}$ ).

2. Geometric Adaptive Threshold Selection (GAS)

Deze module lost de intensiteits-heterogeniteit op door statische drempels te vervangen door een dynamisch proces.

Kandidaatgeneratie: Er wordt een reeks binaire maskers gegenereerd door de initieel warmtekaart te binaire met verschillende drempelwaarden.
Geometrische Score: Elk kandidaat-masker wordt beoordeeld op basis van een geometrische score ( $S_{geo}$ $S_{g eo}$ ) die twee factoren combineert:
- Gewogen Soliditeit: Bevordert maskers met regelmatige, convexe vormen (typisch voor poliepen).
- Schaalconsensus: Straft maskers die significant afwijken van een verwachte poliep-grootte (om ruis te filteren).
Selectie: Het masker met de hoogste geometrische score wordt geselecteerd als het optimale "prior-masker" ( $M_{prior}$ ) voor de volgende stap.

3. Prior-guided Iterative Refinement (PIR)

Om de segmentatie verder te verfijnen, wordt een iteratieve lus gebruikt die SAM2 aanstuurt.

Iteratief Proces: Het systeem vergelijkt het huidige masker met het geometrische prior-masker ( $M_{prior}$ ).
Foutcorrectie:
- Als de dekking te laag is (veel vals-negatieven), worden positieve prompts (punten) gegenereerd in de gemiste gebieden om het masker uit te breiden.
- Als er te veel achtergrond is (veel vals-positieven), worden negatieve prompts toegevoegd om ruis te onderdrukken.
Dit proces herhaalt zich totdat de dekking en de Intersection-over-Union (IoU) drempelwaarden zijn bereikt of het maximum aantal iteraties is bereikt.

Belangrijkste Bijdragen

RWPM: Introduceert een mechanisme om onbetrouwbare features (zoals reflecties) te filteren en achtergrondinformatie actief te gebruiken voor ruisreductie.
GAS: Vervangt rigide, vaste drempelwaarden door een adaptief, geometrisch gebaseerd selectiemechanisme dat rekening houdt met de stochastische aard van endoscopische beelden.
PIR: Een automatische iteratieve verfijningslus die de anatomische grenzen van poliepen verbetert zonder menselijke tussenkomst.
Trainingsvrij: Het hele proces vereist geen modeltraining of fine-tuning, wat het ideaal maakt voor scenario's met weinig gelabelde data.

Resultaten

De methode is getest op vier publieke datasets: Kvasir, CVC-ClinicDB, CVC-ColonDB en PolypGen (multi-center).

Prestaties: Op de Kvasir-dataset behaalde RPG-SAM een mIoU van 78,65% en een mDice van 85,65%.
Vergelijking: Dit is een verbetering van 5,56% mIoU ten opzichte van de huidige state-of-the-art methode (ProtoSAM).
Robuustheid: De methode toonde superieure prestaties op de multi-center PolypGen-dataset, wat aantoont dat het goed omgaat met domeinverschuivingen en variaties in beeldkwaliteit tussen verschillende ziekenhuizen.
Ablatiestudies: Experimenten bevestigden dat elke component (Achtergrond-onderdrukking, RWPM, GAS, PIR) een significante bijdrage levert aan de totale prestatie.

Betekenis

RPG-SAM biedt een robuust en schaalbaar alternatief voor data-intensieve modellen in klinische settings waar gelabelde data schaars is. Door systematisch om te gaan met de heterogeniteit van endoscopische beelden (ruis, reflecties, variërende contrasten), verhoogt het de betrouwbaarheid van poliepsegmentatie zonder dat er extra training nodig is. Dit maakt de technologie direct inzetbaar voor klinische ondersteuning en legt de basis voor toekomstige uitbreidingen naar video-analyse (temporele consistentie).