⚡ electrical engineering

COMPASS: Robust Feature Conformal Prediction for Medical Segmentation Metrics

Het paper introduceert COMPASS, een robuust raamwerk dat conformele voorspelling toepast op medische segmentatiemetrics door gebruik te maken van de inductieve bias van diepe neurale netwerken, waardoor efficiëntere en nauwkeurigere onzekerheidsintervallen worden gegenereerd dan traditionele methoden.

Oorspronkelijke auteurs: Matt Y. Cheung, Ashok Veeraraghavan, Guha Balakrishnan

Gepubliceerd 2026-03-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Matt Y. Cheung, Ashok Veeraraghavan, Guha Balakrishnan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Zwarte Doos" van Medische Beeldvorming

Stel je voor dat een arts een AI-assistent heeft die röntgenfoto's of MRI-schermen bekijkt. Deze AI is heel goed in het tekenen van de randen van een orgaan of een tumor op de foto (dit heet segmentatie).

Maar de arts is niet alleen geïnteresseerd in de lijntekening. De arts wil weten: "Hoe groot is die tumor precies?" of "Is de lever vergroot?".

Het probleem is dat de AI vaak onzeker is. Als de AI zegt "De tumor is 5 cm²", hoe zeker is die uitspraak? Is het misschien 4,5 cm² of 5,5 cm²?

Vroeger probeerden wetenschappers deze onzekerheid te meten door te kijken naar elke individuele pixel (elk klein puntje op de foto). Dat is als proberen de grootte van een huis te meten door te kijken of elke baksteen perfect op zijn plek ligt. Dat is veel werk en geeft vaak een onnauwkeurig beeld van de totale grootte.

Aan de andere kant, als je gewoon zegt "De tumor is tussen 4 en 6 cm", is dat vaak een heel breed, nutteloos antwoord. Het is als zeggen: "Het regent ergens in Nederland." Dat is waar, maar niet heel nuttig voor iemand die een paraplu nodig heeft in Amsterdam.

De Oplossing: COMPASS

De auteurs van dit paper hebben COMPASS bedacht. De naam staat voor Conformal Metric Perturbation Along Sensitive Subspaces. Dat klinkt ingewikkeld, maar het idee is simpel en slim.

Stel je de AI niet voor als een zwarte doos die een antwoord spitst, maar als een batterij van duizenden knoppen.

Als je op de ene knop drukt, wordt de geschatte tumor iets groter.
Als je op een andere knop drukt, wordt hij iets kleiner.
Sommige knoppen hebben een enorm effect, andere hebben bijna geen effect.

COMPASS doet het volgende:
In plaats van te raden, kijkt COMPASS precies naar welke knoppen de AI heeft gebruikt om de grootte te berekenen. Het vindt de "gevoelige knoppen" (de sensitive subspaces). Vervolgens draait het heel voorzichtig aan die specifieke knoppen om te zien hoe groot het bereik van de onzekerheid is.

De Analogie: Het Muziekinstrument

Stel je voor dat de AI een gitaar is en de "grootte van de tumor" de toonhoogte van een noot is.

De oude methode (Pixel-per-pixel): Dit is alsof je probeert de toonhoogte te voorspellen door te kijken of elke snaar perfect strak staat. Je kijkt naar duizenden details, maar je begrijpt niet hoe de hele noot klinkt. Het resultaat is vaak een heel breed, vaag antwoord.
De COMPASS-methode: Dit is alsof je een ervaren luitenant bent die precies weet: "Als ik deze ene snaar (de gevoelige knop) 1 millimeter strakker draai, gaat de toonhoogte precies 1 halve noot omhoog."
- COMPASS draait aan die specifieke snaar.
- Het meet hoe ver de toonhoogte kan gaan voordat het antwoord "niet meer klopt".
- Hierdoor kan het een heel nauwkeurig bereik geven: "De tumor is tussen 4,8 en 5,2 cm."

Waarom is dit zo goed?

Het is efficiënt (Korter en scherper): Omdat COMPASS weet welke "knoppen" echt belangrijk zijn, hoeft het niet te raden. Het geeft een veel smaller en nuttiger bereik dan de oude methoden. In de paper zien ze dat hun intervallen veel smaller zijn, maar net zo betrouwbaar.
Het is robuust (Zelfs als de data verandert): Soms komen er nieuwe patiënten met beelden die er anders uitzien dan de beelden waarmee de AI is getraind (bijvoorbeeld een andere machine of een andere ziekenhuisinstelling). Dit heet een covariate shift.
- Stel je voor dat de AI is getraind op beelden van een zonnige dag, maar nu moet het werken op een bewolkte dag.
- COMPASS kan hieraan aanpassen door de "gewicht" van de belangrijke knoppen aan te passen. Het zegt dan: "Oké, op bewolkte dagen is deze knop iets minder belangrijk, die andere juist meer." Hierdoor blijft de voorspelling betrouwbaar, zelfs in vreemde situaties.

Conclusie

COMPASS is als een slimme kompasnaald voor medische AI. In plaats van blindelings te vertrouwen op de uitkomst van een complexe computer, kijkt het naar hoe de computer denkt (via de interne "knoppen").

Hierdoor kunnen artsen veel zekerder zijn van de maten die ze krijgen. Ze krijgen niet alleen een antwoord, maar ook een betrouwbaar bereik dat precies laat zien hoe groot de onzekerheid is. Dit helpt artsen om betere beslissingen te nemen over behandelingen, zonder vast te lopen in vage of te brede schattingen.

Kortom: COMPASS maakt de onzekerheid van AI meetbaar, begrijpelijk en bruikbaar voor echte medische beslissingen.

Probleemstelling

In klinische toepassingen van medische beeldanalyse wordt de bruikbaarheid van segmentatiemodellen vaak niet bepaald door de pixel-precisie van de gegenereerde maskers, maar door de nauwkeurigheid van afgeleide downstream-metrieken (zoals orgaangrootte, volume of oppervlakte). Deze metrieken worden gebruikt voor diagnostiek en behandelplanning.
Bestaande methoden voor Onzekerheidskwantificering (Uncertainty Quantification), zoals Conformal Prediction (CP), hebben hier twee belangrijke beperkingen:

Pixel-niveau CP: Traditionele CP-methoden voor segmentatie focussen op pixel-fouten. Dit leidt vaak tot intervallen die nutteloos of misleidend zijn voor afgeleide metrieken (bijv. een groot volume kan worden gegenereerd door kleine pixel-variaties die niet relevant zijn voor de totale oppervlakte).
Black-box CP: Het toepassen van CP direct op de scalar-metriek (bijv. de berekende oppervlakte) behandelt de complexe, niet-lineaire pijplijn van "segmentatie-naar-metriek" als een black box. Dit resulteert in conservatieve, inefficiënte (te brede) voorspellingsintervallen omdat de inductieve biases van het onderliggende diepe neurale netwerk niet worden benut.

Methodologie: COMPASS

De auteurs introduceren COMPASS (Conformal Metric Perturbation Along Sensitive Subspaces), een framework dat efficiënte, op metriek gebaseerde voorspellingsintervallen genereert door te kalibreren in de representatieruimte van het model in plaats van in de output-ruimte.

Kernprincipes:

Perturbatie in Latente Ruimte: In plaats van het eindresultaat te perturbëren, perturbeert COMPASS de intermediate features (latent vectors) van het neurale netwerk.
Gevoelige Subruimtes: Het framework identificeert een laag-dimensionale subruimte die maximaal gevoelig is voor de target-metriek. Dit wordt gedaan door:
- Het berekenen van de Jacobiaan van de metriek ten opzichte van de features voor de trainingsdata.
- Toepassen van Principal Component Analysis (PCA) op deze Jacobianen om de belangrijkste richtingen van gevoeligheid te vinden.
- Het perturberen van de features langs deze specifieke richtingen ( $\Delta$ ).
Lineaire Perturbatie & Monotonie: De methode veronderstelt dat een lineaire perturbatie langs deze gevoelige richting leidt tot een monotoon verloop van de output-metriek. Hierdoor kan het interval worden berekend door slechts de eindpunten te evalueren (in plaats van een volledige zoektocht), wat de berekening zeer efficiënt maakt.
Theoretische Dekking: Onder de aanname van uitwisselbaarheid (exchangeability) bewijzen de auteurs dat COMPASS geldige marginale dekking biedt. De voorspellingsset $S_\beta(x)$ wordt gedefinieerd als het bereik van de metriek over het perturbatie-interval $[-\beta, +\beta]$ , wat de vereiste "nestedness" (genesteerde eigenschap) garandeert.
Gewogen COMPASS voor Covariaatverschuiving: Om prestaties te behouden bij distributieveranderingen (bijv. verschillende ziekenhuizen of opnameprotocollen), wordt een gewogen variant (Weighted CP) gebruikt. Hierbij worden de kalibratie-scores gewogen op basis van de waarschijnlijkheid dat een sample tot de testverdeling behoort (geschat via een auxiliary classifier op features of Jacobianen).

Belangrijkste Bijdragen

Framework: Een nieuw, praktisch framework (COMPASS) dat Conformal Prediction toepast op afgeleide metrieken door gebruik te maken van de interne representaties van neurale netwerken.
Efficiëntie: In plaats van een dure adversarial search (zoals bij Feature CP) of een black-box benadering, gebruikt COMPASS een data-gedreven, laag-dimensionale perturbatie die leidt tot aanzienlijk smallere intervallen.
Theoretische Garantie: Een formele bewijsvoering dat lineaire perturbaties in de latent space geldige conformal dekking garanderen onder uitwisselbaarheid.
Robuustheid: Een uitbreiding naar gewogen CP om covariaatverschuivingen (distribution shifts) te corrigeren, wat cruciaal is voor medische toepassingen.

Resultaten

De auteurs evalueerden COMPASS op vier medische segmentatietaakken:

Colorectale kanker (histopathologie, EBHI dataset).
Huidlaesies (dermoscopie, HAM10000 dataset).
Schildklierknobbels (ultrasound, TN3K dataset).
Poliepen (endoscopie, Kvasir dataset).

Kernbevindingen:

Smaller Intervallen: COMPASS produceert significant smallere voorspellingsintervallen dan traditionele output-space methoden (zoals SCP, CQR) en end-to-end methoden (E2E-CQR), terwijl het de vereiste dekking (bijv. 90% of 95%) behoudt.
- Bijvoorbeeld: Voor de "Skin Lesion" taak was het gemiddelde interval van COMPASS-J (934 pixels²) veel kleiner dan dat van SCP (1124 pixels²) bij $\alpha=0.15$ .
Validatie van Monotonie: Experimenten tonen aan dat de relatie tussen de perturbatie van features en de output-metriek (oppervlakte) monotoon is, wat de gebruikte efficiënte "endpoint"-benadering rechtvaardigt.
Covariaatverschuiving: Bij gecontroleerde verschuivingen in de dataset (bijv. meer "moeilijke" samples in de testset) faalden ongewogen methoden en methoden die alleen op class-labels of logits baseerden. COMPASS-J met Jacobian-gebaseerde gewichten was de enige methode die consistent de target dekking herstelde en de meest efficiënte intervallen behield.
Architectonische Onafhankelijkheid: De methode werkt effectief op verschillende architecturen (U-Net, SegResNet).

Significantie en Toekomstperspectief

COMPASS markeert een belangrijke stap naar praktische, op metriek gebaseerde onzekerheidskwantificering in de medische beeldanalyse.

Klinische Relevantie: Het biedt artsen betrouwbare intervallen voor klinisch cruciale waarden (zoals tumorvolume) in plaats van abstracte pixel-fouten.
Efficiëntie: Door de berekening te verplaatsen naar de feature-ruimte en gebruik te maken van de inductieve biases van het model, worden de intervallen strakker zonder in te leveren op statistische garanties.
Robuustheid: De mogelijkheid om distributieveranderingen te corrigeren maakt het framework geschikt voor real-world deployering, waar data-kwaliteit en -bronnen vaak variëren.

Samenvattend biedt COMPASS een oplossing voor het "black-box" probleem van bestaande CP-methoden in de medische sector, waardoor veiliger en nauwkeurigere besluitvorming op basis van AI-gedreven segmentatie mogelijk wordt.