🤖 machine learning

When Confidence Lacks Concepts: Interpretable OOD Detection via Representation Perturbations

Dit artikel stelt een interpreteerbaar Out-of-Distribution (OOD) detectiekader voor medische beeldvorming voor dat de veiligheid verhoogt door gebruik te maken van sparse autoencoders om klasse-specifieke conceptvectoren te extraheren, waarbij de door perturbatie geïnduceerde stabiliteit wordt gebruikt om in-distributie monsters te onderscheiden van OOD-anomalieën op basis van representationele uitlijning.

Oorspronkelijke auteurs: Anju Chhetri, Pratik Shrestha, Ramesh Rana, Prashnna Gyawali, Binod Bhattarai

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anju Chhetri, Pratik Shrestha, Ramesh Rana, Prashnna Gyawali, Binod Bhattarai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De Overmoedige Robotarts

Stel je een hoogopgeleide robotarts voor die geweldig is in het diagnosticeren van ziekten op basis van medische beelden (zoals röntgenfoto's of endoscopiefoto's). De robot heeft duizenden foto's bestudeerd van gezonde magen en specifieke soorten kanker.

Echter, deze robot heeft een gevaarlijk gebrek: hij overgeneraliseert. Als je hem een foto laat zien van een totaal ander orgaan, of een vreemd artefact, of een ziekte die hij nog nooit heeft gezien, kan hij nog steeds vol zelfvertrouwen zeggen: "Ik weet precies wat dit is!" en een diagnose stellen. In de echte wereld is dit riskant, omdat de robot met veel zelfvertrouwen fout kan zitten.

Huidige methoden proberen deze fouten te vangen door naar de "interne wiskunde" van de robot te kijken (zoals hoe zeker hij zich voelt). Maar het probleem is dat deze interne signalen als een black box werken. We weten dat de robot onzeker is, maar we weten niet waarom. Het is als een waarschuwingslampje op een dashboard van een auto dat zegt "Motorprobleem", maar geen verdere details geeft. In de gezondheidszorg moeten we weten waarom de robot onzeker is om hem te kunnen vertrouwen.

De Oplossing: De "Concept Perturbatie" Test

De auteurs van dit paper stellen een nieuwe manier voor om de robot te testen, die ze CAPS noemen (Class-conditioned Activation Perturbations). In plaats van alleen naar het eindantwoord te kijken, "prikken" ze in het brein van de robot om te zien hoe stabiel zijn denkproces is.

Zo werkt het, stap voor stap:

1. Het leren van de "Woordenschat" van een Ziekte (De SAE)

Eerst leren de onderzoekers de robot een nieuwe manier van denken. Ze gebruiken een hulpmiddel dat een Sparse Autoencoder (SAE) wordt genoemd.

De Analogie: Stel je voor dat de robot normaal gesproken denkt in een enorme, rommelige soep van woorden. De SAE werkt als een vertaler die die soep afbreekt in duidelijke, afzonderlijke ingrediënten (concepten).
Het Resultaat: Voor een specifieke ziekte (bijv. "Pylorus") leert de robot specifieke "concept vectoren" te identificeren. Dit zijn mentale blauwdrukken van hoe een gezonde Pylorus eruitziet (bijv. "ronde vorm", "roze kleur", "specifieke opening").

2. De "Wat als?" Test (De Perturbatie)

Wanneer de robot naar een nieuwe patiëntafbeelding kijkt, doet hij een gok. Stel dat hij "Pylorus" gokt.

De Test: De onderzoekers nemen de specifieke "Pluorus-blauwdruk" (de concept vector) en duwen de interne representatie van de afbeelding in de robot heel voorzichtig in die richting. Het is alsof je de robot vraagt: "Als ik deze afbeelding iets meer op een perfecte Pylorus laat lijken, verandert je zelfvertrouwen dan?"

3. De Stabiliteitscheck (ID vs. OOD)

Dit is waar de magie gebeurt. De onderzoekers meten hoeveel de zelfverzekerdheid van de robot verandert na die duw.

Scenario A: De Echte Patiënt (In-Distribution)
- De Situatie: De afbeelding is daadwerkelijk een echte Pylorus.
- De Reactie: Het brein van de robot is al afgestemd op de "Pylorus-blauwdruk". Wanneer je hem richting die blauwdruk duwt, vertoont hij nauwelijks reactie. Zijn zelfvertrouwen blijft stabiel.
- Het Oordeel: "Dit is een veilige, bekende sample."
Scenario B: De Nep/Onbekende Patiënt (Out-of-Distribution)
- De Situatie: De afbeelding is eigenlijk een vreemd artefact of een ander orgaan, maar de robot heeft toch "Pylorus" gegokt.
- De Reactie: Het brein van de robot is niet echt afgestemd op de "Pylorus-blauwdruk". Wanneer je hem richting die blauwdruk duwt, raakt de robot in de war. Zijn zelfvertrouwen schommelt wild omdat de afbeelding niet echt bij het concept past.
- Het Oordeel: "Dit is verdacht! De robot gokt zonder een reële basis. Markeer dit als Out-of-Distribution (OOD)."

Waarom dit ertoe doet: Van Black Box naar Glass Box

Het paper beweert dat deze methode bijzonder is omdat deze interpreteerbaar is.

Oude manier: "De robot is onzeker." (We weten niet waarom).
Nieuwe manier: "De robot is onzeker omdat de afbeelding de specifieke visuele kenmerken (concepten) mist die een Pylorus definiëren, ook al gokt de robot Pylorus."

De onderzoekers hebben dit getest op drie soorten medische beeldvorming:

Endoscopie (kijken in de maag/darmen).
Histopathologie (kijken naar weefselmonsters onder een microscoop).
Ophthalmologie (kijken naar netvliesscans van het oog).

Wat de Experts Zeiden

Om te bewijzen dat hun "concepten" echte concepten waren en geen wiskundige onzin, lieten ze de resultaten zien aan een menselijke arts (een gastro-enteroloog).

De Bevindingen: De arts bevestigde dat wanneer de robot "stabiel" was, de beelden duidelijke, echte medische herkenningspunten vertoonden (zoals de opening van de appendix of de Z-lijn in de slokdarm).
Het Falen: Wanneer de robot "instabiel" was (de OOD-samples), bevestigde de arts dat die beelden de herkenningspunten misten of zaken toonden die daar niet thuishoorden (zoals een poliep op de verkeerde plek of een software-overlay).

Samenvatting

Het paper introduceert een methode om AI-fouten te vangen door te controleren of het zelfvertrouwen van de AI "gegrond" is in echte, begrijpelijke kenmerken.

Als de AI zelfverzekerd is en de afbeelding komt overeen met het "concept" van dat zelfvertrouwen, is het waarschijnlijk veilig.
Als de AI zelfverzekerd is, maar de afbeelding komt niet overeen met het "concept" (wat een grote reactie veroorzaakt bij de test), is het waarschijnlijk een fout.

Dit maakt AI veiliger voor sectoren met hoge inzet zoals de geneeskunde, niet alleen door fouten te vangen, maar ook door uit te leggen waarom een fout mogelijk optreedt.

Technische Samenvatting: Wanneer Vertrouwen aan Concepten Ontbreeft: Interpreteerbare OOD-detectie via Representatie-perturbaties

Probleemstelling
Diepe neurale netwerken, met name in de medische beeldvorming, vertonen een neiging tot overgeneralisatie wanneer ze worden geconfronteerd met distributionele verschuivingen (bijv. variaties in beeldvormingsprotocollen, patiëntdemografie of nieuwe ziekten). Hoewel methoden voor Out-of-Distribution (OOD) detectie bestaan om de risico's van onbetrouwbare voorspellingen te beperken, vertrouwen de meeste op opaak interne signalen (zoals softmax-waarschijnlijkheden, energy scores of feature-afstanden) met een slecht begrepen semantische betekenis. Dit gebrek aan interpreteerbaarheid beperkt het vertrouwen in veiligheidskritische klinische omgevingen, waar het begrijpen van waarom een monster als afwijkend wordt gemarkeerd even cruciaal is als de detectie zelf. Het artikel adresseert de behoefte aan een OOD-detectiekader dat zowel discriminerend als interpreteerbaar is, door detectiebeslissingen te koppelen aan specifieke, klinisch relevante concepten.

Methodologie: Class-conditioned Activation Perturbations (CAPS)
Het voorgestelde kader, CAPS, werkt door de stabiliteit van modelvoorspellingen te onderzoeken onder klasse-geconditioneerde semantische perturbaties binnen de representatieruimte. De methodologie verloopt in drie stadia:

Sparse Autoencoder (SAE) Training:
De auteurs maken gebruik van Sparse Autoencoders om dichte intermediaire activaties (specifiek de [CLS] token van een Vision Transformer) te deconstrueren in ijle, semantisch betekenisvolle componenten. De SAE leert een ijle latente representatie $s(h)$ en een decoder $D$ zodanig dat de oorspronkelijke activatie $h$ wordt benaderd door een lineaire combinatie van decoderkolommen (features). De trainingsdoelstelling balanceert reconstructietrouw met ijlheid ( $L = \|h - \bar{h}\|^2_2 + \gamma\|s(h)\|_1$ ).
Klasse-specifiele Conceptextractie:
Voor elke klasse $c$ identificeren de auteurs een subset van SAE-latents die karakteristiek actief zijn door de gemiddelde latente activatie over in-distributie (ID) trainingsmonsters te berekenen. De top- $k$ latente dimensies met de hoogste gemiddelde activatie worden geselecteerd om een klasse-specifieke concept-dictionary $K_c$ te vormen. Deze decoderkolommen representeren de lineaire richtingen die klasse-definiërende kenmerken coderen.
Perturbatie en Stabiliteitsanalyse:
Tijdens de inferentie voorspelt het model voor een testinput $\bar{x}$ eerst een klasse $\hat{y}$ . De bijbehorende conceptvector $v_{\hat{y}}$ wordt geconstrueerd door de geselecteerde conceptvectoren voor $\hat{y}$ te aggregeren en te normaliseren. Deze vector wordt vervolgens via een gecontroleerde perturbatie in de intermediaire activatie van het model op laag $l$ geïnjecteerd: $\tilde{h}_l = h_l + \beta v_{\hat{y}}$ , waarbij $\beta$ de sterkte van de perturbatie controleert.

De kernhypothese is dat ID-monsters, die overeenstemmen met klasse-specifieke semantische richtingen, een lage gevoeligheid vertonen voor deze perturbaties (resulterend in kleine veranderingen in de klasse-logits). Daarentegen zullen OOD-monsters, die de overeenstemming met deze geleerde richtingen missen, versterkte afwijkingen in de logits vertonen. De OOD-detectiescore wordt gedefinieerd als de magnitude van de logit-verschuiving $\Delta \ell_c$ . Monsters die een drempelwaarde $\tau$ overschrijden (gekalibreerd op een gehouden-af zijnde ID-set) worden als OOD geclassificeerd.

Belangrijkste Bijdragen

Nieuw Kader: De voorstel van CAPS, een OOD-detectiemethode die gebruikmaakt van concept-niveau perturbaties in de representatieruimte in plaats van opaak output-scores.
Cross-Domein Evaluatie: Uitgebreide evaluatie over drie verschillende medische beeldvormingsmodaliteiten: endoscopie (Kvasir-v2), histopathologie (NCT-CRC-HE-100K/CRC-VAL-HE-7K) en ophthalmic imaging (Retinal OCT).
Klinische Interpreteerbaarheid: Demonstratie dat de geëxtraheerde SAE-features overeenkomen met klinisch relevante visuele patronen (bijv. anatomische landmerken zoals de pylorusopening of fysiologische kenmerken zoals galstaining), gevalideerd door blinded klinische expertbeoordeling.

Resultaten
De methode werd geëvalueerd tegen state-of-the-art baselines (inclusief Energy, MSP, Mahalanobis, ViM en NERO) met behulp van AUROC en FPR95 metrieken:

Histopathologie: CAPS behaalde de beste prestaties met 95,28% AUROC en 23,17% FPR95.
OCT: CAPS behaalde 93,67% AUROC en 24,80% FPR95, waarmee het alle baselines overtrof.
Kvasir-v2 (Endoscopie): De methode behaalde 79,58% AUROC. De auteurs schrijven de matige prestatie hier toe aan de kleinere datasetgrootte (2.400 monsters), wat de SAE beperkt in het vermogen om zeer discriminerende, klasse-specifieke richtingen te leren vergeleken met de grotere histopathologie- en OCT-datasets (>50k monsters).
Robuustheid: Gevoeligheidsanalyse toonde aan dat de methode stabiel is over een breed bereik van hyperparameters ( $k$ en $\beta$ ) voor datasets met voldoende data, hoewel instabiliteit werd waargenomen in het low-data Kvasir-v2 regime.

Betekenis en Claims
Het artikel beweert dat CAPS een "discriminerend OOD-signaal en een interpreteerbare lens biedt in de interne mechanismen die modelonzekerheid drijven." Door OOD-detectie te kaderen als een klasse-geconditioneerde stabiliteitsanalyse, overbrugt de aanpak de kloof tussen hoge prestaties bij detectie en klinisch vertrouwen. De auteurs demonstreren dat OOD-monsters niet louter worden gedetecteerd omdat ze "anders" zijn, maar omdat ze de specifieke, door experts geverifieerde semantische kenmerken missen die voor in-distributie klassen zorgen voor een zelfverzekerde voorspelling.

De auteurs hanteren een bescheiden toon met betrekking tot beperkingen, waarbij ze erkennen dat in scenario's met weinig data de moeilijkheid om semantisch coherente richtingen te vangen de betrouwbaarheid kan beïnvloeden. Zij stellen dat hoewel modaliteit-specifieke pretraining helpt, het ontwikkelen van robuustere SAE-trainingsstrategieën voor data-beperkte gezondheidszorgomgevingen een noodzakelijke richting blijft voor toekomstig werk. Het werk wordt gepresenteerd als een stap naar het verenigen van representatie-niveau interpreteerbaarheid met de betrouwbaarheidsbeoordeling in diepe neurale netwerken.