🤖 machine learning

When Confidence Lacks Concepts: Interpretable OOD Detection via Representation Perturbations

Dieses Paper schlägt ein interpretierbares Framework zur Erkennung von Out-of-Distribution (OOD)-Daten für die medizinische Bildgebung vor, das die Sicherheit erhöht, indem es Sparse Autoencoder nutzt, um klassenspezifische Konzeptvektoren zu extrahieren, und deren durch Perturbation induzierte Stabilität verwendet, um In-Distribution-Proben von OOD-Anomalien basierend auf der Repräsentationsausrichtung zu unterscheiden.

Ursprüngliche Autoren: Anju Chhetri, Pratik Shrestha, Ramesh Rana, Prashnna Gyawali, Binod Bhattarai

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anju Chhetri, Pratik Shrestha, Ramesh Rana, Prashnna Gyawali, Binod Bhattarai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der überhebliche Roboter-Arzt

Stellen Sie sich einen hochtrainierten Roboter-Arzt vor, der fantastisch darin ist, Krankheiten aus medizinischen Bildern (wie Röntgenaufnahmen oder Endoskopie-Fotos) zu diagnostizieren. Er hat tausende Bilder von gesunden Mägen und spezifischen Arten von Krebs studiert.

Dieser Roboter hat jedoch einen gefährlichen Makel: Er übergeneralisiert. Wenn man ihm das Bild eines völlig anderen Organs zeigt, ein seltsames Artefakt oder eine Krankheit, die er noch nie gesehen hat, könnte er dennoch selbstbewusst sagen: „Ich weiß genau, was das ist!“, und eine Diagnose stellen. In der realen Welt ist das riskant, denn der Roboter könnte mit voller Überzeugung falsch liegen.

Aktuelle Methoden versuchen, diese Fehler abzufangen, indem sie die „interne Mathematik“ des Roboters untersuchen (also wie sicher er sich fühlt). Das Problem ist jedoch, dass diese internen Signale wie eine Black Box sind. Wir wissen zwar, dass der Roboter unsicher ist, aber wir wissen nicht, warum. Es ist wie eine Warnleuchte im Auto, die „Motorschaden“ anzeigt, aber keine Details liefert. In der Medizin müssen wir wissen, warum der Roboter unsicher ist, um ihm vertrauen zu können.

Die Lösung: Der „Konzept-Perturbations“-Test

Die Autoren dieser Arbeit schlagen eine neue Methode vor, um den Roboter zu testen, die sie CAPS (Class-conditioned Activation Perturbations) nennen. Anstatt nur auf das Endergebnis zu schauen, „pieksen“ sie das Gehirn des Roboters an, um zu sehen, wie stabil sein Denken ist.

So funktioniert es, Schritt für Schritt:

1. Das Erlernen des „Vokabulars“ der Krankheit (Der SAE)

Zuerst bringen die Forscher dem Roboter eine neue Art des Denkens bei. Sie verwenden ein Werkzeug namens Sparse Autoencoder (SAE).

Die Analogie: Stellen Sie sich vor, der Roboter denkt normalerweise in einer riesigen, chaotischen Suppe aus Wörtern. Der SAE fungiert als Übersetzer, der diese Suppe in einzelne, klar unterscheidbare Zutaten (Konzepte) zerlegt.
Das Ergebnis: Für eine bestimmte Krankheit (z. B. „Pylorus“) lernt der Roboter, spezifische „Konzept-Vektoren“ zu identifizieren. Dies sind wie mentale Blaupausen dafür, wie ein gesunder Pylorus aussieht (z. B. „runde Form“, „rosa Farbe“, „spezifische Öffnung“).

2. Der „Was wäre wenn?“-Test (Die Perturbation)

Wenn der Roboter ein neues Patientenbild betrachtet, gibt er eine Vermutung ab. Sagen wir, er tippt auf „Pylorus“.

Der Test: Die Forscher nehmen die spezifische „Pylorus-Blaupause“ (den Konzept-Vektor) und bewegen die interne Repräsentation des Bildes im Gehirn des Roboters sanft in diese Richtung. Es ist, als würde man den Roboter fragen: „Wenn ich dieses Bild etwas mehr wie einen perfekten Pylorus aussehen lasse, verändert sich dann dein Vertrauen?“

3. Der Stabilitätscheck (ID vs. OOD)

Hier geschieht die Magie. Die Forscher messen, wie stark sich das Vertrauen des Roboters nach dieser Bewegung verändert.

Szenario A: Der echte Patient (In-Distribution)
- Die Situation: Das Bild zeigt tatsächlich einen echten Pylorus.
- Die Reaktion: Das Gehirn des Roboters ist bereits mit der „Pylors-Blaupause“ abgeglichen. Wenn man es in Richtung dieser Blaupause bewegt, regt es sich kaum auf. Sein Vertrauen bleibt stabil.
- Das Urteil: „Dies ist eine sichere, bekannte Probe.“
Szenario B: Der falsche/unbekannte Patient (Out-of-Distribution)
- Die Situation: Das Bild ist eigentlich ein seltsames Artefakt oder ein anderes Organ, aber der Roboter hat trotzdem „Pylorus“ geraten.
- Die Reaktion: Das Gehirn des Roboters ist gar nicht wirklich mit der „Pylorus-Blaupause“ abgeglichen. Wenn man es in Richtung dieser Blaupause bewegt, wird der Roboter verwirrt. Sein Vertrauen schwankt wild, weil das Bild nicht zu diesem Konzept passt.
- Das Urteil: „Das ist verdächtig! Der Roboter rät ohne echte Grundlage. Markiere dies als Out-of-Distribution (OOD).“

Warum das wichtig ist: Von der Black Box zur Glass Box

Die Arbeit behauptet, dass diese Methode besonders interpretierbar ist.

Alter Weg: „Der Roboter ist unsicher.“ (Wir wissen nicht, warum).
Neuer Weg: „Der Robbot ist unsicher, weil das Bild nicht die spezifischen visuellen Merkmale (Konzepte) aufweist, die einen Pylorus definieren, obwohl der Roboter Pylorus geraten hat.“

Die Forscher haben dies bei drei Arten der medizinischen Bildgebung getestet:

Endoskopie (Blick in den Magen/Darm).
Histopathologie (Untersuchung von Gewebeproben unter dem Mikroskop).
Ophthalmologie (Netzhautscans des Auges).

Was die Experten sagten

Um zu beweisen, dass ihre „Konzepte“ echte Konzepte und nicht nur mathematischer Unsinn sind, zeigten sie die Ergebnisse einem menschlichen Arzt (einem Gastroenterologen).

Das Ergebnis: Der Arzt bestätigte, dass die Bilder, bei denen der Roboter „stabil“ war, klare, reale medizinische Landmarken zeigten (wie die Öffnung des Appendix oder die Z-Linie der Speiseröhre).
Das Versagen: Bei den Bildern, bei denen der Roboter „instabil“ war (die OOD-Proben), bestätigte der Arzt, dass diesen Bildern die Landmarken fehlten oder dass Dinge zu sehen waren, die dort nicht hingehören (wie ein Polyp an der falschen Stelle oder ein Software-Overlay).

Zusammenfassung

Die Arbeit stellt eine Methode vor, um KI-Fehler abzufangen, indem sie prüft, ob das Vertrauen der KI auf echten, verständlichen Merkmalen „fundiert“ ist.

Wenn die KI vertrauensvoll ist und das Bild mit dem „Konzept“ dieses Vertrauens übereinstimmt, ist es wahrscheinlich sicher.
Wenn die KI vertrauensvoll ist, das Bild aber nicht zum „Konzept“ passt (was bei einem Test zu einer großen Reaktion führt), handelt es sich wahrscheinlich um einen Fehler.

Dies macht KI in Hochrisikofeldern wie der Medizin sicherer – nicht nur, indem Fehler erkannt werden, sondern auch, indem erklärt wird, warum ein Fehler auftreten könnte.

Technisches Resümee: Wenn Konfidenz an Konzepten mangelt: Interpretierbare OOD-Detektion durch Repräsentations-Perturbationen

Problemstellung
Tiefe neuronale Netze, insbesondere in der medizinischen Bildverarbeitung, neigen dazu, bei Konfrontation mit Verteilungsverschiebungen (z. B. Variationen in Bildgebungsprotokollen, Patientendemografien oder neuartigen Krankheiten) zu einer Überverallgemeinerung. Es existieren zwar Methoden zur Out-of-Distribution (OOD)-Detektion, um die Risiken unzuverlässiger Vorhersagen zu mindern, doch die meisten stützen sich auf opake interne Signale (wie Softmax-Wahrscheinlichkeiten, Energy-Scores oder Merkmalsabstände) mit unzureichend verstandener semantischer Bedeutung. Dieser Mangel an Interpretierbarkeit schränkt das Vertrauen in sicherheitskritischen klinischen Umgebungen ein, in denen das Verständnis darüber, warum eine Probe als anomal eingestuft wurde, ebenso entscheidend ist wie die Detektion selbst. Die Arbeit adressiert das Bedürfnis nach einem OOD-Detektionsrahmen, der sowohl diskriminativ als auch interpretierbar ist, indem er Detektionsentscheidungen mit spezifischen, klinisch bedeutsamen Konzepten verknüpft.

Methodik: Klassenkonditionierte Aktivations-Perturbationen (CAPS)
Der vorgeschlagene Rahmen, CAPS, operiert durch die Untersuchung der Stabilität von Modellvorhersagen unter klassenkonditionierten semantischen Perturbationen innerhalb des Repräsentationsraums. Die Methodik gliedert sich in drei Stufen:

Training eines Sparse Autoencoders (SAE):
Die Autoren setzen Sparse Autoencoder ein, um dichte intermediäre Aktivierungen (speziell den [CLS]-Token eines Vision Transformers) in dünnbesetzte (sparse), semantisch bedeutsame Komponenten zu zerlegen. Der SAE lernt eine dünnbesetzte latente Repräsentation $s(h)$ und einen Decoder $D$ , so dass die ursprüngliche Aktivierung $h$ als Linearkombination von Decoder-Spalten (Features) approximiert wird. Das Trainingsziel balanciert Rekonstruktionstreue mit Sparsity ( $L = \|h - \bar{h}\|^2_2 + \gamma\|s(h)\|_1$ ).
Klassenspezifische Konzeptextraktion:
Für jede Klasse $c$ identifizieren die Autoren eine Teilmenge von SAE-Latents, die charakteristisch aktiv sind, indem sie die mittlere latente Aktivierung über In-Distribution (ID)-Trainingsproben berechnen. Die Top- $k$ -latenten Dimensionen mit der höchsten mittleren Aktivierung werden ausgewählt, um ein klassenspezifisches Konzept-Dictionary $K_c$ zu bilden. Diese Decoder-Spalten repräsentieren die linearen Richtungen, welche die klassendefinierenden Merkmale kodieren.
Perturbation und Stabilitätsanalyse:
In der Inferenz führt das Modell für einen Test-Input $\bar{x}$ zunächst eine Klassenvorhersage $\hat{y}$ durch. Der entsprechende Konzept-Vektor $v_{\hat{y}}$ wird konstruiert, indem die ausgewählten Konzept-Vektoren für $\hat{y}$ aggregiert und normalisiert werden. Dieser Vektor wird dann mittels einer kontrollierten Perturbation in die intermediäre Aktivierung des Modells an Schicht $l$ injiziert: $\tilde{h}_l = h_l + \beta v_{\hat{y}}$ , wobei $\beta$ die Stärke der Perturbation steuert.

Die Kernhypothese ist, dass ID-Proben, die mit den klassenspezifischen semantischen Richtungen übereinstimmen, eine geringe Sensitivität gegenüber diesen Perturbationen zeigen (was zu kleinen Änderungen der Klassen-Logits führt). Im Gegensatz dazu zeigen OOD-Proben, denen es an der Übereinstimmung mit diesen gelernten Richtungen mangelt, verstärkte Abweichungen in den Logits. Der OOD-Detektionsscore ist definiert als die Magnitude der Logit-Verschiebung $\Delta \ell_c$ . Proben, die einen Schwellenwert $\tau$ (kalibriert auf einem gehaltenen ID-Datensatz) überschreiten, werden als OOD klassifiziert.

Wesentliche Beiträge

Neuartiger Rahmen: Der Vorschlag von CAPS, einer OOD-Detektionsmethode, die Konzept-Ebene-Perturbationen im Repräsentationsraum nutzt, anstatt opaker Output-Scores.
Domänenübergreifende Evaluierung: Umfangreiche Evaluierung über drei unterschiedliche medizinische Bildgebungsmodalitäten hinweg: Endoskopie (Kvasir-v2), Histopathologie (NCT-CRC-HE-100K/CRC-VAL-HE-7K) und ophthalmologische Bildgebung (Retinales OCT).
Klinische Interpretierbarkeit: Demonstration, dass die extrahierten SAE-Features mit klinisch bedeutsamen visuellen Mustern korrespondieren (z. B. anatomische Landmarken wie die Pylorusöffnung oder physiologische Merkmale wie Galle-Staining), validiert durch eine verblindete klinische Expertenprüfung.

Ergebnisse
Die Methode wurde gegen State-of-the-Art-Baselines (einschließlich Energy, MSP, Mahalanobis, ViM und NERO) unter Verwendung von AUROC- und FPR95-Metriken evaluiert:

Histopathologie: CAPS erreichte die beste Leistung mit 95,28 % AUROC und 23,17 % FPR95.
OCT: CAPS erreichte 93,67 % AUROC und 24,80 % FPR95 und übertraf damit alle Baselines.
Kvasir-v2 (Endoskopie): Die Methode erreichte 79,58 % AUROC. Die Autoren führen diese moderate Leistung auf die kleinere Datensatzgröße (2.400 Proben) zurück, welche die Fähigkeit des SAE einschränkt, hochgradig diskriminative, klassenspezifische Richtungen im Vergleich zu den größeren Histopathologie- und OCT-Datensätzen (>50k Proben) zu lernen.
Robustheit: Eine Sensitivitätsanalyse zeigte, dass die Methode über einen weiten Bereich von Hyperparametern ( $k$ und $\beta$ ) für Datensätze mit ausreichend Daten stabil ist, wenngleich eine Instabilität im datenarmen Kvasir-v2-Regime beobachtet wurde.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass CAPS ein „diskriminatives OOD-Signal und eine interpretierbare Linse in die internen Mechanismen bietet, die die Modellunsicherheit vorantreiben“. Durch die Rahmung der OOD-Detektion als klassenkonditionierte Stabilitätsanalyse schließt der Ansatz die Lücke zwischen hoher Detektionsleistung und klinischem Vertrauen. Die Autoren demonstrieren, dass OOD-Proben nicht bloß deshalb detektiert werden, weil sie „anders“ sind, sondern weil ihnen die spezifischen, durch Experten verifizierten semantischen Merkmale fehlen, die sichere Vorhersagen für In-Distribution-Klassen antreiben.

Die Autoren wahren einen bescheidenen Ton hinsichtlich der Limitationen und räumen ein, dass in datenarmen Regimen die Schwierigkeit, semantisch kohärente Richtungen zu erfassen, die Zuverlässigkeit beeinflussen kann. Sie postulieren, dass während die Modellierung auf Modalitätsebene hilft, die Entwicklung robusterer SAE-Trainingsstrategien für datenbeschränkte Gesundheitsumgebungen weiterhin eine notwendige Richtung für zukünftige Arbeiten darstellt. Die Arbeit wird als ein Schritt zur Vereinigung von Repräsentations-Ebene-Interpretierbarkeit mit der Zuverlässigkeitsbewertung in tiefen neuronalen Netzen präsentiert.