⚡ electrical engineering

Weight Space Correlation Analysis: Quantifying Feature Utilization in Deep Learning Models

Dieses Paper führt die Weight Space Correlation Analysis ein, eine Methodik, welche die Merkmalsnutzung in Deep-Learning-Modellen quantifiziert, indem sie die Ausrichtung zwischen Klassifikationsköpfen misst, wodurch verifiziert wird, dass medizinische Bildgebungsmodelle für spontane Frühgeburten auf klinisch relevanten Signalen anstatt auf konfundierenden Metadaten beruhen, sofern diese nicht künstlich verzerrt wurden.

Ursprüngliche Autoren: Chun Kit Wong, Paraskevas Pegios, Nina Weng, Emilie Pi Fogtmann Sejer, Martin Grønnebæk Tolsgaard, Anders Nymark Christensen, Aasa Feragen

Veröffentlicht 2026-02-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chun Kit Wong, Paraskevas Pegios, Nina Weng, Emilie Pi Fogtmann Sejer, Martin Grønnebæk Tolsgaard, Anders Nymark Christensen, Aasa Feragen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Spickzettel“-Falle

Stellen Sie sich vor, Sie schreiben eine schwierige Geschichtsprüfung. Sie lernen fleißig, bemerken aber ein seltsames Muster: Jedes Mal, wenn die Prüfungsfragen mit blauer Tinte gedruckt sind, ist die Antwort „A“, und jedes Mal, wenn sie in roter Tinte gedruckt sind, ist die Antwort „B“.

Sie können die historischen Fakten eigentlich gar nicht. Stattdessen fangen Sie an, basierend auf der Tintenfarbe zu raten. Bei den Übungstests erzielen Sie eine perfekte Punktzahl, weil der Lehrer immer dieses Muster verwendet hat. Aber in dem Moment, in dem Sie die echte Prüfung auf grüner Tinte schreiben, fallen Sie kläglich durch.

In der Welt der medizinischen KI nennt man das Shortcut Learning (Abkürzungslernen).

Das Ziel: Die KI soll eine Krankheit (wie eine Frühgeburt) diagnostizieren, indem sie die Anatomie in einem Ultraschallbild betrachtet.
Die Abkürzung: Die KI lernt versehentlich: „Wenn das Bild von Scanner-Modell X stammt, ist der Patient wahrscheinlich gesund“, oder „Wenn Text am Rand steht, handelt es sich um einen spezifischen Scan-Typ“.
Die Gefahr: Die KI schaut nicht auf das Baby; sie schaut auf die „Tintenfarbe“ (das Scannermodell oder das Krankenhauslogo). Wenn Sie die KI in ein neues Krankenhaus mit einem anderen Scanner bringen, wird sie scheitern, weil ihr „Spickzettel“ nicht mehr funktioniert.

Das neue Werkzeug: Die „Weight Space Correlation“ (WSC)-Analyse

Die Autoren dieser Arbeit wollten eine sehr spezifische Frage beantworten: Nur weil die KI den Spickzettel sieht, nutzt sie ihn dann auch tatsächlich, um ihre Entscheidung zu treffen?

Bisherige Methoden konnten nur sagen: „Hey, die KI kann das Scannermodell allein durch das Ansehen des Bildes erraten.“ Aber das beweist nicht, dass die KI diese Vermutung auch nutzt, um den Patienten zu diagnostieren.

Die Autoren haben eine neue Methode namens Weight Space Correlation (WSC) entwickelt. So funktioniert sie, anhand einer Analogie:

Die Analogie: Der Koch und die Zutaten

Stellen Sie sich vor, die KI ist ein Koch (das Modell), der versucht, ein bestimmtes Gericht zu kochen (die klinische Diagnose, wie z. B. „Frühgeburt“).

Die Zutaten sind die Merkmale im Bild (die Anatomie des Babys, die Textur des Gewebes).
Das Rezept ist die interne Logik der KI (ihre „Gewichte“).

Die Autoren wollten wissen: Benutzt der Koch das frische Gemüse (das echte medizinische Signal) oder den Salzstreuer (die Metadaten des Scannermodells), um zu entscheiden, ob das Gericht gut ist?

Schritt 1: Der „Geschmackstest“ (Embedding): Zuerst prüften sie, ob der Koch das Salz überhaupt schmecken kann. Sie fanden heraus: Ja, der Koch konnte allein durch den Anblick der Zutaten erkennen, welcher Salzstreuer verwendet wurde. Das „Salz“ (die Scanner-Information) war definitiv in der Schüssel vorhanden.
Schritt 2: Die „Rezeptprüfung“ (Die WSC-Analyse): Das ist der magische Teil. Sie verglichen das Rezept für das Gericht mit dem Rezept zur Identifizierung des Salzstreuers.
- Wenn die beiden Rezepte identisch sind (hohe Korrelation), bedeutet das, dass der Koch dieselben mentalen Schritte nutzt, um das Gericht zu identifizieren, wie er sie zur Identifizierung des Salzes nutzt. Das ist eine Abkürzung. Der Koch schummelt.
- Wenn die beiden Rezepte völlig unterschiedlich sind (niedrige Korrelation), bedeutet das, dass der Koch einen Satz Regeln für das Gericht und einen völlig anderen Satz Regeln für das Salz verwendet. Das ist gut. Der Koch ignoriert das Salz und konzentriert sich auf das Gemüse.

Was sie getestet haben

Das Team testete diese Methode auf zwei Arten:

1. Das „Fake-Cheat“-Experiment (Validierung)
Sie nahmen einen Datensatz und manipulierten ihn absichtlich. Sie stellten sicher, dass Scanner A nur Bilder von Köpfen machte und Scanner B nur Bilder von Torsos.

Ergebnis: Die KI lernte die Abkürzung. Als sie die WSC-Analyse durchführten, waren das „Rezept für den Körperteil“ und das „Rezept für das Scannermodell“ perfekt aufeinander abgestimmt. Die Methode hat die KI erfolgreich beim Schummeln erwischt.

2. Der Realwelt-Test (SA-SonoNet)
Sie wandten dies auf ein echtes, fortschrittliches KI-Modell an, das zur Vorhersage von spontaner Frühgeburt (sPTB) anhand von Gebärmutterhals-Ultraschallbildern eingesetzt wird.

Die Frage: Verlässt sich diese reale KI auf das Scannermodell oder die Krankenhaus-ID, um ihre Vorhersage zu treffen?
Das Ergebnis:
- Gute Nachrichten: Das „Rezept“ der KI zur Vorhersage einer Frühgeburt war hochgradig abgestimmt auf die Zervikallänge (ein echter, medizinisch relevanter Faktor). Es war auch abgestimmt auf den Pixelabstand (eine technische Einstellung, die für die Bildqualität wichtig ist).
- Entscheidender Befund: Das „Rezept“ der KI zur Vorhersage einer Frühgeburt war völlig unverbunden (decoupled) mit dem Scannermodell.
- Fazit: Obwohl die KI erkennen konnte, welcher Scanner das Bild aufgenommen hat, hat sie diese Information nicht genutzt, um ihre Diagnose zu stellen. Sie hat auf die tatsächlichen medizinischen Merkmale geschaut.

Warum das wichtig ist

Diese Arbeit liefert einen „Vertrauenscheck“ für medizinische KI.

Vorher wussten wir bei einer guten Leistung einer KI nicht, ob sie ein genialer Arzt oder ein Betrüger ist, der nach Tintenfarben sucht.
Jetzt haben wir ein Werkzeug, um in das Gehirn der KI zu schauen und zu sagen: „Wir haben deine Logik geprüft. Du nutzt das Scannermodell nicht als Abkürzung. Du schaust tatsächlich auf den Patienten.“

Zusammenfassung

Die Autoren haben einen mathematischen „Lügendetektor“ für KI geschaffen. Sie haben bewiesen, dass medizinische Bilder zwar versteckte Hinweise auf die verwendete Ausrüstung enthalten können (wie Scannermodelle), eine gut trainierte KI jedoch so konzipiert werden kann, dass sie diese Hinweise ignoriert und sich nur auf die echten medizinischen Fakten konzentriert. Ihre Methode bestätigt, dass die spezifische von ihnen getestete KI vertrauenswürdig ist, da sie sich nicht auf den „Spickzettel“ verlässt.

Technisches Resümee: Gewichtraum-Korrelationsanalyse zur Quantifizierung der Merkmalsnutzung

Problemstellung
Deep-Learning-Modelle in der medizinischen Bildgebung sind anfällig für „Shortcut Learning“ (Abkürdungslernen), bei dem Modelle auf konfundierende Metadaten (z. B. Scanner-Modell, Akquisitionsprotokoll) zurückgreifen, anstatt auf echte klinische Signale. Während die bisherige Forschung gezeigt hat, dass solche konfundierenden Informationen oft in den Bild-Embeddings kodiert sind (z. B. Gichoya et al., 2022; Glocker et al., 2023), bleibt eine kritische Lücke bestehen: Das bloße Vorhandensein eines Merkmals im Embedding-Raum beweist nicht, dass das Modell dieses Merkmal auch aktiv für die endgültige Vorhersage nutzt. Bestehende Methoden, wie die Analyse von Embedding-Verteilungen oder die Generierung kontrafaktischer Testsets, adressieren nicht direkt die Frage, ob der Klassifikationskopf diese Konfounder tatsächlich nutzt. Diese Arbeit untersucht die grundlegende Frage: Richtet sich die Entscheidungsgrenze des Modells aktiv an klinisch irrelevanten Faktoren aus?

Methodik: Gewichtraum-Korrelationsanalyse (Weight Space Correlation, WSC)
Die Autoren schlagen die Weight Space Correlation (WSC)-Analyse vor, eine interpretierbare Methodik zur Quantifizierung der Merkmalsnutzung, indem die Ausrichtung zwischen den Klassifikationsköpfen einer primären klinischen Aufgabe und Hilfsaufgaben für Metadaten gemessen wird. Die Methode erfolgt in drei Schritten:

Lineare Repräsentation: Die Methode behandelt die Gewichte des linearen Klassifikationskopfs ( $W$ ) als „Aufmerksamkeitsvektoren“, die auf den latenten Embedding-Raum wirken. Für eine Aufgabe mit $C$ Klassen definiert die Gewichtsmatrix $W \in \mathbb{R}^{C \times d}$ die Entscheidungsrichtungen für jede Klasse.
Projektion auf die Daten-Mannigfaltigkeit: Um sicherzustellen, dass Vergleiche auf aussagekräftigen Dimensionen stattfinden, werden die Klassifikationsgewichte mittels Hauptkomponentenanalyse (PCA) auf die intrinsische Daten-Mannigfaltigkeit projiziert. Die Autoren extrahieren die obersten $k$ Hauptkomponenten (wobei mindestens 50 erzwungen werden, um 99 % der Varianz zu erfassen), um eine Projektionsmatrix $P$ zu bilden. Die Gewichte werden transformiert als $W' = W P^\top$ . Dieser Schritt filtert orthogonale, nicht-informative Dimensionen heraus.
Quantifizierung der Ausrichtung: Die Methode berechnet die Kosinusähnlichkeit zwischen den projizierten Gewichtswektoren der Primäraufgabe ( $W'_A$ ) und der Hilfsaufgaben für Metadaten ( $W'_m$ ). Eine hohe Korrelation zwischen den Entscheidungsgrenzen einer klinischen Aufgabe und einer Metadaten-Aufgabe (z. B. Scanner-Typ) dient als quantitativer Stellvertreter für Shortcut Learning und zeigt an, dass das Modell dieselben latenten Merkmale für beide Vorhersagen nutzt.

Wesentliche Beiträge

Neuartige Metrik: Einführung der WSC-Analyse, um zwischen der Kodierung von Metadaten und deren aktiver Nutzung bei der Inferenz zu unterscheiden.
Validierung durch induzierte Verzerrung: Die Autoren validierten die Methode durch die Erstellung eines kontrollierten „Induced Bias Dataset“, in dem eine starke Korrelation zwischen fetalen Ebenen-Klassen und Scanner-Modellen künstlich eingeführt wurde. Die WSC-Analyse detektierte erfolgreich die resultierende hohe Ausrichtung in den Gewichtswektoren, während das „Balanced Dataset“ (ohne Korrelation) eine geringe Ausrichtung zeigte, was die Sensitivität der Methode gegenüber Shortcut Learning bestätigt.
Anwendung auf klinische Modelle: Die Methodik wurde auf das SA-SonoNet-Modell zur Vorhersage der spontanen Frühgeburt (sPTB) angewendet, ein hochmodernes Modell in der Geburtshilfe-Ultraschallbildgebung.

Experimentelle Ergebnisse
Die Studie nutzte zwei private klinische Ultraschall-Datensätze: einen Datensatz zur Klassifikation fetaler Anatomieebenen und einen Zervix-Datensatz zur sPTB-Vorhersage.

Kodierbarkeit vs. Nutzung: Im fetalen Datensatz bestätigten Baseline-Modelle, dass Metadaten (Scanner, Krankenhaus-ID) in den Bild-Embeddings hochgradig kodierbar waren (hoher AUROC beim Probing). Die WSC-Analyse ergab jedoch, dass die Gewichtswektoren der primären Ebene-Klassifikationsaufgabe weitgehend orthogonal (geringe Korrelation) zu denen der Scanner-Klassifikationsaufgabe waren. Dies galt auch für Multi-Task-Modelle, die explizit darauf trainiert wurden, Metadaten zu kodieren, was darauf hindeutet, dass die Primäraufgabe keine Scanner-Shortcuts nutzt.
Detektion induzierter Shortcuts: Als der Datensatz so verzerrt wurde, dass spezifische Ebenen mit spezifischen Scannern korrelierten, stiegen die WSC-Werte zwischen Ebenen- und Scanner-Gewichten signifikant an. Dies bestätigte, dass WSC erkennen kann, wenn ein Modell gezwungen ist, eine Shortcut-Strategie zu übernehmen.
SA-SonoNet-Analyse: Die Anwendung auf das sPTB-Vorhersagemodell zeigte:
- Klinische Relevanz: Die sPTB-Klassifikationsgewichte wiesen eine moderate Korrelation mit klinisch relevanten Faktoren wie der Zervixlänge und dem Pixelabstand auf.
- Entkopplung von Konfoundern: Die Gewichte waren von klinisch irrelevanten Akquisitionsfaktoren, insbesondere dem Scanner-Typ, entkoppelt.
- Einschränkung: Obwohl das Geburtsgewicht eine hohe WSC mit sPTB zeigte, merkten die Autoren an, dass dies funktional bedeutungslos war, da der Probing-Kopf das Geburtsgewicht nicht effektiv vorhersagen konnte, was darauf hindeutet, dass die Information nicht robust kodiert war.

Bedeutung und Ansprüche
Das Paper behauptet, dass die WSC-Analyse ein notwendiges Werkzeug zur Verifizierung der Vertrauenswürdigkeit von Modellen in der medizinischen Bildgebung bietet. Durch die Untersuchung, ob ein Klassifikator Merkmale nutzt, die nichts mit dem echten klinischen Signal zu tun haben, können Forscher über einfache Leistungsmetriken hinausgehen, um die interne Entscheidungslogik zu verstehen. Die Autoren kommen zu dem Schluss, dass zwar konfundierende Faktoren oft in medizinischen Bild-Embeddings vorhanden sind, Modelle wie SA-SonoNet jedoch so konzipiert oder trainiert werden können, dass ihre Entscheidungsgrenzen mit klinisch bedeutsamen Signalen ausgerichtet und von scheinbaren Korrelationen wie Scanner-Modellen entkoppelt bleiben. Dies bietet eine Methode, um zu bestätigen, dass ein Modell die beabsichtigte Pathologie lernt und nicht Datensatz-Artefakte ausnutzt.

Einschränkungen
Die Autoren räumen ein, dass die Methode eine lineare Beziehung zwischen dem Embedding-Raum und den Klassifikationsergebnissen annimmt, was den Standardkonventionen des Deep Learning entspricht, aber komplexe nicht-lineare Interaktionen möglicherweise nicht erfasst. Zudem analysiert die Methode derzeit einzelne Metadaten-Attribute; reale Shortcuts könnten aus nicht-linearen Kombinationen mehrerer Konfounder bestehen, was zukünftige Arbeiten untersuchen sollen. Das Paper stellt ferner fest, dass eine niedrige WSC keine Robustheit gegenüber Domänenverschiebungen (Domain Shifts) durch andere Faktoren wie Änderungen der Bildqualität oder Feature-Shifts garantiert, aber sie schließt Shortcut Learning als Ursache für solche Ausfälle aus.