⚡ electrical engineering

Weight Space Correlation Analysis: Quantifying Feature Utilization in Deep Learning Models

Dit artikel introduceert Weight Space Correlation Analysis, een methodologie die het gebruik van kenmerken in deep learning-modellen kwantificeert door de uitlijning tussen classificatiekoppen te meten, waardoor wordt geverifieerd dat medische beeldvormingsmodellen voor spontane vroeggeboorte vertrouwen op klinisch relevante signalen in plaats van op verstorende metadata wanneer deze niet kunstmatig zijn bevooroordeeld.

Oorspronkelijke auteurs: Chun Kit Wong, Paraskevas Pegios, Nina Weng, Emilie Pi Fogtmann Sejer, Martin Grønnebæk Tolsgaard, Anders Nymark Christensen, Aasa Feragen

Gepubliceerd 2026-02-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chun Kit Wong, Paraskevas Pegios, Nina Weng, Emilie Pi Fogtmann Sejer, Martin Grønnebæk Tolsgaard, Anders Nymark Christensen, Aasa Feragen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Spiekbriefjes"-valstrik

Stel je voor dat je een moeilijke geschiedenisexamens maakt. Je hebt hard gestudeerd, maar je merkt ook een vreemd patroon op: elke keer als de toets met blauwe inkt is geprint, is het antwoord "A", en elke keer als het met rode inkt is geprint, is het antwoord "B".

Je kent de geschiedenisfeiten eigenlijk niet echt. In plaats daarvan begin je te gokken op basis van de inktkleur. Je haalt perfecte scores op de oefentoetsen omdat de docent dat patroon steeds heeft gebruikt. Maar zodra je de echte toets maakt die met groene inkt is geprint, stort je volledig in.

In de wereld van medische AI wordt dit Shortcut Learning genoemd.

Het Doel: De AI hoort een ziekte (zoals vroeggeboorte) te diagnosticeren door naar de anatomie in een echografiebeeld te kijken.
De Shortcut: De AI kan per ongeluk leren dat "als de afbeelding afkomstig is van Scanner Model X, de patiënt waarschijnlijk gezond is," of "als er tekst aan de zijkant staat, het een specifief type scan is."
Het Gevaar: De AI kijkt niet naar de baby; de AI kijkt naar de "inktkleur" (het scannermodel of het ziekenhuislogo). Als je de AI naar een nieuw ziekenhuis verplaatst met een andere scanner, kan het falen omdat zijn "spiekbriefje" niet meer werkt.

Het Nieuwe Instrument: De "Weight Space Correlation" (WSC) Analyse

De auteurs van dit artikel wilden een zeer specifieke vraag beantwoorden: Alleen omdat de AI het spiekbriefje ziet, gebruikt hij het dan ook daadwerkelijk om zijn beslissing te nemen?

Eerdere methoden konden alleen zeggen: "Hé, de AI kan het scannermodel herkennen door simpelweg naar de afbeelding te kijken." Maar dat bewijst niet dat de AI die gok gebruikt om de patiënt te diagnosticeren.

De auteurs hebben een nieuwe methode uitgevonden genaamd Weight Space Correlation (WSC). Zo werkt het, met een analogie:

De Analogie: De Chef en de Ingrediënten

Stel je voor dat de AI een Chef is (het model) die probeert een specifiek gerecht te koken (de klinische diagnose, zoals "Vroeggeboorte").

De Ingrediënten zijn de kenmerken in de afbeelding (de anatomie van de baby, de textuur van het weefsel).
Het Recept is de interne logica van de AI (de "weights").

De auteurs wilden weten: Gebruikt de Chef de Verse Groenten (het echte medische signaal) of de Zoutvaatje (de metadata van het scannermodel) om te beslissen of het gerecht lekker is?

Stap 1: De "Proeverij" (Embedding): Eerst controleerden ze of de Chef het zout überhaupt kon proeven. Ze ontdekten dat ja, de Chef het zoutvaatje kon herkennen door alleen naar de ingrediënten te kijken. Het "zout" (de informatie over de scanner) zat dus zeker in de kom.
Stap 2: De "Receptcontrole" (De WSC-analyse): Dit is het magische deel. Ze vergeleken het Recept voor het Gerecht met het Recept voor het identificeren van het Zoutvaatje.
- Als de twee recepten identiek zijn (hoge correlatie), betekent dit dat de Chef dezelfde mentale stappen gebruikt om het gerecht te identificeren als om het zoutvaatje te identificeren. Dit is een shortcut. De Chef is aan het spieken.
- Als de twee recepten volledig verschillend zijn (lage correlatie), betekent dit dat de Chef een andere set regels gebruikt voor het gerecht en een totaal andere set regels voor het zoutvaatje. Dit is goed. De Chef negeert het zout en focust op de groenten.

Wat ze hebben getest

Het team heeft deze methode op twee manieren getest:

1. Het "Fake Cheat" Experiment (Validatie)
Ze namen een dataset en verpestten deze doelbewust. Ze zorgden ervoor dat Scanner A alleen foto's maakte van Hoofden, en Scanner B alleen foto's maakte van Torso's.

Resultaat: De AI leerde de shortcut. Wanneer ze de WSC-analyse uitvoerden, waren het "Recept voor het Lichaamsdeel" en het "Recept voor het Scannermodel" perfect op elkaar afgestemd. De methode heeft de AI succesvol betrapt op spieken.

2. De Real-World Test (SA-SonoNet)
Ze pasten dit toe op een echt, geavanceerd AI-model dat wordt gebruikt om Spontane Vroeggeboorte (sPTB) te voorspellen op basis van cervicale echografiebeelden.

De Vraag: Vertrouwt deze real-world AI op het scannermodel of het ziekenhuis-ID om zijn voorspelling te doen?
Het Resultaat:
- Goed Nieuws: Het "recept" van de AI voor het voorspellen van vroeggeboorte was sterk uitgelijnd met de Cervicale Lengte (een echt, medisch belangrijk kenmerk). Het was ook uitgelijnd met de Pixel Spacing (een technische instelling die van belang is voor de beeldkwaliteit).
- Cruciale Bevinding: Het "recept" van de AI voor het voorspellen van vroeggeboorte was volledig niet uitgelijnd (ontkoppeld) met het Scannermodel.
- Conclusie: Hoewel de AI kon zien welke scanner de foto had gemaakt, gebruikte hij deze informatie niet om zijn diagnose te stellen. Hij keek naar de werkelijke medische kenmerken.

Waarom dit ertoe doet

Dit artikel biedt een "vertrouwenscheck" voor medische AI.

Vóór dit moment wisten we, als een AI goed presteerde, niet of het een genie was (een dokter) of een cheater die naar inktkleuren kijkt.
Nu hebben we een instrument om in het brein van de AI te kijken en te kunnen zeggen: "We hebben je logica gecontroleerd. Je gebruikt het scannermodel niet als een shortcut. Je kijkt daadwerkelijk naar de patiënt."

Samenvatting

De auteurs hebben een wiskundige "leugendetector" voor AI gecreëerd. Ze hebben bewezen dat, hoewel medische beelden vaak verborgen aanwijzingen bevatten over de gebruikte apparatuur (zoals scannermodellen), een goed getrainde AI zo kan worden ontworpen dat hij die aanwijzingen negeert en zich alleen concentreert op de echte medische feiten. Hun methode bevestigt dat de specifieke AI die zij testten betrouwbaar is, omdat deze niet vertrouwt op het "spiekbriefje".

Technische Samenvatting: Weight Space Correlation Analyse voor het Kwantificeren van Feature-utilisatie

Probleemstelling
Deep learning-modellen in medische beeldvorming zijn gevoelig voor "shortcut learning", waarbij modellen vertrouwen op verwarrende metadata (bijv. scannermodel, acquisitieprotocol) in plaats op genuwe klinische signalen. Hoewel eerder onderzoek heeft aangetoond dat dergelijke verwarrende informatie vaak is gecodeerd binnen beeld-embeddings (bijv. Gichoya et al., 2022; Glocker et al., 2023), blijft er een kritische kloof bestaan: de loutere aanwezigheid van een feature in de embedding-ruimte bewijst niet dat het model deze ook actief gebruikt voor uiteindelijke voorspellingen. Bestaande methoden, zoals het analyseren van embedding-distributies of het genereren van contrafeitelijke testsets, adresseren niet direct of de classificatiekop deze confounders benut. Dit artikel behandelt de fundamentele vraag: stemt de beslissingsgrens van het model actief af met klinisch irrelevante factoren?

Methodologie: Weight Space Correlation (WSC) Analyse
De auteurs stellen Weight Space Correlation (WSC) analyse voor, een interpreteerbare methodologie om feature-utilisatie te kwantificeren door de uitlijning te meten tussen de classificatiekoppen van een primaire klinische taak en hulp-metadata-taken. De methode verloopt in drie stappen:

Lineaire Representatie: De methode behandelt de gewichten van de lineaire classificatiekop ( $W$ ) als "aandachtsvectoren" die inwerken op de latente embedding-ruimte. Voor een taak met $C$ klassen definieert de gewichtsmatrix $W \in \mathbb{R}^{C \times d}$ de beslissingsrichtingen voor elke klasse.
Projectie op de Data-manifold: Om ervoor te zorgen dat vergelijkingen worden gemaakt op betekenisvolle dimensies, worden de classifier-gewichten geprojecteerd op de intrinsieke data-manifold met behulp van Principal Component Analysis (PCA). De auteurs extraheren de top $k$ hoofdcomponenten (waarbij een minimum van 50 wordt afgedwongen en 99% van de variantie wordt gevangen) om een projectiematrix $P$ te vormen. De gewichten worden getransformeerd als $W' = W P^\top$ . Deze stap filtert orthogonale, niet-informatieve dimensies weg.
Kwantificeren van Uitlijning: De methode berekent de cosine similarity tussen de geprojecteerde gewichtsvectoren van de primaire taak ( $W'_A$ ) en de hulp-metadata-taken ( $W'_m$ ). Een hoge correlatie tussen de beslissingsgrenzen van een klinische taak en een metadata-taak (bijv. scannertype) dient als een kwantitatieve proxy voor shortcut learning, wat aangeeft dat het model dezelfde latente features gebruikt voor beide voorspellingen.

Belangrijkste Bijdragen

Nieuwe Metriek: Introductie van WSC-analyse om onderscheid te maken tussen de codering van metadata en de actieve utilisatie ervan tijdens inferentie.
Validatie via Geïnduceerde Bias: De auteurs hebben de methode gevalideerd door een gecontroleerde "Induced Bias Dataset" te creëren waarin een sterke correlatie kunstmatig werd geïntroduceerd tussen foetale vlak-klassen en scannermodellen. WSC-analyse detecteerde succesvol de resulterende hoge uitlijning in gewichtsvectoren, terwijl de "Balanced Dataset" (geen correlatie) een lage uitlijning vertoonde, wat de sensitiviteit van de methode voor shortcut learning bevestigt.
Toepassing op Klinische Modellen: De methodologie werd toegepast op het SA-SonoNet model voor de voorspelling van spontane vroeggeboorte (sPTB), een state-of-the-art model in de obstetrische echografie.

Experimentele Resultaten
De studie maakte gebruik van twee private klinische echografie-datasets: een dataset voor foetale anatomische classificatie en een cervix-dataset voor sPTB-voorspelling.

Encodabiliteit vs. Utilisatie: In de foetale dataset bevestigden baseline-modellen dat metadata (scanner, ziekenhuis-ID) zeer goed encodeerbaar was in de beeld-embeddings (hoge AUROC bij probing). Echter, WSC-analyse onthulde dat de gewichtsvectoren voor de primaire vlak-classificatietaak grotendeels orthogonaal waren (lage correlatie) aan die van de scanner-classificatietaak. Dit bleef van kracht, zelfs voor multi-task modellen die expliciet getraind zijn om metadata te coderen, wat suggereert dat de primaire taak niet leunde op scanner-shortcuts.
Detectie van Geïnduceerde Shortcuts: Wanneer de dataset werd vertekend om specifieke vlakken met specifieke scanners te correleren, namen de WSC-waarden tussen vlak- en scannergewichten significant toe. Dit bevestigde dat WSC kan detecteren wanneer een model wordt gedwongen een shortcut-strategie te adopteren.
SA-SonoNet Analyse: Toegepast op de sPTB-voorspellingsmodel, toonde de analyse aan:
- Klinische Relevantie: De sPTB-classifiergewichten vertoonden een matige correlatie met klinisch relevante factoren zoals cervicale lengte en pixel-spacing.
- Ontkoppeling van Confounders: De gewichten waren ontkoppeld van klinisch irrelevante acquisitiefactoren, specif kindelijk gezien het scannertype.
- Kanttekening: Hoewel geboortegewicht een hoge WSC vertoonde met sPTB, merken de auteurs op dat dit functioneel betekenisloos was omdat de probing-kop het geboortegewicht niet effectief kon voorspellen, wat aangeeft dat de informatie niet robuust gecodeerd was.

Betekenis en Claims
Het artikel claimt dat WSC-analyse een noodzakelijke tool biedt voor het verifiëren van de betrouwbaarheid van modellen in de medische beeldvorming. Door te inspecteren of een classifier gebruikmaakt van features die niet gerelateerd zijn aan het werkelijke klinische signaal, kunnen onderzoekers verder gaan dan eenvoudige prestatie-metrieken om de interne beslissingslogica te begrijpen. De auteurs concluderen dat hoewel verwarrende factoren vaak aanwezig zijn in medische beeld-embeddings, modellen zoals SA-SonoNet zo kunnen worden ontworpen of getraind dat hun beslissingsgrenzen uitgelijnd blijven met klinisch betekenisvolle signalen en ontkoppeld blijven van spurieuze correlaties zoals scannermodellen. Dit biedt een methode om te bevestigen dat een model de beoogde pathologie leert in plaats van dataset-artefacten uit te buiten.

Beperkingen
De auteurs erkennen dat de methode uitgaat van een lineaire relatie tussen de embedding-ruimte en klasse-voorspellingen, wat overeenkomt met standaard deep learning-conventies maar complexe niet-lineaire interacties mogelijk niet vangt. Daarnaast analyseert de methode momenteel individuele metadata-attributen; in de echte wereld kunnen shortcuts bestaan uit niet-lineaire combinaties van meerdere confounders, wat toekomstig onderzoek beoogt te onderzoeken. Het artikel merkt ook op dat een lage WSC geen garantie biedt voor robuustheid tegen domeinverschuivingen veroorzaakt door andere factoren, zoals veranderingen in beeldkwaliteit of feature-verschuivingen, maar het sluit shortcut learning als oorzaak van dergelijke fouten wel uit.