🤖 machine learning

KLIP: localized distribution shift detection via KL-divergence with diffusion priors in Inverse Problems

Het artikel stelt KLIP voor, een nieuwe metriek voor out-of-distribution detectie bij inverse problemen die de Kullback-Leibler divergentie tussen diffusie-priors en posterieure verdelingen benut om subtiele distributieverschuivingen te identificeren en te lokaliseren zonder dat daar kalibratiedata of kennis van de verschoven distributie voor nodig is.

Oorspronkelijke auteurs: Alireza Kheirandish, Jihoon Hong, Sara Fridovich-Keil

Gepubliceerd 2026-06-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alireza Kheirandish, Jihoon Hong, Sara Fridovich-Keil

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Afwijkende Eenling" vinden in een Wazige Foto

Stel je voor dat je een puzzel probeert op te lossen, maar de stukjes ontbreken en je hebt slechts een paar wazige aanwijzingen (zoals een paar verspreide puzzelstukjes of een vlekkerige foto). In de wereld van medische beeldvorming wordt dit een inverse probleem genoemd. Artsen moeten vaak een helder beeld reconstrueren van de binnenkant van een patiënt (zoals een lever) op basis van beperkte, ruisgevoelige gegevens (zoals een paar röntgenhoeken).

Normaal gesproken worden AI-modellen getraind om de ontbrekende stukjes in te vullen op basis van wat ze eerder hebben gezien. Als het model getraind is op gezonde levers, zal het proberen een gezonde lever te "raden" wanneer het de wazige gegevens ziet.

De Uitdaging: Wat als de patiënt daadwerkelijk een tumor heeft?

De AI zal waarschijnlijk toch een gezonde lever tekenen, omdat dat is wat het kent.
Een tumor is een gelokaliseerd probleem (het is alleen op één kleine plek), niet een probleem met het hele beeld.
Bestaande AI-tools falen hier vaak. Ze zeggen misschien: "Dit hele plaatje ziet er vreemd uit," of ze moeten eerst voorbeelden van tumoren hebben gezien om te weten waar ze naar moeten kijken. Maar in de echte wereld kun je de AI niet vooraf elke mogelijke zeldzame ziekte laten zien.

De Oplossing: KLIP (De "Verdachtingsmeter")

De auteurs stellen een nieuw hulpmiddel voor genaamd KLIP. Denk aan dit als een verdachtingsmeter die niet eerst een misdaad hoeft te hebben gezien om te weten dat er een plaatsvindt.

Het werkt door twee dingen te vergelijken:

De "Verwachting" (De Prior): Wat de AI denkt dat het beeld zou moeten zijn op basis van zijn training (bijv. "Ik verwacht een gezonde lever").
De "Realiteit" (De Posterior): Hoe het beeld er daadwerkelijk uitziet wanneer het gedwongen wordt om bij de wazige aanwijzingen te passen (bijv. "De gegevens zeggen dat er hier een vreemde knobbel zit").

Als de "Realiteit" erg afwijkt van de "Verwachting", slaat de meter aan. Hoe groter het verschil, hoe groter de kans dat er iets ongewoons (Out-of-Distribution of OOD) aan de hand is.

Het Geheime Ingrediënt: Inzoomen en Tijdreizen

De belangrijkste doorbraak van het papier is dat KLIP niet alleen naar het hele plaatje tegelijk kijkt. Het gebruikt twee slimme trucs om kleine, verborgen problemen te vinden:

1. De "Grid Search" (Ruimtelijke Beperking)

Stel je voor dat je naar een grote kaart kijkt om een klein verloren muntje te vinden. Als je naar de hele kaart kijkt, is het muntje onzichtbaar.

Oude manier: Kijk naar de hele kaart en zeg: "Het ziet er grotendeels normaal uit."
KLIP-manier: Het verdeelt de kaart in een raster van kleine vierkantjes. Het controleert elk vierkantje afzonderlijk. Als één klein vierkantje een enorme afwijking vertoont tussen "wat we verwachten" en "wat de gegevens zeggen", markeert KLIP dat specifieke vierkantje.
Resultaat: Het kan een kleine tumor in een lever of een litteken op een gezicht aanwijzen, zelfs als de rest van het beeld perfect is.

2. De "Tijdreis"-truc (Tijdstap Beperking)

Diffusiemodellen (de AI die hier wordt gebruikt) bouwen beelden op zoals een beeldhouwer. Ze beginnen met een ruwe, wazige klomp en voegen langzaam verfijnde details toe over de tijd heen.

Vroege stadia: De AI is alleen de grote vormen aan het bepalen (de omtrek van een gezicht of de algemene vorm van een lever).
Latere stadia: De AI voegt de fijne details toe (de ogen, de textuur van de huid, de specifieke vorm van een tumor).

KLIP realiseert zich dat verschillende soorten "vreemdheid" op verschillende momenten verschijnen.

Een grote, globale verandering is misschien al vroeg duidelijk.
Een klein, specifiek detail (zoals een litteken of een kleine tumor) wordt misschien pas duidelijk wanneer de AI bijna aan het einde van het proces de fijne details toevoegt.
KLIP-manier: Het controleert de "verdachtingsmeter" op specifieke momenten in de tijd, niet alleen tijdens het hele proces. Dit helpt om subtiele details te vangen die anders gemist zouden worden.

Waar ze het op hebben getest

De auteurs hebben deze "verdachtingsmeter" getest in twee hoofdscenario's:

Medische Scans (CT-scans):
- Training: De AI zag alleen gezonde levers.
- De Test: Ze gaven het wazige scans van levers waarbij synthetische tumoren waren toegevoegd.
- Het Resultaat: KLIP zei niet alleen "Dit is een vreemde scan." Het tekende een heatmap die de exacte locatie van de tumor benadrukte, ook al had de AI nog nooit een tumor gezien.
Gezichten (De-blurring/Ontscherpen):
- Training: De AI was getraind op foto's van beroemdheden (gezonde gezichten).
- De Test: Ze gaven het wazige foto's van gezichten met toegevoegde littekens of foto's van sciencefiction-personages met protheses (zoals een metalen oogimplantaat).
- Het Resultaat: KLIP wees succesvol naar het litteken op een menselijk gezicht of het metalen implantaat op het gezicht van een personage, en maakte onderscheid tussen deze en normale kenmerken.

Waarom dit belangrijk is (Volgens het Papier)

Geen "Training op Slechte Data" Nodig: De meeste AI moet voorbeelden van "slechte" dingen (zoals tumoren) zien om ze te leren herkennen. KLIP heeft dit niet nodig. Het hoeft alleen maar te weten hoe "goed" eruitziet.
Werkt op Wazige Gegevens: Het werkt direct op de indirecte metingen (de wazige aanwijzingen), niet alleen op het uiteindelijke heldere beeld.
Vindt de Naald in de Hooiberg: Het is uitstekend in het vinden van kleine, gelokaliseerde problemen zonder in de war te raken door de rest van het beeld.

De Vermelde Beperkingen

De auteurs zijn eerlijk over een aantal zaken:

Afstemming (Tuning): Je moet de "grootte van de rastervierkantjes" en "wanneer te controleren" zorgvuldig aanpassen. Als je de verkeerde instellingen kiest, werkt het misschien niet zo goed.
Simulatie: Ze hebben dit getest met behulp van computersimulaties (het maken van perfecte wazige afbeeldingen vanuit perfecte beelden). Ze hebben dit nog niet getest op echte, rommelige ziekenhuisgegevens, hoewel ze geloven dat het daar ook zal werken.

Samenvattend: KLIP is een slimme manier om een AI te vragen: "Komt deze wazige aanwijzing overeen met wat je verwacht?" Als het antwoord "Nee" is, zoomt het in om te vinden waar de mismatch precies zit, zonder dat het die specifieke mismatch van tevoren hoefde te hebben gezien.

Technische Samenvatting: KLIP – Lokale Detectie van Distributieverschuiving via KL-divergentie met Diffusie-prior

Probleemstelling
Het artikel behandelt de uitdaging van het detecteren van Out-of-Distribution (OOD) beelden en, nog belangrijker, het lokaliseren van ruimtelijk gelokaliseerde OOD-kenmerken binnen afbeeldingen tijdens het oplossen van inverse problemen (bijv. beeldreconstructie vanuit indirecte metingen). Bestaande methoden voor OOD-detectie vertrouwen vaak op kalibratiedatasets die OOD-voorbeelden bevatten, welke niet beschikbaar zijn voor de "long tail" van zeldzame abnormaliteiten in open-world scenario's (bijv. specifieke medische anomalieën). Bovendien werken veel huidige benaderingen op volledige beelden in plaats van op de indirecte metingen die beschikbaar zijn in computationele beeldvorming, of falen ze in het detecteren van subtiele, gelokaliseerde verschuivingen (zoals kleine tumoren of scheuren) die essentieel zijn voor diagnostische waarde.

Methodologie
De auteurs stellen KLIP voor, een kalibratievrije OOD-detectiemetriek gebaseerd op de Kullback-Leibler (KL) divergentie tussen de diffusie-priorverdeling $p(x)$ en de posteriorverdeling $p(x|y)$ gegeven metingen $y$ .

Kernintuïtie: Het artikel stelt dat als een beeld OOD-kenmerken bevat, de meting $y$ de posteriorverdeling aanzienlijk wegtrekt van de priorverdeling. Bijgevolg zal de KL-divergentie $D_{KL}(p(x|y) \parallel p(x))$ groter zijn voor OOD-beelden en specifiek groter voor OOD-regio's binnen een beeld.
Schatting via Posterior Sampling: Omdat de exacte KL-divergentie onhandelbaar is, benaderen de auteurs deze met behulp van de scorefuncties gegenereerd tijdens diffusie-posterior sampling. Door de posterior score te ontleden in de prior score en de likelihood score ( $\nabla_x \log p_t(y|x)$ ), wordt de KL-divergentie geschat door de gekwadrateerde norm van de likelihood score te integreren over het sampling-traject (Vergelijking 11).
Blok- en Tijdstapbeperking: Om gelokaliseerde verschuivingen te detecteren in plaats van globale verschuivingen, introduceren de auteurs twee belangrijke beperkingen:
- Ruimtelijke Blokbeperking: Het beeld wordt verdeeld in blokken ( $B_i$ ). De KL-divergentie wordt lokaal voor elk blok berekend om te voorkomen dat het signaal van een klein OOD-kenmerk wordt verdund door de rest van het In-Distribution beeld.
- Tijdstapbeperking: De integratie wordt beperkt tot specifieke tijdsvensters $[t_0, t_1]$ van het sampling-traject. Gebruikmakend van de observatie dat diffusiemodellen kenmerken genereren op verschillende schalen bij verschillende tijdstappen, stelt dit de metriek in staat zich te concentreren op de specifieven stadia waar OOD-kenmerken het meest onderscheidend zijn.

De uiteindelijke metriek, KLIP, wordt gedefinieerd als de beperkte KL-divergentie over een specifiek ruimtelijk blok en tijdsvenster (Vergelijking 12).

Belangrijkste Bijdragen

Kalibratievrije Detectie: KLIP vereist geen OOD-kalibratiedata of kennis van de verschoven distributie; het vertrouwt uitsluitend op een diffusiemodel dat getraind is op In-Distribution (ID) data.
Toepasbaarheid op Inverse Problemen: De methode werkt direct op de indirecte metingen die beschikbaar zijn tijdens de inferentie, wat het geschikt maakt voor computationele beeldvormingstaken zoals CT-reconstructie en deblurring.
Lokalisatievermogen: In tegen tegenstelling tot globale OOD-detectoren kan KLIP de exacte ruimtelijke locatie van subtiele distributieverschuivingen (bijv. kleine tumoren of artefacten) binnen een beeld identificeren.
Generalisatie: De metriek blijkt te generaliseren over verschillende diffusie-modelarchitecturen (predictor-corrector en patch-gebaseerd), verschillende datasets (abdominale CT-scans en menselijke gezichten) en verschillende inverse problemen (sparse-view CT en Gaussian deblurring).

Experimentele Resultaten
De auteurs evalueerden KLIP op twee primaire taken:

Sparse-View CT Reconstructie: Gebruikmakend van gezonde abdominale CT-scans als ID-data, werd het model getest op beelden met synthetische ster-artefacten en realistische synthetische levertumoren. KLIP behaalde hoge AUC-scores voor zowel dataset-niveau als beeld-niveau detectie, waarbij het de baselines zoals DiffPath, Negative Log Likelihood (NLL) en niet-diffusie OOD-detectoren (CutPaste, SimpleNet) in de context van indirecte metingen overtrof.
Gaussian Deblurring van Gezichten: Gebruikmakend van CelebA als ID-data, detecteerde de methode gelokaliseerde OOD-kenmerken zoals synthetische littekens en kenmerkende gezichtsprotheses op personages uit films (bijv. Star Trek, Harry Potter).

Kwalitatieve resultaten (Figuren 4 en 5) laten zien dat de KLIP-heatmaps de OOD-kenmerken (sterren, tumoren, littekens, protheses) met hoge precisie succesvol lokaliseren. Ablatiestudies bevestigden dat zowel de blok- als de tijdstapbeperking noodzakelijk zijn voor optimale prestaties; het gebruik van het volledige beeld of het volledige tijdsbereik vermindert de detectiecapaciteit aanzienlijk.

Significantie en Claims
Het artikel claimt dat KLIP een robuuste, kalibratievrije oplossing biedt voor het detecteren en lokaliseren van subtiele distributieverschuivingen in inverse problemen, een setting waarin traditionele methoden vaak falen door het gebrek aan OOD-trainingsdata. Door gebruik te maken van de temporele dynamiek van diffusie-sampling en ruimtelijke partitionering, biedt KLIP een "rijk venster" in het samplingproces onder distributieverschuiving. De auteurs benadrukken dat deze aanpak bijzonder waardevol is voor medische beeldvorming en andere veiligheidskritische toepassingen waar het identificeren van zeldzame, gelokaliseerde anomalieën cruciaal is, en waar het verwerven van representatieve OOD-data voor kalibratie onmogelijk is.

Het artikel erkent beperkingen, waarbij wordt opgemerkt dat KLIP gevoelig is voor hyperparameters (blokgrootte en tijdsvenster) die afhangen van de schaal en vorm van de OOD-kenmerken, en dat de huidige evaluaties steunen op "inverse crime" opstellingen (het gebruik van hetzelfde voorwaartse model voor simulatie en reconstructie). Echter, de resultaten suggereren een sterk potentieel voor generalisatie over diverse beeldvormingstaken.