The Learnability Gap in Medical Latent Diffusion

Technische Samenvatting: De Leerbaarheidskloof in Medische Latente Diffusie

Probleemstelling
Generatieve data-augmentatie met behulp van Latente Diffusiemodellen (LDM's) wordt voorgesteld als oplossing voor klasonevenwicht in medische beeldvorming, met name voor langstaartverdelingen waarbij zeldzame maar kritieke aandoeningen ondervertegenwoordigd zijn. Echter, huidige benaderingen prioriteren perceptuele fideliteit (bijv. FID-scores) en domeinspecifieke fine-tuning van auto-encoders, opererend onder de aanname dat de latente ruimte fungeert als een neutraal intermediair. Dit artikel identificeert een fundamentele bottleneck: terwijl groot-schalig vooraf getrainde auto-encoders discriminerende kenmerken trouw coderen (blijkend uit bijna-verliesvrije reconstructie), zijn hun latente representaties zodanig gestructureerd dat het voor downstream-classifiers moeilijk is hieruit te leren. Deze discrepantie, de leerbaarheidskloof genoemd, suggereert dat synthetische data gegenereerd vanuit deze latenten de specifieke pathologische markers missen die vereist zijn voor effectieve classificatie, met name voor staartklassen.

Methodologie
De auteurs voeren een systematische studie uit over vijf auto-encoder-families (Stable Diffusion 1.4, Flux.1 dev, Flux.2 dev, MedVAE en MedVAE fine-tuned) en vier medische benchmarks (MIMIC-CXR, ISIC 2019, CT-RATE en Cardium). Om de oorzaak van prestatiedegradatie te isoleren, definiëren zij drie evaluatieruimten:

1. Beeldruimte: Classifiers getraind op originele afbeeldingen.
2. Reconstructieruimte: Classifiers getraind op gedecodeerde afbeeldingen ($\tilde{x}_{img} = G(E(x_{img}))$).
3. Latente ruimte: Classifiers direct getraind op latente codes ($x = E(x_{img})$).

Als classifiers in de latente ruimte onderpresteren ten opzichte van classifiers in de reconstructieruimte (die overeenkomen met prestaties in de beeldruimte), wordt het tekort toegeschreven aan de structuur van de latente ruimte in plaats van informatieverlies.

Om deze kloof te onderzoeken en gedeeltelijk te mitigeren, ontwikkelen de auteurs ruis-geconditioneerde latente classifiers. Deze modellen:

• Gebruiken een ConvNeXt-Tiny backbone die direct werkt op latente tensors.
• Integreren FiLM (Feature-wise Linear Modulation)-lagen om voorspellingen te conditioneren op ruisniveaus ($\sigma$), waardoor het netwerk robuuste, ruisinvariante kenmerken moet leren.
• Pasen distillatie in beeldruimte toe, waarbij een sterke teacher in beeldruimte (getraind op reconstructies) de latente student leidt via soft logit-matching gecombineerd met ground-truth-supervisie.

Belangrijkste Resultaten

1. Bestaan van de Kloof: Over alle 20 auto-encoder-datasetparen heen lijden classifiers in de latente ruimte aan een aanzienlijke prestatiedaling ten opzichte van classifiers in de reconstructieruimte. Op ISIC-2019 overschrijdt de kloof in gebalanceerde nauwkeurigheid (bACC) 18 procentpunten voor elke auto-encoder. Een Wilcoxon signed-rank test bevestigt dat dit een systematisch fenomeen is ($p = 9.5 \times 10^{-7}$).
2. Fideliteit versus Leerbaarheid: Hoge reconstructiefideliteit (gemeten via PSNR/SSIM) voorspelt niet de leerbaarheid in de latente ruimte. Bijvoorbeeld, Flux.2 bereikt de hoogste PSNR maar vertoont een van de grootste kloven, terwijl MedVAE lagere fideliteit toont maar een vergelijkbare kloof. Dit sluit informatieverlies uit als primaire oorzaak.
3. Ondoeltreffendheid van Fine-tuning: Domeinspecifieke fine-tuning van de auto-encoder verbetert de reconstructiekwaliteit aanzienlijk (bijv. PSNR-stijging van 29,9 naar 38,9 dB) maar faalt om de leerbaarheidskloof te dichten. In sommige gevallen vergroot het de kloof, wat bevestigt dat het probleem structureel is in plaats van een domeinmismatch.
4. Gedeeltelijke Mitigatie: De voorgestelde ruis-geconditioneerde latente classifiers met distillatie verkleinen de kloof gedeeltelijk en verbeteren de robuustheid (bijv. stijging van de gemiddelde AUC van 0,727 naar 0,754), hoewel een resterende kloof van 4–11 bACC-punten blijft bestaan.
5. Efficiëntiewinst: Ondanks de kloof bieden latente classifiers aanzienlijke praktische voordelen. Werken in het gecomprimeerde domein levert 64× hogere doorvoer en 120× minder geheugengebruik op ten opzichte van modellen in beeldruimte, waardoor ze levensvatbaar zijn voor real-time kwaliteitsfiltering in generatieve pipelines.

Betekenis en Claims
Het artikel claimt de eerste systematische diagnose te bieden van de leerbaarheidskloof in medische latente ruimten. De primaire bijdrage is het verschuiven van de focus van optimalisatie in medische generatieve AI:

• Bottleneck-identificatie: De primaire belemmering voor het dichten van de prestatiekloof tussen echte en synthetische medische data is de structuur van de latente ruimte, niet reconstructiefideliteit of domeinspecificiteit.
• Strategische Heroriëntatie: Inspanningen om synthetische medische data te verbeteren, moeten prioriteit geven aan herschikking van de latente ruimte (bijv. via class-conditional doelen of uitlijning met discriminerende encoders) in plaats van dure auto-encoder fine-tuning.
• Praktische Tooling: De ontwikkelde ruis-geconditioneerde latente classifiers dienen een dubbel doel: als diagnostische tools om de kwaliteit van de latente ruimte te evalueren en als efficiënte componenten voor rejection sampling en kwaliteitsfiltering in generatieve pipelines.

De auteurs concluderen dat hoewel zij de kloof hebben gediagnosticeerd en middelen hebben geboden om eromheen te werken, het fundamentele probleem van het herschikken van latente ruimten zodat ze inherent leerbaar zijn voor downstream medische taken een open uitdaging blijft.