Tokenizer Generator Coupling in Medical Image Generation

Titel: Tokenizer–Generator Koppeling in Medische Beeldgeneratie

Probleemstelling
Latente medische beeldgeneratoren behandelen de tokenizer (de component die beelden comprimeert tot een latente representatie) doorgaans als een vaste preprocessing-stap, ontkoppeld van het generatieve model. Echter, recent bewijs uit de synthese van natuurlijke beelden suggereert een "reconstructie–generatie trade-off", waarbij het verbeteren van de reconstructiekwaliteit van een tokenizer de kwaliteit van de downstream-generatie kan verslechteren. Dit fenomeen wordt gekaderd als een drievoudige rate-distortion-modelability trade-off: een optimale tokenizer moet een balans vinden tussen compressiefaillibiliteit en hoe gemakkelijk de gecomprimeerde representatie gemodelleerd kan worden door een specifieke generator. Het is nog onbekend of dit principe standhoudt voor medische beelden, waar anatomische beperkingen de visuele diversiteit verminderen vergeleken met natuurlijke beelden. Bovendien heeft geen enkele eerdere studie systematisch de interactie tussen verschillende tokenizer-families (discreet versus continu, en diverse kwantiseringsmethoden) en diverse generator-families onder een gemeenschappelijk protocol voor medische data geëvalueerd.

Methodologie
De auteur voert een gecontroleerde factoriële studie uit met de ChestMNIST dataset op een resolutie van 64 × 64. De studie behandelt de tokenizer–generator–sampler triade als de experimentele eenheid.

1. Tokenizers: De studie evalueert vijf tokenizer-families die een identieke 8,5M parameter encoder-decoder backbone delen (8× ruimtelijke compressie):

   • Discreet: Vector Quantization (VQ), Lookup-Free Quantization (LFQ), en Finite Scalar Quantization (FSQ).
   • Continu: Variational Autoencoders (VAE) en Autoencoders (AE).
   • Variabelen: Discrete tokenizers worden getest over drie vocabulairegroottes (1.024, 2.048, 4.096). Continue tokenizers worden getest via bottleneck-capaciteit sweeps en KL-divergentie sterkte-sweeps.

2. Generatoren: Acht verschillende generator-families worden geëvalueerd, die allemaal een Diffusion Transformer (DiT) backbone gebruiken, maar verschillen in hun sampling-dynamiek:

   • Autoregressief (AR) & Masked: AR Transformer, MaskGIT.
   • Discrete Diffusion/Flow: D3PM, SE-D3PM (score-entropy loss), Discrete Flow Matching (DFM), Bayesian Flow Networks (BFN).
   • Continue Latente: Latent Diffusion Models (LDM), Rectified Flow (RF).

3. Evaluatieprotocol:

   • Metrieken: De primaire rangschikkingsmetriek is FID-192 (Fréchet Inception Distance met 192-dimensionale features), gekozen vanwege de geschiktheid voor lage resoluties. Deze wordt gecross-gevalideerd tegen standaard FID-2048 en een domeinspecifieke classifier. De reconstructiekwaliteit wordt gemeten via PSNR, SSIM en LPIPS.
   • Design: De studie omvat 54 discrete tokenizer-generator cellen en 16 continue latente referentiecellen. Een specifieke "vocabulaire-1024 interactieblok" wordt opnieuw getraind op drie seeds (42, 43, 44) om statistische significantie te verifiëren, terwijl de bredere grid een single-seed gebruikt.
   • Hyperparameter Tuning: Een validatie-gebaseerde sweep (2K samples) wordt uitgevoerd om optimale sampling-hyperparameters (temperatuur, stapenaantal) voor elke configuratie te selecteren, gevolgd door een enkele evaluatie op 10K test-samples.

Belangrijkste Bijdragen

1. Gecontroleerde Empirische Studie: De eerste systematische factoriële studie van latente generatieve design voor medische beelden, bestaande uit 70 generatie-cellen die discrete kwantizers, continue latenten en diverse generator-families kruisen.
2. Evaluatie van Onderbelichte Generatoren: Een uniforme evaluatie van autoregressieve, gemaskeerde en discrete diffusion/flow modellen (D3PM, SE-D3PM, DFM, BFN) tegen medische beelden, die voorheen gedomineerd werden door continue latente diffusie.
3. Ontdekking van Koppelingseffecten:
   • Niet-scheidbaarheid: De beste kwantizer is niet universeel; deze verandert afhankelijk van de generator. Bijvoorbeeld, LFQ presteert het best met AR en D3PM, terwijl FSQ de voorkeur geniet boven LFQ bij MaskGIT.
   • Reconstructie vs. Generatie Ontkoppeling: Reconstructie-metrieken (PSNR) zijn slechte proxies voor generatiekwaliteit (FID). High-reconstruction tokenizers (bijv. VAE-c8) kunnen leiden tot slechte generatie, terwijl lagere-reconstructie tokenizers (bijv. AE) state-of-the-art generatie kunnen opleveren.
   • Sampler Sensitiviteit: Discrete diffusiemodellen (D3PM/SE-D3PM) zijn zeer gevoelig voor sampling-budgetten wanneer ze worden gekoppeld aan codebook-vrije tokenizers (LFQ/FSQ). Het reduceren van stappen van 1.000 naar 100–500 verbetert de FID drastisch op deze tokenizers, terwijl VQ-tokens minder profiteren van dergelijke reducties.
4. Generator-vrije Predictor: Introductie van een neighbour-conditional predictive gain statistiek. In tegenstelling tot reconstructie PSNR of marginale token entropie, scheidt deze metriek (die meet hoeveel de buur van een token de entropie vermindert) tokenizer-families perfect op basis van downstream generatiekwaliteit (Rank-AUC 1.00).
5. Uitbreidbare Libraries: Release van MEDTOKENIZERS en MEDLATENTS, open-source bibliotheken die reproduceerbare tokenisatie en latente generatie voor 2D/3D medische beelden mogelijk maken, waarbij de keuze van de tokenizer wordt ontkoppeld van de generator-pipelines.

Resultaten

• Prestaties: Onder standaardinstellingen bereikten continue latente generatoren (specifiek AE + RF) de laagste FID-192 (0.07). Onder de discrete defaults was LFQ-1024 + AR de beste (0.33).
• Impact van Tuning: Het her-tunen van D3PM en SE-D3PM op LFQ-1024 (het reduceren van stappen naar respectievelijk 100 en 500) verlaagde de FID-192 van ~0.44/0.41 naar 0.09/0.10, waardoor de kloof met de beste continue resultaten effectief werd gedicht.
• Tokenizer-Generator Interactie: In de seed-geverifieerde vocabulaire-1024 blok, veranderde de rangorde van kwantizers op basis van de generator. Bijvoorbeeld, FSQ was de slechtste kwantizer voor D3PM maar de beste voor MaskGIT.
• Memorisatie: Nearest-neighbor analyse gaf aan dat er geen exacte-kopie memorisatie plaatsvond (AuthPct < 0.11) over de 70 cellen. Echter, VQ-tokenizers vertoonden een neiging tot onder-generalisatie (hogere nearest-neighbor afstanden) vergeleken met lookup-free methoden.
• Doorvoersnelheid: Rectified Flow (RF) en MaskGIT boden de beste snelheid-kwaliteit trade-offs, waarbij RF ~6× sneller was dan LDM bij vergelijkbare kwaliteit.

Significantie en Claims
De paper claimt dat de selectie van de tokenizer voor medische beeldgeneratie niet in isolatie kan worden gedaan. Het optimale ontwerp hangt af van de gezamenlijke interactie tussen de tokenizer, de generatorarchitectuur en de sampler-configuratie.

• Reconstructie is onvoldoende: Het uitsluitend vertrouwen op reconstructie-metrieken (zoals PSNR) om een tokenizer te selecteren is onbetrouwbaar voor generatietaken.
• Koppeling is cruciaal: De "beste" tokenizer is conditioneel. Bijvoorbeeld, hoewel LFQ een sterke default is, kan FSQ superieur zijn voor specifieke samplers zoals MaskGIT, en blijft VQ competitief als de codebook-groottes passend zijn.
• Sampling budgetten doen ertoe: Canonieke instellingen (bijv. 1.000 stappen voor discrete diffusie) zijn vaak suboptimaal voor codebook-vrije tokenizers; significante winsten zijn mogelijk door het inference-budget te verkleinen.
• Methodologische Tool: De studie biedt een framework en software-infrastructuur om verder te gaan dan "one-size-fits-all" pipelines, waardoor onderzoekers de rate-distortion-modelability trade-off expliciet kunnen afstemmen op specifieke medische beeldvormingstaken.

De auteur beperkt de claims expliciet tot de 64 × 64, onconditionele, lage-resolutie setting van ChestMNIST en soortgelijke datasets, en merkt op dat klinische validatie en hogere-resolutie generalisatie toekomstig werk zijn. Er wordt benadrukt dat de libraries methodologische tools zijn voor gecontroleerde vergelijking, en geen direct inzetbare klinische systemen.