Technische Samenvatting: REVEAL – Representatiegestuurde Endoscopische Visuele Embedding Alignment voor Latente Generatie

Probleemstelling

De ontwikkeling van fundamentele generatieve modellen voor endoscopie staat voor twee primaire hindernissen: de significante domeingap tussen natuurlijke afbeeldingen en klinische endoscopische gegevens, en de hoge computationele kosten die gepaard gaan met het trainen van grote Diffusion Transformers (DiTs). Hoewel representatie-alignment de efficiëntie in algemene computer vision heeft verbeterend, blijft de effectiviteit ervan binnen de hooggespecialiseerde endoscopische beeldruimte onbewezen. Bestaande strategieën vertrouwen vaak op algemene visuele encoders (bijv. op ImageNet voorgetrainde modellen) die prioriteit geven aan globale semantische rijkdom. Echter, endoscopische scènes worden gedefinieerd door subtiele mucosa-texturen, speculaire reflecties en complexe anatomische morfologieën, waarbij globale semantische labels onvoldoende signaal bieden. Het vertrouwen op out-of-domain semantische proxies brengt het risico met zich mee van suboptimale morfologische getrouwheid en een falen om de genuanceerde klinische kenmerken van het endoscopische manifold te vangen. Bovendien zijn bestaande endoscopische fundamentele modellen voornamelijk discriminerend; geen enkel eerder werk heeft grootschalige generatieve pretraining verkend als een pad naar klinische visuele representaties.

Methodologie

De auteurs introduceren REVEAL (Representation-driven Endoscopic Visual Embedding Alignment), een fundamenteel generatief model getraind op GastroNet-5M (GN-5M), een multicenter dataset bestaande uit 5 miljoen ongelabelde endoscopische frames.

Architectuur en Training

REVEAL opereert als een latent generatief model binnen een gecomprimeerde latente ruimte, gebruikmakend van een Scalable Interpolant Transformer (SiT) als backbone. Het framework hanteert een duale doelstelling-trainingsstrategie:

1. Denoising Objective: Het model leert een stochastisch interpolatieproces (Flow Matching) om te keren om afbeeldingen te synthetiseren vanuit ruis.
2. Representation Alignment (REPA): Om domeinspecifieke kennis te injecteren, worden de verborgen toestanden van het student SiT-model uitgelijnd met een bevroren, domein-adaptieve "teacher" vision encoder. Dit wordt bereikt door de cosinus-gelijkenis tussen de patch-level features van de teacher en de verborgen toestanden van de student te maximaliseren.

Belangrijke Architecturale Verfijningen

Bouwend op het iREPA-framework, introduceert REVEAL specifieke modificaties om hoogfrequente anatomische details te behouden:

• Convolutional Projection: In plaats van een standaard Multilayer Perceptron (MLP) wordt een lichtgewicht convolutionele laag gebruikt voor de projectiekop. Dit introduceert een lokale inductieve bias, waardoor de ruimtelijke relaties tussen aangrenzende patch-tokens behouden blijven en het verlies van fijne texturen wordt voorkomen.
• Spatial Normalization: Een ruimtelijke normalisatie-laag wordt toegepast op de doelrepresentaties om globale variantie te onderdrukken en de signaal-ruisverhouding van lokale anatomische structuren te verbeteren, zodat het model zich kan concentreren op onderscheidende structurele signalen.

De totale verliesfunctie combineert de denoising loss en de alignment loss ($\mathcal{L} = \mathcal{L}_{\text{Denoising}} + \lambda \cdot \mathcal{L}_{\text{REPA}}$), waarbij $\lambda$ is ingesteld op 1.

Domeinadaptatie

Cruciaal is dat de teacher encoder niet een algemeen model is, maar direct op de GN-5M endoscopische distributie is voorgetraind. De auteurs hebben een DINOv3 ViT-B/16 op GN-5M getraind met een tweestaps-curriculum om ervoor te zorgen dat de doelrepresentaties inherent zijn afgestemd op de unieke visuele kenmerken van endoscopische gegevens.

Belangrijkste Bijdragen

1. Systematische Benchmark van Alignment Design: Het artikel biedt een uitgebreide ablatie-studie die de invloed evalueert van latente ruimte-keuzes (VAE backends), doelrepresentaties en modelschaling (SiT-S tot SiT-L) op zowel morfologische getrouwheid als convergentie.
2. Robuustheid en Generalisatie Evaluatie: Het model wordt geëvalueerd over meerdere onafhankelijke datasets, inclus\n bij een gecorrumpeerde robuustheidsbenchmark (BE-C) die realistische beeldartefacten bevat (bewegingsonscherpte, defocus, overbelichting, etc.), wat generalisatie buiten de trainingsdistributie aantoont.
3. Grootste Endoscopische Generatieve Fundamentele Model: REVEAL vertegenwoordigt het grootste generatieve fundamentele model voor endoscopie tot nu toe, getraind op 5 miljoen frames. Het dient een dubbel doel: een hoogwaardige beeldgenerator en een competitieve feature extractor.

Resultaten

Generatieve Prestaties

• Fidelity: De optimale configuratie gebruikt de SD2 latente ruimte en de DINOv3-B (GN-5M) teacher. Het schalen van het model naar SiT-L/2 en het trainen op de volledige GN-5M dataset bereikte een Fréchet Inception Distance (FID) van 5.32, wat aanzienlijk beter presteert dan modellen getraind op subsets of met algemene doel-encoders.
• Kwalitatieve Synthese: REVEAL produceert hoogwaardige afbeeldingen die realistische mucosa-texturen en speculaire highlights vastleggen. Het behoudt structurele coherentie in ruimtelijke bewerkings-taken zoals inpainting en outpainting, waarbij de geometrische beperkingen van het gastro-intestinale manifold worden gerespecteerd.

Discriminatieve Prestaties (Feature Extraction)

Ondanks dat het een generatief model is dat niet expliciet is geoptimaliseerd voor classificatie, dienen de bevroren SiT-blokken van REVEAL als een krachtige feature extractor:

• Benchmarking: Op de POLAR (poliep classificatie) en BE (Barrett's Esophagus) benchmarks behaalde REVEAL competitieve resultaten en overtrof gevestigde endoscopische fundamentele modellen zoals EndoViT en Endo-FM.
• Robuustheid: Onder gecorrumpeerde beeldingsomstandigheden (BE-C) demonstreerde REVEAL superieure robuustheid vergeleken met EndoViT, dat catastrofaal degradeerde. REVEAL behield competitieve prestaties en presteerde beter dan algemene encoders (SAM2, DINOv2, DINOv3) en domeinspecifieke discriminatieve modellen.

Betekenis en Claims

Het artikel stelt dat representatie-alignment met domein-geadapteerde visuele priors de primaire drijfveer is voor synthese-getrouwheid in medische beeldvorming. De auteurs beweren dat:

• Domeinspecificiteit is Cruciaal: In-domain encoders presteren consequent beter dan algemene alternatieven, wat bewijst dat het vertrouwen op out-of-domain semantische proxies onvoldoende is om klinische nuances te vangen.
• Generatieve Pretraining als een Viabel Pad: Grootschalige generatieve pretraining is een levensvatbaar en complementair pad voor het bouwen van klinische visuele representaties via masked image modeling.
• Dubbel Nut: De uitgelijnde latente ruimte biedt een veelzijdige basis voor downstream taken, waaronder conditionele synthese voor zeldzame pathologie-generatie, segmentatie via generatieve features en out-of-distribution detectie.
• Verlagen van de Drempel: Door een model met een hoge capaciteit te bieden dat is getraind op massieve klinische data, verlaagt REVEAL de computationele drempel voor het ontwikkelen van gespecialiseerde klinische instrumenten, en biedt het een open, veelzijdig fundament voor toekomstige intelligente gastro-enterologie systemen.

De auteurs concluderen dat, hoewel het model niet expliciet is getraind voor discriminatieve taken, het vermogen om zowel onder schone als gecorrumpeerde condities de gespecialiseerde discriminatieve modellen te overtreffen, de waarde onderstreept van het leren van robuuste, anatomisch coherente representaties door middel van generatieve pretraining.