Resumen Técnico: REVEAL – Alineación de Incrustaciones Visuales Endoscópicas Basada en la Representación para la Generación Latente

Planteamiento del Problema

El desarrollo de modelos generativos fundacionales para la endoscopia enfrenta dos obstáculos primordiales: la significativa brecha de dominio entre las imágenes naturales y los datos endoscópicos clínicos, y el alto costo computacional asociado con el entrenamiento de Transformadores de Difusión (DiTs) de gran escala. Si bien la alineación de representaciones ha mejorado la eficiencia en la visión computacional general, su eficacia dentro del espacio altamente especializado de la imagen endoscópica sigue sin probarse. Las estrategias existentes suelen depender de codificadores visuales de propósito general (por ejemplo, modelos preentrenados en ImageNet) que priorizan la riqueza semántica global. Sin embargo, las escenas endoscópicas se definen por texturas mucosas sutiles, reflejos especulares e intrincadas morfologías anatómicas donde las etiquetas semánticas globales proporcionan una señal insuficiente. Depender de proxies semánticos fuera del dominio conlleva el riesgo de una fidelidad morfológica subóptima y un fallo al capturar las matizadas características clínicas del colector (manifold) endoscópico. Además, los modelos fundacionales endoscópicos existentes son predominantemente discriminativos; ningún trabajo previo ha explorado el preentrenamiento generativo a gran escala como una vía para obtener representaciones visuales clínicas.

Metodología

Los autores presentan REVEAL (Alineación de Incrustaciones Visuales Endoscópicas Basada en la Representación), un modelo generativo fundacional entrenado en GastroNet-5M (GN-5M), un conjunto de datos multicéntrico que comprende 5 millones de fotogramas endoscópicos sin etiquetar.

Arquitectura y Entrenamiento

REVEAL opera como un modelo generativo latente dentro de un espacio latente comprimido, utilizando un Transformador de Interpolación Escalable (SiT) como su columna vertebral (backbone). El marco emplea una estrategia de entrenamiento de doble objetivo:

1. Objetivo de Denotación (Denoising): El modelo aprende a revertir un proceso de interpolación estocástica (Flow Matching) para sintetizar imágenes a partir de ruido.
2. Alineación de Representación (REPA): Para inyectar conocimiento específico del dominio, los estados ocultos del modelo estudiante SiT se alinean con un codificador visual "maestro" adaptado al dominio y congelado. Esto se logra maximizando la similitud de coseno entre las características a nivel de parche del maestro y los estados ocultos del estudiante.

Refinamientos Arquitectónicos Clave

Basándose en el marco iREPA, REVEAL introduce modificaciones específicas para preservar los detalles anatómicos de alta frecuencia:

• Proyección Convolucional: En lugar de un MLP estándar, se utiliza una capa convolucional ligera para la cabeza de proyección. Esto introduce un sesgo inductivo local, preservando las relaciones espaciales entre los tokens de parches adyacentes y evitando la pérdida de texturas finas.
• Normalización Espacial: Se aplica una capa de normalización espacial a las representaciones objetivo para suprimir la varianza global y mejorar la relación señal-ruido de las estructuras anatómicas locales, asegurando que el modelo se concentre en señales estructurales distintivas.

La función de pérdida total combina la pérdida de denotación y la pérdida de alineación ($\mathcal{L} = \mathcal{L}_{\text{Denoising}} + \lambda \cdot \mathcal{L}_{\text{REPA}}$), con $\lambda$ establecido en 1.

Adaptación de Dominio

Crucialmente, el codificador maestro no es un modelo de propósito general, sino que está preentrenado directamente sobre la distribución endoscópica GN-5M. Los autores entrenaron un DINOv3 ViT-B/16 en GN-5M utilizando un currículo de dos etapas para asegurar que las representaciones objetivo estén inherentemente alineadas con las características visuales únicas de los datos endoscópicos.

Contribuciones Clave

1. Evaluación Sistemática del Diseño de Alineación: El artículo proporciona un extenso estudio de ablación que evalúa la influencia de las elecciones del espacio latente (backends de VAE), las representaciones objetivo y el escalado del modelo (SiT-S a SiT-L) tanto en la fidelidad morfológica como en la convergencia.
2. Evaluación de Robustez y Generalización: El modelo se evalúa a través de múltiples conjuntos de datos independientes, incluyendo un benchmark de robustez corrompida (BE-C) que presenta artefactos de imagen realistas (desenfoque de movimiento, desenfoque de definición, sobreexposición, etc.), demostrando la generalización más allá de la distribución de entrenamiento.
3. El Modelo Fundacional Generativo Endoscópico más Grande: REVEAL representa el modelo fundacional generativo más grande para endoscopia hasta la fecha, entrenado en 5 millones de fotogramas. Sirve para un doble propósito: un generador de imágenes de alta fidelidad y un extractor de características competitivo.

Resultados

Rendimiento Generativo

• Fidelidad: La configuración óptima utiliza el espacio latente de SD2 y el maestro DINOv3-B (GN-5M). Escalar el modelo a SiT-L/2 y entrenarlo en el conjunto completo de GN-5M logró una Distancia de Frechet Inception (FID) de 5.32, superando significativamente a los modelos entrenados con subconjuntos o con maestros de propósito general.
• Síntesis Cualitativa: REVEAL produce imágenes de alta fidelidad que capturan texturas mucosas y brillos especulares realistas. Mantiene la coherencia estructural en tareas de edición espacial como inpainting y outpainting, respetando las restricciones geométricas del colector gastrointestinal.

Rendimiento Discriminativo (Extracción de Características)

A pesar de ser un modelo generativo no optimizado explícitamente para la clasificación, los bloques SiT congelados de REVEAL sirven como un poderoso extractor de características:

• Benchmarking: En los benchmarks POLAR (clasificación de pólipos) y BE (Esófago de Barrett), REVEAL logró resultados competitivos, superando a modelos fundacionales endoscópicos establecidos como EndoViT y Endo-FM.
• Robustez: Bajo condiciones de imagen corrompidas (BE-C), REVEAL demostró una robustez superior comparada con EndoViT, que se degradó de forma catastrófica. REVEAL mantuvo un rendimiento competitivo, superando a los codificadores de propósito general (SAM2, DINOv2, DINOv3) y a los modelos discriminativos específicos del dominio.

Significancia y Reivindicaciones

El artículo postula que la alineación de representación con priors visuales adaptados al dominio es el principal motor de la fidelidad de síntesis en la imagen médica. Los autores afirman que:

• La Especificidad del Dominio es Crítica: Los codificadores del mismo dominio superan consistentemente a las alternativas de propósito general, demostando que la dependencia de proxies semánticos fuera del dominio es insuficiente para capturar los matices clínicos.
• El Preentrenamiento Generativo es una Vía Viable: El preentrenamiento generativo a gran escala es una vía viable y complementaria al modelado de imágenes enmascaradas para construir representaciones visuales clínicas.
• Utilidad Dual: El espacio latente alineado ofrece una base versátil para tareas posteriores, incluyendo la síntesis condicional para la generación de patologías raras, la segmentación mediante características generativas y la detección de valores atípicos (out-of-distribution).
• Reducción del Umbral: Al proporcionar un backbone de alta capacidad entrenado en datos clínicos masivos, REVEAL reduce el umbral computacional para el desarrollo de herramientas clínicas especializadas, ofreciendo una base abierta y versátil para futuros sistemas inteligentes de gastroenterología.

Los autores concluyen que, si bien el modelo no está entrenado explícitamente para tareas discriminativas, su capacidad para superar a los modelos discriminativos especializados tanto en condiciones limpias como corruptas resalta el valor de aprender representaciones robustas y anatómicamente coherentes a través del preentrenamiento generativo.