🤖 AI

CoGE: Sim-to-Real Online Geometric Estimation for Monocular Colonoscopy

Este artículo presenta CoGE, un marco novedoso para la estimación geométrica monoculosa en línea en colonoscopia que aprovecha un módulo de supervisión consciente de la iluminación y un módulo de percepción consciente de la estructura para lograr un rendimiento de vanguardia en datos del mundo real mientras se entrena exclusivamente con datos simulados.

Autores originales: Liangjing Shao, Beilei Cui, Hongliang Ren

Publicado 2026-05-14

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Liangjing Shao, Beilei Cui, Hongliang Ren

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagine intentar navegar por un túnel oscuro, estrecho y sinuoso utilizando únicamente una linterna. Eso es esencialmente lo que enfrenta un cirujano durante una colonoscopia. La cámara es un pequeño ojo unidimensional que mira hacia adentro de un tubo largo y cerrado. Para moverse con seguridad y encontrar el camino correcto, el cirujano necesita comprender la forma tridimensional del túnel: qué tan profundo es, dónde curvan las paredes y dónde están los obstáculos.

Este artículo presenta CoGE, un nuevo "asistente inteligente" para esta cámara. Su trabajo es convertir instantáneamente el video plano en 2D de la cámara en un mapa 3D del interior del colon.

Así es como funciona CoGE, explicado mediante analogías simples:

1. El Gran Problema: La "Brecha de Entrenamiento"

Por lo general, para enseñar a una computadora a ver en 3D, necesitas mostrarle miles de videos reales donde ya sabes exactamente cómo se ve la forma 3D (la "verdad fundamental"). Pero en un colon real, no puedes medir fácilmente la forma 3D exacta porque el espacio es demasiado estrecho y cerrado.

Por lo tanto, los investigadores enseñaron a CoGE utilizando datos simulados (una versión perfecta de videojuego generada por computadora de un colon).

El Desafío: Un colon de videojuego se ve muy diferente a uno real. Los reales tienen iluminación extraña, puntos brillantes (reflejos) y texturas desordenadas. Es como enseñar a un conductor a manejar en una pista perfecta y soleada, pero luego pedirle que maneje inmediatamente en una ciudad lluviosa y con niebla. Por lo general, el conductor se confunde.

2. La Solución: Tres "Gafas" Especiales

CoGE es especial porque puede tomar ese entrenamiento del "videojuego perfecto" y aplicarlo al "mundo real desordenado" sin necesidad de entrenamiento adicional con datos reales. Lo hace utilizando tres trucos inteligentes:

Las Gafas "Wavelet" (Viendo el Esqueleto):
Imagina mirar una foto de un colon. Algunas partes son curvas suaves (baja frecuencia) y otras son arrugas o bordes diminutos (alta frecuencia).
CoGE utiliza una técnica llamada Descomposición Wavelet. Piensa en esto como ponerse gafas especiales que separan la imagen en su "esqueleto" (las grandes formas) y sus "detalles" (las arrugas diminutas). Aprende que el esqueleto de un colon se ve igual, ya sea en un videojuego o en la vida real, incluso si la iluminación es diferente. Esto le ayuda a reconocer la estructura independientemente del desorden.
Las Gafas "Detective de Luz" (Ignorando los Reflejos):
Los videos reales de colonoscopia son complicados porque la luz rebota en superficies húmedas, creando puntos blancos brillantes (reflejos especulares) que confunden a la cámara.
CoGE utiliza un módulo basado en la teoría de Retinex (una forma de entender cómo nuestros ojos separan el color de la luz). Actúa como un detective que dice: "Ese punto brillante es solo un reflejo, no una pared real". Le dice al sistema: "No confíes en el cálculo de profundidad en este punto brillante; es solo un reflejo". Esto evita que el sistema sea engañado por la iluminación.
El "Filtro de Memoria" (Olvidando el Pasado):
A medida que la cámara se mueve a través del largo colon, acumula una memoria de lo que ha visto. Pero a veces, la memoria se llena de información antigua e irrelevante que no coincide con la vista actual.
CoGE tiene un Mecanismo de Olvido de Memoria. Imagina que caminas por un pasillo y miras hacia atrás a una puerta que pasaste hace 10 segundos. Si esa puerta ahora está bloqueada por un muro nuevo, tu cerebro debería "olvidar" la puerta vieja para concentrarse en el muro nuevo. CoGE hace esto matemáticamente: revisa su memoria, ve lo que ya no es relevante y lo elimina para no confundirse.

3. Los Resultados: Entrenamiento "Perfecto de Juego", Rendimiento "Mundo Real"

Los investigadores probaron CoGE y descubrieron algo asombroso:

Lo entrenaron solo con datos simulados (de videojuego).
Lo probaron con videos reales de colonoscopia (que nunca había visto antes).
El Resultado: CoGE funcionó mejor que otros métodos de primer nivel que fueron entrenados con grandes cantidades de datos reales. Podía crear mapas 3D precisos y estimaciones de profundidad en tiempo real (más de 15 cuadros por segundo), lo cual es lo suficientemente rápido para que un cirujano lo use mientras se mueve.

Resumen

En resumen, CoGE es un sistema que aprende a ver la profundidad 3D en un colon estudiando una simulación perfecta. Utiliza "gafas" especiales para ignorar la mala iluminación, separar las formas importantes del ruido y limpiar su memoria. Esto le permite funcionar perfectamente en el mundo real desordenado sin necesidad de datos de entrenamiento del mundo real, que son costosos y difíciles de obtener.

Resumen Técnico: CoGE – Estimación Geométrica Online Sim-a-Real para Colonoscopía Monocular

Enunciado del Problema

La estimación geométrica, que abarca la estimación de profundidad y la reconstrucción de escenas, es vital para proporcionar a los cirujanos percepción espacial 3D y navegación durante la colonoscopía. Sin embargo, adquirir la verdad fundamental geométrica (mapas de profundidad, nubes de puntos, parámetros de cámara) en la colonoscopía del mundo real es prohibitivamente difícil y costoso debido a la naturaleza estrecha y cerrada del colon. Si bien existen métodos auto-supervisados, a menudo tienen un rendimiento inferior en comparación con los modelos supervisados. Por el contrario, los modelos supervisados suelen requerir grandes conjuntos de datos con verdad fundamental, los cuales son escasos en entornos realistas. Aunque el software de simulación (por ejemplo, VR-Caps) puede generar verdad fundamental geométrica, existe una significativa "brecha de características" entre los datos simulados y los datos realistas debido a artefactos y diversidad de iluminación. Además, los enfoques existentes de sim-a-real a menudo dependen de redes de traducción de estilo para preprocesar datos realistas, lo que reduce la eficiencia de inferencia y puede degradar el rendimiento entre escenas.

Metodología

Los autores proponen CoGE, un marco basado en modelos fundacionales diseñado para la estimación geométrica monocular online que se entrena exclusivamente con datos simulados pero funciona eficazmente en escenas realistas. El marco opera sobre un par de observaciones (la imagen anterior almacenada $I_{t-1}$ y la imagen actual $I_t$ ) para generar mapas de puntos, poses de cámara, mapas de iluminación y mapas de confianza.

1. Percepción Consciente de la Estructura (SAP)

Para abordar la brecha de características y extraer características estructurales comunes entre escenas simuladas y realistas, los autores incorporan un bloque de Percepción Consciente de la Estructura basado en la transformación wavelet.

Descomposición: Las imágenes de entrada se descomponen mediante Transformación Wavelet Discreta (DWT) en cuatro sub-bandas: Baja-Baja (aproximación), Baja-Alta (detalles horizontales), Alta-Baja (detalles verticales) y Alta-Alta (detalles diagonales).
Extracción de Características: El modelo utiliza Atención Auto-ponderada Multi-cabezal basada en Ventanas (W-MHSA) para extraer características del componente de baja frecuencia (Baja-Baja), mientras emplea núcleos convolucionales específicos ( $7\times1$ , $1\times7$ y $3\times3$ ) para extraer detalles locales de alta frecuencia de las otras bandas.
Fusión: Las características de diferentes composiciones wavelet se fusionan y reconstruyen mediante DWT Inversa para formar la representación estructural final.

2. Supervisión Consciente de la Iluminación (IAS)

Para manejar las condiciones de iluminación diversas e inestables en el colon, se introduce un módulo auto-supervisado de Supervisión Consciente de la Iluminación.

Teoría: Basado en la teoría de Retinex, el módulo asume que el componente intrínseco de una imagen es invariante a la iluminación en el dominio del gradiente.
Mecanismo: El módulo IAS genera un mapa de influencia de luz ( $L_t$ ) y un gráfico intrínseco ( $A_t$ ). Durante el entrenamiento, $L_t$ se utiliza para ajustar el mapa de confianza ( $C_t$ ) de los resultados estimados, controlando efectivamente la confianza del modelo basada en la distribución de la luz para mitigar la interferencia de la iluminación.

3. Mecanismo de Olvido de Memoria

Dadas las largas secuencias típicas en la colonoscopía, el marco emplea un sistema de memoria con un mecanismo de olvido para gestionar la información redundante.

Lectura: Las características anteriores recuperan información relevante de las memorias caché de clave ( $M_k$ ) y valor ( $M_v$ ).
Olvido: Un mecanismo basado en umbrales filtra los tokens de memoria. Si un token de memoria tiene pesos de atención por debajo de un umbral específico (5e-4) para menos del 5% de los tokens de características, se considera irrelevante y se elimina. Esto previene la acumulación de memoria redundante que podría interferir con las observaciones actuales.
Actualización: La nueva memoria se codifica a partir de características relacionadas con la memoria y se concatena con la caché filtrada.

4. Visión General de la Arquitectura

La columna vertebral utiliza seis bloques ViT-L seguidos por el bloque SAP. El decodificador consta de seis bloques que utilizan atención auto-ponderada y atención cruzada para procesar características actuales y relacionadas con la memoria. Las cabezas aguas abajo (DPT) generan los mapas de puntos finales, las poses de cámara y los mapas de confianza.

Contribuciones Clave

Percepción Consciente de la Estructura: Un bloque novedoso que utiliza la transformación wavelet para extraer características estructurales y locales comunes (bordes) compartidas entre escenas de colonoscopía simuladas y realistas.
Supervisión Consciente de la Iluminación: Un módulo que ajusta la confianza de las estimaciones geométricas basándose en la distribución de la luz, abordando el desafío de la iluminación diversa en la superficie del colon.
Mecanismo de Olvido de Memoria: Una estrategia para filtrar tokens de memoria redundantes e irrelevantes, reduciendo la interferencia de observaciones pasadas en secuencias largas.
Rendimiento Sim-a-Real: Un modelo entrenado exclusivamente con datos simulados que logra un rendimiento de vanguardia tanto en escenas simuladas no vistas como en conjuntos de datos de colonoscopía realistas, sin requerir preprocesamiento de traducción de estilo.

Resultados Experimentales

El modelo se entrenó en 24 secuencias simuladas de VR-Caps (SimCol3D) y se evaluó en conjuntos de datos realistas (C3VD, C3VDv2) e imágenes internas.

Estimación de Profundidad Monocular: En el conjunto de datos SimCol, CoGE logró un Abs Rel de 0.027 y una precisión de $\delta < 1.25$ de 0.995, superando a otros modelos fundacionales como STream3R, MonST3R y CUT3R. En conjuntos de datos realistas (C3VD y C3VDv2), logró consistentemente las tasas de error más bajas (por ejemplo, Abs Rel 0.083 en C3VD) y las métricas de precisión más altas en comparación con los métodos de vanguardia.
Reconstrucción 3D: Utilizando la Distancia Euclidiana Media (mED) y la proporción de puntos dentro de un umbral de error específico ( $\delta < N$ ), CoGE demostró una precisión de reconstrucción superior. Por ejemplo, en C3VD, logró un mED de 3.957 y una proporción de $\delta < 4.0$ de 0.645, superando significativamente a competidores como STream3R y CUT3R.
Estudios de Ablación: La eliminación del bloque SAP, el módulo IAS o el mecanismo de Olvido de Memoria resultó en una degradación medible del rendimiento en todos los conjuntos de datos, confirmando la necesidad de cada componente.

Significado y Afirmaciones

El artículo afirma que CoGE representa un avance significativo en la estimación geométrica sim-a-real para endoscopía. Al entrenarse exclusivamente con datos simulados, el método elude la necesidad de una verdad fundamental geométrica del mundo real costosa y difícil de obtener. El marco cruza con éxito la brecha de dominio mediante innovaciones arquitectónicas específicas (extracción de estructura basada en wavelets y control de confianza consciente de la iluminación) en lugar de depender de un preprocesamiento de transferencia de estilo ineficiente.

Los autores señalan que, aunque el modelo logra inferencia en tiempo real (>15 FPS), la inclusión de los bloques de percepción consciente de la estructura disminuye ligeramente la eficiencia en comparación con modelos más ligeros. Además, reconocen que el rendimiento puede degradarse en presencia de desenfoque de movimiento, cambios dinámicos agudos o tejidos de lesiones específicos, los cuales siguen siendo desafíos para trabajos futuros. La contribución principal es demostrar que la percepción 3D online de alta calidad en la colonoscopía es alcanzable utilizando solo datos de entrenamiento simulados cuando el modelo está diseñado explícitamente para manejar las similitudes estructurales y la variación de iluminación.