Resumen Técnico: Representaciones Endoscópicas con Consistencia Geométrica para la Navegación Guiada por Imágenes mediante la Adaptación de Modelos Fundacionales Estructurados

1. Planteamiento del Problema

La navegación precisa basada en visión en la endoscopia monocular (p. ej., broncoscopia, cirugía de senos paranasales, colonoscopia) se ve obstaculizada por la falta de pistas de profundidad, texturas tisulares débiles, deformaciones no rígidas y variaciones significativas de apariencia a través de diferentes dominios clínicos. Estos factores complican la estimación de la pose, la predicción de la profundidad y la alineación de la imagen con la anatomía. Aunque los modelos fundacionales de visión (FM) recientes ofrecen representaciones preentrenadas potentes, a menudo carecen de características con consistencia geométrica necesarias para un razonamiento espacial estable. Además, adaptar estos grandes modelos a escenas endoscópicas es difícil debido a la escasez de conjuntos de datos clínicos a gran escala y etiquetados que contengan supervisión geométrica precisa (p. ej., poses de cámara, estructura 3D, profundidad densa). Los métodos existentes o bien se centran en la percepción semántica sin imponer consistencia geométrica, o bien dependen de un preentrenamiento específico de dominio que sigue siendo sensible a los cambios de dominio causados por el hardware y la iluminación.

2. Metodología

Los autores proponen un marco unificado para aprender representaciones de imágenes con consistencia geométrica y robustez de dominio a través de tres componentes principales:

A. Pipeline de Datos Sintéticos con Aleatorización de Dominio Multinivel

Para superar la falta de etiquetas geométricas clínicas, el marco utiliza un conjunto de datos sintéticos diseñado específicamente, generado a partir de modelos anatómicos derivados de TC.

• Generación: Se renderizan vistas endoscópicas virtuales a lo largo de trayectorias de cámara muestreadas para producir imágenes emparejadas con profundidad de verdad de terreno (ground-truth) y poses relativas.
• Aumentación: Para cerrar la brecha sim-to-real, el pipeline emplea CycleGAN para una traslación de apariencia realista e incluye cuatro modalidades de imagen (RGB, RGB sintético, profundidad renderizada y predicciones de disparidad estándar).
• Aleatorización: El entrenamiento implica una extensa aleatorización, incluyendo transformaciones fotométricas, desenfoque, ruido, deformaciones de thin-plate spline y reordenamiento a nivel de pares para asegurar la invariancia de dominio.

B. Adaptación Semántico-Geométrica con Conciencia Jerárquica (HGSA)

En lugar de realizar un ajuste fino (fine-tuning) uniforme de todo el modelo fundacional, los autores introducen HGSA, una estrategia de adaptación estructurada que inserta adaptadores de bajo rango (LoRA) selectivamente en capas específicas de un Vision Transformer preentrenado.

• Búsqueda Jerárquica: El marco emplea una búsqueda de grueso a fino para determinar la configuración óptima del adaptador, incluyendo:
  1. Colocación de Capas: Identificación de qué capas del transformador ($L_a$) se benefician más de la adaptación (p. ej., se encontró que las capas 5–12 eran óptimas).
  2. Módulos Objetivo: Selección de qué proyecciones de atención ($V, QV, QVK, QVKO$) modificar.
  3. Capacidad: Ajuste del rango del adaptador ($r$) y el factor de escala ($\alpha$).
• Racional: Este enfoque alinea la adaptación con la jerarquía inherente del transformador, fomentando que las capas intermedias aprendan correspondencias geométricas mientras se preserva la abstracción semántica en las capas más profundas.

C. Objetivos de Supervisión con Conciencia Jerárquica

El objetivo de entrenamiento combina tres términos de pérdida para imponer tanto consistencia geométrica como robustez semántica:

1. Correspondencia de Características con Conciencia Geométrica ($L_{ms}$): Aplicada a las características intermedias, esta pérdida utiliza una pérdida de tokens densos multiescala que combina PatchNCE y pérdida de reproyección de coseno. Deforma las características de una vista a otra utilizando campos de flujo de verdad de terreno derivados de la profundidad sintética, imponiendo consistencia espacial.
2. Regularización de Representación con Conciencia Semántica ($L_{InfoNCE}$): Aplicada a los tokens globales en las capas más profundas, esta pérdida contrastiva a nivel de instancia alinea los embeddings de la escena de vistas emparejadas, asegurando la consistencia semántica a través de los dominios.
3. Destilación del Maestro ($L_{Gram}$): Una regularización basada en Gram utilizando un modelo maestro DINO congelado para preservar la estructura de correlación de las características de los parches, evitando que el modelo se enfoque excesivamente en la semántica global a expensas de la fidelidad espacial.

3. Contribuciones Clave

El artículo reclama las siguientes contribuciones:

• Pipeline Unificado: Un marco de extremo a extremo que integra un conjunto de datos geométricos sintéticos, el mecanismo HGSA y objetivos jerárquicos por capa para aprender representaciones endoscópicas que son tanto consistentes geométricamente como robustas de dominio.
• Eficacia de HGSA: Experimentos controlados que demuestran que HGSA es una estrategia de adaptación efectiva que mejora la calidad de la representación. Las representaciones resultantes soportan tareas de navegación descendentes (estimación de pose y profundidad) y siguen siendo útiles en diferentes dominios endoscópicos.
• Generalización y Escalabilidad:
  • Transferencia Sim-to-Real: Demostró una fuerte transferencia desde datos de broncoscopia sintética a videos de pacientes reales sin adaptación adicional del codificador.
  • Transferencia Cross-Domain: Mostró la capacidad de adaptar codificadores entrenados en broncoscopia a conjuntos de datos de senos paranasales y colonoscopia bajo supervisión limitada.
  • Escalabilidad: Validó que el marco escala favorablemente con modelos de base más grandes (ViT-S a ViT-L) y mayores tamaños de datos de entrenamiento.

4. Resultados Experimentales

El marco fue evaluado en conjuntos de datos de broncoscopia, senos paranasales y colonoscopia mediante linear probing y tareas de navegación descendentes.

• Calidad de la Representación (Probing):

  • Las configuraciones HGSA (específicamente Cfg 7.4.8: capas 5–12, módulos QVKO, rango 32, escala 64) alcanzaron las puntuaciones de probing combinadas más altas ($S_{probe}$), equilibrando la precisión semántica (clasificación de la escena) y la precisión geométrica (estimación de profundidad).
  • Los estudios de ablación confirmaron que eliminar cualquier componente (HGSA, supervisión de deformación, pérdidas contrastivas) degradaba el rendimiento, siendo $L_{InfoNCE}$ crítica para la separabilidad semántica y $L_{ms}$ para la consistencia geométrica.
  • Las métricas de correspondencia geométrica a nivel de token (PCK@1, Similitud de Coseno) mostraron que el método propuesto superó tanto al DINO original como a las líneas base de LoRA completo.

• Tareas de Navegación Descendentes:

  • Estimación de Pose: En videos reales de broncoscopia, el codificador propuesto logró una alineación de imagen-renderizado superior (métricas NC, DS, SI) en comparación con las líneas base, lo que indica una optimización de pose más precisa.
  • Estimación de Profundidad: El método produjo mapas de profundidad estructuralmente más consistentes.
  • Transferencia Cross-Domain: Al adaptarse a senos paranasales y colonoscopia con datos limitados del dominio objetivo, el marco superó consistentemente a las líneas base de vanilla y de LoRA completo en la estimación de profundidad. Las mejoras en la estimación de la pose fueron significativas para la colonoscopia pero más modestas para los senos paranasales, atribuido al tamaño limitado del conjunto de datos de senos paranasales para el ajuste fino.

• Escalabilidad: El rendimiento mejoró de forma monótona con modelos de base más grandes (ViT-L > ViT-B > ViT-S) y mayores cantidades de datos de entrenamiento (100% > 50% > 25%), lo que sugiere que no hay una saturación temprana.

5. Significado y Reivindicaciones

Los autores posicionan este trabajo como un enfoque práctico para el aprendizaje de representaciones endoscópicas que aborda la brecha crítica entre los modelos fundacionales de propósito general y los requisitos geométricos específicos de la navegación quirúrgica.

• Utilidad Práctica: El marco proporciona una vía escalable para herramientas de navegación robustas sin requerir anotaciones clínicas densas, aprovechando datos sintéticos y una adaptación estructurada.
• Reivindicaciones Modestas sobre la Generalización: Los autores señalan explícitamente que, si bien el marco muestra una transferibilidad prometedora a senos paranasales y colonoscopia, los resultados se basan en una adaptación limitada al dominio objetivo en lugar de una generalización zero-shot. Reconocen que las variaciones de rendimiento (p. ej., en la endoscopia de senos paranasales) resaltan la necesidad de datos adicionales o adaptación dirigida en dominios específicos.
• Perspectiva Central: El artículo argumenta que la "adaptación con conciencia jerárquica y guiada por la geometría" es esencial para transformar las características visuales genéricas en representaciones capaces de soportar un razonamiento estable y geométricamente consistente en el desafiante entorno de la endoscopia.