Self-contained intraoperative surface acquisition on a mixed-reality headset: a comparison of sensor-based and learning-based reconstruction

Resumen Técnico: Adquisición de Superficie Intraoperatoria Autocontenida en un Visor de Realidad Mixta

Planteamiento del Problema
La navegación quirúrgica mediante realidad mixta (RM) depende de un registro deformado de imagen a físico, el cual requiere una superficie orgánica medida con precisión de forma intraoperatoria para corregir la deformación del tejido entre la imagen preoperatoria y el campo quirúrgico. Los visores de RM comerciales actuales carecen de capacidades nativas para adquirir esta superficie, lo que obliga a depender de la digitalización manual con un lápiz estilete (lenta, dispersa y dependiente del operador) o de sistemas externos de cámaras estéreo (que requieren calibración independiente, colocación de campos estériles y puntos de vista fijos propensos a la oclusión). Además, investigaciones previas sugieren que los sensores de profundidad integrados en los dispositivos de RM pueden ser insuficientes para tareas de alta precisión debido a sesgos, particularmente en tejidos translúcidos. Este trabajo aborda si un visor de RM comercial (Magic Leap 2) puede funcionar como un dispositivo de adquisición de superficie autocontenido utilizando únicamente sus sensores integrados, y si un enfoque basado en sensores (Tiempo de Vuelo - ToF) o un enfoque basado en aprendizaje (solo RGB) produce una precisión superior bajo diversas condiciones ópticas del tejido.

Metodología
El estudio desarrolló y comparó dos paradigmas de reconstrucción utilizando datos de entrada idénticos de un visor Magic Leap 2 (ML2), todos expresados dentro de un único marco de mundo rastreado por SLAM ($F_{ML2}$) para eliminar la necesidad de un registro entre vistas.

1. Caracterización de la Plataforma:

   • Estabilidad del Holograma: Se evaluó la estabilidad del origen del mundo rastreado por SLAM del ML2 bajo cuatro perturbaciones (caminar, movimiento rápido de la cabeza, oclusión del sensor/relocalización y actualizaciones de escena dinámica) utilizando un lápiz estilete de seguimiento óptico.
   • Calibración de Sensores: Se calibraron el sensor de tiempo de vuelo indirecto (iToF) de corto alcance y la cámara RGB integrados. Las mediciones de distancia radial se convirtieron a profundidad del marco de la cámara para corregir el sesgo geométrico.

2. Adquisición y Segmentación de Datos:

   • Se capturaron flujos simultáneos de RGB y profundidad.
   • Integración de SAM 2: El modelo Segment Anything Model 2 (SAM 2) se utilizó fuera de línea para generar máscaras específicas de los órganos a partir de los fotogramas RGB, filtrando los instrumentos y los campos quirúrgicos circundantes. Esto aseguró que ambos métodos de reconstrucción operaran sobre definiciones de píxeles de órgano idénticas.

3. Paradigmas de Reconstrucción:

   • Método 1 (Basado en Sensores): La geometría se derivó directamente del flujo de profundidad iToF. Los puntos se proyectaron hacia atrás, se filtraron para eliminar valores atípicos y se fusionaron en una única nube de puntos en $F_{ML2}$. Se aplicó un ajuste de superficie de mínimos cuadrados basado en rejilla para generar una malla suave y estanca (watertight).
   • Método 2 (Basado en Aprendizaje): Se descartó el canal de profundidad. La geometría se recuperó únicamente a partir del barrido RGB utilizando Depth Anything 3 (DA3), un modelo fundacional de geometría multivista. La estructura 3D resultante, carente de unidades, se ancló a una escala métrica mediante una transformación de similitud de forma cerrada (solución de Umeyama) utilizando los centros de la cámara rastreados por SLAM.

4. Evaluación:

   • Fantomas: Se probaron seis objetos: dos formas de hígado moldeadas en yeso blanco opaco y silicona roja translúcida, un fantoma de mama con recubrimiento de protector solar y un hígado porcino ex vivo.
   • Verdad de Campo (Ground Truth): Un lápiz estilete con seguimiento óptico y calibración de pivote digitalizó las superficies. Se generó una superficie de verdad de campo continua mediante ajuste de rejilla para permitir una comparación densa punto a punto.
   • Métricas: Error Cuadrático Medio (RMSE) de las distancias dirigidas punto a punto y Distancia Promedio Simétrica más Cercana (SACPD).
   • In Vivo: Se realizó una demostración cualitativa en un cerdo anestesiado con el hígado expuesto.

Resultos Clave

• Estabilidad de la Plataforma: La deriva del origen del mundo del ML2 se mantuvo por debajo de una mediana de 2 mm en todas las perturbaciones, confirmando que las vistas de un único barrido pueden agregarse directamente sin registro adicional.
• Precisión del Sensor: El sensor iToF logró aproximadamente 2 mm de precisión absoluta en el rango de trabajo de 0.30–0.70 m, con un ruido temporal significativamente menor (~0.36 mm de mediana) que el error absoluto.
• Precisión de la Reconstrucción (Fantomas):
  • Superficies Opacas (Yeso): El método basado en sensores fue significativamente más preciso (RMSE ~2.6–3.1 mm) que el método basado en aprendizaje (RMSE ~4.7–5.0 mm).
  • Superficies Translúcidas (Silicona): El orden se invirtió. El método basado en aprendizaje superó al método basado en sensores (RMSE 4.3–4.6 mm vs. 4.8–5.3 mm), debido a que la dispersión subsuperficial sesga las mediciones de iToF.
  • Tejidos Complejos: En el fantoma de mama con recubrimiento de protector solar, el método basado en sensores mantuvo la ventaja (2.9 mm vs. 3.9 mm). En el hígado porcino ex vivo, el método basado en sensores mostró una ventaja modesta y no significativa (4.2 mm vs. 4.8 mm).
• Demostración In Vivo: La reconstrucción basada en sensores produjo una superficie limpia (residuo medio de 3.4 mm) en el hígado de un cerdo vivo. Por el contrario, el método basado en aprendizaje falló en generar una superficie estable debido a la cobertura multivista insuficiente (acceso quirúrgico de un solo lado), resaltando la dependencia de la diversidad de puntos de vista.

Significancia y Reivindicaciones
El artículo afirma demostrar que un visor de RM comercial puede servir como un dispositivo de adquisición de superficie intraoperatoria autocontenido, eliminando la necesidad de hardware de seguimiento externo o digitalización con lápiz estilete. La contribución principal es la identificación de un intercambio dependiente del tejido (trade-off) entre los paradigmas de reconstrucción:

• La reconstrucción basada en sensores es preferible cuando los retornos de profundidad activos son fiables (superficies opacas, difusas o adecuadamente brillantes), ofreciendo una precisión posicional absoluta superior.
• La reconstrucción basada en aprendizaje es más robusta ante los modos de fallo óptico inherentes al sensor de profundidad activo (dispersión subsuperficial, saturación especular, bajo albedo), pero requiere una cobertura multivista adecuada e introduce un pequeño desfase posicional residual.

Los autores concluyen que la elección del paradigma de reconstrucción debe estar dictada por las características ópticas del tejido objetivo y la diversidad de puntos de vista permitida por el campo quirúrgico. El trabajo establece al Magic Leap 2 como un host viable para estos procesos, siendo los siguientes pasos la integración de la segmentación en tiempo real y la posterior el registro deformable.