Resumen Técnico: TouchMap-OR

Enunciado del Problema

La transmisión de patógenos durante procedimientos médicos está impulsada significativamente por las interacciones mano-superficie entre clínicos, pacientes y equipos médicos. Las prácticas actuales de prevención de infecciones dependen de la observación manual, que es intensiva en mano de obra, propensa a sesgos y carece de la resolución temporal necesaria para reconstruir historias de contacto detalladas. Aunque los sistemas automatizados recientes pueden detectar eventos de higiene de manos o el uso de dispensadores, no logran observar las secuencias específicas de contacto entre manos, superficies y pacientes que gobiernan las vías de transmisión. Además, los enfoques existentes de visión por computadora para el contacto mano-objeto a menudo asumen piel visible, oclusión mínima y entornos controlados; condiciones que rara vez se cumplen en quirófanos, donde los guantes quirúrgicos ocultan los indicios de la piel y las manos están frecuentemente ocluidas por instrumentos y personal.

El desafío central abordado es la reconstrucción de interacciones mano-superficie con resolución de identidad en quirófanos reales: determinar quién tocó qué superficie, dónde y durante cuánto tiempo, a pesar de la fuerte oclusión, el desorden y la presencia de múltiples clínicos.

Metodología: TouchMap-OR

TouchMap-OR es un sistema de visión RGB-D multivista diseñado para reconstruir representaciones métricas 3D de quirófanos que modelan conjuntamente a los clínicos, las manos articuladas y las estructuras semánticas del entorno. La tubería consta de cuatro etapas principales:

1. Modelado Semántico 3D de la Sala

Para localizar eventos de contacto, el sistema construye un modelo semántico 3D unificado del quirófano.

• Segmentación: Cámaras RGB-D calibradas capturan flujos segmentados en 2D utilizando SAM2 con prompts de puntos dispersos, anotados manualmente, para superficies clave (por ejemplo, paciente, monitores, mantas, tubos).
• Fusión: Las instancias segmentadas se retroproyectan a 3D. Los puntos de todas las cámaras se fusionan en un marco de mundo común mediante muestreo descendente de voxel (resolución de 10 mm) y votación mayoritaria sobre etiquetas semánticas para producir una nube de puntos semántica unificada ($S_t$). Esta nube se indexa mediante un árbol KD para consultas eficientes a la superficie más cercana.

2. Detección por Cámara y Alineación Métrica

Cada cámara estima independientemente las posturas corporales y de las manos.

• Postura Corporal: Se utiliza RTMO para la estimación de esqueletos 2D de múltiples personas.
• Geometría de la Mano: WiLoR, un estimador basado en MANO, predice mallas de manos articuladas a partir de imágenes RGB individuales.
• Alineación Métrica: Para colocar las mallas de manos en el sistema de coordenadas métrico de la cámara, el sistema ajusta la reconstrucción al mapa de profundidad correspondiente mediante una alineación Sim(3) (escala, rotación, traslación) utilizando RANSAC para rechazar oclusiones. Esto produce mallas de manos alineadas métricamente ($H^{(i,t)}_{cam}$) y extrae anclajes de la mano (centro de la palma, puntas de los dedos) con puntuaciones de fiabilidad basadas en los residuos de alineación.

3. Asociación Multivista y Rastreo 3D de Personas

El sistema genera rastros de esqueletos 3D de múltiples personas globalmente consistentes con identidades estables.

• Asociación: Los rastros 3D se proyectan a los planos de imagen y se comparan con las detecciones 2D utilizando el Error Medio por Píxel de la Articulación (MPJPE). El algoritmo húngaro resuelve las coincidencias uno a uno.
• Reconstrucción 3D: Las articulaciones coincidentes se reconstruyen mediante triangulación ponderada de mínimos cuadrados no lineales a través de las vistas, imponiendo consistencia epipolar.
• Levantamiento de Profundidad: Las articulaciones que no pueden ser trianguladas se recuperan de las observaciones RGB-D, validadas mediante comprobaciones de plausibilidad anatómica (restricciones de longitud ósea).
• Gestión de IDs: Un ciclo de vida del rastro gestiona la inicialización, confirmación y eliminación. Un procedimiento de "unión" fusiona rastros fragmentados causados por oclusiones acumulando votos de reasociación a lo largo del tiempo para establecer una correspondencia uno a uno entre IDs transitorios y persistentes.

4. Fusión de Manos y Detección de Contacto

• Fusión de Manos: Las mallas de manos alineadas métricamente de todas las vistas se transforman al marco de mundo y se agrupan utilizando DB-SCAN en los centros de las palmas. La malla con el residuo de alineación más bajo se selecciona como la mano fusionada representativa.
• Asociación de Personas: Las manos fusionadas se asocian de manera codiciosa con las personas rastreadas basándose en la distancia a las articulaciones corporales específicas del lado (muñeca, codo, hombro), imponiendo persistencia temporal para mantener la continuidad.
• Inferencia de Contacto: El sistema consulta la nube de puntos semántica para encontrar la superficie más cercana a los anclajes de la mano. Se registra un contacto cuando la distancia cae por debajo de un umbral ($\tau_{on}$). Para garantizar la estabilidad temporal, un promedio móvil exponencial (EMA) suaviza las coordenadas, y una regla de histéresis (utilizando $\tau_{on}$ y un $\tau_{off}$ más alto) evita el parpadeo. Los cuadros activos consecutivos se fusionan en episodios de contacto que especifican el ID del clínico, el lado de la mano, la etiqueta de la superficie, los tiempos de inicio/fin y el punto de contacto.

Contribuciones Clave

1. Reconstrucción de Contacto 3D con Resolución de Identidad: La introducción de una tubería RGB-D multivista que reconstruye episodios de contacto mano-superficie entre múltiples clínicos y superficies de quirófano etiquetadas semánticamente en entornos del mundo real.
2. Reconstrucción 3D de Manos Multivista y Asociación de Personas: Un método para fusionar reconstrucciones de manos basadas en MANO a través de cámaras y asociar cada mano con una identidad de clínico persistente utilizando rastreo de esqueletos 3D multivista, manejando oclusiones y cambios de identidad.
3. Mapeo Semántico de Contacto 3D: El mapeo de las trayectorias de manos reconstruidas a superficies de escena etiquetadas semánticamente, permitiendo la reconstrucción de episodios de contacto temporalmente consistentes que detallan qué clínico tocó qué superficie y durante cuánto tiempo.

Resultados Experimentales

El sistema se evaluó en un conjunto de datos de tres procedimientos reales de inducción anestésica que involucraban a 2–5 clínicos, capturados por seis cámaras RGB-D sincronizadas. El conjunto de datos incluye 1.616 episodios de contacto mano-superficie anotados manualmente.

• Rendimiento de Rastreo: TouchMap-OR logró una puntuación IDF1 de 0.48, comparable a la línea base MVPose (0.49), pero redujo significativamente los cambios de identidad a 108 (frente a 236 para MVPose y 547 para Asociación 4D), demostrando una consistencia temporal de identidad superior.
• Detección de Contacto: TouchMap-OR logró una puntuación F1 de contacto binario de 0.75 y un IoU de 0.60, superando a las líneas base (MVPose: 0.56 F1; Asociación 4D: 0.29 F1).
• Atribución Semántica: El sistema logró un F1 de contacto semántico de 0.37, indicando una mejor capacidad para atribuir contactos a superficies específicas en comparación con las líneas base (0.22 para MVPose).
• Precisión de Identidad: El sistema logró una precisión de atribución de identidad de 0.96, confirmando el enlace fiable de eventos de contacto a clínicos específicos.

Significado y Afirmaciones

El artículo afirma que TouchMap-OR proporciona una base computacional para analizar las vías de transmisión al reconstruir historias de contacto detalladas entre clínicos, instrumentos y superficies de pacientes. Los autores enfatizan que, aunque las métricas de rastreo bruto son importantes, la modelación precisa de manos articuladas combinada con una escena 3D semánticamente estructurada es más crítica para la comprensión de la interacción que maximizar las métricas de rastreo por sí solas.

El sistema permite la reconstrucción de episodios de contacto en entornos clínicos desordenados y multicon personas donde los métodos tradicionales fallan debido a la oclusión y la falta de contexto semántico. Al identificar "quién tocó qué, dónde y durante cuánto tiempo", el sistema ofrece una base escalable para cuantificar redes de transmisión asociadas a las manos, apoyando potencialmente estrategias de prevención de infecciones basadas en datos y ofreciendo nuevas perspectivas sobre la dinámica de interacción humano-entorno en la atención sanitaria.

Los autores reconocen modestamente las limitaciones, señalando que la atribución semántica puede ser ambigua en escenas desordenadas (por ejemplo, distinguir entre un vendaje y una manta cercana) y que los artículos delgados o transparentes (como líneas intravenosas) pueden segmentarse de manera incompleta. Sin embargo, el sistema demuestra un rendimiento estable bajo condiciones típicas de quirófano, incluidas oclusiones y proximidad cercana entre clínicos.