Resumen Técnico: Recuperación de Video a Texto con Razonamiento para Clips de Quirófano mediante Gemelos Digitales Impulsados por Acciones

Planteamiento del Problema

Los quirófanos (OR, por sus siglas en inglés) generan miles de horas de metraje de video, pero los interesados clínicos (por ejemplo, estudiantes de cirugía, equipos de calidad) suelen requerir clips cortos y específicos que duren segundos o minutos. Aunque la recuperación de clips mediante texto-a-video es una formulación natural para acceder a estos segmentos, los métodos existentes enfrentan dos limitaciones críticas en el contexto de quirófano:

1. Incapacidad para manejar consultas implícitas: A diferencia de la recuperación convencional donde las consultas describen explícitamente el contenido visual, las consultas de quirófano suelen ser implícitas y requieren razonamiento (por ejemplo, "el paso justo antes del corte" o "la acción que causó el sangrado"). Los métodos actuales que dependen de embeddings globales no pueden razonar sobre tales consultas.
2. Falta de discriminación fina: Los clips de un mismo procedimiento quirúrgico suelen parecer visualmente casi idénticos, diferenciándose solo en acciones específicas e interacciones de entidades. Los enfoques actuales de gemelos digitales (DT) centrados en objetos se enfocan en entidades por fotograma y atributos visuales, fallando al distinguir entre clips consecutivos que comparten objetos idénticos pero difieren en acciones y transiciones de estado.

Metodología: OR3

Los autores proponen OR3 (Recuperación de Razonamiento en Quirófano), un marco diseñado para manejar consultas implícitas mediante el razonamiento de acciones temporales. La metodología consta de tres componentes principales:

1. Gemelos Digitales Impulsados por Acciones (ActDTs)

En lugar de representaciones centradas en objetos, OR3 convierte cada clip de video en un Gemelo Digital Impulsado por Acciones (ActDT).

• Estructura: Un ActDT es una secuencia de primitivas de acción serializadas como JSON estructurado. Agrupa tripletos de sujeto-acción-objeto concurrentes bajo intervalos temporales no superpuestos.
• Componentes:
  • Intervalos: Definidos por marcas de tiempo de inicio y fin, cubriendo la duración total del clip sin solapamiento.
  • Tripletos: Cada interacción incluye un sujeto ($s$), una acción ($v$) y un objeto ($o$).
  • Atributos: El sujeto y el objeto incluyen categoría (de un vocabulario específico de quirófano), atributo (resumen en lenguaje natural de propiedades como la postura o el estado del instrumento) y localización (caja delimitadora y profundidad).
• Generación: Modelos de Fundación de Visión (Qwen3-VL, SAM-3, DepthAnythingV3) extraen estos tripletos a partir de fotogramas RGB y máscaras de segmentación.

2. Recuperación Basada en la Imaginación

OR3 reformula la tarea de recuperación de la coincidencia cruzmodal a la coincidencia intramodal para cerrar la brecha semántica entre las consultas abstractas y las representaciones de video concretas.

• Generación de Hipótesis: Dada una consulta implícita $q$ y metadatos del procedimiento $K$, un Modelo de Lenguaje Grande (LLM) genera un ActDT hipotético ($\widehat{\text{ActDT}}_q$). El LLM predice las primitivas de acción que contendría el clip objetivo, en lugar de simplemente parafrasear la consulta.
• Codificación Intra-Modal: Tanto el ActDT hipotético como los ActDT de los clips reales se serializan como texto JSON y son codificados por un único codificador de texto compartido ($f_\theta$). La relevancia se calcula mediante la similitud de coseno.
• Estrategia de Entrenamiento: El codificador se entrena con un objetivo contrastivo utilizando dos tipos de negativos difíciles adaptados a los ActDT:
  • Negativos Temporalmente Adyacentes: Clips que comparten entidades pero difieren en las acciones.
  • Negativos de Permutación Temporal: Clips donde el orden de los intervalos se ha alterado, rompiendo la lógica temporal mientras se preservan las primitivas de acción.
  • Aumentación de Caída de Campos (Field-Dropout): Enmascaramiento aleatorio de campos en los ActDT reales para hacer al codificador robusto ante la ausencia de atributos visuales presentes en los ActDT hipotéticos.

3. Refinamiento Basado en Evidencia

Para abordar la limitación de que los LLM pueden no capturar convenciones específicas de los procedimientos, OR3 emplea un bucle de refinamiento iterativo.

• Proceso: Después de un ranking inicial, los $K$ candidatos principales (con sus ActDT reales) se devuelven al LLM junto con la consulta original y el ActDT hipotético inicial.
• Revisión: El LLM identifica las discrepancias entre las primitivas de acción imaginadas y las observadas, y genera un ActDT hipotético revisado.
• Iteración: Este proceso se repite durante hasta $T_{ref}$ rondas o hasta que el clip con el ranking más alto permanezca sin cambios, permitiendo que el sistema adapte la interpretación de la consulta a los patrones específicos del procedimiento.

Construcción del Benchmark

Los autores construyeron un nuevo benchmark para la recuperación de razonamiento de texto a video en quirófano utilizando el conjunto de datos MM-OR:

• Datos: 386 clips derivados de 17 grabaciones de procedimientos de rodilla robótica, segmentados por fases y pasos quirúrgicos.
• Consultas: 276 consultas implícitas a través de cuatro categorías de razonamiento:
  • Temporal: (ej., "el paso justo antes del corte de hueso")
  • Causal: (ej., "la acción que desencadenó una brecha de esterilidad")
  • Procedimental: (ej., "el primer uso del taladro después de la calibración del robot")
  • Basada en Roles: (ej., "¿qué preparó la enfermera mientras el cirujano estaba serrando?")
• División: Entrenamiento (162 consultas), Validación (48 consultas) y Prueba (66 consultas).

Resultados Experimentales

Evaluado en el benchmark, OR3 supera significativamente a las líneas base existentes, incluyendo métodos basados en embeddings (CLIP4Clip, X-CLIP), modelos de video-LLM (InternVideo2, Qwen3-VL) y el método de razonamiento de vanguardia anterior (ReasonT2V).

• Rendimiento General: OR3 logra un 57.6% R@1 y un 77.3% R@5, superando a la línea base más fuerte (ReasonT2V) por 33.4 puntos porcentuales en R@1.
• Desglose por Categoría:
  • Basada en Roles: Rendimiento más alto (67.6% R@1), ya que los pares agente-acción se alinean naturalmente con los tripletos de ActDT.
  • Temporal y Procedimental: Mostraron las mayores ganancias absolutas sobre ReasonT2V (36.9 y 35.3 puntos, respectivamente), demostrando la eficacia de las primitivas de acción con estructura de intervalo.
  • Causal: La categoría más desafiante, pero aun así OR3 logró un 42.1% R@1 frente al 15.8% de ReasonT2V.
• Estudios de Ablación:
  • Reemplazar ActDT con DTs centrados en objetos causó la mayor caída (15.2% total), confirmando la necesidad de la representación impulsada por la acción.
  • Eliminar la recuperación basada en la imaginación redujo el R@1 en un 12.1%, validando el enfoque de coincidencia intramodal.
  • El refinamiento basado en evidencia contribuyó con una ganancia total del 7.6%, con el impacto más significativo en las consultas causales.

Significancia y Reivindicaciones

El artículo afirma que OR3 permite una discriminación fina entre clips de video de quirófano visualmente similares al desplazar el enfoque de los atributos estáticos de los objetos hacia el razonamiento de la acción temporal.

Las contribuciones clave incluyen:

1. Formulación de la Tarea: Introducción de la recuperación de razonamiento de texto a video para clips de quirófano, una tarea que requiere la discriminación de visuales casi idénticos mediante consultas implícitas.
2. Innovación Metodológica: Propuesta de ActDTs para codificar la dinámica de interacción de objetos temporales y recuperación basada en la imaginación para eliminar las brechas semánticas cruzmodales.
3. Refinamiento Adaptativo: Introducción del refinamiento basado en evidencia para adaptar la interpretación de la consulta a las convenciones procedimentales específicas.
4. Benchmark: Provisión de un conjunto de datos curado de 276 consultas implícitas sobre 386 clips para facilitar la investigación futura en este dominio.

Los autores concluyen que su enfoque aborda con éxito la brecha entre cómo los usuarios buscan clips de quirófano y cómo operan los métodos de recuperación existentes, aunque señalan que trabajos futuros podrían explorar otros tipos de procedimientos, consultas de múltiples turnos y la recuperación en tiempo real durante procedimientos en vivo.