TrajPred: Trajectory-Conditioned Joint Embedding Prediction for Surgical Instrument-Tissue Interaction Recognition in Vision-Language Models

El artículo presenta TrajPred, un marco que mejora el reconocimiento de interacciones entre instrumentos y tejidos en cirugía robótica mediante la codificación de trayectorias instrumentales y un módulo predictor de embebidos semánticos visuales, logrando así una mejor alineación visión-texto y un rendimiento superior en el benchmark CholecT50.

Lo esencial

¡Claro que sí! Imagina que la cirugía robótica es como un juego de video de alta tecnología donde un cirujano humano controla a un robot muy hábil. El problema es que, hasta ahora, el robot es como un copiloto que solo ve lo que pasa en un solo fotograma, sin entender realmente qué está haciendo el cirujano ni por qué.

Aquí te explico el "TrajPred" (el nuevo sistema del que habla el artículo) usando analogías sencillas:

1. El Problema: El Robot que "Parpadea"

Imagina que intentas entender una película viendo solo una foto fija cada vez.

• Si ves una foto de un bisturí cerca de un órgano, ¿está cortando? ¿Solo está tocando? ¿O se está alejando?
• Los sistemas antiguos (como los modelos de IA actuales) intentan adivinar mirando esa foto estática. A veces se equivocan porque les falta el contexto del movimiento.
• Además, cuando estos sistemas intentan entender la imagen, a veces se distraen con el fondo (como la luz de la cámara o el color del líquido) en lugar de fijarse en la acción importante (la herramienta tocando el tejido). Es como si un traductor de idiomas se fijara más en el color de la camisa del hablante que en sus palabras.

2. La Solución: TrajPred (El "Guía de Movimiento")

Los autores crearon TrajPred, que es como darle al robot un asistente que observa el movimiento completo, no solo la foto.

Funciona con tres trucos mágicos:

A. La "Cinta de Movimiento" (Trajectoria)

En lugar de mirar una foto, TrajPred mira un pequeño video (un clip). Pero lo hace de una forma especial:

• Imagina que le pones a cada herramienta quirúrgica un brillo invisible que deja un rastro.
• El sistema no solo ve dónde está la herramienta, sino cómo se mueve a través del tiempo. ¿Va hacia arriba? ¿Gira? ¿Se detiene?
• La analogía: Es la diferencia entre ver una foto de un coche en una carretera (no sabes si va rápido o está parado) y ver el rastro de sus luces en una foto de larga exposición (sabes exactamente su trayectoria y velocidad). TrajPred usa ese "rastro" para entender la acción.

B. El "Traductor de Acciones" (Predicción de Embeddings)

Los modelos antiguos intentan emparejar la imagen con una etiqueta (ej: "cortar"). A veces, esto es demasiado rígido.

• TrajPred hace algo diferente: En lugar de solo buscar la etiqueta, predice qué palabras describen mejor lo que ve, basándose en el movimiento de la herramienta.
• La analogía: Imagina que en lugar de decirle al robot "Busca la palabra 'cortar'", le dices: "Mira cómo se mueve esa herramienta, ¿qué palabra describiría mejor ese movimiento?". El sistema "adivina" la descripción correcta basándose en la danza de la herramienta.

C. El "Lenguaje Claro" (Reformulación de Verbos)

Los cirujanos usan palabras técnicas muy específicas (como "retraer" o "coagular"). La IA, entrenada con internet general, a veces no entiende bien estos términos o los confunde.

• Los autores le enseñaron a la IA a pensar en frases más descriptivas. En lugar de solo la palabra "retraer", la IA aprende a pensar en "tirar hacia un lado suavemente".
• La analogía: Es como si le enseñaras a un niño a entender "correr" no solo con la palabra, sino con la frase "mover las piernas muy rápido para alejarse". Esto ayuda a la IA a entender mejor las acciones raras o poco comunes.

3. ¿Qué logran con esto?

Cuando probaron este sistema en videos reales de cirugías (específicamente en la extracción de la vesícula biliar):

• El robot deja de mirar el fondo: Ya no se distrae con el fondo de la pantalla; se enfoca en la herramienta y el tejido.
• Entiende lo que no ha visto antes: Si el cirujano hace un movimiento raro que la IA nunca vio en el entrenamiento, TrajPred puede adivinarlo porque entiende la lógica del movimiento, no solo la foto.
• Es más preciso: En las pruebas, el sistema acertó mucho más a la hora de decir qué herramienta hacía qué acción y sobre qué tejido.

En resumen

TrajPred es como pasar de tener un policía que solo toma fotos para identificar criminales, a tener un detective que observa el patrón de movimiento de la persona. Al mirar cómo se mueven las herramientas quirúrgicas en el tiempo y describir esas acciones con palabras más claras, el robot puede entender mejor la cirugía, ayudando a los cirujanos y haciendo que la cirugía robótica sea más segura y autónoma en el futuro.

¡Es un gran paso para que las máquinas no solo "vean", sino que realmente "entiendan" lo que está pasando en el quirófano!

Resumen técnico

Resumen Técnico: TrajPred

1. El Problema

La identificación de las interacciones entre instrumentos y tejidos es fundamental para desarrollar asistentes de IA conscientes del contexto en la cirugía robótica. Aunque los Modelos de Lenguaje y Visión (VLM) han demostrado una mejor generalización que los enfoques de aprendizaje profundo específicos para tareas, su rendimiento en la reconocimiento de interacciones instrumento-tejido sigue siendo limitado debido a dos desafíos principales:

1. Uso limitado de información temporal: Muchos modelos existentes se basan en entradas de cuadros individuales (frames) o no aprovechan eficazmente la información temporal entre cuadros. Sin embargo, muchas acciones quirúrgicas (como la disección o la retracción) requieren observar patrones de movimiento a lo largo del tiempo para ser entendidas correctamente, ya que son ambiguas en una sola imagen estática.
2. Supresión de detalles en el aprendizaje contrastivo: Los VLMs quirúrgicos actuales suelen utilizar aprendizaje contrastivo que alinea características visuales agregadas de toda la imagen con el texto. Esta estrategia global a menudo suprime los detalles espaciales finos y hace que el modelo se centre en el fondo o en movimientos espurios (como el movimiento de la cámara) en lugar de en la región específica de interacción entre el instrumento y el tejido.

2. Metodología Propuesta: TrajPred

Los autores proponen TrajPred, un marco de trabajo que reformula el reconocimiento de interacciones como un problema de predicción de incrustaciones (embeddings) en lugar de alineación contrastiva tradicional. El sistema se basa en la arquitectura VL-JEPA (Joint Embedding Predictive Architecture) pero introduce mejoras clave:

• Predicción de Incrustaciones Condicionada a la Trayectoria:
  • En lugar de alinear características globales, el modelo utiliza un módulo predictor entrenable que genera incrustaciones semánticas visuales condicionadas a tokens de trayectoria.
  • Se utilizan clips de video completos en lugar de cuadros individuales.
• Codificación de Trayectorias de Instrumentos:
  • Se extraen los instrumentos mediante un detector (basado en Fast R-CNN) para obtener sus cajas delimitadoras en cada cuadro.
  • Se construyen tokens de trayectoria para cada instrumento, combinando dos flujos:
    1. Flujo de Apariencia: Características visuales del instrumento dentro de la caja delimitadora.
    2. Flujo de Posición: Coordenadas de la caja delimitadora codificadas en el tiempo para capturar el movimiento (hacia, lejos, direcciones).
  • Estos tokens de trayectoria se fusionan y se alimentan al predictor junto con los tokens visuales del video, guiando al modelo hacia las dinámicas informativas del instrumento.
• Ajuste de Prompts y Reformulación de Verbos:
  • Para mejorar la generalización y reducir la brecha entre el vocabulario quirúrgico especializado y el lenguaje general, los verbos quirúrgicos se reformulan en frases descriptivas en inglés (ej. "retract" $\rightarrow$ "pulling aside").
  • Se aplica Prompt Tuning (estilo CoOp) en el codificador de texto, optimizando solo un pequeño conjunto de tokens de contexto aprendibles mientras se mantienen congelados los pesos del modelo base (Gemma), preservando así el conocimiento preentrenado.

3. Contribuciones Clave

1. Nuevo Paradigma de Entrenamiento: Reformulan el reconocimiento de interacciones instrumento-tejido como un problema de predicción de incrustaciones semánticas, reemplazando la alineación contrastiva para capturar mejor los detalles de las acciones finas.
2. Integración de Trayectorias: Introducen tokens de trayectoria derivados del movimiento de los instrumentos para condicionar la predicción, capturando señales de movimiento temporal que son críticas para la distinción de acciones.
3. Mejora de Generalización Lingüística: Utilizan la reformulación de verbos y el ajuste de prompts para adaptar suavemente los modelos preentrenados a tareas quirúrgicas sin perder la capacidad de generalización.
4. Validación Exhaustiva: Demuestran mediante experimentos y visualizaciones que el método mejora tanto el rendimiento cuantitativo como la alineación cualitativa entre las regiones visuales relevantes y las representaciones textuales.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos de referencia CholecT50 (laparoscopia de colecistectomía).

• Rendimiento General: TrajPred superó consistentemente a todas las líneas base (incluyendo CLIP, SurgVLP, HecVL y VL-JEPA) en todas las métricas.
  • Logró la mejor Precisión Promedio (AP) a nivel de tripleta (APIVT: 14.77 vs 13.49 del mejor baseline).
  • Mejoró significativamente la Precisión Top-K, alcanzando un 65.45% en Top@(K=|GT|).
• Generalización (Verbos No Vistos): En un escenario de "verbos no vistos" (unseen-verb), donde se excluyeron verbos específicos del entrenamiento, TrajPred mantuvo una ventaja clara (AP de tripleta: 11.26 vs 9.02), demostrando una mejor capacidad de adaptación a composiciones de acciones nuevas.
• Casos de Uso Poco Comunes: El modelo mejoró notablemente en la identificación de pares instrumento-acción raros (ej. "grasper-pack" mejoró de 18.1 a 32.9 AP), lo que indica una mejor modelización de interacciones complejas y poco frecuentes.
• Visualización: Los mapas de calor de similitud coseno mostraron que TrajPred se centra correctamente en la región de interacción instrumento-tejido, mientras que los modelos contrastivos tradicionales tendían a destacar el fondo o los bordes del endoscopio.

5. Significado e Impacto

El trabajo de TrajPred es significativo por varias razones:

• Superación de Limitaciones de los VLMs: Aborda directamente la pérdida de detalles finos inherente al aprendizaje contrastivo global en el dominio quirúrgico, proponiendo una arquitectura predictiva que es más sensible a las acciones específicas.
• Importancia del Movimiento: Evidencia que para la comprensión quirúrgica, no basta con alinear imágenes y texto a nivel de clip; es crucial modelar las señales de movimiento detalladas (trayectorias) para distinguir acciones que visualmente pueden parecer similares en un solo cuadro.
• Eficiencia: A pesar de la mejora en el rendimiento, el módulo de tokens de trayectoria añade una sobrecarga computacional mínima (solo un aumento del 1.1% en la latencia de inferencia), lo que lo hace viable para aplicaciones en tiempo real.
• Aplicabilidad Clínica: Al mejorar la precisión en la identificación de interacciones y la generalización a verbos no vistos, TrajPred acerca la tecnología de VLMs a ser un asistente confiable para la toma de decisiones intraoperatorias y el aprendizaje de habilidades quirúrgicas robóticas.

En conclusión, TrajPred establece un nuevo estándar para la percepción quirúrgica basada en visión y lenguaje, demostrando que la integración explícita de información de trayectoria y la predicción de incrustaciones semánticas son claves para desbloquear el potencial de los VLMs en entornos médicos de alta precisión.