A Vision-Language-Action Model for Adaptive Ultrasound-Guided Needle Insertion and Needle Tracking

Título: Un Modelo Visión-Lenguaje-Acción para la Inserción y Seguimiento Adaptativo de Agujas Guiado por Ultrasonido

1. Problema

La inserción de agujas guiada por ultrasonido (US) es un procedimiento crítico en intervenciones mínimamente invasivas (biopsias, ablación, anestesia), pero presenta desafíos significativos:

• Condiciones de imagen dinámicas: La visualización de la aguja es a menudo intermitente debido a oclusiones, artefactos de imagen y ruido.
• Fragilidad de los métodos actuales: Las pipelines automatizadas tradicionales dependen de controladores modulares y "hand-crafted" (diseñados a mano) con filtros de partículas o modelos físicos. Estos sistemas son frágiles en entornos dinámicos, requieren muchos hiperparámetros y carecen de una conciencia contextual generalizable.
• Dependencia del operador: Incluso con retroalimentación de posición, la inserción precisa requiere operadores expertos, lo que limita la accesibilidad en entornos con recursos limitados.
• Limitaciones de los modelos VLA existentes: Aunque los Modelos Visión-Lenguaje-Acción (VLA) prometen razonamiento de alto nivel, su aplicación en ultrasonido es escasa debido a la alta demanda computacional, la falta de datos etiquetados y la dificultad de mantener la eficiencia en tiempo real.

2. Metodología

El artículo propone un marco unificado Visión-Lenguaje-Acción (VLA) diseñado para un sistema robótico de ultrasonido (RUS). La arquitectura se basa en un modelo preentrenado Qwen2.5-VL-3B y se compone de los siguientes componentes clave:

• Plataforma Robótica: Utiliza un brazo robótico UR5e para manipular la sonda de ultrasonido y un robot de inserción lineal para controlar la aguja.
• Cabeza de Seguimiento de Fusión de Profundidad Cruzada (CDF Tracking Head):
  • En lugar de usar un rastreador separado, se introduce una cabeza dedicada que integra características de capas superficiales (ricas en información posicional) y capas profundas (ricas en información semántica) del encoder de visión preentrenado.
  • Utiliza una fusión semántica cruzada y una correlación posicional para localizar la punta de la aguja con alta precisión.
• Registro de Condicionamiento de Seguimiento (TraCon Register):
  • Para adaptar el encoder de visión preentrenado a la tarea de seguimiento sin fine-tuning masivo (que podría degradar el rendimiento del LLM), se introduce un token aprendible ligero (0.5M parámetros).
  • Este registro condiciona externamente el backbone de visión congelado, alineando las características tanto para la cabeza de seguimiento como para el LLM de manera eficiente en parámetros.
• Pipeline VLA Asíncrono:
  • Se desacopla el seguimiento de la generación de acciones. El seguimiento opera en un bucle rápido (25 FPS) en una rama en tiempo real, mientras que la generación de acciones por el LLM opera en una rama profunda más lenta (10 FPS).
  • Esto permite que el seguimiento sea continuo y en tiempo real sin esperar a que el LLM complete su inferencia, garantizando la seguridad.
• Política de Control Consciente de la Incertidumbre:
  • El LLM genera acciones (ángulo, velocidad de inserción, movimiento de la sonda) basándose en la posición de la aguja y las instrucciones de lenguaje.
  • La política ajusta dinámicamente la velocidad de inserción: reduce la velocidad cuando la visibilidad de la punta disminuye (alta incertidumbre) y acelera cuando la visibilidad es clara, imitando el comportamiento de expertos humanos para evitar daños en estructuras críticas.

3. Contribuciones Clave

1. Cabeza CDF: Desarrollo de una cabeza de seguimiento que fusiona características de múltiples profundidades para adaptar eficientemente backbones de visión grandes a tareas de seguimiento de agujas.
2. Registro TraCon: Introducción de un token aprendible ligero para el ajuste fino eficiente de parámetros (PEFT), permitiendo adaptar el modelo preentrenado a tareas de seguimiento sin romper la consistencia con el LLM.
3. Control Adaptativo: Implementación de una política de control consciente de la incertidumbre que utiliza razonamiento semántico del LLM para ajustar la velocidad de inserción en tiempo real según la visibilidad.
4. Pipeline Asíncrono: Propuesta de un flujo de trabajo que desacopla el seguimiento y el control, logrando simultáneamente seguimiento en tiempo real y generación de acciones precisa.

4. Resultados

Los experimentos se realizaron en fantomas de tejido (cerdo fresco, agar, silicona) con agujas de 18G.

• Seguimiento de Agujas:
  • El método propuesto superó a los rastreadores más avanzados (SOTA) como MixFormer y LoRAT.
  • Logró una mejora del 10.7% en el error promedio (Err) y del 16.0% en la desviación estándar (SD) respecto al segundo mejor método.
  • Fue el único enfoque que mantuvo una desviación estándar inferior a 2 mm en tareas estáticas (IPS) y en movimiento (IPM).
• Inserción de Agujas:
  • Comparado con la inserción manual por 5 operadores expertos, el sistema VLA mejoró la tasa de éxito (SUC) en un 33.3% (80% vs 60% en promedio).
  • Redujo el tiempo de procedimiento en un promedio de 5.9 segundos.
  • En el escenario de movimiento (IPM), la mejora en la tasa de éxito fue del 63.6%.
• Estudios de Ablación:
  • La eliminación del registro TraCon o la fusión de características cruzadas degradó significativamente el rendimiento.
  • La eliminación de la pipeline asíncrona redujo la tasa de éxito en un 12.5%, demostrando la necesidad de seguimiento en tiempo real independiente del control.
  • La eliminación de la política consciente de incertidumbre (velocidad constante) redujo la tasa de éxito en un 10%, confirmando la importancia de la adaptación dinámica.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia la intervención médica robótica autónoma e inteligente:

• Unificación de Percepción y Acción: Demuestra que los modelos VLA pueden unificar el seguimiento visual y el control de robots en un solo marco end-to-end, superando la fragilidad de las pipelines modulares tradicionales.
• Seguridad y Robustez: La capacidad de adaptar la velocidad de inserción basándose en la incertidumbre visual mejora drásticamente la seguridad en procedimientos donde la visibilidad es crítica.
• Eficiencia de Datos: La técnica de condicionamiento externo (TraCon) permite adaptar modelos grandes a dominios médicos con datos limitados y costosos de etiquetar, sin requerir un fine-tuning completo del encoder de visión.
• Potencial Clínico: Ofrece un camino hacia procedimientos estandarizados, menos dependientes de la habilidad del operador y más seguros, especialmente en entornos con recursos limitados.

En conclusión, el marco propuesto establece un nuevo estado del arte en la inserción guiada por ultrasonido, combinando la precisión del seguimiento profundo con el razonamiento adaptativo de los modelos de lenguaje grandes.