💻 computer science

UltraSAM3: A Concept-Driven Foundation Model for Universal Ultrasound Image Segmentation

UltraSAM3 es un modelo fundacional impulsado por conceptos que aprovecha la especificación de objetivos basada en texto y un agente guiado por instrucciones para lograr una segmentación de imágenes de ultrasonido robusta y universal a través de diversos órganos y lesiones, superando los métodos existentes específicos de tareas y basados en prompts visuales.

Autores originales: Bo Xu, Quanhao Zhu, Rui Lin, Boling Zhu, Chenyuan Wang, Hongfei Lin, Feng Xia, Chenhua Ji

Publicado 2026-08-03

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bo Xu, Quanhao Zhu, Rui Lin, Boling Zhu, Chenyuan Wang, Hongfei Lin, Feng Xia, Chenhua Ji

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando encontrar un juguete específico en un arenero gigante y desordenado. Si solo dices "busca el coche rojo", un robot útil podría escanear toda la caja y señalarlo. Pero, ¿qué pasa si la arena está girando, la luz es tenue y el coche rojo se parece un poco a un cubo rojo? Eso es exactamente el problema que enfrentan los médicos con las imágenes de ultrasonido. El ultrasonido es como un rayo X mágico y en tiempo real que utiliza ondas sonoras en lugar de radiación. Es barato, seguro y portátil, lo que lo convierte en un favorito para revisar desde el latido del corazón de un bebé hasta un músculo dolorido. Sin embargo, las imágenes que crea son notoriamente complicadas. A menudo son granulosas (como la estática de un televisor antiguo), tienen bordes difusos y pueden verse muy diferentes dependiendo de quién sostenga la sonda.

Durante años, los programas informáticos diseñados para "ver" estas imágenes han sido como robots especializados: un robot solo sabe encontrar la cabeza de un bebé, otro solo sabe encontrar un hígado y un tercero solo busca nódulos tiroideos. Si un médico quería cambiar de tarea, tenía que cambiar de robot. Más recientemente, los científicos construyeron "modelos fundacionales" —cerebros de IA superinteligentes entrenados en millones de imágenes que pueden entender conceptos generales—. Pero incluso estos gigantes tienen dificultades con el ultrasonido porque el "ruido" de las imágenes los confunde. Podrían entender la palabra "riñón", pero fallar al encontrarlo en un ultrasonido granuloso porque fueron entrenados principalmente con tomografías computarizadas o resonancias magnéticas claras. La gran pregunta era: ¿Podemos construir un único robot inteligente que entienda conceptos médicos y pueda encontrar cualquier órgano o lesión en una imagen de ultrasonido ruidosa simplemente escuchando una descripción sencilla?

Presentamos UltraSAM3, un nuevo invento de un equipo de investigadores que actúa como un traductor universal para las imágenes de ultrasonido. Piensa en él como un detective superpoderoso que no solo mira una imagen, sino que escucha una pista corta y específica como "encuentra el ventrículo izquierdo" o "detecta el nódulo tiroideo" y dibuja instantáneamente un contorno perfecto alrededor de él, incluso en el escaneo de ultrasonido más desordenado y granuloso.

El problema con los viejos robots

Antes de UltraSAM3, las mejores herramientas para este trabajo eran "específicas para una tarea" o "basadas en prompts".

Los modelos específicos para una tarea eran como una llave que solo abre una puerta. Si entrenabas un modelo para encontrar bultos en la mama, no podía encontrar de repente la cabeza de un bebé. Los médicos tenían que usar un modelo diferente para cada parte del cuerpo, lo cual es lento y engorroso.
Los modelos basados en prompts (como la famosa familia SAM) fueron un paso adelante. Permiten que los usuarios dibujen un cuadro o un punto en la pantalla para decir: "Mira aquí". Pero en una clínica real, un médico no siempre tiene tiempo para dibujar un cuadro perfecto. Solo quiere decir: "Muéstrame la arteria carótida". Si el médico tiene que señalar manualmente primero la imagen borrosa, el sistema no es muy útil.

La solución de UltraSAM3

Los investigadores detrás de UltraSAM3 decidieron enseñar a un potente modelo de IA (llamado SAM3) a hablar "Ultrasonido" y "Conceptos Médicos" al mismo tiempo. En lugar de solo mostrarle imágenes y cuadros, le alimentaron con una enorme biblioteca de 37 conjuntos de datos de ultrasonido diferentes que cubren 13 partes distintas del cuerpo (como el corazón, el hígado, el feto y los nervios).

Aquí está el truco de magia: enseñaron al modelo utilizando tripletos. Imagina una tarjeta de estudio que tiene tres cosas en ella:

La Imagen de Ultrasonido (la imagen granulosa).
La Máscara (el contorno perfecto del objeto).
El Concepto (una etiqueta de texto simple como "cabeza fetal" o "riñón").

Al ver millones de estos tripletos, UltraSAM3 aprendió a conectar los patrones visuales desordenados y ruidosos de un ultrasonido con el significado claro de las palabras médicas. Aprendió que, aunque un "tiroides" se ve diferente en cada escaneo, la palabra "tiroides" siempre apunta a una forma específica en ese ruido. Esto permite al modelo saltarse el paso de "dibujar un cuadro". Un médico puede simplemente escribir "segmentar la tiroides" y la IA sabe exactamente qué hacer.

El "Agente Guiado por Instrucciones"

Los investigadores se dieron cuenta de que, a veces, los médicos podrían escribir frases largas y complicadas como: "¿Puede, por favor, mirar esta imagen y encontrar el bulto sospechoso en la mama?". Aunque UltraSAM3 es inteligente, las frases largas pueden confundirlo. Para solucionar esto, construyeron un pequeño ayudante llamado Agente Guiado por Instrucciones.

Piensa en este agente como un traductor o un secretario. Cuando un médico escribe una solicitud compleja, el agente la lee rápidamente, identifica la parte más importante (por ejemplo, "lesión mamaria") y la reescribe en un comando corto y directo para UltraSAM3. Es como si el agente dijera: "Está bien, escuché que quieres el bulto en la mama. Le diré al robot que busque una 'lesión mamaria'". Esto hace que todo el proceso sea más fluido y preciso, especialmente cuando las instrucciones del médico son verbosas o vagas.

Lo que encontraron

El equipo probó UltraSAM3 en una gran variedad de imágenes de ultrasonido, incluyendo algunas que nunca había visto antes. Los resultados fueron impresionantes:

Mejor que la competencia: En 13 partes diferentes del cuerpo, UltraSAM3 superó consistentemente a otros modelos de primer nivel. Por ejemplo, en imágenes de tiroides, mejoró la precisión (medida por una puntuación llamada Dice) en un masivo 0.8297 en comparación con el siguiente mejor modelo, que apenas estaba por encima de cero.
Manejo del ruido: Funcionó bien incluso en imágenes difíciles con bajo contraste o grano pesado, demostiendo que enseñarle específicamente sobre el "ruido" del ultrasonido fue la decisión correcta.
El Agente ayuda: Cuando utilizaron el agente guiado por instrucciones para traducir frases complejas, la precisión aumentó aún más, mejorando la puntuación promedio en 0.161 en todos los órganos. Esto demostró que descomponer solicitudes complejas en conceptos simples realmente ayuda a la IA a enfocarse.

Por qué esto es importante

El artículo sugiere que UltraSAM3 es un paso significativo hacia adelante porque se aleja de la idea de que necesitamos un robot diferente para cada parte del cuerpo. En su lugar, ofrece una herramienta universal que puede manejar muchas tareas diferentes simplemente escuchando texto. Sugiere que, al enseñar a la IA a entender el "lenguaje" específico de las imágenes de ultrasonido (el ruido, las sombras, el grano), podemos hacer que estas herramientas sean mucho más útiles en los hospitales reales.

Los investigadores advierten cuidadosamente que, si bien los resultados son sólidos, esta es una herramienta nueva que necesita ser probada en clínicas del mundo real. No afirman que sea perfecta ni que reemplace a los médicos, sino que proporciona una forma flexible e interactiva de ayudar a los médicos a ver lo que necesitan ver, de forma más rápida y precisa. Al convertir preguntas médicas complejas en comandos simples y accionables, UltraSAM3 pretende hacer que las imágenes de ultrasonido sean más accesibles y potentes para todos.

Resumen Técnico: UltraSAM3

Planteamiento del Problema
La ecografía es un pilar fundamental de la práctica clínica debido a su portabilidad, rentabilidad y capacidades en tiempo real. Sin embargo, la segmentación de imágenes de ultrasonido sigue siendo un desafío significativo en comparación con modalidades como la TC o la RM. Las imágenes de ultrasonido se caracterizan por el ruido de moteado (speckle), bajo contraste, sombras acústicas, límites ambiguos y una fuerte dependencia del operador. Los enfoques de segmentación existentes sufren dos limitaciones primarias:

Modelos específicos para tareas: Los métodos tradicionales (por ejemplo, U-Net, nnU-Net, variantes basadas en Transformers) están optimizados para espacios de etiquetas fijos y distribuciones de imagen específicas. Requieren modelos separados para diferentes órganos o lesiones (por ejemplo, modelos distintos para cabezas fetales frente a nódulos tiroideos), lo que limita la escalabilidad y la flexibilidad en diversos escenarios clínicos.
Limitaciones de los prompts visuales: Los modelos fundacionales recientes como SAM y SAM2 permiten la segmentación mediante prompts, pero dependen en gran medida de prompts visuales (puntos, cajas, máscaras). En la práctica clínica, requerir que un usuario localice manualmente un objetivo con una caja o un punto asume que el objetivo ya ha sido identificado, lo que reduce la autonomía del sistema y no permite soportar peticiones en lenguaje natural como "segmenta la cabeza fetal".

Si bien han surgido modelos impulsados por conceptos (por ejemplo, SAM3, MedSAM3) para dar soporte a la segmentación basada en texto, estos están diseñados generalmente para imágenes biomédicas generales o multimodales. A menudo tienen dificultades para alinear los conceptos semánticos con los patrones visuales ruidosos, de bajo contraste y propensos a artefactos específicos del ultrasonido.

Metodología
Los autores proponen UltraSAM3, un modelo fundacional impulsado por conceptos adaptado específicamente para la segmentación universal de imágenes de ultrasonido. El marco consta de dos componentes principales:

Arquitectura del Modelo UltraSAM3:
- Base: El modelo se construye sobre la arquitectura SAM3, la cual avanza la segmentación desde el prompting visual hacia el prompting basado en conceptos.
- Estrategia de Entrenamiento: A diferencia de los enfoques que congelan los codificadores, UltraSAM3 se somete a un ajuste de parámetros completo (full-parameter fine-tuning). Esto incluye la actualización del codificador de imagen, el codificador de texto, el detector, el rastreador y los módulos de segmentación.
- Formulación de Datos: El modelo se entrena con un corpus a gran escala que comprende 37 conjuntos de datos de ultrasonido públicos que cubren 13 categorías anatómicas (pulmón, músculo, abdomen, ovario, corazón, próstata, tiroides, hígado, feto, nervio, mama, arteria carótida y riñón).
- Aprendizaje de Tripletas: Cada muestra de entrenamiento se formula como una tripleta imagen–máscara–concepto $(I, M, q)$ . El concepto textual $q$ se deriva del órgano, la lesión o la etiqueta anatómica. Esta formulación obliga al modelo a aprender asociaciones entre los patrones visuales específicos del ultrasonido y los conceptos médicos estandarizados sin depender de claves espaciales privilegiadas como las cajas delimitadoras de la verdad de campo (ground-truth).
Agente Guiado por Instrucciones:
- Para abordar el problema de que las instrucciones complejas de lenguaje natural degradan el rendimiento, los autores introducen un agente guiado por instrucciones que actúa como un analizador frontal (front-end parser).
- Función: Dada una consulta de usuario compleja $u$ , una imagen de ultrasonido $I$ y un dominio de órgano $o$ , el agente (implementado mediante Gemini 3.1 Pro) identifica el órgano objetivo, selecciona el concepto más relevante de un grupo de candidatos y reescribe la instrucción en un prompt de concepto conciso y compatible con SAM3 $q^*$ .
- Pipeline: El agente descompone la tarea en una comprensión semántica de alto nivel y una predicción de máscara de bajo nivel, pasando el prompt refinado a UltraSAM3 para la segmentación.

Contribuciones Clave

Primer Modelo Fundacional de Ultrasonido Específico Impulsado por Conceptos: UltraSAM3 se presenta como el primer modelo de su tipo que adapta SAM3 específicamente para el ultrasonido, permitiendo la especificación de objetivos basada en texto sin necesidad de prompts visuales.
Agente Guiado por Instrucciones: El desarrollo de un mecanismo para analizar consultas clínicas complejas en prompts de conceptos robustos, mejorando la usabilidad del modelo fundacional en entornos de interacción realistas.
Evaluación Exhaustiva: Experimentos extensos en 37 conjuntos de datos y 13 categorías anatómicas demuestran un rendimiento de vanguardia (state-of-the-art) y fuertes capacidades de generalización.

Resultados Experimentales
El artículo evalúa a UltraSAM3 frente a líneas base representativas de tipo concepto y texto (UniBiomed, BiomedParse, SAM3, Medical SAM3) y configuraciones mejoradas con prompts visuales.

Rendimiento en Conjuntos de Datos Representativos: En 13 categorías anatómicas, UltraSAM3 logró un IoU promedio de 0.6342 y un Dice de 0.7144. Esto representa una mejora absoluta de +0.3088 en IoU y +0.3132 en Dice sobre la línea base más fuerte. Se observaron ganancias significativas en categorías desafiantes como tiroides, músculo, próstata y estructuras cardíacas.
Generalización: En cuatro conjuntos de datos externos no utilizados en el entrenamiento (BrEast, CCAUI, 105US_tumor, KFGNet), UltraSAM3 superó consistentemente a todas las líneas base, demostando una transferencia robusta a dominios de ultrasonido no vistos.
Robustez de los Prompts Visuales: Cuando se proporcionaron prompts visuales (texto + imagen), UltraSAM3 mantuvo un rendimiento superior al de otros modelos, indicando que su adaptación específica al ultrasonido beneficia la segmentación incluso con guía visual adicional.
Efectividad del Agente: El agente guiado por instrucciones mejoró la robustez de la segmentación, produciendo una ganancia de Dice promedio de +0.161 al alimentar directamente las instrucciones complejas al modelo. El agente fue particularmente efectivo para imágenes de mama, hígado, tiroides, pulmón y nervio.
Análisis Cualitativo: Las comparaciones visuales mostraron que UltraSAM3 produce máscaras más consistentes espacialmente con la verdad de campo, capturando mejor las extensiones anatómicas y manejando de forma más efectiva las estructuras pequeñas y los límites ambiguos que las líneas base.

Significancia y Reivindicaciones
Los autores afirman que UltraSAM3 demuestra que la adaptación de conceptos específica para ultrasonido es efectiva para construir modelos fundacionales de segmentación generalizables e interactivos. Al alinear los patrones visuales del ultrasonido con conceptos clínicamente significativos a través de diversos órganos y condiciones de adquisición, el modelo supera las limitaciones de los modelos específicos para tareas y la dependencia de los prompts visuales presentes en los modelos fundacionales generales. El trabajo sugiere que es necesaria una estrategia de adaptación de dominio dedicada para manejar los artefactos acústicos únicos y las bajas relaciones señal-ruido del ultrasonido, permitiendo una asistencia clínica más flexible y autónoma. El código se pone a disposición para facilitar la investigación posterior en este dominio.