💻 computer science

ENSAM: an efficient foundation model for interactive segmentation of 3D medical images

ENSAM es un modelo fundacional ligero para la segmentación interactiva de imágenes médicas 3D que logra un rendimiento de vanguardia bajo presupuestos limitados de datos y computación al combinar una arquitectura basada en SegResNet con técnicas de entrenamiento avanzadas como la atención normalizada y el optimizador Muon, superando a varios modelos base preentrenados en el Desafío de Modelos Fundacionales para la Segmentación Interactiva de Imágenes Biomédicas 3D de CVPR 2025.

Autores originales: Elias Stenhede, Agnar Martin Bjørnstad, Arian Ranjbar

Publicado 2026-07-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Elias Stenhede, Agnar Martin Bjørnstad, Arian Ranjbar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a una computadora a encontrar órganos específicos dentro de un escaneo médico 3D (como una TC o una RM). Usualmente, esto requiere una supercomputadora masiva y costosa y miles de horas de entrenamiento.

Los autores de este artículo, Elias, Agnar y Arian, construyeron una nueva herramienta llamada ENSAM. Piensa en ENSAM como un "asistente inteligente y ligero" que puede aprender a segmentar (delimitar) cualquier parte de una imagen médica 3D con solo mirar unos pocos ejemplos y recibir algunas pistas de un humano.

Aquí está la historia de cómo lo construyeron, explicada de forma sencilla:

1. El objetivo: Un "ejército de un solo hombre"

El equipo quería crear un modelo que pudiera hacer el trabajo de un modelo fundacional gigante y pesado, pero que pudiera ejecutarse en una sola tarjeta gráfica estándar (una GPU de 32 GB). Querían demostrar que no se necesita una supercomputadora para obtener grandes resultados.

El nombre: Lo llamaron ENSAM (Modelo de Segmentación de Cualquier Cosa, Equivariante y Normalizado). El nombre es un chiste sutil: en sueco y en lenguas germánicas, "ensam" significa "solo" o "solitario". Esto refleja su objetivo de entrenar un modelo poderoso por sí mismo, sin la ayuda de otros gigantes preentrenados.

2. La receta: Cómo lo construyeron

No se limitaron a copiar modelos existentes; prepararon una nueva receta con tres ingredientes especiales:

El cerebro (Codificador de imagen): En lugar de usar el cerebro "Transformer" más nuevo y complejo (que es como un motor pesado y que consume mucho combustible), usaron un SegResNet. Piensa en esto como un motor de trabajo confiable y eficiente que ha demostrado manejar muy bien los datos médicos 3D.
El GPS (Codificación Posicional Relativa): Cuando le dices a una computadora "haz clic aquí", ella necesita saber dónde es "aquí". Los modelos antiguos usan "Posicionamiento Absoluto" (como dar una dirección postal: "Calle Principal 123"). Si mueves la casa, la dirección es incorrecta. ENSAM usa Posicionamiento Relativo (como decir "dos cuadras al norte del parque"). Esto es como darle a la computadora un mapa flexible que funciona sin importar dónde esté el órgano en el cuerpo. Esto hizo que el modelo aprendiera mucho más rápido.
El entrenador (Optimizador Muon): Entrenar IA es como enseñar a un estudiante. Usualmente, usas un profesor estándar (un optimizador llamado Adam). Los autores lo cambiaron por un nuevo entrenador más rápido llamado Muon. Imagina a un entrenador que no solo le dice al estudiante "esfuérzate más", sino que reorganiza todo el plan de lecciones instantáneamente para encontrar el mejor camino a seguir. Esto ayudó al modelo a aprender en tiempo récord.

3. El desafío: La prueba del "Coreset"

El artículo describe una competencia (el Desafío CVPR 2025) donde los equipos tenían que construir estos modelos.

El giro: Había una pista especial llamada la "Pista Coreset". Los equipos solo podían usar el 10% de los datos de entrenamiento disponibles. Era como si te pidieran aprender un idioma completo usando solo un diccionario de bolsillo en lugar de una biblioteca.
La restricción: También tenían que entrenar en una sola GPU en solo 6 horas.

4. Los resultados: Golpeando por encima de su peso

A pesar de usar solo una fracción de los datos y una sola computadora, ENSAM se desempeñó increíblemente bien:

La puntuación: Terminó en 5.º lugar de 10 equipos en la pista Coreset.
La gran victoria: Fue el mejor equipo que no utilizó pesos preentrenados (muchos otros equipos comenzaron con un modelo que ya había sido entrenado en conjuntos de datos masivos; ENSAM comenzó desde cero, como un lienzo en blanco).
Comparación: Superó a dos modelos famosos (VISTA3D y SAM-Med3D) y estuvo muy cerca del tercero (SegVol), a pesar de que ENSAM fue entrenado con mucha menos potencia de cómputo.

5. Cómo funciona en la práctica (La parte "interactiva")

Imagina a un médico mirando un escaneo 3D de un hígado.

El médico dibuja un cuadro alrededor del hígado.
El modelo adivina el contorno.
El médico hace clic en "Sí" en el hígado y en "No" en un riñón cercano para corregir al modelo.
El modelo actualiza el contorno instantáneamente.
ENSAM está diseñado para manejar esta conversación de ida y vuelta muy rápidamente, refinando su respuesta con cada clic.

6. Dónde tropieza (Limitaciones)

Los autores son honestos sobre dónde su modelo aún no es perfecto:

Detalles diminutos: En imágenes muy pequeñas y densas (como la microscopía), el modelo a veces pierde detalles diminutos o se confunde con el ruido.
La brecha de "Simulación": El modelo fue probado simulando clics de una computadora. Los autores admiten que los médicos humanos reales podrían hacer clic de manera diferente, y aún no lo han probado con personas reales.
Uno a la vez: Actualmente, el modelo maneja un objeto a la vez (como un riñón). No entiende naturalmente que si haces clic en "riñón", definitivamente no te refieres a "hígado".

Resumen

En resumen, ENSAM es una prueba de concepto de que puedes construir una herramienta de segmentación médica 3D interactiva y altamente efectiva sin necesidad de un presupuesto masivo o una supercomputadora. Al usar un sistema de "mapa relativo" y un "entrenador de vía rápida" para el entrenamiento, crearon un modelo que aprende rápido, funciona bien en una sola computadora y compite con sistemas mucho más grandes y costosos.

Resumen Técnico: ENSAM – Un Modelo de Fundación Eficiente para la Segmentación Médica 3D Interactiva

Planteamiento del Problema

La segmentación precisa de imágenes médicas 3D es crítica para tareas clínicas como el diagnóstico y la planificación de tratamientos. Aunque los modelos de aprendizaje profundo han automatizado estas tareas, los modelos fundacionales recientes como SAM (Segment Anything Model) y SAM2, diseñados para imágenes naturales, tienen dificultades para generalizarse a las modalidades médicas sin una adaptación significativa. Los modelos específicos de medicina existentes suelen enfrentar compensaciones (trade-offs): algunos carecen de soporte para el refinamiento iterativo (por ejemplo, MedSAM), otros requieren recursos computacionales masivos y pesos preentrenados, y muchos no logran generalizarse a través de diversas modalidades (CT, MRI, PET, Ultrasonido, Microscopía). Además, anteriormente faltaba un benchmark unificado para comparar estos modelos en un conjunto de prueba estandarizado y oculto.

El desafío específico abordado en este trabajo es el Desafío de Modelos Fundacionales para la Segmentación de Imágenes Biomédicas 3D Interactivas CVPR 2025. El objetivo es desarrollar un modelo universal y capaz de recibir prompts que pueda segmentar cualquier estructura anatómica o patológica dado un prompt de usuario (caja delimitadora o clics) dentro de un entorno interactivo simulado. Una restricción crítica de la "pista de coreset" (coreset track) es la limitación al 10% de los datos totales de entrenamiento y el requisito de entrenar desde cero sin aprovechar pesos preentrenados externos, todo ello operando bajo presupuestos computacionales estrictos (un solo GPU de 32 GB).

Metodología: Arquitectura ENSAM

Los autores proponen ENSAM (Equivariant, Normalized, Segment Anything Model), un modelo ligero y capaz de recibir prompts, construido sobre una arquitectura de tipo U-Net. Consta de tres componentes principales: un codificador de imagen, un codificador de prompts y un decodificador de máscaras.

1. Codificador de Imagen

En lugar de Vision Transformers, que a menudo rinden por debajo de los CNN en benchmarks de segmentación específicos, ENSAM utiliza un codificador basado en SegResNet. Esta arquitectura comprende una cascada de bloques residuales intercalados con capas de submuestreo (StridedConv3D). Transforma entradas de un solo canal en mapas de características multicanal, manteniendo la consistencia volumétrica.

2. Codificador de Prompts y Mecanismo de Interacción

El codificador de prompts gestiona cajas delimitadoras 3D, clics de primer plano (foreground) y clics de fondo (background). Las innovaciones clave incluyen:

Codificación Posicional de Rotación de Lie (LieRE): Para preservar la equivariancia y mejorar la eficiencia, el modelo reemplaza la codificación posicional absoluta por una codificación posicional relativa. Esto se logra aplicando matrices de rotación dependientes de la posición a los vectores de clave (key) y consulta (query). La matriz de rotación $R(p)$ se deriva del álgebra de Lie $so(n)$, asegurando que las puntuaciones de atención dependan solo de la posición relativa $p_j - p_i$ .
Atención Normalizada: Inspirado en trabajos recientes sobre transformers normalizados, ENSAM reemplaza la LayerNorm estándar y el decaimiento de pesos (weight decay) con una normalización $\ell_2$ aplicada a todas las matrices de pesos y activaciones después de cada paso de optimización. Esto restringe las salidas a una hiperesfera unitaria, utilizando una estrategia de actualización residual modificada:
$x \leftarrow \text{Norm}(\text{Norm}(x) + \lambda(\text{Norm}(\text{nBlock}(x)) - \text{Norm}(x)))$
donde $\lambda$ es una tasa de aprendizaje de autovalores (eigen learning rate) aprendible. El objetivo es acelerar la convergencia y mejorar la estabilidad numérica.
Flujo de Interacción: Los prompts del usuario y los logits de segmentación previos (submuestreados mediante convoluciones con salto/strided convolutions) interactúan con los embeddings de la imagen a través de un proceso de cuatro pasos: (1) auto-atención normalizada en los prompts, (2) atención de prompt a imagen, (3) procesamiento MLP, y (4) atención de imagen a prompt. Este ciclo se repite dos veces.

3. Decodificador de Máscara

El decodificador refleja la estructura del codificador pero utiliza bloques residuales únicos por capa de sobremuestreo (upsampling). Concatena las conexiones de salto (skip connections), las procesa a través de un ResBlock3D y aplica sobremuestreo trilineal para producir los logits de segmentación.

4. Estrategia de Entrenamiento

Optimizador: Los autores emplean el optimizador Muon, que opera sobre matrices de pesos 2D utilizando una aproximación eficiente de la Descomposición en Valores Singulares (SVD) para las actualizaciones, en lugar del descenso de gradiente estándar. Para parámetros 1D, se utiliza AdamW.
Manejo de Datos: El entrenamiento involucra interacciones simuladas donde las cajas delimitadoras iniciales se generan a partir de la verdad de campo (ground truth) con desplazos aleatorios, seguidas de cinco clics iterativos colocados en las regiones de mayor error (primer plano para sub-segmentación, fondo para sobre-segmentación).
Función de Pérdida: Se utiliza una pérdida compuesta de Pérdida Dice Generalizada y Entropía Cruzada (ponderación 1:2).
Selección de Coreset: Para la pista de coreset, el conjunto de entrenamiento se limitó a aproximadamente 4,471 muestras (10% del total), seleccionadas para asegurar una representación uniforme entre las modalidades, excluyendo conjuntos de datos con problemas de normalización o anotación.

Contribuciones Clave

Modelo de Fundación Eficiente: ENSAM logra un rendimiento competitivo en la segmentación médica 3D universal mientras es entrenado desde cero en un solo GPU de 32 GB en solo 6 horas, utilizando menos de 5,000 volúmenes.
Innovaciones Arquitectónicas: La integración de la Codificación Posicional de Rotación de Lie y la Atención Normalizada dentro de un backbone SegResNet acelera significativamente la convergencia y mejora la calidad de la segmentación en comparación con la codificación absoluta y la atención estándar.
Aplicación del Optimizador: El trabajo demuestra la eficacia del optimizador Muon para tareas de segmentación médica 3D, mostrando que supera a AdamW en velocidad de entrenamiento y pérdida final.
Benchmarking: El trabajo proporciona una evaluación rigurosa en un conjunto de prueba oculto y multimodal, ofreciendo una comparación justa contra líneas base de vanguardia (VISTA3D, SAM-Med3D, SegVol) bajo condiciones restringidas de datos y cómputo.

Resultados

Rendimiento Cuantitativo

En el conjunto de prueba oculto (pista de coreset), ENSAM logró:

DSC AUC: 2.404
NSD AUC: 2.266
DSC Final: 0.627
NSD Final: 0.597

Comparaciones:

ENSAM superó a VISTA3D y SAM-Med3D en las cuatro métricas.
Igualó a SegVol en DSC AUC y NSD AUC, pero superó a SegVol en DSC Final (0.627 vs. 0.622), aunque quedó ligeramente por detrás en NSD Final.
En el ranking general del desafío, ENSAM se posicionó en el 5º lugar de 10 equipos y fue el mejor modelo que no utilizó pesos preentrenados.

Estudios de Ablación

Los experimentos confirmaron que cambiar de codificación posicional absoluta a relativa (LieRE) mejoró la eficiencia del entrenamiento. Además, combinar LieRE con el optimizador Muon resultó en la convergencia más rápida y la mejor pérdida final, superando la configuración base (Absolute PE + Adam).

Análisis Cualitativo

Éxitos: ENSAM demostró una delineación precisa de estructuras grandes (por ejemplo, hígado, bazo, riñones en CT; cuerpos vertebrales en MRI) y manejó eficazmente secuencias de ultrasonido 2D+t.
Fallos: El modelo tuvo dificultades con detalles finos en microscopía (vasos delgados) y a veces exhibió sobre-segmentación en imágenes PET, probablemente debido al recorte de intensidad durante el preprocesamiento. También mostró bordes dentados en ultrasonido debido a artefactos de movimiento.

Significado y Reivindicaciones

Los autores afirman que ENSAM demuestra que los modelos de fundación de alto rendimiento para imágenes médicas pueden entrenarse eficientamente desde cero sin depender de recursos computacionales masivos o pesos preentrenados externos. El artículo enfatiza que la combinación de la codificación posicional relativa y el optimizador Muon es un motor clave para esta eficiencia.

El trabajo destaca que, si bien el modelo aún no es superior a todas las líneas base en cada métrica (particularmente cuando esas líneas base utilizan significativamente más datos y cómputo), logra un fuerte equilibrio entre rendimiento y eficiencia de recursos. Los autores señalan modestamente que la arquitectura actual probablemente no es óptima y que el trabajo futuro podría beneficiarse de la exploración de redes más profundas, el manejo de espaciado anisotrópico mediante coordenadas físicas y la integración de tipos de prompts más diversos (por ejemplo, trazos/scribbles, lazos/lassos).

El artículo concluye que ENSAM representa un paso significativo hacia la democratización del acceso a los modelos de fundación para imágenes médicas, probando que la segmentación interactiva efectiva es alcanzable bajo restricciones estrictas de datos y hardware.