⚡ electrical engineering

An Open Multi-Center Whole-Body FDG PET/CT Foundation Model for Tumor Segmentation

Este artículo presenta un modelo fundacional de código abierto y multicéntrico para la segmentación de tumores en PET/CT con FDG de cuerpo completo que utiliza una fusión temprana entre modalidades y un objetivo especializado de autoenmascaramiento para lograr un alto rendimiento con datos etiquetados mínimos, reduciendo así la dependencia de anotaciones manuales extensas en oncología clínica.

Autores originales: Xiaofeng Liu, Qianru Zhang, Thibault Marin, Menghua Xia, Chi Liu, Georges El Fakhri, Jinsong Ouyang

Publicado 2026-05-22

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xiaofeng Liu, Qianru Zhang, Thibault Marin, Menghua Xia, Chi Liu, Georges El Fakhri, Jinsong Ouyang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a una computadora a detectar tumores en el cuerpo de un paciente utilizando escáneres médicos. Los médicos suelen examinar dos tipos de imágenes juntos: una tomografía computarizada (TC) (que muestra la anatomía del cuerpo, como un mapa 3D detallado de huesos y órganos) y una tomografía por emisión de positrones (PET) (que muestra el metabolismo, iluminando áreas donde las células consumen energía, lo que a menudo indica cáncer).

Durante mucho tiempo, las computadoras han sido deficientes al combinar estas dos perspectivas de manera efectiva. La mayoría de los modelos de inteligencia artificial existentes eran como estudiantes que solo estudiaban para un examen específico. Fueron entrenados con pequeños grupos de pacientes de un solo hospital y, a menudo, trataban las escaneos TC y PET como dos materias separadas, intentando combinarlas solo al final de su proceso de "pensamiento". Esto los hacía frágiles; si la computadora veía una escaneada de un hospital diferente o de una máquina distinta, a menudo se confundía.

Este artículo presenta una nueva solución: un "Modelo de Base" para escaneos PET/TC. Piensa en esto no como un estudiante que se prepara para un solo examen, sino como un estudiante de medicina que ha leído miles de libros de texto de cuatro países diferentes antes de ver a un paciente real.

Así es como lo construyeron y por qué funciona, explicado de manera sencilla:

1. La "Biblioteca" de Escaneos

En lugar de usar un conjunto de datos pequeño de un solo lugar, los investigadores reunieron 4.997 escaneos de cuatro conjuntos de datos públicos diferentes (de Alemania, Australia, Estados Unidos y Vietnam).

El Desafío: Estos escaneos tenían todos tamaños diferentes y fueron tomados con máquinas distintas. Es como intentar armar un rompecabezas donde algunas piezas provienen de un set de 1000 piezas y otras de un set de 500 piezas, y la calidad de la imagen varía.
La Solución: Crearon un "proceso de armonización". Imagina un editor principal que toma todas estas piezas de rompecabezas diferentes, recorta los bordes y las redimensiona para que todas encajen en la misma cuadrícula física (2,0 x 2,0 x 3,0 mm por pieza). Crucialmente, no solo estiraron las imágenes para que se vieran iguales; preservaron el tamaño físico real de los tumores para que la computadora aprendiera la escala real de las cosas.

2. El "Matrimonio Temprano" de TC y PET

La mayoría de los modelos de IA anteriores trataban las escaneos TC y PET como dos personas sentadas en extremos opuestos de una mesa, hablando solo entre sí después de haber escrito sus propios informes.

El Nuevo Enfoque: Este modelo obliga a las escaneos TC y PET a "tomarse de la mano" desde el primer momento. Se unen lado a lado (concatenación por canales) antes de que la computadora comience a analizarlas.
La Analogía: Es como enseñarle a un niño a reconocer un perro mostrándole una imagen de un perro y el sonido de un ladrido simultáneamente, en lugar de mostrarle una imagen, preguntarle "¿Qué es esto?", y luego reproducir un sonido y preguntarle "¿Qué es esto?" por separado. Al mezclar la información anatómica (TC) y metabólica (PET) inmediatamente, el modelo aprende cómo la estructura del cuerpo y su uso de energía se relacionan entre sí desde el principio.

3. El Juego de la "Venda" (Autoenmascaramiento)

Para enseñar a este modelo sin necesidad de que un humano dibuje contornos en cada tumor individual (lo cual es costoso y lento), utilizaron una técnica llamada Autoenmascaramiento.

El Juego: Imagina que le muestras a la computadora una imagen de un tumor, pero le cubres el 50% con una venda. La tarea de la computadora es adivinar qué está oculto debajo basándose en las partes visibles y en el otro tipo de escaneo (por ejemplo, si la TC está oculta, mira la PET para adivinar la forma).
La Innovación: Por lo general, cuando las computadoras ocultan partes de una imagen, rellenan el espacio en blanco con un token "marcador" genérico (como un cuadrado gris vacío). Los investigadores se dieron cuenta de que esto crea "bordes artificiales" que confunden a la computadora. En su lugar, utilizaron Imputación de Cero Media. Dado que ya habían normalizado los datos (ajustado el brillo para que el promedio sea cero), simplemente rellenaron los espacios ocultos con cero.
Por qué importa: Es como rellenar un agujero en una pared con exactamente el mismo color de yeso que ya estaba allí, en lugar de poner un parche gris. Esto mantiene la "textura" de la imagen suave, permitiendo que la computadora aprenda mejor sin distraerse con límites falsos.

4. Los Resultados: Aprendiendo con Menos

Los investigadores probaron este nuevo modelo en una tarea llamada "segmentación de tumores" (dibujar una línea alrededor del tumor).

El Milagro de "Pocos Ejemplos": Por lo general, la IA necesita miles de ejemplos etiquetados para aprender bien. Sin embargo, este modelo fue entrenado primero en la masiva "biblioteca" de 4.997 escaneos. Cuando lo probaron con solo el 10% de los datos etiquetados habituales (solo 70 escaneos), funcionó tan bien como otros modelos entrenados con el 100% de los datos.
La Prueba "Extrema": Incluso probaron una prueba de "5 ejemplos", donde la computadora solo vio 5 ejemplos etiquetados. El nuevo modelo aún funcionó, mientras que los modelos antiguos fallaron completamente.
La Conclusión: Debido a que el modelo aprendió reglas generales sobre cómo se ven los tumores tanto en TC como en PET a partir de un conjunto de datos enorme y diverso, no necesitó ser reenseñado todo desde cero para cada nuevo hospital.

Resumen

El artículo presenta un "cerebro" de código abierto para la imagenología médica que ha leído miles de escaneos diversos. Al enseñarle a observar las escaneos TC y PET juntas desde el principio y mediante el uso de un método de entrenamiento inteligente de "rellenar los espacios en blanco", crearon un sistema que es:

Más inteligente: Entiende mejor la relación entre la estructura corporal y el metabolismo.
Más eficiente: Puede aprender a detectar tumores con muy pocos ejemplos etiquetados, ahorrando tiempo a los médicos.
Más robusto: Funciona bien incluso cuando los escaneos provienen de diferentes hospitales o máquinas.

Los autores señalan que, aunque esta es una herramienta poderosa, actualmente requiere que estén presentes tanto las escaneos TC como las PET (aún no puede manejar datos faltantes) y que la versión más grande del modelo a veces necesita más datos etiquetados para ajustarse perfectamente de lo que estaba disponible en su prueba. Sin embargo, proporciona una base sólida y abierta para la futura imagenología automatizada del cáncer.

Resumen Técnico: Un Modelo Base Abierto de PET/CT de Cuerpo Completo con FDG de Múltiples Centros para la Segmentación de Tumores

Planteamiento del Problema
Si bien la interpretación sinérgica de la Tomografía Computarizada (TC) y la Tomografía por Emisión de Positrones (PET) es estándar en la imagenología oncológica para la detección y estadificación de lesiones, los enfoques de aprendizaje profundo existentes enfrentan limitaciones significativas. La mayoría de los métodos actuales son específicos de la tarea, se entrenan en cohortes pequeñas de un solo centro y dependen de esquemas de fusión de doble rama que retrasan la interacción entre modalidades. Estos enfoques a menudo fallan al generalizar entre diferentes instituciones, fabricantes de escáneres y protocolos de adquisición debido a la falta de datos de entrenamiento diversos y a la subutilización de la correspondencia espacial temprana entre PET y TC. Además, las implementaciones estándar de Autoencodificadores Enmascarados (MAE), que utilizan tokens de máscara aprendibles, pueden introducir discontinuidades de intensidad no físicas que desestabilizan las arquitecturas jerárquicas de codificador-decodificador comunes en la imagenología médica.

Metodología
Los autores proponen un modelo base de código abierto preentrenado en un corpus armonizado de 4.997 escaneos de PET/CT de cuerpo completo con FDG, agregados de cuatro conjuntos de datos públicos (AutoPET IV, DeepPSMA, SPADE y ViMedPET).

Curación y Armonización de Datos: En lugar de redimensionar las imágenes a tamaños de matriz fijos (lo que distorsiona la anatomía), los autores re-muestrearon todos los escaneos a un espaciado de vóxeles físico unificado de $2.0 \times 2.0 \times 3.0$ mm $^3$ . Aplicaron normalización z-score a nivel de volumen para estandarizar las Unidades Hounsfield de la TC y los Valores de Captación Estandarizada (SUV) de la PET. Las desregistraciones en conjuntos de datos específicos se corrigieron mediante registro rígido.
Arquitectura: El marco emplea espaldas de UNet con forma jerárquica, evaluando específicamente SwinUNETR-v2 (en configuraciones pequeña, base y grande) y nnUNet-v2. Una innovación arquitectónica clave es la concatenación temprana a lo largo de los canales de las entradas de PET y TC en la primera capa de incrustación. Esto permite que las características anatómicas y metabólicas interactúen inmediatamente, en lugar de ser procesadas por codificadores separados y fusionadas posteriormente.
Objetivo de Preentrenamiento (Imputación MAE de Media Cero): Para abordar la incompatibilidad de los tokens de máscara aprendibles con las conexiones de salto convolucionales, los autores los reemplazaron con imputación de media cero. Dado que los datos de entrada están normalizados por z-score, los parches enmascarados se rellenan con ceros (la media esperada del fondo).
Función de Pérdida: El modelo utiliza una pérdida de reconstrucción global ponderada. A diferencia del MAE estándar que ignora las regiones visibles, esta pérdida incluye un término ponderado para los vóxeles visibles ( $\lambda = 0.2$ ) para estabilizar el entrenamiento de las conexiones de salto y preservar la información estructural de alta frecuencia, mientras se centra principalmente en reconstruir las regiones enmascaradas.

Contribuciones Clave

Corpus de Múltiples Centros a Gran Escala: La creación y armonización de un conjunto de datos de preentrenamiento de PET/CT de cuerpo completo con FDG en 3D de 4.997 escaneos, expandiendo significativamente la escala y la diversidad disponibles para el aprendizaje de representaciones de PET/TC.
Marco de Preentrenamiento Novel: La introducción de una estrategia de autoenmascaramiento adaptada para espaldas jerárquicas de CNN/Transformer, que presenta enmascaramiento independiente de PET/TC, imputación de media cero y una pérdida de reconstrucción global ponderada.
Eficiencia de Etiquetas Demostrada: Evidencia empírica que muestra que los modelos base resultantes logran un rendimiento sólido con datos etiquetados mínimos, superando los enfoques de preentrenamiento de modalidad separada.

Resultados
Los modelos se evaluaron en tareas de segmentación de lesiones de AutoPET aguas abajo bajo diversos regímenes de datos:

Ajuste Fino con Datos Limitados: Cuando se ajustó finamente con solo el 10% de los datos de entrenamiento etiquetados (70 escaneos), los modelos inicializados con MAE lograron un rendimiento comparable al de los modelos entrenados desde cero en el conjunto de datos completo (700 escaneos). Por ejemplo, el modelo SwinUNETR-v2-base alcanzó una puntuación Dice de 0.6132 con el 10% de los datos (inicializado con MAE) en comparación con 0.4889 (desde cero), y esto fue competitivo con la línea base de datos completos desde cero (0.6414).
Sondeo Lineal de Pocos Ejemplos (Few-Shot): Bajo condiciones extremas de 5 ejemplos (congelando el codificador y la mayor parte del decodificador, entrenando solo la capa final), el preentrenamiento conjunto de PET/TC superó significativamente al preentrenamiento de modalidad separada. El SwinUNETR-v2-base alcanzó una puntuación Dice de 0.3557 con preentrenamiento conjunto frente a 0.2163 con preentrenamiento separado, mientras que la inicialización desde cero colapsó a ~0.09.
Escalado del Modelo: Si bien la variante SwinUNETR-v2-large logró la pérdida de reconstrucción de preentrenamiento más baja y las mejores puntuaciones de sondeo lineal, la variante SwinUNETR-v2-base demostró el mejor equilibrio para el ajuste fino de parámetros completos, evitando el sobreajuste en el conjunto de datos aguas abajo limitado.

Significado y Afirmaciones
El artículo afirma presentar el primer modelo base de PET/TC de código abierto preentrenado en un corpus grande de múltiples centros. El significado principal radica en demostrar la eficiencia de etiquetas y el aprendizaje de representaciones entre modalidades. Los autores argumentan que el preentrenamiento a gran escala en múltiples centros proporciona priores anatómicos y metabólicos transferibles que reducen sustancialmente la necesidad de anotaciones manuales a gran escala en la práctica clínica.

El trabajo sugiere que la fusión temprana de modalidades produce un espacio latente más útil que la fusión diferida. Además, el estudio destaca que, si bien los modelos de gran capacidad aprenden representaciones robustas, los modelos de capacidad intermedia (como SwinUNETR-v2-base) pueden ofrecer un equilibrio más práctico entre el poder representacional y las limitaciones de los datos anotados disponibles para tareas clínicas aguas abajo. Los autores concluyen que este modelo base proporciona una base robusta y de código abierto para avanzar en la imagenología oncológica automatizada, aunque reconocen limitaciones relacionadas con que las métricas a nivel de píxel no capturan completamente la incertidumbre diagnóstica y la necesidad actual de que estén presentes ambas modalidades, PET y TC.