LesionDiffusion: Towards Text-controlled General Lesion Synthesis

1. Problema

Los métodos de reconocimiento de lesiones en imágenes médicas basados en aprendizaje profundo totalmente supervisado enfrentan dos desafíos principales:

• Escasez de datos anotados: La recolección de grandes conjuntos de datos anotados es costosa y difícil debido a preocupaciones de privacidad.
• Limitaciones de los métodos sintéticos existentes: Las técnicas actuales de generación de lesiones (como GANs o modelos de difusión previos) suelen entrenarse para un tipo de lesión específico, lo que limita su escalabilidad y generalización. Además, carecen de un control fino sobre los atributos de la lesión (forma, textura, ubicación) y tienen dificultades para generar estructuras complejas (como lesiones huecas en cánceres gástricos o colorrectales), limitándose a menudo a simulaciones de lesiones sólidas.

2. Metodología

El authors proponen LesionDiffusion, un marco de síntesis de lesiones controlado por texto para imágenes de TC 3D, capaz de generar tanto la lesión como su máscara correspondiente. El enfoque se basa en tres pilares:

A. Dataset y Condicionamiento Estructurado

• Dataset Propio: Se creó un conjunto de datos con 1,505 escaneos de TC anotados, que incluyen máscaras de lesiones emparejadas y informes estructurados. Cubre 14 tipos de lesiones en 8 órganos diferentes (pulmón, hígado, riñón, colon, estómago, etc.).
• Plantilla de Informe: Se utiliza una plantilla de informe médico estructurado que contiene 10 atributos divididos en:
  • Atributos de la máscara: Forma, ubicación, relación con órganos adyacentes, tamaño.
  • Atributos de la imagen: Densidad, variación de densidad, características de la superficie, estado de realce.
• Estos atributos se codifican mediante un codificador de texto preentrenado (BiomedCLIP) para guiar el modelo.

B. Arquitectura del Modelo (Dos Etapas)

El sistema consta de dos redes de difusión principales:

1. LMNet (Red de Síntesis de Máscara de Lesión):

   • Objetivo: Generar la máscara binaria de la lesión.
   • Entradas: Atributos de la máscara, semántica del órgano objetivo y una caja delimitadora (bounding box) ponderada.
   • Mecanismo: Utiliza un modelo de difusión donde la pérdida se pondera por la caja delimitadora para enfocar la generación en el área restringida. Los atributos de texto se fusionan mediante mecanismos de cross-attention.

2. LINet (Red de Inpainting de Imagen de Lesión):

   • Objetivo: Generar la textura y apariencia de la lesión dentro de la máscara.
   • Espacio Latente: Dado el alto consumo de memoria de las imágenes 3D, se utiliza un enfoque de Latent Diffusion. Se entrena un autoencoder (VAE-GAN) para comprimir las imágenes de TC en un espacio latente.
   • Proceso: El proceso de difusión ocurre solo dentro de la región de la lesión (definida por la máscara generada en la etapa 1).
   • Condicionamiento: Se guía por los atributos de la imagen (densidad, heterogeneidad, etc.) codificados en texto.

C. Proceso de Inferencia

1. El usuario define la lesión deseada (manualmente o mediante un LLM) generando un informe estructurado.
2. Se extraen atributos para generar una caja delimitadora (bbox) y una ubicación probable.
3. LMNet genera la máscara de la lesión.
4. LINet realiza el inpainting (relleno) en el espacio latente para generar la imagen de TC final, que luego se decodifica a imagen 3D.

3. Contribuciones Clave

• Marco General y Controlable: Primer modelo de difusión capaz de sintetizar lesiones en 3D para múltiples tipos y órganos bajo control de texto, superando la limitación de modelos específicos por enfermedad.
• Nuevo Dataset: Publicación de un dataset de 1,505 TCs con informes estructurados y máscaras, abarcando 14 patologías en 8 órganos.
• Arquitectura Dual: Separación efectiva entre la generación de la geometría (máscara) y la textura (imagen), permitiendo un control granular sobre la forma y la apariencia radiológica.
• Generalización a lo Desconocido: Capacidad demostrada para transferir el conocimiento a órganos y tipos de lesiones no vistos durante el entrenamiento (ej. hemorragias cerebrales).

4. Resultados

Los experimentos se centraron en la utilidad para la tarea de segmentación de lesiones (entrenando redes como nnUNet con datos sintéticos):

• Rendimiento en Segmentación:
  • Los modelos pre-entrenados con datos de LesionDiffusion superaron a los entrenados solo con datos reales en un 2.4% en promedio (DSC).
  • Superaron a los modelos pre-entrenados con el estado del arte anterior (DiffTumor) en un 3.5%.
  • En tareas de generalización (hemorragias cerebrales, un caso no visto en el entrenamiento), LesionDiffusion superó a DiffTumor en un 46% en DSC, demostrando una capacidad de adaptación superior.
• Alineación con Texto:
  • Se validó cuantitativamente que las instrucciones de texto (ej. "redondeado" vs. "irregular") se traducen correctamente en métricas morfológicas (convexidad y esfericidad) en las máscaras generadas.
  • La variación de atributos de imagen (densidad, heterogeneidad) produce cambios visuales coherentes en las imágenes generadas.
• Estudios de Ablación:
  • Eliminar las condiciones de texto provocó una caída promedio del 15.4% en el DSC, confirmando que el control textual es esencial para la precisión, especialmente en órganos con múltiples tipos de lesiones (hígado, riñón).

5. Significado e Impacto

• Solución a la Escasez de Datos: LesionDiffusion ofrece una solución escalable para generar datos sintéticos de alta calidad, reduciendo la dependencia de grandes conjuntos de datos anotados manualmente.
• Versatilidad Clínica: Al soportar tanto lesiones sólidas como huecas y controlar atributos finos, el modelo es más realista y útil para entrenar algoritmos de diagnóstico en escenarios clínicos diversos.
• Fundamento para Modelos Base: El trabajo sienta las bases para el desarrollo de "modelos fundacionales" de generación de lesiones médicas, permitiendo la adaptación a nuevas enfermedades con solo cambiar los atributos de entrada, sin necesidad de reentrenar el modelo desde cero.
• Avance en IA Médica: Demuestra que los modelos de difusión controlados por texto pueden manejar la complejidad de las imágenes médicas 3D, superando a las técnicas generativas anteriores en generalización y fidelidad estructural.