Mutual Distillation of Dual-Foundation Models for Semi-Supervised PET/CT Segmentation

Resumen Técnico: Destilación Mutua de Modelos de Doble Base para la Segmentación de PET/CT Semi-Supervisada

Planteamiento del Problema
La segmentación precisa de órganos en PET/CT de cuerpo completo es esencial para el análisis metabólico cuantitativo, la estadificación de enfermedades y la planificación de la radioterapia. Sin embargo, el desarrollo de modelos de aprendizaje profundo para esta tarea se ve obstaculizado por dos desafíos principales:

1. Desajuste Anatómico-Funcional: La imagenología PET ofrece una alta sensibilidad metabólica pero sufre de bordes difusos y artefactos de desbordamiento (spill-over), mientras que la TC proporciona detalles estructurales claros. Fusionar estas modalidades para resolver las discrepancias espaciales es difícil.
2. Escasez de Datos: Las anotaciones de alta calidad a nivel de píxel en 3D requieren la experiencia sincronizada de radiólogos y especialistas en medicina nuclear, lo que hace que los datos etiquetados sean costosos y escasos.
   Aunque el Aprendizaje Semi-Supervisado (SSL) y los modelos de base recientes (como SAM) ofrecen soluciones, los enfoques existentes suelen estar limitados a escenarios de modalidad única o no logran aprovechar la profunda interdependencia semántica entre la imagenología estructural (TC) y la funcional (PET). Además, los métodos de SSL estándar que dependen del etiquetado pseudo (pseudo-labeling) suelen sufrir de sesgo de confirmación, reforzando predicciones erróneas.

Metodología: El Marco MuDuo
Los autores proponen MuDuo, un marco de destilación mutua diseñado para explotar sinérgicamente modelos de base estructurales y funcionales para destilar conocimiento en una red estudiante ligera sin necesidad de prompting manual. El marco opera sobre entradas de doble modalidad ($X_{CT}$ y $X_{PET}$) y consta de tres componentes principales:

1. Modelos de Base Docentes de Doble Vía:

   • SAM-Med3D: Un docente congelado especializado en TC, que aprovecha los conocimientos previos anatómicos.
   • SegAnyPET: Un docente congelado especializado en PET, que aprovecha los conocimientos previos metabólicos.
   • Red Estudiante: Una 3D U-Net aprendible ($S_\theta$) que procesa las entradas de doble modalidad.
   • Generador de Prompts: Una UNet ligera ($G_\phi$) que conecta al estudiante con el docente de PET.

2. Generación de Pseudo-Anotación de Doble Vía:
   Para los datos no etiquetados, el marco genera pseudo-etiquetas a través de dos vías distintas adaptadas a las características de cada modalidad:

   • Vía de TC: Las predicciones del estudiante (vía el generador de prompts) se submuestrean y se utilizan como prompts de máscara para SAM-Med3D. El docente refina estas predicciones basándose en los conocimientos previos anatómicos de la TC.
   • Vía de PET: El generador de prompts produce logits gruesos, que se convierten en prompts de múltiples puntos (muestreando las ubicaciones de las top-K de mayor probabilidad) en lugar de un único centroide. Esto aborda la captación heterogénea típica en la imagenología PET. Estos puntos guían a SegAnyPET para generar máscaras refinadas.

3. Destilación Mutua y Consistencia:

   • Filtrado de Consenso Basado en IoU: Para garantizar la fiabilidad, el marco calcula la Intersección sobre la Unión (IoU) entre las predicciones de la rama de TC y la de PET. Solo se retienen para el entrenamiento el 50% superior de las muestras donde ambas modalidades coinciden (alto consenso). Se excluyen las muestras con prompts inválidos.
   • Fusión Dinámica de Pseudo-Etiquetas: Se generan pseudo-etiquetas de alta calidad mediante la mezcla dinámica de las predicciones de los expertos de TC y PET utilizando un factor de ponderación aleatorio ($\alpha$). Esto introduce perturbaciones para evitar que el modelo memorice sus propias predicciones.
   • Pérdida de Consistencia: La red estudiante es entrenada para igualar estas pseudo-etiquetas fusionadas de alta calidad utilizando el Error Cuadrático Medio (MSE), con un esquema de ponderación de aumento gradual gaussiano (Gaussian ramp-up) para prevenir la inestabilidad en el entrenamiento temprano.

Contribuciones Clave

• Integración de Modelos de Base de Doble Modalidad: A diferencia de los métodos de SSL de modalidad única previos, MuDuo integra de forma única SAM-Med3D (estructural) y SegAnyPET (funcional) para destilar conocimiento mutuamente, abordando el desajuste anatómico-funcional inherente al PET/CT.
• Mecanismo de Prompting Automático: El marco elimina la necesidad de prompts manuales o generadores de prompts externos al utilizar las propias predicciones del modelo estudiante para guiar a los modelos de base, maximizando la utilidad de los datos no etiquetados.
• Filtrado de Consenso: La introducción de un mecanismo de filtrado basado en IoU asegura que solo pseudo-etiquetas fiables y basadas en el consenso supervisen al estudiante, mitigando el sesgo de confirmación común en el pseudo-etiquetado tradicional.
• Prompting de Múltiples Puntos para PET: La propuesta de muestreo de múltiples puntos para las entradas de PET captura mejor la extensión espacial de los órganos con captación metabólica heterogénea en comparación con el prompting de un solo punto.

Resultados Experimentales
El marco fue evaluado en el conjunto de datos AutoPET (1,038 estudios), utilizando un subconjunto de 100 casos con anotaciones de expertos. Los experimentos se realizaron bajo escenarios de extrema escasez de datos con 5, 10 y 20 casos etiquetados.

• Rendimiento: MuDuo alcanzó un rendimiento de vanguardia (state-of-the-art) en todos los escenarios. En el escenario de 5 casos etiquetados, obtuvo un coeficiente Dice de 46.93%, superando significativamente al segundo mejor método (CPS) y a los enfoques de base de modalidad única (SemiSAM+).
• Precisión de Bordes: El método demostró una precisión de borde superior, reduciendo la Distancia de Hausdorff al percentil 95 (HD95) a 8.50 vóxeles en el escenario de 5 etiquetados, una reducción del 41% en comparación con SemiSAM+.
• Comparación con Supervisión Completa: Con 10 casos etiquetados, el método semi-supervisado MuDuo superó a la línea base de doble modalidad totalmente supervisada por aproximadamente un 9% en el coeficiente Dice, demostrando la eficacia de la minería de datos no etiquetados mediante el consenso trans-modalidad.
• Estudios de Ablación: Los experimentos confirmaron que el uso de dos docentes supera a las variantes de modalidad única, que el filtrado de IoU adaptativo del top-50% produce mejores resultados que los umbrales fijos, y que el prompting de múltiples puntos (K=3) es superior al prompting de un solo punto para la segmentación de PET.

Significancia y Reivindicaciones
El artículo afirma que MuDuo logra cerrar la brecha entre la precisión específica de la tarea de los modelos estudiantes y los conocimientos de segmentación generales de los modelos de base. Al aprovechar sinérgicamente los conocimientos previos estructurales y funcionales, el marco logra una segmentación automática de alta precisión sin la carga de las anotaciones de doble modalidad costosas. Los autores sostienen que su enfoque rompe eficazmente los cuellos de botella del rendimiento causados por las anotaciones limitadas, ofreciendo una solución práctica para el análisis cuantitativo y la planificación de la radioterapia en oncología donde los datos etiquetados son escasos. El código fuente se pone a disposición para facilitar la reproducibilidad.