Revisiting 2D Foundation Models for Scalable 3D Medical Image Classification

1. El Problema: Limitaciones en la Clasificación Médica 3D Actual

La clasificación de imágenes médicas 3D es crucial para flujos de trabajo clínicos como el triaje de emergencias y el diagnóstico. Sin embargo, los enfoques actuales enfrentan tres obstáculos críticos que limitan su escalabilidad y utilidad real:

1. Sesgo de Régimen de Datos (Data-Regime Bias): La investigación previa evalúa principalmente los Modelos Fundacionales (FMs) en escenarios de pocos datos (few-shot). Aunque superan a los modelos entrenados desde cero en estos casos, su rendimiento a menudo cae por debajo de los niveles clínicamente aceptables cuando se dispone de datos suficientes. Esto oculta su verdadero potencial para despliegues reales.
2. Adaptación Subóptima (Suboptimal Adaptation): Las estrategias actuales para adaptar FMs 2D a tareas 3D son ineficientes. Lo más común es usar un backbone 2D congelado y agregar capas de pooling simple (promedio o mediana) sobre las rebanadas (slices). Los autores demuestran que esto desperdicia el potencial del modelo, ya que no aprende a fusionar la información volumétrica de manera efectiva.
3. Cobertura Insuficiente de Tareas: Los estudios existentes se centran en tareas limitadas (una sola modalidad o región anatómica), lo que impide evaluar la verdadera generalización de los modelos a través de diversas patologías, modalidades (CT, MRI) y regiones corporales.

Además, existe una dependencia excesiva de modelos 3D entrenados desde cero o modelos 3D específicos, que requieren grandes cantidades de parámetros y datos, dificultando la escalabilidad a nuevas tareas.

---

2. Metodología: AnyMC3D

Los autores proponen AnyMC3D, un clasificador 3D escalable adaptado a partir de Modelos Fundacionales 2D (como DINOv2, DINOv3, MedImageInsight). La arquitectura se basa en el principio de congelar el backbone 2D y añadir solo adaptadores ligeros específicos para la tarea.

Componentes Clave:

• Codificación en el Plano (In-Plane Reasoning):
  • El volumen 3D se procesa rebanada por rebanada (2D).
  • Se utiliza un backbone 2D preentrenado (congelado) para extraer características de cada rebanada.
  • Se aplica LoRA (Low-Rank Adaptation) a las capas de embebido de parches y a las proyecciones de atención auto-attention. Esto introduce solo ~1 millón de parámetros entrenables por tarea, permitiendo una adaptación eficiente sin olvidar el conocimiento preentrenado.
• Agregación de Rebanadas Permuta-Invariante (Permutation-Invariant Slice Aggregation):
  • En lugar de modelar el orden secuencial de las rebanadas (que puede ser ruidoso debido a variaciones en el espaciado anisotrópico), se propone un agrupamiento por atención basado en consultas (query-based attention pooling).
  • Una "consulta de tarea" aprendible ($q_t$) asigna pesos a las rebanadas más relevantes para la tarea específica, fusionando los embebidos de las rebanadas en un único embebido volumétrico.
• Extensiones de Versatilidad:
  • Aprendizaje Multi-Visión: Soporta múltiples vistas (ej. sagital, coronal en MRI) o secuencias, fusionándolas mediante consultas específicas por vista.
  • Supervisión a Nivel de Píxel Auxiliar: Permite entrenar con máscaras de segmentación (si están disponibles) para mejorar la precisión en hallazgos sutiles, utilizando un decodificador 3D ligero que mapea los tokens de parche a logits de segmentación.
  • Mapas de Calor Interpretativos: Genera mapas de calor 3D combinando las mapas de atención 2D de cada rebanada con los scores de importancia de la rebanada, proporcionando explicabilidad clínica.

---

3. Contribuciones Clave

1. Identificación de Tres Trampas Críticas: El papel establece que el sesgo de datos, la adaptación deficiente y la falta de benchmarks diversos han llevado a una subestimación del potencial de los FMs en medicina.
2. Un Marco Escalable Único (AnyMC3D): Demuestra por primera vez que un solo marco adaptable puede lograr un rendimiento de vanguardia en una amplia gama de aplicaciones 3D, eliminando la necesidad de entrenar modelos específicos para cada tarea.
3. Benchmark Exhaustivo: Se establece un nuevo estándar con 12 tareas diversas que cubren múltiples modalidades (CT, MRI), regiones anatómicas (cabeza, tórax, abdomen, hombro) y patologías (traumatismos, cáncer, nódulos), utilizando tamaños de datasets realistas.
4. Hallazgos Contraintuitivos:
   • Los FMs de propósito general (como DINOv3, entrenados en imágenes naturales) pueden igualar o superar a los FMs médicos específicos si se adaptan correctamente.
   • Los métodos basados en 2D superan consistentemente a las arquitecturas 3D nativas para la clasificación volumétrica.

---

4. Resultados y Evaluación

El método se evaluó en 12 tareas, comparándose con modelos desde cero (3D ResNet, DenseNet), modelos 3D preentrenados (MedicalNet, VoCo) y enfoques de fusión de rebanadas existentes.

• Rendimiento Superior con Mínimos Parámetros:
  • AnyMC3D alcanzó un AUC promedio de 0.894 en 10 tareas diversas.
  • Logró el 1er lugar en 7 de 10 tareas con MedImageInsight y en 4 con DINOv3.
  • Utiliza solo ~1.3M de parámetros entrenables por tarea, lo que es 10-50 veces menos que los métodos competidores (ej. MST usa 23M, VoCo usa 50M).
• General-Purpose vs. Medical-Specific:
  • DINOv3 (general) con AnyMC3D igualó el rendimiento de MedImageInsight (médico específico) tras la adaptación, superando a ambos cuando se usaban como extractores de características congelados. Esto sugiere que las características visuales genéricas son altamente transferibles si se adaptan bien.
• Victoria en Retos (Challenges):
  • Ganó el 1er lugar en el reto VLM3D (clasificación de 18 anomalías en CT torácico) entre 118 participantes, superando a soluciones optimizadas para la tarea con solo ~0.5M de parámetros.
  • Superó a modelos especializados como PanDx en la detección temprana de cáncer de páncreas (PDAC) y a DeepCNTD en el triaje de CT de cabeza.
• Eficiencia de Datos:
  • En escenarios con pocos datos (20% del dataset), AnyMC3D superó a modelos 3D densos entrenados con el 60% de los datos, demostrando una eficiencia de datos 3 veces superior.
• Hallazgo sobre Arquitectura 2D vs. 3D:
  • Los métodos 2D con fusión de rebanadas superaron consistentemente a las arquitecturas 3D nativas. Los autores argumentan que la clasificación de imágenes (toma de decisiones a nivel de volumen) se beneficia más de la agregación de decisiones por rebanada (similar al flujo de trabajo de los radiólogos) que de la modelación de relaciones inter-rebanadas finas requeridas en la segmentación.

---

5. Significado e Impacto

Este trabajo cambia el paradigma en la investigación de modelos fundacionales para imágenes médicas 3D:

1. Reevaluación de la Pre-entrenamiento: Sugiere que el pre-entrenamiento específico médico no es estrictamente necesario si se dispone de una estrategia de adaptación robusta; los modelos de visión general pueden ser igual de efectivos.
2. Importancia de la Adaptación: Destaca que la estrategia de adaptación (LoRA + atención) es tan crítica como la calidad del pre-entrenamiento. El fine-tuning lineal simple (linear probing) es insuficiente para desbloquear el potencial de los FMs en medicina.
3. Escalabilidad Real: Ofrece una solución práctica para la industria médica, permitiendo desplegar rápidamente modelos de alta precisión para nuevas patologías sin necesidad de entrenar modelos masivos desde cero, reduciendo costos computacionales y de datos.
4. Interpretabilidad: La capacidad de generar mapas de calor 3D interpretables facilita la confianza clínica y la validación de los hallazgos del modelo.

En resumen, AnyMC3D demuestra que la combinación de modelos fundacionales 2D potentes con una adaptación ligera y específica es la vía más eficiente y efectiva para la clasificación médica 3D escalable, superando a las arquitecturas 3D tradicionales y a los modelos médicos especializados.