💻 computer science

Toward Training-Free Zero-Shot Anomaly Detection in 3D Medical Images: A Batch-Based Approach Using 2D Foundation Models

Este artículo presenta CS3F, un marco de trabajo basado en lotes y libre de entrenamiento que aprovecha modelos fundacionales 2D y una estrategia de tokenización de grueso a fino para permitir la detección de anomalías zero-shot en imágenes médicas 3D mediante la identificación de sujetos con características volumétricas únicas que carecen de análogos en una cohorte de referencia.

Autores originales: Tai Le-Gia

Publicado 2026-06-19

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tai Le-Gia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un médico intentando encontrar un tumor diminuto y oculto en un escaneo 3D del cerebro o los pulmones de un paciente. Normalmente, para enseñarle a una computadora a hacer esto, necesitas mostrarle miles de ejemplos de cerebros "enfermos" con los tumores ya marcados por expertos. Pero, ¿qué pasa si no tienes esos ejemplos marcados? ¿Qué pasa si el paciente tiene una enfermedad rara que nunca has visto antes, o si el hospital utiliza un tipo de escáner diferente al que la computadora fue entrenada?

Este es el problema que resuelve el artículo. Los autores crearon un nuevo método llamado CS3F (Cross-Subject Anomaly Scoring for 3D volumes via Foundation models). Es como un "detective" que puede detectar anomalías en un escaneo médico 3D sin necesidad de haber sido enseñado qué aspecto tiene una enfermedad.

Así es como funciona, desglosado en conceptos simples:

1. El detective de la "foto grupal" (Enfoque basado en lotes)

Imagina que tienes a un grupo de 100 personas paradas en una habitación. Les pides que se describan a sí mismas.

Las personas normales: La mayoría de las personas se ven y actúan de forma muy similar entre sí. Si eliges a una persona, puedes encontrar fácilmente a otras 10 que se ven igual que ella.
El elemento discordante: Una persona lleva una nariz de payaso brillante y un tutú. Si intentas encontrar a alguien más en la habitación que se vea como esa persona, no podrás. Es única.

CS3F funciona de la misma manera. En lugar de mirar a un paciente de forma aislada, observa un "lote" (grupo) de pacientes al mismo tiempo. Parte de la premisa de que las partes sanas del cuerpo (como el tejido cerebral normal) se verán muy similares entre diferentes personas. Si un punto específico en el cerebro de un paciente no se parece en nada al punto correspondiente en ninguno de los otros pacientes del grupo, el sistema lo marca como "anómalo" (sospechoso). No necesita saber qué es la enfermedad; simplemente sabe que ese punto no encaja con el patrón de lo "normal".

2. El problema de la "cámara 2D"

El artículo utiliza potentes modelos de IA llamados "Modelos Fundacionales" (como DINOv2). Estos son como cámaras superinteligentes que han sido entrenadas con millones de fotos 2D comunes (como fotos de gatos, coches y paisajes). Son increíbles para detectar detalles en imágenes planas de 2D.

Sin embargo, los escaneos médicos son 3D (son bloques gruesos de datos, como una hogaza de pan, no solo una rebanada de pan).

El desafío: No puedes simplemente introducir una hogaza de pan 3D en una cámara diseñada para fotos 2D.
La solución: CS3F corta la hogaza de pan 3D en finas rebanadas 2D (como cortar el pan). Ejecuta la cámara 2D en cada rebanada para comprender los detalles. Luego, pega la información de las rebanadas vecinas para comprender la forma 3D.

3. El equilibrio entre "borroso y nítido" (De lo grueso a lo fino)

Cuando el sistema pega las rebanadas, se enfrenta a un dilema:

La visión general (Gruesa/Coarse): Si agrupas un gran bloque de rebanadas, la imagen es estable y clara. Puedes distinguir fácilmente si una región completa parece normal. Pero, si hay un tumor diminuto (como una pequeña mota de polvo), podría verse "promediado" y desaparecer en el bloque grande.
El detalle fino (Fina/Fine): Si observas rebanadas individuales diminutas, puedes ver la pequeña mota de polvo. Pero, observar detalles minúsculos es computacionalmente costoso (requiere mucho tiempo y potencia de cómputo) y puede tener ruido (podrías confundir una sombra normal con una mota).

El truco "De lo grueso a lo fino":
CS3F utiliza un sistema de enrutamiento inteligente.

Primera pasada (Gruesa): Escanea rápidamente todo el cerebro con "ojos grandes" para encontrar áreas generales que parezcan sospechosas.
Segunda pasada (Fina): Solo hace un acercamiento con "ojos de microscopio" en esas áreas sospechosas específicas para encontrar los detalles diminutos.
Esto ahorra una cantidad masiva de tiempo y potencia de cómputo, al mismo tiempo que logra capturar los tumores pequeños.

4. La vista de "tres ángulos"

Para asegurarse de no perderse nada, CS3F observa el volumen 3D desde tres ángulos diferentes:

Axial: Mirando desde arriba hacia abajo.
Coronal: Mirando desde el frente.
Sagital: Mirando desde el lado.

Combina las pistas de los tres ángulos. Si un punto se ve raro desde arriba, desde el frente y desde el lado, definitivamente hay un problema. Esto hace que la detección sea mucho más fiable que simplemente mirar una sola rebanada.

¿Qué probaron?

Los autores probaron este "detective" en:

Escaneos cerebrales (RM): Buscando metástasis (cáncer que se ha extendido al cerebro), gliomas (tumores cerebrales) e infartos cerebrales.
Escaneos pulmonares (TC): Buscando cáncer de pulmón.

Los resultados:

Funcionó sin necesidad de datos "enfermos" previamente etiquetados.
Encontró anomalías mejor que otros métodos "zero-shot" que intentan usar instrucciones de texto (como preguntarle a la IA "¿Es esto un tumor?").
Funcionó casi tan bien como los métodos que sí fueron entrenados con datos saludables, pero sin la complicación de recolectar dichos datos.
Funcionó tanto en escaneos cerebrales como pulmonares, demostrando que puede manejar diferentes órganos y diferentes tipos de escáneres.

La conclusión principal

CS3F es una forma ingeniosa, "libre de entrenamiento", de encontrar anomalías médicas. Trata a un grupo de pacientes como una multitud de personas, buscando a la que no encaja con la multitud. Al utilizar una estrategia inteligente de "acercamiento" y observar desde múltiples ángulos, puede detectar problemas ocultos en escaneos médicos 3D utilizando potentes herramientas de IA 2D, todo sin necesidad de que un profesor le enseñe primero qué aspecto tienen las enfermedades.

Nota importante del artículo:
Los autores advierten cuidadosamente que, si bien esto funciona bien para encontrar dónde está el problema, todavía depende de que la IA sea capaz de "ver" la diferencia entre el tejido sano y el enfermo. Si un tumor es muy tenue o se ve exactamente igual que el tejido sano ante los ojos de la IA, el sistema podría pasarlo por alto. Es una herramienta para el cribado y la curación, no un reemplazo para el diagnóstico final de un médico.

Resumen Técnico: CS3F – Detección de Anomalías Zero-Shot Libre de Entrenamiento en Imágenes Médicas 3D

Declaración del Problema

La detección de anomalías zero-shot (ZSAD) es crítica para las imágenes médicas, donde los sistemas clínicos deben manejar protocolos de adquisición heterogéneos, poblaciones de pacientes cambiantes y patologías que carecen de datos de entrenamiento anotados. Aunque los métodos actuales de ZSAD para imágenes 2D aprovechan modelos fundacionales (p. ej., CLIP, DINOv2), su extensión directa a volúmenes médicos 3D enfrenta tres obstáculos primarios:

Falta de Modelos Fundacionales 3D: Los modelos fundacionales médicos nativos en 3D a gran escala son menos maduros que sus contrapartes 2D.
Intratabilidad Computacional: Las imágenes volumétricas generan órdenes de magnitud más tokens que las imágenes 2D, lo que hace que la complejidad cuadrática de las búsquedas de similitud mutua entre sujetos sea computacionalmente prohibitiva.
Pérdida de Contexto: El procesamiento por cortes (slice-wise) descarta la información contextual a través del plano, mientras que la agregación de escala fija en la profundidad puede atenuar las señales de lesiones focales si la lesión ocupa solo una pequeña fracción de la ventana de agregación.

Los métodos no supervisados actuales suelen requerizar cohortes de entrenamiento normales curadas, las cuales son costosas de ensamblar y pueden no coincidir con la distribución operativa debido a cambios de dominio.

Metodología: Marco de Trabajo CS3F

Los autores proponen CS3F (Cross-Subject Anomaly Scoring for 3D volumes via Foundation models), un marco de trabajo basado en lotes (batch-based) y libre de entrenamiento, que adapta modelos fundacionales 2D para la localización de anomalías en 3D.

1. Supuesto Fundamental: El Supuesto del Doble (Doppelgänger Assumption)

El marco se basa en la observación estadística de que, dentro de un lote de volúmenes del mismo dominio anatómico, las estructuras anatómicas normales recurren con una apariencia y organización espacial consistentes, mientras que las estructuras patológicas son heterogéneas y raras. En consecuencia, los tokens normales encuentran análogos trans-sujetos cercanos, mientras que los tokens anómalos no lo hacen.

2. Construcción de Tokens Volumétricos

En lugar de utilizar un codificador 3D, CS3F utiliza transformadores de visión 2D congelados (p. ej., DINOv2):

Segmentación Multi-Eje (Multi-Axis Slicing): Cada volumen 3D se descompone a lo largo de los ejes sagital, coronal y axial.
Codificación de Cortes (Slice Encoding): Los cortes se redimensionan y codifican mediante el modelo fundacional 2D para extraer características de parches (patch features).
Agregación de Profundidad (Depth Pooling): Las características de los cortes vecinos se agregan mediante el promedio de la agrupación (average pooling) y la normalización $L_2$ para formar tokens volumétricos localizados. Esto captura el contexto anatómico en la profundidad sin necesidad de pre-entrenamiento 3D.
Proyección Aleatoria: Las características de los tokens de alta dimensión se proyectan a un espacio de menor dimensión (p. ej., $d=128$ ) utilizando una matriz de proyección aleatoria para reducir los costos de memoria y computación, preservando la geometría del vecindario local (lema de Johnson-Lindenstrauss).

3. Puntuación Trans-Sujeto (Cross-Subject Scoring)

Las puntuaciones de anomalía se derivan de la similitud mutua dentro del lote de prueba:

Para un token de consulta, se calcula la distancia hacia los tokens más cercanos en todos los demás volúmenes del lote.
La puntuación de anomalía es el promedio de las $K$ distancias más pequeñas. Los tokens que carecen de análogos cercanos (distancias altas) reciben puntuaciones de anomalía más elevadas.
Fusión por Ejes (Axis-Wise Fusion): La puntuación se realiza de forma independiente para cada eje anatómico, y los mapas de anomalía resultantes se promedian para fusionar la evidencia complementaria de los planos ortogonales.

4. Estrategia de Tokenización de Grueso a Fino (Coarse-to-Fine - C2F)

Para abordar la atenuación de lesiones focales causada por núcleos de agrupación (pooling kernels) de gran tamaño y el costo computacional de la búsqueda exhaustiva de coincidencia a escala fina, CS3F introduce un mecanismo de enrutamiento C2F:

Pasada Gruesa (Coarse Pass): Una configuración de agrupación gruesa ( $q_c$ ) genera tokens grandes para un emparejamiento anatómico global robusto.
Enrutamiento (Routing): Para cada token grueso de consulta, se identifican los $L$ tokens más cercanos en los volúmenes de referencia.
Pasada Fina (Fine Pass): El emparejamiento a escala fina ( $q_f$ ) se restringe solo a los tokens finos contenidos dentro de estas regiones gruesas seleccionadas.
Fusión Multi-Escala: El mapa de anomalía final combina el mapa grueso estable con el mapa fino de alta resolución, equilibrando la consistencia global con la sensibilidad a las lesiones focales.

Contribuciones Clave

Marco CS3F: Un marco de trabajo ZSAD para imágenes médicas 3D, basado en lotes y libre de entrenamiento, que utiliza modelos fundacionales 2D congelados para generar representaciones volumétricas sin necesidad de anotaciones de lesiones o datos de entrenamiento de controles normales curados.
Fusión de Puntuación por Ejes: Un flujo de trabajo rediseñado que fusiona las puntuaciones de anomalía a nivel de mapa en lugar de a nivel de característica. Esto reduce el uso de memoria, preserva la evidencia espacial específica de cada eje y permite el soporte de volúmenes no cúbicos (p. ej., CT de pulmón).
Tokenización Multi-Escala de Grueso a Fino: Una estrategia motivada por el análisis de la atenuación de lesiones inducida por la agrupación. Permite la puntuación de resolución fina para lesiones focales evitando el costo prohibitivo de las búsquedas de similitud mutua exhaustivas.
Validación en Diferentes Órganos: Demostración de la generalizabilidad del marco más allá de la RM cerebral alineada con atlas, aplicándola a datos de CT de pulmón no estandarizados y no cúbicos.

Resultados Experimentales

El marco fue evaluado en RM cerebral (metástasis, glioma, accidente cerebrovascular) y CT de pulmón (cáncer de pulmón).

Detección de Anomalías (Nivel de Paciente): Las variantes de CS3F superaron consistentemente a las líneas base zero-shot basadas en CLIP (WinCLIP, AnomalyCLIP, APRIL-GAN) en todos los benchmarks. CS3F-MS (Multi-Scale) alcanzó un AUROC de nivel de paciente >84% en todos los conjuntos de datos, mientras que los métodos basados en CLIP mostraron caídas significativas de rendimiento (cayendo a ~63% en accidentes cerebrovasculares). CS3F también se mantuvo competitivo con los métodos no supervisados basados en reconstrucción (DAE, pDDPM), que lograron altas puntuaciones de detección pero a menudo sufrieron de una segmentación deficiente debido a brechas de dominio.
Segmentación de Anomalías (Nivel de Vóxel): CS3F superó a los métodos basados en CLIP en las puntuaciones de Dice e IoU. El enfoque multi-escala (CS3F-MS) proporcionó un equilibrio entre la estabilidad de los tokens gruesos y la sensibilidad de los tokens finos.
Análisis por Lesión: Bajo una tasa de verdaderos negativos (TNR) fija del 99%, la tokenización fina (CS3F-F) mejoró significativamente la detección de lesiones pequeñas y medianas (por ejemplo, aumentando la LTPR de lesiones pequeñas de 11.5% a 34.6% en ATLAS T1w), pero a costa de un aumento de los falsos positivos. CS3F-MS ofreció un compromiso controlado, mejorando la sensibilidad sobre los métodos de solo escala gruesa mientras mantenía tasas de falsos positivos manejables.
Generalización entre Órganos: En CT de pulmón, donde los volúmenes no estaban registrados con atlas y eran no cúbicos, CS3F mantuvo su efectividad, superando a las líneas base basadas en CLIP tanto en detección como en localización.
Eficiencia: El enrutamiento C2F redujo significativamente la carga computacional en comparación con el emparejamiento exhaustivo a escala fina. CS3F-C (solo grueso) procesó volúmenes en ~3.2s en una GPU de consumo, mientras que CS3F-MS tomó ~5.5s.

Significado y Reivindicaciones

El artículo sostiene que los modelos fundacionales 2D congelados pueden apoyar eficazmente la localización de anomalías en imágenes médicas 3D cuando se combinan con un proceso de tokenización volumétrica y de puntuación adecuado.

Practicidad: CS3F ofrece una vía práctica para el cribado a nivel de cohorte, la curación de conjuntos de datos a gran escala y el control de calidad automatizado al eliminar la necesidad de conjuntos de datos de controles sanos curados por separado y anotaciones manuales de lesiones.
Limitaciones: Los autores reconocen que el método está limitado por el "Supuesto del Doble", lo que requiere un lote de sujetos para la inferencia en lugar del procesamiento de un solo sujeto. Además, el rendimiento en lesiones pequeñas, sutiles o de bajo contraste está limitado por la capacidad del modelo fundacional para codificarlas como valores atípicos (outliers) separables en el espacio de características. El artículo señala que, si bien la tokenización C2F mejora la sensibilidad, no puede superar totalmente la falta de señales discriminativas en el codificador subyacente para ciertas modalidades (p. ej., T1w MRI para metástasis de bajo contraste).
Dirección Futura: Los autores sugieren que las estrategias de adaptación ligera sobre datos médicos auxiliares y la fusión multimodal podrían mejorar aún más la separabilidad de la lesión y la normalidad, preservando el carácter zero-shot de la tarea objetivo.