🧬 biology

Open 3D-CT Vision-Language Models Do Not Clear a Pre-Registered Biomarker Gate Under Zero-Shot Prompting at n = 96 NSCLC-Radiogenomics

Este estudio demuestra que, si bien las características de los modelos de lenguaje-visión de CT 3D abiertos contienen señales decodificables de mutaciones de EGFR en el CPNEC, el prompting zero-shot falla al acceder a esta información debido a un desalineamiento geométrico entre el eje del prompt de texto y la dirección de la característica discriminativa, una limitación superada únicamente mediante el sondeo supervisado.

Autores originales: Adil Karim, Amine Berquedich, El Habib Benlahmar, Sanaa Elfilali, Ahmed Zellou

Publicado 2026-07-15

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Adil Karim, Amine Berquedich, El Habib Benlahmar, Sanaa Elfilali, Ahmed Zellou

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Imagina que tienes a un bibliotecario robot superinteligente y omnisciente llamado Merlin. Este robot ha leído millones de informes médicos y ha observado miles de tomografías computarizadas (radiografías 3D del interior del cuerpo). La gran pregunta que los investigadores plantearon fue: "Si simplemente le hacemos a Merlin una pregunta sencilla en lenguaje natural, ¿puede adivinar instantáneamente los secretos genéticos de un paciente simplemente mirando su escaneo, sin haber sido entrenado para hacerlo?".

Esto se llama aprendizaje "zero-shot" (de disparo cero). Es como entregarle un rompecabezas a un genio y decirle: "¡Resuélvelo!", sin darle el manual de instrucciones.

Los investigadores establecieron una prueba estricta con 96 pacientes que tenían un tipo específico de cáncer de pulmón. Tenían una "puerta" pre-registrada (una línea de meta) que el robot tenía que cruzar para demostrar que funcionaba: necesitaba acertar más del 65% de las veces, con un nivel de confianza muy alto.

La Gran Revelación: El Robot se Perdió
Cuando los investigadores le pidieron a Merlin que adivinara las mutaciones genéticas (específicamente EGFR y KRAS) usando prompts de texto simples como "Este paciente tiene un tumor mutante", el robot tropezó. Su rendimiento no fue mejor que lanzar una moneda al aire.

Para la mutación EGFR, el mejor acierto fue de solo aproximadamente 0.599 (poco menos del 60%).
Para la mutación KRAS, fue incluso más bajo, alrededor de 0.541.
Ninguno de los aciertos cruzó la línea de meta de 0.65.

De hecho, el robot estaba tan confundido que, en un grupo separado de 42 pacientes, sus respuestas fueron básicamente ruido aleatorio, situándose entre 0.394 y 0.500. El artículo descarta explícitamente la idea de que Merlin simplemente "no sabe" la respuesta. El fallo no fue porque el robot estuviera ciego; fue porque la forma en que se le hizo la pregunta era la llave equivocada para la cerradura.

El Giro: El Tesoro Siempre Estuvo Ahí
Aquí está el giro de la trama que hace que esta historia sea tan interesante. Los investigadores no se dieron por vencidos. Tomaron exactamente los mismos escaneos 3D que Merlin había observado y le hicieron un tipo diferente de pregunta. En lugar de pedirle a Merlin que adivinara basándose en un prompt de texto, le dieron los datos a un pequeño cerebro computacional supervisado (una sonda lineal) y le dijeron: "Oye, mira estos números y encuentra el patrón".

De repente, los "ojos" del robot (los datos que ya había procesado) estaban bien abiertos.

Cuando este pequeño cerebro miró los mismos datos de Merlin, adivinó la mutación EGFR correctamente el 0.748 de las veces (aproximadamente el 75%).
Esto superó fácilmente la línea de meta de 0.65.

El "Porqué": Una Brújula Desalineada
Entonces, ¿por qué falló el prompt de texto mientras que el análisis de datos tuvo éxito? Los autores explican esto con una brillante analogía geométrica.

Imagina que el cerebro del robot es una habitación gigante de 512 dimensiones llena de información. La mutación genética (EGFR) es una dirección específica en esa habitación, como un cofre del tesoro oculto.

El Cerebro Supervisado es como una persona con un mapa que puede caminar en cualquier dirección en la habitación para encontrar el cofre. Ellos lo encontraron fácilmente.
El Prompt Zero-Shot es como una linterna. Los investigadores apuntaron la linterna en una dirección específica basada en las palabras que escribieron ("tumor mutante").
El Problema: La dirección hacia la que apuntaba la linterna era casi perfectamente lateral (en un ángulo de 90 grados) a la dirección del cofre del tesoro. El papel calcula que el ángulo entre el prompt de texto y la señal genética era casi 0.02 (que es básicamente aleatorio).

La linterna estaba iluminando una pared en blanco, mientras que el tesoro estaba sentado justo detrás de la persona que la sostenía. Los prompts de texto que usaron los investigadores eran tan similares entre sí que la "diferencia" entre ellos (la dirección hacia la que miraba el robot) era minúscula y apuntaba al lugar equivido. El robot no carecía de los datos; los datos simplemente estaban escondidos en una parte de la habitación que la linterna no podía alcanzar.

¿Qué pasa con el distractor del "Fumador"?
Antes de la prueba principal, los investigadores temían que el robot pudiera estar simplemente adivinando basándose en si el paciente fumaba, ya que el tabaquismo suele estar vinculado a estas mutaciones. Realizaron una prueba con un tipo de datos diferente primero, y parecía que el tabaquismo era lo único que el robot podía ver (obteniendo una puntuación de 0.708).

Sin embargo, cuando probaron esto en los datos reales utilizados para el experimento principal, la historia cambió. En los datos reales, la señal genética (0.748) era en realidad más fuerte que la señal del tabaquismo (0.603). Esto demuestra que el robot podía ver la genética si se le preguntaba de la manera correcta, y la preocupación por el "tabaquismo" solo fue un problema para el primer tipo de datos que probaron, no para el experimento final.

La Conclusión
Este artículo es una advertencia para el futuro de la IA médica. Muestra que el simple hecho de que exista un modelo de robot potente y de código abierto, no significa que podamos simplemente hacerle una pregunta en inglés y obtener un diagnóstico médico.

El Veredicto: El prompting zero-shot (preguntar sin entrenamiento) falló en superar la meta para estas mutaciones de cáncer de pulmón.
La Esperanza: Los datos dentro del modelo sí contienen la respuesta. El problema es que nuestros "prompts de texto" actuales son como intentar abrir una puerta con un cuchillo de mantequilla en lugar de una llave.
La Confianza: Los autores están muy seguros de esto. No solo lo supusieron; corrieron los números 1,000 veces para asegurarse de que los resultados no fueran una casualidad. La señal era real, el método simplemente estaba desalineado.

En resumen: el robot tiene la respuesta, pero aún no hemos descubierto cómo hacer la pregunta.

Resumen Técnico: Los Modelos de Lenguaje-Visión de 3D-CT Abiertos No Superan una Puerta de Biomarcadores Pre-registrada bajo Prompting Zero-Shot en n = 96 NSCLC-Radiogenómica

Planteamiento del Problema
El estudio aborda la viabilidad de utilizar modelos de lenguaje-visión (VLM) de 3D-CT abiertos y pre-entrenados para la predicción radiogenómica zero-shot en cáncer de pulmón de células no pequeñas (NSCLC). Específicamente, investiga si estos modelos pueden predecir biomarcadores moleculares (mutación EGFR, mutación KRAS, ARNm de TP53, ARNm de STK11) mediante el alineamiento contrastivo imagen-texto sin ningún entrenamiento específico de la tarea en la cohorte objetivo. La investigación opera bajo un protocolo estrictamente pre-registrado con una pequeña cohorte interna ( $n=96$ ) y una cohorte externa de control ( $n=42$ ), con el objetivo de determinar si el prompting zero-shot puede superar una puerta de rendimiento rigurosa (AUC > 0.65, IC inferior de bootstrap > 0.55 y replicación externa) mientras se contabilizan posibles confusores como el historial de tabaquismo.

Metodología
Los autores pivotaron desde un modelo originalmente especificado (CT-CHAT/CT-CLIP) debido a la inaccesibilidad de sus pesos, evaluando dos alternativas abiertas disponibles:

Merlin: Un modelo de estilo CLIP con ResNet-152 inflada en 3D + Clinical-Longformer entrenado con volúmenes de TC abdominal emparejados con informes radiológicos.
BiomedCLIP: Un modelo contrastivo de ViT-B/16 2D + PubMedBERT entrenado en un corpus biomédico de 15M, utilizado aquí como un comparador de corte clave 2D.

Diseño Experimental:

Cohortes: Una cohorte interna de NSCLC-Radiogenómica ( $n=96$ ) con volúmenes de TC, máscaras de lesión, RNA-seq y datos clínicos; y una cohorte externa ( $n=42$ ) con etiquetas de EGFR y datos clínicos.
Protocolo Zero-Shot: Se extrajeron características de imagen (512-d) de modelos congelados. Estas se puntuaron frente a pares de prompts binarios (positivo vs. negativo) utilizando dos estrategias: "bare" (declaración directa de la enfermedad) y "cot_brief" (razonamiento breve con pistas de imagen). La puntuación fue la probabilidad softmax del prompt positivo basada en el producto punto de los embeddings de imagen y texto escalado por una temperatura de logit aprendida.
Sonda de Confusores (Fase 1): Una verificación pre-registrada para ver si el estado de "no fumador" podía predecirse mejor que los biomarcadores en un sustrato proxy, lo que "invalidaría" las afirmaciones de una señal pura de biomarcadores.
Baselines Supervisados: Para distinguir entre la calidad de las características y las limitaciones del modo de acceso, los autores entrenaron sondas supervisadas (lineales, ridge y tiny-MLP) sobre las mismas características de imagen congeladas extraídas por los VLMs.
Análisis Geométrico: El estudio analizó el alineamiento entre el eje del prompt de texto (la dirección en la que el puntaje zero-shot proyecta) y el eje discriminativo (la dirección que una sonda supervisada encuentra para el biomarcador).

Resultos Clave

Fallo del Zero-Shot: Ninguna celda zero-shot superó la puerta pre-registrada.
- Cohorte Interna: El mejor resultado fue para STK11_high usando Merlin con prompts "cot_brief" (AUC 0.626), el cual falló el umbral de AUC > 0.65 y tuvo un IC inferior de bootstrap (0.517) por debajo del umbral de 0.55. Los resultados de EGFR y KRAS estuvieron cerca del azar (ej., EGFR/Merlin/cot_brief: AUC 0.599).
- Cohorte Externa: Todos los resultados de zero-shot para EGFR se situaron entre 0.394 y 0.500 (azar o anti-predictivos).
- Comparación de Modelos: Merlin (3D) superó consistentemente a BiomedCLIP (2D), pero ninguno superó la puerta.
Éxito Supervisado vs. Nulo de Zero-Shot: Crucialmente, cuando las mismas características congeladas de Merlin fueron evaluadas mediante una sonda lineal supervisada, la señal de EGFR superó la puerta (AUC 0.748, $p=0.010$ ). Esto demuestra que las características contienen la señal del biomarcador, pero el modo de acceso por prompting contrastivo falla en recuperarla.
Reversión de Confusores: Una sonda de confusores de la Fase 1, que inicialmente señaló al tabaquismo como un predictor dominante en un sustrato proxy de CT-FM (AUC 0.708), no se mantuvo en las características de Merlin evaluadas. En Merlin, la señal supervisada de EGFR (AUC 0.748) excedió la señal de tabaquismo (AUC 0.603), indicando que la invalidación del confusor es específica del sustrato.
Desalineación Geométrica: El estudio identificó el mecanismo de fallo: el puntaje zero-shot proyecta el embedding de la imagen sobre un único eje definido por el texto ( $\hat{v} = \hat{t}_{pos} - \hat{t}_{neg}$ ). La dirección discriminativa de EGFR ( $\hat{w}$ ) encontrada por el aprendizaje supervisado es casi ortogonal a este eje de texto (similitud de coseno $\approx 0.018$ ). Por consiguiente, proyectar sobre el eje de texto descarta la señal del biomarcador, mientras que eliminar el eje de texto deja la señal intacta (AUC 0.748).

Contribuciones Clave

Benchmarking de los Límites del Zero-Shot: Proporciona un benchmark reproducible y pre-registrado que muestra que los actuales VLMs de 3D-CT abiertos, bajo prompting zero-shot en tamaños de muestra pequeños ( $n=96$ ), no pueden lograr una predicción de biomarcadores clínicamente relevante para EGFR o KRAS.
Desacoplamiento de Características y Modo de Acceso: Demuestra que un resultado nulo zero-shot no implica necesariamente una falta de señal biológica en las características. El fallo se atribuye al "modo de acceso" (prompting contrastivo) más que a la calidad de la característica.
Diagnóstico Geométrico: Ofrece una explicación geométrica del fallo, mostrando que la dirección discriminativa para los biomarcadores reside en el subespacio ortogonal al eje del prompt de texto, exacerbado por la casi colinealidad de los prompts positivos y negativos y la brecha de modalidad imagen-texto.
Verificación de Confusores: Destaca que las relaciones de confusores (ej., tabaquismo vs. biomarcador) son específicas del sustrato y deben ser verificadas en las características reales utilizadas, no solo en un sustrato proxy.

Significancia y Afirmaciones
El artículo afirma que, si bien los VLMs de radiología abiertos poseen las representaciones de características subyacentes para decodificar señales de EGFR (como lo demuestra la sonda supervisada), el mecanismo de prompting contrastivo zero-shot es estructuralmente incapaz de acceder a estas señales en tamaños de cohorte pequeños. El "nulo zero-shot" es una limitación de la interfaz de prompting, no de la representación aprendida por el modelo. Los autores concluyen que, para la radiogenómica de cohortes pequeñas, el prompting zero-shot actualmente produce un rendimiento cercano al azar (AUC 0.55–0.60) para EGFR/KRAS, y que la información discriminativa reside en direcciones del espacio de embeddings que los prompts de texto estándar no alinean. El estudio aboga por interpretar los fallos de zero-shot a través de la geometría de la representación en lugar de asumir una falta de señal biológica.

Más como este