Resumen Técnico: Auditoría de Sybil: Explicación de la Predicción de Riesgo de Cáncer de Pulmón Profunda Mediante Atribuciones Interventivas Generativas

1. Declaración del Problema

El cáncer de pulmón sigue siendo la principal causa de mortalidad por cáncer a nivel mundial, lo que impulsa el desarrollo de herramientas de cribado automatizado como Sybil, un modelo de aprendizaje profundo capaz de predecir el riesgo de cáncer de pulmón a 6 años a partir de una sola tomografía computarizada de baja dosis (TCBD) con alta precisión. Aunque Sybil ha pasado por una extensa validación clínica que demuestra su robustez en diversas poblaciones, las evaluaciones actuales dependen puramente de métricas observacionales. Este enfoque basado en correlaciones confirma que el modelo funciona, pero no explica por qué funciona ni cuándo podría fallar. Esta falta de verificación causal crea una omisión crítica para el despliegue clínico de alto riesgo, ya que pasa por alto los mecanismos reales de razonamiento del modelo, incluida la posible dependencia de correlaciones espurias o artefactos.

2. Metodología: El Marco S(H)NAP

Para abordar las limitaciones de la validación observacional, los autores proponen S(H)NAP, un marco de auditoría agnóstico al modelo que cambia el paradigma de la validación observacional a la auditoría interventiva. El marco aprovecha los Puentes de Difusión Incrustados en el Sistema (SDB) para realizar intervenciones generativas 3D realistas en nódulos pulmonares, permitiendo el aislamiento de las contribuciones causales específicas del objeto a las puntuaciones de riesgo.

La metodología se basa en la Hipótesis 1: la función de decisión de Sybil puede aproximarse eficazmente mediante un Modelo Lineal con Interacciones Pareadas (LMPI) sobre nódulos pulmonares, que consta de un término de fondo específico de la muestra y efectos principales/pareados de los nódulos.

El marco comprende dos métodos de atribución principales:

A. SHNAP (Perfiles de Atribución de Nódulos SHapley)

SHNAP está diseñado para descomponer la predicción del modelo en contribuciones individuales de nódulos e interacciones entre nódulos.

• Mecanismo: Utiliza la eliminación de nódulos mediante puentes de difusión. Al reemplazar sistemáticamente nódulos específicos con tejido sano (utilizando un enfoque de "operador do"), el marco genera un conjunto de datos de escaneos contrafactuales que representan todas las coaliciones posibles de nódulos.
• Atribución: Emplea Valores n-Shapley (nSV) con $n=2$ para aproximar el modelo como un LMPI. Esto calcula los efectos principales (impacto individual del nódulo) y las interacciones pareadas (cómo los nódulos se influyen entre sí) mientras se adhiere al manifold de datos.
• Objetivo: Verificar si Sybil procesa los nódulos como unidades semánticas modulares independientes del contexto de fondo.

B. SNAP (Sondeo de Atribución de Nódulos Sustitutivo)

SNAP está diseñado para sondear la sensibilidad volumétrica y los sesgos espaciales del modelo.

• Mecanismo: Utiliza la inserción de nódulos. Nódulos realistas de malignidad conocida se extraen de un paciente y se insertan en coordenadas específicas del escaneo de otro paciente utilizando el puente de difusión para alinear el nódulo con el nuevo contexto anatómico.
• Atribución: Mide el desplazamiento en la salida de logit del modelo (razón de probabilidades logarítmicas) resultante de la inserción.
• Objetivo: Revelar sesgos espaciales (por ejemplo, sensibilidad a la ubicación, tamaño o tejido circundante) y probar el razonamiento del modelo bajo escenarios controlados de "qué pasaría si".

C. Intervención Generativa mediante Puentes de Difusión

La innovación técnica central es el uso de Puentes de Difusión Incrustados en el Sistema (SDB) para garantizar que las intervenciones permanezcan dentro de la distribución.

• Eliminación de nódulos: El SDB trata la región enmascarada del nódulo como datos faltantes y la reconstruye utilizando el modelo de puntuación entrenado en distribuciones de tejido sano, eliminando efectivamente el nódulo mientras preserva la anatomía circundante.
• Inserción de nódulos: Un nódulo de un paciente fuente se "copia y pega" en un escaneo objetivo y se difunde. El SDB asegura que el nódulo insertado se mezcle perfectamente con el nuevo contexto, evitando los artefactos comunes en los métodos ingenuos de copiar y pegar.
• Base Teórica: El enfoque se basa en el Teorema de Estimación Desajustada (Verdú, 2009), que garantiza que las muestras difuminadas de diferentes distribuciones se vuelven estadísticamente indistinguibles después de un paso de tiempo específico, validando el uso del modelo de puntuación para la reconstrucción.

3. Resultados Clave

A. Validez de las Perturbaciones Sintéticas

Radiólogos expertos evaluaron el realismo de las intervenciones generadas.

• Eliminación: Los radiólogos no pudieron distinguir entre tejido sano real y nódulos eliminados sintéticamente (la precisión fue estadísticamente indistinguible de una adivinanza aleatoria), confirmando una alta fidelidad.
• Inserción: Se identificó un paso de tiempo de mezcla óptimo ($\tau = 0.3$), donde los nódulos insertados preservaron las propiedades de la fuente sin artefactos visuales ni desviación excesiva del nuevo contexto.

B. Verificación de la Estructura del Modelo

• Aproximación LMPI: Los experimentos de SHNAP confirmaron que Sybil funciona eficazmente como un modelo lineal con interacciones pareadas sobre nódulos pulmonares. La aproximación alcanzó un alto coeficiente de determinación ($R^2 \approx 1$) para la mayoría de los casos, respaldando la Hipótesis 1.
• Estabilidad: Las atribuciones de SHNAP mostraron una baja varianza en ejecuciones independientes, lo que indica robustez frente a la estocasticidad del proceso de difusión inversa.

C. Modos de Fallo Críticos y Desalineaciones

La auditoría interventiva reveló varios problemas críticos no detectables mediante métricas observacionales:

1. Sesgo de Sensibilidad Radial: SNAP reveló un fallo sistemático para detectar nódulos periféricos cerca del límite del pulmón (pleura). Una regresión lineal mostró una correlación positiva significativa entre la distancia a la pleura y la atribución, lo que indica que la sensibilidad disminuye cerca del límite. Los autores hipotetizan que esto se debe al relleno con ceros en convoluciones 3D, una vulnerabilidad estructural clínicamente preocupante dado que el adenocarcinoma a menudo surge en la periferia.
2. Sesgo Lobar: Aunque Sybil identificó correctamente los lóbulos superiores como de mayor riesgo (alineándose con los estándares clínicos), exhibió un sesgo global donde la sensibilidad variaba distintamente por lóbulo, independientemente de factores específicos del paciente.
3. Correlaciones Espurias y Artefactos:
   • Falsos Positivos: El modelo ocasionalmente atribuyó un riesgo alto a hallazgos benignos o artefactos, como electrodos de ECG en el pecho o broches metálicos de batas hospitalarias.
   • Falsos Negativos: En algunos casos malignos, el modelo ignoró nódulos reales, asignándoles una atribución negativa, y en su lugar se basó en características de fondo o interacciones para hacer una predicción correcta (pero por las razones equivocadas).
   • Inconsistencia: El análisis longitudinal mostró que el modelo podía cambiar su enfoque entre nódulos en escaneos de seguimiento, haciendo que su razonamiento fuera inestable a pesar de predicciones iniciales potencialmente defendibles.

4. Significado y Afirmaciones

El artículo afirma proporcionar la primera auditoría interventiva del modelo Sybil, demostrando que, aunque el modelo a menudo imita el comportamiento de radiólogos expertos, sufre de modos de fallo críticos que la validación basada en correlaciones pasa por alto.

• Cambio de Paradigma: El trabajo aboga por un cambio de la validación puramente observacional a la verificación causal mediante auditoría interventiva para garantizar una toma de decisiones robusta antes del despliegue clínico.
• Contribución Metodológica: Introduce un nuevo marco (S(H)NAP) que combina atribuciones basadas en teoría de juegos, modelado generativo y experiencia radiológica para auditar modelos de una manera que respeta el manifold de datos.
• Seguridad y Confianza: Al descubrir la dependencia de artefactos clínicamente injustificados (por ejemplo, cables de ECG) y sesgos estructurales (por ejemplo, sensibilidad radial), el artículo destaca la necesidad de una auditoría rigurosa para prevenir predicciones poco fiables en entornos médicos de alto riesgo.
• Agnosticismo del Modelo: El marco es agnóstico al modelo, dependiendo solo de pares de entrada-salida, lo que lo hace aplicable a sistemas propietarios (por ejemplo, Optellum) y otros modelos de imagen médica.

Los autores concluyen que, aunque Sybil demuestra un poder discriminativo significativo, las desalineaciones de razonamiento identificadas subrayan la necesidad de una verificación estricta del modelo más allá de las métricas de rendimiento estándar para garantizar el desarrollo ético y seguro de la IA en medicina.