ISAAC: Auditing Causal Reasoning in Deep Models for Drug-Target Interaction

Resumen Técnico: ISAAC – Auditoría del Razonamiento Causal en Modelos Profundos para la Predicción de Interacciones Fármaco-Blanco

1. Planteamiento del Problema

Los modelos de aprendizaje profundo frecuentemente alcanzan una alta precisión predictiva en benchmarks científicos, sin embargo, este rendimiento no implica necesariamente que los modelos hayan aprendido un razonamiento fundamentado mecánicamente. Por el contrario, los modelos pueden depender de correlaciones espurias, artefactos específicos del conjunto de datos o características de "atajo" que correlacionan con el objetivo dentro de la distribución, pero carecen de validez causal. Este problema es particularmente crítico en dominios científicos como la predicción de Interacciones Fármaco-Blanco (DTI), donde las salidas válidas deben depender de mecanismos moleculares subyacentes (por ejemplo, interacciones localizadas proteína-ligando) en lugar de patrones estadísticos superficiales.

Los paradigmas de evaluación actuales dependen en gran medida de la precisión predictiva, una métrica observacional que evalúa el acuerdo con las etiquetas en una distribución de datos fija. La precisión por sí sola no puede distinguir entre dependencia causal y asociación espuria. Si bien los métodos existentes de interpretabilidad (por ejemplo, mapas de saliencia) ofrecen explicaciones correlacionales, no garantizan la validez causal, y los enfoques basados en robustez a menudo se centran en objetivos de entrenamiento en lugar de auditar el comportamiento de razonamiento de modelos congelados y entrenados. En consecuencia, existe una falta de un marco estándar para probar explícitamente si las predicciones están impulsadas por componentes de entrada estructuralmente significativos.

2. Metodología: El Marco ISAAC

Para abordar esta brecha, los autores introducen ISAAC (Enfoque de Auditoría Estructural Basado en Intervención para el Razonamiento Causal). ISAAC es un marco de auditoría estructural post-hoc que evalúa el razonamiento de un modelo como una propiedad conductual condicional a su régimen predictivo, utilizando intervenciones controladas a nivel de entrada.

Conceptos Centrales:

• Comportamiento Intervencional: El razonamiento se sondea aplicando operadores deterministas $I$ a las entradas $x$, creando entradas intervenidas $x^I$. El modelo $f_\theta$ se trata como un sistema fijo; las variaciones en la salida son inducidas exclusivamente por la intervención.
• Entradas Estructuradas: Las entradas se descomponen en componentes identificables (por ejemplo, residuos de aminoácidos en una secuencia de proteínas).
• Clases de Intervención Emparejadas: El marco define dos clases de intervenciones basadas en un prior estructural especificado externamente (por ejemplo, bolsillos de unión conocidos):
  • Intervenciones Mecanísticas ($I_{mech}$): Perturbaciones aplicadas a componentes identificados como relevantes por el prior estructural ($S \subseteq S_{prior}$).
  • Intervenciones Espurias ($I_{spur}$): Perturbaciones aplicadas a componentes fuera de la región definida por el prior ($S' \subseteq S_{comp}$), emparejadas en cardinalidad y operador con el conjunto mecanístico.
• Diferencia de Respuesta Intervencional: Definida como $\delta_\theta(x, I) = f_\theta(x^I) - f_\theta(x)$, capturando el cambio relativo en la salida del modelo.

Métricas:
ISAAC cuantifica la consistencia del razonamiento a través de tres métricas:

1. Puntuación de Razonamiento (RS): Una medida por entrada definida como $RS(x) = \frac{|m_{mech}(x)|}{|m_{mech}(x)| + |m_{spur}(x)|}$, donde $m$ representa la mediana de las respuestas intervencionales con signo. RS cuantifica la preferencia relativa por perturbaciones alineadas mecanísticamente sobre las desalineadas.
2. Coeficiente de Separación ($C_{sep}$): Mide la separación geométrica entre las distribuciones de respuestas mecanísticas y espurias, normalizada por la variabilidad intrínseca de los efectos mecanísticos.
3. Tasa de Superposición: La fracción de respuestas espurias que caen dentro del rango intercuartílico de las respuestas mecanísticas.

3. Configuración Experimental

El marco se instanció en el contexto de la predicción de Interacciones Fármaco-Blanco (DTI) utilizando el benchmark Davis (interacciones de inhibidores de quinasas).

• Modelos: Se auditaron tres arquitecturas basadas en secuencias con sesgos inductivos variables: DeepDTA, DeepConvDTI y TAPB (Benchmark de Predicción Consciente del Blanco).
• Diseño de Intervención: Las intervenciones se aplicaron exclusivamente a la secuencia del blanco proteico ($t$) mientras el fármaco ($d$) permaneció fijo.
  • Prior Estructural: Derivado de las anotaciones de bolsillos de unión de KLIFS para identificar residuos mecanísticamente relevantes.
  • Intervenciones: Incluyeron enmascaramiento y sustituciones con restricciones fisicoquímicas. Los alcances mecanísticos se muestrearon de los bolsillos KLIFS; los alcances espurios se muestrearon de residuos no pertenecientes al bolsillo con cardinalidad emparejada.
• Protocolo: Los modelos se entrenaron y validaron utilizando procedimientos estándar. El rendimiento predictivo (AUROC) se verificó para asegurar que todos los modelos operaran dentro de un régimen comparable. La auditoría se realizó post-hoc en un subconjunto estructuralmente válido de los datos de prueba (208 blancos) sin reentrenamiento.

4. Resultados Clave

Los experimentos revelaron una disociación significativa entre la precisión predictiva y el comportamiento de razonamiento:

• Rendimiento Predictivo: Los tres modelos alcanzaron puntuaciones AUROC casi indistinguibles en el subconjunto de auditoría (oscilando entre 0.876 y 0.907), confirmando que operaban en un régimen predictivo comparable.
• Puntuaciones de Razonamiento (RS): A pesar de una precisión similar, los modelos exhibieron diferencias sustanciales y reproducibles en sus puntuaciones de razonamiento:
  • TAPB: Logró la RS más alta (0.521) y un Coeficiente de Separación alto (0.458), indicando una separación coherente entre las respuestas mecanísticas y espurias.
  • DeepDTA: Mostró una RS intermedia (0.441) pero una separación baja.
  • DeepConvDTI: Exhibió la RS más baja (0.414) y una separación cercana a cero (0.061), indicando una sensibilidad débil a las perturbaciones mecanísticas y una falta de preferencia coherente por estructuras alineadas.
• Conclusión sobre la Precisión: La diferencia de ~3% en AUROC no se correlacionó con la magnitud de las diferencias en las puntuaciones de razonamiento (que abarcaron de 0.414 a 0.521). Esto demuestra que la evaluación basada en la precisión falla en detectar diferencias en la organización estructural de las respuestas del modelo.

5. Significado y Afirmaciones

El artículo afirma que la precisión predictiva por sí sola es insuficiente para caracterizar el razonamiento del modelo en el aprendizaje automático científico. Las contribuciones principales son:

• Marco ISAAC: Un protocolo de auditoría basado en intervención y principiado que evalúa la sensibilidad estructural relativa al prior independientemente de la precisión predictiva.
• Distinción Conductual: La capacidad de revelar diferencias sistemáticas en el comportamiento de razonamiento (por ejemplo, dependencia de sitios de unión localizados frente a estadísticas de secuencia globales) que permanecen invisibles bajo la evaluación estándar basada en precisión.
• Auditoría Agnóstica al Modelo: El método opera post-hoc sobre modelos congelados, sin requerir reentrenamiento, acceso interno al modelo o supervisión a nivel de intervención, lo que lo hace aplicable a través de arquitecturas y dominios con entradas estructuradas.

Los autores enfatizan que sus hallazgos destacan una distinción entre el "éxito predictivo" y la "organización del razonamiento". Al contrastar las respuestas a perturbaciones estructuralmente alineadas frente a las desalineadas, ISAAC proporciona una base para distinguir modelos que son indistinguibles bajo benchmarks convencionales, ofreciendo una evaluación más transparente para aplicaciones científicas donde la validez mecanística es crítica.

Limitaciones Reconocidas:

• El prior estructural (KLIFS) puede no capturar todos los residuos determinantes de la afinidad; por lo tanto, las métricas reflejan sensibilidad relativa al prior en lugar de validez causal absoluta.
• Los controles espurios emparejados en cardinalidad pero no en contigüidad espacial, introduciendo una asimetría geométrica.
• El estudio actual se restringe a intervenciones del lado del blanco en un solo conjunto de datos y tres arquitecturas específicas.