Reliability, Faithfulness, and the Limits of Post-hoc Explanations of Opaque Scientific Models

Resumen Técnico: Fiabilidad, Fidelidad y los Límites de las Explicaciones Post-hoc de Modelos Científicos Opacos

Planteamiento del Problema
El artículo aborda una brecha epistémica crítica en la aplicación científica de la IA Explicable (XAI). En dominios científicos (p. ej., neurociencia, física, bioquímica), los modelos de aprendizaje automático opacos se utilizan cada vez más no solo como predictores, sino como fuentes de conocimiento sobre los fenómenos subyacentes que modelan. La suposición prevaleciente es que si un modelo es suficientemente fiable (sus predicciones coinciden con los resultados del fenómeno) y su explicación post-hoc es suficientemente fiel (la explicación refleja con precisión las computaciones internas del modelo), entonces la explicación proporciona una afirmación justificada sobre la estructura del fenómeno mismo.

Los autores argumentan que esta inferencia es estructuralmente inválida. Si bien la fiabilidad y la fidelidad son condiciones necesarias, son insuficientes para cerrar la brecha entre "comprender el modelo" y "comprender el mundo". Específicamente, ninguna de las dos métricas verifica si la estructura interna del modelo se corresponde con la estructura causal, mecánica o contrafáctica del fenómeno.

Metodología y Formalismo
El artículo emplea un análisis epistémico formal en lugar de experimentación empírica. Construye una cadena de aproximación para analizar la relación inferencial entre el fenómeno, el modelo y la explicación:

1. El Fenómeno ($f$): La función verdadera que representa el fenómeno natural.
2. El Modelo ($h^*$): Una hipótesis seleccionada de un espacio $H$ (p. ej., una red neuronal profunda) que aproxima a $f$.
3. La Explicación ($g^*$): Una representación generada por un método post-hoc $E$ (p. ej., SHAP, LIME, mapas de atención) que aproxima a $h^*$.

La cadena se denota como $f \xleftarrow{\phi} h^* \xleftarrow{E} g^*$, donde:

• $\phi$ (el vínculo modelo-mundo) representa la fiabilidad de $h^*$ al rastrear a $f$.
• $E$ (el vínculo modelo-del-modelo) representa la fidelidad de $g^*$ al describir a $h^*$.

Los autores distinguen entre dos tipos de veredictos epistémicos:

• Veredictos Descriptivos: Evaluaciones de lo que el modelo computa (fidelidad).
• Veredictos Justificatorios: Evaluaciones de la capacidad del modelo para rastrear el fenómeno (fiabilidad).

El argumento metodológico central es que un científico busca un tercer tipo de veredicto: una afirmación justificatoria sobre la estructura del fenómeno. El artículo demuestra que la composición de un veredicto descriptivo (sobre $g^*$) y un veredicto justificatorio (sobre $h^*$) no puede producir lógicamente un veredicto justificatorio sobre la estructura de $f$.

Contribuciones y Argumentos Clave

1. El Fallo Estructural de la Composición:
   El artículo sostiene que la brecha entre el modelo y el mundo no se cierra incluso en el límite de una fiabilidad perfecta y una fidelidad perfecta.

   • La Fiabilidad comprueba si los resultados coinciden con los desenlaces, pero no requiere una estructura interna compartida. Un modelo puede rastrear perfectamente un fenómeno mediante correlaciones espurias o atajos no mecánicos (p. ej., basarse en los bordes de una imagen en lugar de en la patología).
   • La Fidelidad comprueba si la explicación coincide con la computación del modelo, pero es enteramente interna al modelo. No puede determinar si la computación del modelo corresponde al mecanismo del fenómeno.
   • Consecuentemente, una cadena "perfecta" ($f \approx h^* \approx g^*$) sigue dejando sin respuesta la cuestión de la alineación estructural. La cadena carece de la premisa de "estructura compartida" necesaria para pasar de los hechos del modelo a los hechos del mundo.

2. Tres Casos de Cadenas Engañosas (Apéndice A):
   Los autores ilustran la persistencia de esta brecha a través de tres escenarios:

   • Caso 1 (Cambio de Distribución): Un modelo depende de una característica espuria (p. ej., marcadores de lateralidad en radiografías) que funciona en el entrenamiento pero falla en nuevas poblaciones. La fidelidad reporta correctamente la dependencia, pero la fiabilidad falla solo cuando la distribución cambia. La explicación es fiel a la estructura errónea.
   • Caso 2 (Confundidores Invariantes): Un modelo depende de una característica espuria que está correlacionada con el objetivo en todas las poblaciones testeables (p. ej., el posicionamiento del paciente). Aquí, la fiabilidad es perfecta en todas partes y la fidelidad es perfecta, pero el modelo sigue sin capturar el mecanismo real. Ninguna cantidad de datos de validación puede distinguir el modelo espurio de uno mecánico si ambos producen predicciones idénticas.
   • Caso 3 (Rastreo Perfecto, Estructura Divergente): Un modelo rastrea el fenómeno perfectamente en todas las entradas pero utiliza una estructura interna totalmente distinta a la del fenómeno. Una explicación fiel de este modelo describe una estructura que no es la estructura del fenómeno. La fiabilidad y la fidelidad son idénticas tanto para el modelo de la "estructura real" como para el modelo de la "estructura divergente", lo que hace que las métricas sean incapaces de distinguir la verdad de la suerte.

3. Distinción entre Lecturas "Fuertes" y "Débiles":

   • Lectura Fuerte (Cómo-Realmente): Afirma que la estructura del modelo es la estructura del fenómeno. El artículo sostiene que la cadena no puede sustentar esta afirmación por sí sola.
   • Lectura Débil (Cómo-Posiblemente/Comprensión Objetual): Afirma que el modelo ofrece una hipótesis candidata o una comprensión de las conexiones dentro del dominio. El artículo concede que la cadena puede sustentar esto, siempre que el resultado se sitúe frente a una corroboración externa (teoría previa, evidencia independiente o intervención experimental).

Resultados y Reivindicaciones
El artículo no presenta resultados experimentales, sino que ofrece una prueba filosófica y lógica de limitación:

• No hay Justificación Autosuficiente: Un modelo fiable junto con una explicación fiel no justifica, por la mera composición, una afirmación sobre la estructura causal o mecánica del fenómeno.
• Se Requiere Corroboración Externa: Para pasar de una descripción del modelo a una afirmación sobre el mundo, deben introducirse premisas externas (teoría independiente, mecanismos conocidos o intervenciones). Estas premisas no son generadas por la cadena de XAI en sí misma.
• El Rol de la Idealización: El artículo se alinea con la literatura sobre la idealización científica (p. ej., Sullivan, Elgin), sugiriendo que los modelos opacos funcionan como herramientas idealizadas. Pueden proporcionar "comprensión objetual" (captar conexiones y posibilidades) pero no "comprensión explicativa" (identificar el mecanismo real) sin validación externa.

Significado
La importancia del artículo radica en clarificar los límites epistémicos de la XAI post-hoc en la ciencia. Desafía la práctica rutinaria de tratar las explicaciones fieles de modelos fiables como ventanas directas a la realidad científica.

• Argumenta que el fallo al distinguir entre "cómo funciona el modelo" y "cómo funciona el mundo" no es un fallo técnico que se solucione con mejores algoritmos o mayor fidelidad, sino una limitación estructural de la cadena inferencial.
• Reorienta el uso científico de la XAI: en lugar de ver las explicaciones como pruebas definitivas de un mecanismo, deben verse como generadoras de hipótesis candidatas que requieren pruebas externas rigurosas e integración teórica.
• El artículo concluye que, si bien la cadena sustenta la generación de afirmaciones de "cómo-posiblemente", no puede licenciar afirmaciones de "cómo-realmente" sin corroboración externa, una distinción crucial para la integridad del descubrimiento científico utilizando modelos opacos.