In defence of post-hoc explanations in medical AI

Resumen Técnico: En defensa de las explicaciones post-hoc en la IA médica

Planteamiento del problema
El artículo aborda el "problema de la caja negra" en la Inteligencia Artificial (IA) médica, un desafío dual que comprende la opacidad técnica y el riesgo ético. Técnicamente, los sistemas avanzados como las redes neuronales profundas exhiben opacidad de entrenamiento (incapacidad para rastrear cómo se indujeron los parámetros a partir de los datos) y opacidad de inferencia (incapacidad para discernir por qué una entrada específica produce una salida específica debido a que la complejidad del modelo supera los límites cognitivos humanos). Éticamente, esta opacidad crea un problema de justificación (los clínicos no pueden aceptar racionalmente resultados que no comprenden), un problema de antidiscriminación (incapacidad para detectar sesgos algorítmicos o razonamientos espurios) y un problema de reconciliación (incapacidad para resolver desacuerdos entre clínicos e IA).

Si bien la IA explicable (XAI) ha promovido las explicaciones post-hoc (modelos que aproximan el razonamiento de una caja negra basándose en registros de entrada/salida) como una solución, críticas recientes argumentan que estas explicaciones son "oro de tontos". Los críticos sostienen que, debido a que las explicaciones post-hoc son meras aproximaciones en lugar de replicaciones fieles del razonamiento subyacente, no logran mejorar la comprensión del usuario, no reducen los riesgos de seguridad e incluso pueden exacerbar problemas como el sesgo de automatización y la dependencia excesiva.

Metodología y marco teórico
Este artículo emplea una metodología conceptual y argumentativa en lugar de presentar nuevos datos empíricos. Sintetiza la literatura existente sobre XAI, ética médica e interacción humano-IA para construir una defensa de las explicaciones post-hoc. Los autores:

1. Definen el panorama: Distinguen entre enfoques específicos del modelo (p. ej., mapas de saliencia) y agnósticos del modelo (p. ej., LIME), así como explicaciones globales y locales.
2. Analizan las críticas: Revisan sistemáticamente los argumentos contra las explicaciones post-hoc, centrándose en su falta de "alta fidelidad" (fidelidad al modelo original) y en los hallazgos empíricos que sugieren que no mejoran la confianza ni el rendimiento.
3. Construyen un contraargumento: Reencuadran la utilidad de las explicaciones trazando paralelismos con el razonamiento experto humano y el modelado científico, argumentando que las explicaciones no necesitan ser réplicas literales y mecánicas para ser funcionalmente útiles.
4. Proponen estrategias de mitigación: Identifican métodos técnicos y no técnicos para mitigar los riesgos asociados con las explicaciones post-hoc (p. ej., forzamiento cognitivo, agregación de múltiples explicaciones).

Contribuciones y argumentos clave
La contribución principal del artículo es una defensa matizada de las explicaciones post-hoc frente a la crítica de la "alta fidelidad", argumentando que su valor reside en la comprensión funcional más que en la replicación mecánica.

• Utilidad funcional sobre la fidelidad: Los autores argumentan que las explicaciones post-hoc mejoran la comprensión funcional de los sistemas de caja negra. Citando a Páez (2019), postulan que, al igual que los modelos científicos o los experimentos mentales, las explicaciones pueden ser representaciones "literalmente falsas" del mecanismo subyacente y, aun así, proporcionar una comprensión genuina.
• Mejora del rendimiento clínico-IA: Contrario a las afirmaciones de que las explicaciones son inútiles, el artículo cita evidencia empírica (Senoner et al., 2024) que muestra que los equipos de radiólogos e IA que utilizan máscaras de saliencia lograron una precisión 4.7 puntos porcentuales mayor en la identificación de lesiones pulmonares. Crucialmente, las explicaciones ayudaron a los clínicos a distinguir entre predicciones correctas e incorrectas de la IA, lo que llevó a una mejor adherencia a los consejos precisos de la IA y a un mayor número de impugnaciones de los consejos inexactos.
• Capacidad predictiva: El artículo destaca que las explicaciones post-hoc (p. ej., Wang y Yin, 2021) mejoran la capacidad de un usuario para predecir cómo cambiará la salida de un sistema en respuesta a variaciones en la entrada. Esta capacidad predictiva constituye una forma de comprensión causal esencial para la toma de decisiones clínicas.
• Justificación y contexto institucional: Los autores argumentan que, si bien las explicaciones post-hoc por sí solas pueden no justificar la salida de una IA, sirven como evidencia que, al combinarse con explicaciones institucionales (detalles sobre decisiones de diseño, esfuerzos de mitigación de sesgos y confiabilidad del desarrollador), permiten a los clínicos justificar sus decisiones informadas por la IA.
• Mitigación de riesgos: El artículo reconoce riesgos como el sesgo de automatización y las correlaciones espurias, pero argumenta que estos no son exclusivos de la IA (las explicaciones humanas también sufren de sesgos). Propone estrategias de mitigación específicas:
  • Técnicas: Uso de métodos de entrenamiento local robustos (p. ej., "Just Train Twice") y agregación de múltiples explicaciones para reducir las señales engañosas.
  • Diseño: Implementación de "forzamiento cognitivo" (p. ej., retrasar las recomendaciones) e "IA de fricción" para interrumpir el razonamiento heurístico y fomentar el pensamiento analítico.

Resultados y afirmaciones
El artículo no presenta nuevos resultados experimentales, sino que sintetiza hallazgos existentes para apoyar su tesis. Los "resultados" del análisis son las siguientes conclusiones:

1. Las explicaciones post-hoc no necesitan replicar los procesos exactos de razonamiento de los sistemas de caja negra para ser beneficiosas.
2. Pueden mejorar la precisión de los equipos clínico-IA y ayudar a justificar decisiones, siempre que se utilicen en conjunto con otras estrategias.
3. El "problema de la caja negra" no es un problema singular resoluble con una "solución mágica" (una única solución técnica). Es un problema "retorcido" (wicked problem) que requiere un enfoque multifacético que involucre herramientas técnicas (como las explicaciones post-hoc y la interpretabilidad mecánica) y estrategias no técnicas (capacitación, supervisión y vigilancia post-comercialización).

Significancia
El artículo afirma su relevancia al corregir el "profundo grado de pesimismo" que prevalece actualmente en el campo respecto a las explicaciones post-hoc. Al rechazar la tesis de la "solución mágica", los autores abogan por una perspectiva equilibrada: si bien las explicaciones post-hoc no pueden "resolver" el problema de la caja negra de un solo golpe, siguen siendo una estrategia útil y necesaria para mitigar los riesgos en la IA médica. El artículo enfatiza que descartar estas herramientas debido a su falta de fidelidad perfecta pasa por alto su capacidad probada para mejorar la comprensión funcional y el rendimiento de los equipos. En última instancia, la solución al problema de la caja negra se plantea como un esfuerzo sociotécnico que requiere usuarios capacitados y una supervisión efectiva junto con avances tecnológicos.