How Best to Explain Machine Learning Models to Clinicians: A User Study of Explanation Types

Problema
Los modelos de aprendizaje automático (ML) se despliegan cada vez más en entornos clínicos para asistir en la toma de decisiones, pero muchos modelos de alto rendimiento (por ejemplo, redes neuronales, árboles de gradiente potenciado) operan como "cajas negras", lo que dificulta que los clínicos interpreten su lógica interna. Aunque se han desarrollado métodos de Inteligencia Artificial Explicable (XAI) para caracterizar la relación entre las entradas del modelo y las predicciones, sigue sin estar claro qué tipos específicos de explicaciones son más valorados por los clínicos. Existe una brecha en la comprensión de cómo las diferentes modalidades de explicación —específicamente la atribución, la contrafactual y las basadas en reglas— afectan dimensiones críticas de la interacción clínica, incluyendo la confianza en el modelo, la comprensión de la lógica del modelo, la comprensión de la explicación en sí misma y la influencia de la explicación en el razonamiento clínico respecto al estado del paciente.

Metodología
Los autores realizaron un estudio de usuario con 39 clínicos (enfermeros, médicos residentes y médicos adjuntos) de los departamentos de cuidados críticos y medicina hospitalaria de la Universidad de Wisconsin-Madison y la Universidad de Chicago. El estudio utilizó un modelo de aprendizaje profundo basado en una arquitectura LSTM, entrenado con datos longitudinales de pacientes (demografía, laboratorios, signos vitales) para predecir el riesgo de deterioro clínico (muerte o traslado a la UCI) dentro de las 24 horas siguientes.

El diseño del estudio consistió en presentar a los participantes cinco casos sintéticos de alto riesgo. Para cada caso, los participantes debían:

1. Revisar los datos de las características del paciente y clasificar las cinco características principales que creían indicaban un alto riesgo.
2. Visualizar explicaciones de la predicción del modelo generadas por tres métodos distintos de XAI:
   • Atribución: Utilizando Gradientes Integrados para asignar puntuaciones de importancia a las características a lo largo del tiempo.
   • Contrafactual: Utilizando CoMTE para mostrar cómo la modificación de valores específicos de las características cambiaría la predicción.
   • Basada en reglas: Utilizando Anchors para identificar condiciones suficientes (reglas SI-ENTONCES) para la predicción.
3. Volver a clasificar sus selecciones de importancia de características después de visualizar cada explicación.
4. Calificar su acuerdo con afirmaciones que medían la confianza en el modelo, la comprensión del modelo, la comprensión de la explicación y la influencia de la explicación en su pensamiento.

El estudio empleó Modelos Mixtos Lineales (LMM) para analizar los datos, tratando el ID del participante como un efecto aleatorio y controlando variables como el rol, el centro de reclutamiento, el género, la edad y la confianza inicial. La significancia estadística se determinó mediante pruebas Z con un umbral de confianza del 95%.

Contribuciones Clave

1. Evaluación Exhaustiva: El artículo proporciona una evaluación profunda de las explicaciones de atribución, contrafactuales y basadas en reglas generadas por métodos de XAI para un modelo clínico de aprendizaje profundo real, evaluándolas a través de cuatro dimensiones esenciales: confianza en el modelo, comprensión del modelo, comprensión de la explicación e influencia.
2. Análisis Comparativo: Ofrece una comparación directa de estos tres tipos de explicación para identificar qué modalidades específicas impactan más eficazmente en la confianza, la comprensión y los procesos de toma de decisiones de los clínicos.
3. Guía de Implementación: El estudio deriva una guía específica para implementar XAI en entornos clínicos basada en la retroalimentación de los clínicos, incluyendo preferencias para la representación de las explicaciones y el potencial de utilidad específica según el rol.

Resultados

• Importancia de la Explicación: Los clínicos generalmente consideran importantes las explicaciones. Los médicos reportaron un aumento estadísticamente significativo en la importancia percibida de las explicaciones tras interactuar con ellas, mientras que la importancia percibida por los enfermeros se mantuvo estable.
• Confianza y Comprensión del Modelo: Los tres tipos de explicación aumentaron la confianza de los clínicos en el modelo y su comprensión de cómo el modelo realiza las predicciones. Sin embargo, las explicaciones de atribución demostraron consistentemente los efectos positivos más significativos en todas las dimensiones medidas en comparación con las explicaciones contrafactuales y basadas en reglas.
• Comprensión de la Explicación: Los participantes encontraron las explicaciones de atribución más fáciles de entender. Aunque todos los tipos fueron comprendidos en general, las puntuaciones de atribución fueron significativamente mayores que las de los otros dos tipos en el análisis caso por caso.
• Influencia: Las explicaciones de atribución fueron las más influyentes, causando el mayor número de cambios en las clasificaciones de los participantes respecto a las características importantes (medido por el Conteo de Cambios de Clasificación) y recibiendo las puntuaciones de influencia autoinformadas más altas.
• Preferencias: Casi la mitad de los participantes (46.2%) expresó su preferencia por visualizar múltiples tipos de explicación simultáneamente. Al seleccionar combinaciones, las explicaciones de atribución y contrafactuales fueron las más frecuentemente emparejadas. Además, los clínicos prefirieron fuertemente las representaciones concisas (por ejemplo, las características principales o listas de condiciones cortas) sobre las listas detalladas y exhaustivas.

Significancia
El artículo sostiene que proporcionar explicaciones para las predicciones de ML en entornos clínicos es crucial para mejorar la utilidad de estos sistemas. Los hallazgos sugieren que, al implementar XAI en los flujos de trabajo clínicos, los desarrolladores deben priorizar las explicaciones de atribución como la modalidad principal debido a su desempeño superior en la construcción de confianza, el fomento de la comprensión y la influencia en el razonamiento clínico. Sin embargo, los autores también recomiendan permitir la visualización de múltiples tipos de explicación para acomodar las diversas preferencias y flujos de trabajo de los clínicos. Además, el estudio destaca que el desarrollo de explicaciones debe adaptarse a roles clínicos específicos, ya que los enfermeros y los médicos pueden utilizar y valorar las explicaciones de manera diferente para apoyar sus respectivas tareas. Los autores concluyen que estos conocimientos pueden conducir a cambios en la práctica clínica asistida por ML y potencialmente mejorar los resultados de los pacientes al asegurar que los clínicos puedan interpretar y actuar eficazmente sobre las predicciones del modelo.