How Best to Explain Machine Learning Models to Clinicians: A User Study of Explanation Types

Problema
Modelos de aprendizado de máquina (ML) são cada vez mais implantados em ambientes clínicos para auxiliar na tomada de decisão, mas muitos modelos de alto desempenho (ex: redes neurais, árvores de gradiente impulsionado) operam como "caixas pretas", tornando sua lógica interna difícil de ser interpretada por clínicos. Embora métodos de Inteligência Artificial Explicável (XAI) tenham sido desenvolvidos para caracterizar a relação entre as entradas do modelo e as previsões, permanece incerto quais tipos específicos de explicações são mais valorizados pelos clínicos. Existe uma lacuna na compreensão de como diferentes modalidades de explicação — especificamente atribuição, contrafactual e baseada em regras — afetam dimensões críticas da interação clínica, incluindo a confiança no modelo, o entendimento da lógica do modelo, a compreensão da própria explicação e a influência da explicação no raciocínio clínico sobre o estado do paciente.

Metodologia
Os autores realizaram um estudo com usuários envolvendo 39 clínicos (enfermeiros, médicos residentes e médicos preceptores/adjuntos) dos departamentos de cuidados intensivos e medicina hospitalar da University of Wisconsin-Madison e da University of Chicago. O estudo utilizou um modelo de aprendizado profundo baseado em uma arquitetura LSTM, treinado em dados longitudinais de pacientes (demografia, exames laboratoriais, sinais vitais) para prever o risco de deterioração clínica (morte ou transferência para UTI) dentro de 24 horas.

O design do estudo envolveu a apresentação aos participantes de cinco casos sintéticos de pacientes de alto risco. Para cada caso, os participantes foram solicitados a:

1. Revisar os dados de características do paciente e classificar as cinco principais características que acreditavam indicar alto risco.
2. Visualizar explicações da previsão do modelo geradas por três métodos distintos de XAI:
   • Atribuição: Usando Gradientes Integrados para atribuir pontuações de importância às características ao longo do tempo.
   • Contrafactual: Usando CoMTE para mostrar como a modificação de valores específicos de características alteraria a previsão.
   • Baseada em regras: Usando Anchors para identificar condições suficientes (regras SE-ENTÃO) para a previsão.
3. Reclassificar suas seleções de importância de características após visualizar cada explicação.
4. Avaliar sua concordância com afirmações que medem a confiança no modelo, o entendimento do modelo, a compreensão da explicação e a influência da explicação em seu pensamento.

O estudo empregou Modelos Lineares de Efeitos Mistos (LMM) para analisar os dados, tratando o ID do participante como um efeito aleatório e controlando variáveis como função, local de recrutamento, gênero, idade e confiança basal.

Principais Contribuições

1. Avaliação Abrangente: O artigo fornece uma avaliação aprofundada de explicações de atribuição, contrafactuais e baseadas em regras geradas por métodos de XAI para um modelo clínico de aprendizado profundo real, avaliando-as através de quatro dimensões essenciais: confiança no modelo, entendimento do modelo, compreensão da explicação e influência.
2. Análise Comparativa: Oferece uma comparação direta desses três tipos de explicação para identificar quais modalidades específicas impactam mais efetivamente a confiança, o entendimento e os processos de tomada de decisão dos clínicos.
3. Orientação de Implementação: O estudo deriva orientações específicas para a implementação de XAI em ambientes clínicos com base no feedback dos clínicos, incluindo preferências para representação de explicações e o potencial de utilidade específica por função.

Resultos

• Importância da Explicação: Os clínicos geralmente consideram as explicações importantes. Os médicos relataram um aumento estatisticamente significativo na importância percebida das explicações após interagir com elas, enquanto a importância percebida pelos enfermeiros permaneceu estável.
• Confiança e Entendimento do Modelo: Todos os três tipos de explicação aumentaram a confiança dos clínicos no modelo e seu entendimento de como o modelo faz previsões. No entanto, as explicações de atribuição demonstraram consistentemente os efeitos positivos mais significativos em todas as dimensões medidas em comparação com as explicações contrafactuais e baseadas em regras.
• Compreensão da Explicação: Os participantes consideraram as explicações de atribuição as mais fáceis de entender. Embora todos os tipos tenham sido geralmente compreendidos, as pontuações de atribuição foram significativamente maiores do que as dos outros dois tipos na análise caso a caso.
• Influência: As explicações de atribuição foram as mais influentes, causando o maior número de mudanças nas classificações dos participantes sobre características importantes (medido pela Contagem de Mudanças de Ranking) e recebendo as pontuações de influência autorrelatadas mais altas.
• Preferências: Quase metade dos participantes (46,2%) expressou preferência por visualizar múltiplos tipos de explicação simultaneamente. Ao selecionar combinações, as explicações de atribuição e contrafactuais foram as mais frequentemente pareadas. Além disso, os clínicos preferiram fortemente representações concisas (ex: principais características ou listas curtas de condições) em vez de listas detalhadas e exaustivas.

Significância
O artigo afirma que fornecer explicações para previsões de ML em ambientes clínicos é crucial para melhorar a utilidade desses sistemas. Os achados sugerem que, ao implementar XAI em fluxos de trabalho clínicos, os desenvolvedores devem priorizar as explicações de atribuição como a modalidade primária devido ao seu desempenho superior em construir confiança, promover o entendimento e influenciar o raciocínio clínico. No entanto, os autores também recomendam permitir a exibição de múltiplos tipos de explicação para acomodar diversas preferências e fluxos de trabalho clínicos. Além disso, o estudo destaca que o desenvolvimento de explicações deve ser adaptado a funções clínicas específicas, pois enfermeiros e médicos podem utilizar e valorizar as explicações de forma diferente para apoiar suas respectivas tarefas. Os autores concluem que esses insights podem levar a mudanças na prática clínica assistida por ML e potencialmente melhorar os resultados dos pacientes ao garantir que os clínicos possam interpretar e agir efetivamente sobre as previsões do modelo.