Enhancing SHAP Explainability for Diagnostic and Prognostic ML Models in Alzheimer Disease

Este artigo propõe e valida um quadro de explicabilidade multi-nível que demonstra a robustez e a consistência das explicações SHAP em modelos de machine learning para diagnóstico e prognóstico da Doença de Alzheimer, utilizando dados do NACC para confirmar que marcadores cognitivos e funcionais dominam as previsões com estabilidade entre diferentes estágios da doença e tarefas clínicas.

O essencial

Imagine que você tem um detetive muito inteligente (uma Inteligência Artificial) que consegue olhar para os dados de um paciente e dizer: "Este paciente tem Alzheimer" ou "Este paciente vai desenvolver Alzheimer daqui a 4 anos".

O problema é que esse detetive é um pouco misterioso. Ele dá a resposta certa, mas quando perguntamos "Por que você chegou a essa conclusão?", ele apenas aponta para uma lista gigante de números e diz: "É assim que funciona". Para um médico, isso é assustador. Como confiar em alguém que não explica o raciocínio?

Este artigo é como um manual de transparência para esse detetive. Os autores, Pablo e Enrique, criaram um método para garantir que as explicações do computador sejam confiáveis, consistentes e fáceis de entender, não importa se estamos diagnosticando o problema agora ou prevendo o futuro.

Aqui está a explicação passo a passo, usando analogias do dia a dia:

1. O Problema: O "Detetive" que não fala a mesma língua

Na medicina, usamos muitos modelos de Inteligência Artificial (IA) para Alzheimer. Eles funcionam bem, mas são "caixas pretas". Para usá-los em hospitais, os médicos precisam confiar neles.
Existe uma ferramenta chamada SHAP (pense nela como um tradutor). Ela pega a decisão complexa do computador e a traduz em uma lista de "culpados" (fatores) que mais influenciaram o resultado.

• O problema: Até agora, os cientistas olhavam para essa tradução apenas uma vez, para um único caso. Mas e se o tradutor mudar de ideia amanhã? E se ele explicar o diagnóstico de hoje de um jeito e a previsão de amanhã de outro, totalmente diferente? Isso geraria desconfiança.

2. A Solução: O "Teste de Estabilidade"

Os autores criaram um sistema de verificação em três níveis para garantir que o tradutor (SHAP) seja honesto e consistente. Eles usaram uma ferramenta chamada AutoML (que é como um cozinheiro automático que prepara o melhor prato possível sem precisar de um chef de cozinha humano) para criar vários modelos de diagnóstico e previsão.

Aqui estão os três testes que eles fizeram:

A. O Teste da "Consciência Interna" (Coerência)

• A Analogia: Imagine que o computador é um aluno. O FI (Importância de Recursos) é a nota que o aluno dá para si mesmo na hora da prova ("Eu acho que a Matemática foi o mais importante"). O SHAP é a explicação que ele dá depois ("Na verdade, olhando de novo, foi a Geografia que decidiu a nota").
• O que eles fizeram: Eles compararam a nota interna do aluno com a explicação dele.
• O Resultado: O aluno estava sendo honesto! A explicação do SHAP batia muito bem com o que o modelo "pensava" internamente. Isso significa que a explicação não é uma mentira inventada depois; ela reflete a lógica real da máquina.

B. O Teste da "Consistência ao Longo do Tempo" (Estabilidade)

• A Analogia: Imagine que você está diagnosticando um paciente com Alzheimer leve (MCI) e outro com Alzheimer grave. Se o tradutor disser que "Memória" é o fator principal para o leve, mas "Caminhada" é o principal para o grave, tudo bem. Mas se ele disser que "Memória" é importante para um e "Cor do Olho" para o outro, algo está errado.
• O que eles fizeram: Eles olharam para vários modelos (diagnóstico vs. diagnóstico, e diagnóstico vs. previsão futura) e viram se os "culpados" principais eram os mesmos.
• O Resultado: Sim! Os principais culpados foram sempre os mesmos: testes cognitivos (como memória, orientação, julgamento) e atividades diárias (como pagar contas ou viajar). O computador foi consistente: ele sempre apontou para o que realmente importa na doença, não importa se era um caso leve ou grave.

C. O Teste da "Previsão vs. Realidade" (Transferência)

• A Analogia: Imagine que você usa as mesmas pistas para dizer "Quem é o suspeito" (Diagnóstico) e "Quem será o suspeito daqui a 4 anos" (Prognóstico). Se as pistas mudarem completamente, sua previsão é ruim.
• O que eles fizeram: Eles compararam o que o computador usou para diagnosticar o paciente hoje com o que usou para prever o estado do paciente no futuro.
• O Resultado: As pistas foram quase idênticas! O computador usou a mesma lógica para o presente e para o futuro. Isso é ótimo para os médicos, porque significa que eles podem confiar na mesma explicação para tomar decisões hoje e planejar tratamentos para o futuro.

3. O Que Eles Descobriram? (Os "Culpados" Reais)

Ao usar esse método rigoroso, eles confirmaram o que a medicina já suspeitava, mas agora com provas matemáticas de que o computador não está alucinando:

• Os principais fatores foram sempre testes de memória, orientação (saber onde está), julgamento e a capacidade de realizar tarefas diárias (como pagar contas).
• Fatores genéticos tiveram um papel menor, mas consistente.
• O computador foi estável: ele não inventou fatores aleatórios.

4. Por que isso é importante para você?

Imagine que você é um médico. Antes, você recebia uma IA dizendo: "Paciente X tem 90% de chance de ter Alzheimer". Você ficava na dúvida: "Será que é verdade? Será que a IA está errada?".
Com este novo método, a IA diz: "Paciente X tem 90% de chance. E eu sei disso porque a memória dele caiu muito e ele não consegue mais pagar as contas sozinho. E eu sei que essa é a razão certa porque, em milhares de outros casos, eu sempre usei essas mesmas pistas para acertar, seja para diagnosticar hoje ou prever o futuro."

Resumo Final

Este artigo não criou um novo remédio para o Alzheimer. Ele criou um selo de qualidade para as Inteligências Artificiais que ajudam a diagnosticá-lo.
Eles provaram que, quando usamos ferramentas certas para "traduzir" o pensamento do computador, as explicações são sólidas, consistentes e confiáveis. Isso é o primeiro passo para que os hospitais comecem a usar essas IAs com segurança, ajudando a salvar vidas e melhorar o cuidado com os pacientes.

Resumo técnico

1. Problema e Motivação

O diagnóstico e prognóstico da Doença de Alzheimer (DA) estão cada vez mais dependentes de modelos de Aprendizado de Máquina (ML). Embora esses modelos apresentem alta precisão, sua adoção clínica é limitada pela natureza de "caixa preta" dos algoritmos e pela falta de explicações confiáveis e consistentes.

• Limitação Atual: A maioria dos estudos utiliza SHAP (SHapley Additive exPlanations) para interpretar modelos, mas foca apenas em explicações isoladas para tarefas únicas.
• Falta de Robustez: Há pouca evidência sobre a estabilidade dessas explicações através de diferentes estágios da doença, arquiteturas de modelos ou objetivos preditivos (diagnóstico vs. prognóstico).
• Necessidade: É necessário um método sistemático para validar se as explicações são robustas, transferíveis e consistentes, permitindo que clínicos confiem nas previsões do modelo em diferentes cenários clínicos.

2. Metodologia

Os autores propõem um framework de explicabilidade multinível que quantifica a coerência, estabilidade e consistência das explicações, integrando AutoML e métricas de validação cruzada.

A. Dados e Pré-processamento

• Dataset: Utilizou-se o National Alzheimer's Coordinating Center Uniform Data Set (NACC-UDS), contendo dados longitudinais de 53.318 participantes (195.196 instâncias) com 1.024 variáveis (demográficas, médicas, neuropsicológicas e genéticas).
• Pipeline de Dados:
  • Remoção de features com >50% de valores faltantes.
  • Imputação de valores faltantes (mediana para contínuos, moda para categóricos).
  • Padronização (Scaling) de variáveis cognitivas e funcionais.
  • Codificação de variáveis categóricas (One-Hot Encoding para baixa cardinalidade, Frequency Encoding para alta).
  • Divisão dos Dados: Split 80-20 (treino/teste) realizado ao nível do sujeito (não da visita) para evitar vazamento de informação em dados longitudinais.

B. Modelagem (AutoML)

• Ferramenta: Utilizou-se a biblioteca PyCaret para automatizar a seleção de modelos e ajuste de hiperparâmetros.
• Tarefas Definidas:
  1. Diagnóstico: Classificação dos estágios atuais (NC - Controle Normal, MCI - Comprometimento Cognitivo Leve, DA).
  2. Prognóstico: Predição do estado cognitivo 4 anos após a visita inicial.
• Cenários: 4 cenários para cada tarefa (NC vs. AD, NC vs. MCI, MCI vs. AD, e Multiclasse NC vs. MCI vs. AD), totalizando 8 modelos otimizados.

C. Framework de Explicabilidade Multinível

O estudo introduz três níveis de análise de estabilidade para as explicações SHAP e Feature Importance (FI):

1. Coerência Intramodelo: Comparação entre a importância de features embutida no modelo (FI) e as explicações SHAP post-hoc.
2. Estabilidade Inter-cenário: Consistência das explicações entre diferentes estágios da doença (ex: NC vs. AD vs. MCI vs. AD) dentro da mesma tarefa.
3. Transferibilidade Inter-tarefa: Consistência das explicações entre o modelo de diagnóstico e o de prognóstico.

D. Métricas de Avaliação

Para quantificar a estabilidade, foram utilizadas:

• Correlação de Spearman e Kendall: Para medir o acordo na ordenação das features.
• Sobreposição Jaccard (J@10, J@20): Proporção de features compartilhadas nos rankings superiores.
• Consistência de Sinal: Porcentagem de features que mantêm a mesma direção de influência (positiva/negativa).
• Mudança de Magnitude (Mean Δ|SHAP|): Diferença no valor absoluto médio do SHAP entre tarefas.
• Razões de Contribuição por Domínio: Análise da importância relativa de grupos de features (Cognitivo/Funcional, Genético, Administrativo).

3. Resultados Principais

Desempenho dos Modelos

• Os modelos alcançaram alta precisão. O melhor cenário foi NC vs. AD no diagnóstico (XGBoost), com AUC de 0.998 e precisão de 0.986.
• No prognóstico, o cenário NC vs. AD (LightGBM) atingiu AUC de 0.976.
• Cenários envolvendo MCI foram mais desafiadores devido ao desbalanceamento de classes e sobreposição de sintomas.

Análise de Explicabilidade

1. Features Dominantes: Marcadores cognitivos e funcionais (especialmente MEMORY, JUDGMENT, ORIENT, PAYATTN do CDR e MMSE) dominaram as explicações SHAP em todos os modelos, tanto para diagnóstico quanto para prognóstico.
2. Coerência Intramodelo (Tabela 5): Houve uma correlação moderada a forte entre FI e SHAP (Spearman ρ entre 0.50 e 0.95). Modelos de prognóstico mostraram alinhamento mais forte (ρ até 0.95) do que os de diagnóstico.
3. Estabilidade Inter-cenário (Tabela 6):
   • Modelos de diagnóstico mostraram alta estabilidade entre estágios avançados (ex: NC vs. AD e MCI vs. AD tiveram ρ = 0.92).
   • Transições iniciais (ex: NC vs. AD ↔ NC vs. MCI) apresentaram menor estabilidade, indicando que os marcadores mudam conforme a progressão da doença.
4. Transferibilidade Diagnóstico-Prognóstico (Tabela 7):
   • Alta Consistência: A correlação SHAP-SHAP entre tarefas foi alta (ρ = 0.61 a 0.94).
   • Estabilidade de Sinal: 100% de consistência de sinal (todas as features compartilhadas mantiveram a mesma direção de influência).
   • Magnitude: A mudança na magnitude explicativa foi mínima (Mean Δ|SHAP| < 0.03).
   • Contribuição de Domínio: A importância relativa dos grupos de features (Cognitivo, Funcional, Genético) permaneceu estável, com apenas um leve aumento na relevância de features genéticas e administrativas no prognóstico.

4. Contribuições Chave

1. Framework Quantitativo de Explicabilidade: Propõe uma metodologia para tratar a explicabilidade não apenas como um elemento qualitativo, mas como uma propriedade mensurável (estabilidade, coerência, transferibilidade).
2. Validação de Robustez Clínica: Demonstra que as explicações SHAP para modelos de DA são robustas e consistentes através de diferentes estágios da doença e objetivos preditivos, validando o uso de AutoML em contextos clínicos.
3. Integração AutoML-XAI: Mostra como plataformas de baixo código (PyCaret) podem ser usadas para gerar modelos de alta performance com explicações validadas, reduzindo a barreira de entrada para especialistas clínicos.
4. Evidência de Marcadores Estáveis: Confirma que os marcadores cognitivos e funcionais são os principais impulsionadores tanto para identificar a doença quanto para prever sua progressão, reforçando a validade clínica das previsões do modelo.

5. Significado e Conclusão

O estudo conclui que as explicações baseadas em SHAP podem ser quantitativamente validadas quanto à sua robustez. O framework proposto oferece uma metodologia reprodutível para avaliar se as estruturas explicativas de um modelo de ML permanecem válidas ao longo do tempo e entre diferentes tarefas clínicas.

Isso é crucial para a confiança clínica, pois permite que médicos interpretem as previsões do modelo com a certeza de que os mesmos marcadores biológicos e cognitivos estão sendo utilizados de forma consistente, independentemente de o objetivo ser diagnosticar o estado atual ou prever o futuro. O trabalho sugere que, embora o prognóstico seja complexo, a estabilidade das explicações entre diagnóstico e prognóstico reflete a natureza autoregressiva da Doença de Alzheimer (o estado atual é o melhor preditor do futuro), validando o uso desses modelos para classificação de risco de curto prazo.

Limitações e Futuro: O estudo focou em dados tabulares clínicos. Trabalhos futuros devem estender este framework para dados multimodais (incluindo neuroimagem como MRI/PET) e realizar análises longitudinais de SHAP para capturar a evolução temporal da importância das features.