In defence of post-hoc explanations in medical AI

Resumo Técnico: Em Defesa das Explicações Post-hoc na IA Médica

Definição do Problema
O artigo aborda o "problema da caixa preta" na Inteligência Artificial (IA) médica, um desafio duplo que compreende a opacidade técnica e o risco ético. Tecnicamente, sistemas avançados como redes neurais profundas exibem opacidade de treinamento (incapacidade de rastrear como os parâmetros foram induzidos a partir dos dados) e opacidade de inferência (incapacidade de discernir por que uma entrada específica gera uma saída específica devido à complexidade do modelo que excede os limites cognitivos humanos). Eticamente, essa opacidade cria um problema de justificativa (clínicos não podem aceitar racionalmente resultados que não compreendem), um problema de antidiscriminação (incapacidade de detectar viés algorítmico ou raciocínio espúrio) e um problema de reconciliação (incapacidade de resolver divergências entre clínicos e a IA).

Embora a IA Explicável (XAI) tenha promovido as explicações post-hoc (modelos que aproximam o raciocínio de uma caixa preta com base em registros de entrada/saída) como uma solução, críticas recentes argumentam que essas explicações são "ouro de tolo". Os críticos sustentam que, como as explicações post-hoc são meras aproximações e não replicações fiéis do raciocínio subjacente, elas falham em melhorar a compreensão do usuário, não reduzem riscos de segurança e podem até exacerbar problemas como o viés de automação e a dependência excessiva.

Metodologia e Estrutura Teórica
Este artigo emprega uma metodologia conceitual e argumentativa em vez de apresentar novos dados empíricos. Ele sintetiza a literatura existente sobre XAI, ética médica e interação humano-IA para construir uma defesa das explicações post-hoc. Os autores:

1. Definem o cenário: Distinguem entre abordagens específicas do modelo (ex: mapas de saliência) e agnósticas ao modelo (ex: LIME), bem como explicações globais e locais.
2. Analisam críticas: Revisam sistematicamente os argumentos contra as explicações post-hoc, focando em sua falta de "alta fidelidade" (fidelidade ao modelo original) e nos achados empíricos que sugerem que elas não melhoram a confiança ou o desempenho.
3. Constroem um contra-argumento: Reenquadram a utilidade das explicações traçando paralelos com o raciocínio de especialistas humanos e a modelagem científica, argumentando que as explicações não precisam ser réplicas literais e mecanísticas para serem funcionalmente úteis.
4. Propõem estratégias de mitigação: Identificam métodos técnicos e não técnicos para mitigar os riscos associados às explicações post-hoc (ex: imposição cognitiva, agregação de múltiplas explicações).

Principais Contribuições e Argumentos
A principal contribuição do artigo é uma defesa matizada das explicações post-hoc contra a crítica de "alta fidelidade", argumentando que seu valor reside na compreensão funcional e não na replicação mecanística.

• Utilidade Funcional sobre Fidelidade: Os autores argumentam que as explicações post-hoc melhoram a compreensão funcional dos sistemas de caixa preta. Citando Páez (2019), eles postulam que, tal como os modelos científicos ou experimentos mentais, as explicações podem ser representações "literalmente falsas" do mecanismo subjacente e, ainda assim, fornecer compreensão genuína.
• Melhoria no Desempenho Clínico-IA: Contrariando as alegações de que as explicações são inúteis, o artigo cita evidências empíricas (Senoner et al., 2024) mostrando que equipes de radiologistas e IA usando máscaras de saliência alcançaram uma precisão 4,7 pontos percentuais maior na identificação de lesões pulmonares. Crucialmente, as explicações ajudaram os clínicos a distinguir entre previsões corretas e incorretas da IA, levando a uma melhor adesão aos conselhos precisos da IA e a uma interrupção mais frequente de conselhos imprecisos.
• Capacidade Preditiva: O artigo destaca que as explicações post-hoc (ex: Wang e Yin, 2021) aumentam a capacidade do usuário de prever como a saída de um sistema mudará em resposta a variações na entrada. Essa capacidade preditiva constitui uma forma de compreensão causal essencial para a tomada de decisão clínica.
• Justificativa e Contexto Institucional: Os autores argumentam que, embora as explicações post-hoc sozinhas possam não justificar a saída de uma IA, elas servem como evidência que, quando combinadas com explicações institucionais (detalhes sobre decisões de design, esforços de mitigação de viés e confiabilidade do desenvolvedor), permitem que os clínicos justifiquem suas decisões informadas pela IA.
• Mitigação de Riscos: O artigo reconhece riscos como o viés de automação e correlações espúrias, mas argumenta que estes não são exclusivos da IA (as explicações humanas também sofrem de viés). Propõe estratégias de mitigação específicas:
  • Técnicas: Uso de métodos de treinamento local robustos (ex: "Just Train Twice") e agregação de múltiplas explicações para reduzir sinais enganosos.
  • Design: Implementação de "imposição cognitiva" (ex: atrasar recomendações) e "IA de fricção" para interromper o raciocínio heurístico e incentivar o pensamento analítico.

Resultados e Alegações
O artigo não apresenta novos resultados experimentais, mas sintetiza achados existentes para apoiar sua tese. Os "resultados" da análise são as seguintes conclusões:

1. As explicações post-hoc não precisam replicar os processos exatos de raciocínio dos sistemas de caixa preta para serem benéficas.
2. Elas podem melhorar a precisão das equipes clínico-IA e auxiliar na justificativa de decisões, desde que utilizadas em conjunto com outras estratégias.
3. O "problema da caixa preta" não é um problema singular resolvível por uma "solução mágica" (uma única solução técnica). É um problema "complexo" (wicked problem) que exige uma abordagem multifacetada envolvendo ferramentas técnicas (como explicações post-hoc e interpretabilidade mecanística) e estratégias não técnicas (treinamento, supervisão e vigilância pós-mercado).

Significância
O artigo afirma ter significância ao corrigir o "profundo grau de pessimismo" que atualmente prevalece no campo em relação às explicações post-hoc. Ao rejeitar a tese da "solução mágica", os autores defendem uma perspectiva equilibrada: embora as explicações post-hoc não possam "resolver" o problema da caixa preta de uma só vez, elas permanecem uma estratégia útil e necessária para mitigar riscos na IA médica. O artigo enfatiza que descartar essas ferramentas devido à sua falta de fidelidade perfeita ignora sua capacidade comprovada de aumentar a compreensão funcional e o desempenho das equipes. Em última análise, a solução para o problema da caixa preta é enquadrada como um esforço sociotécnico que requer usuários qualificados e supervisão eficaz, juntamente com avanços tecnológicos.