Challenges in Explaining Pretrained Clinical Text Classifiers

Resumo Técnico: Desafios na Explicação de Classificadores de Texto Clínico Pré-treinados

Declaração do Problema
A integração de modelos de aprendizado profundo em domínios de saúde de alto risco, particularmente para a análise de Registros Eletrônicos de Saúde (RES) não estruturados, é impedida pela falta de transparência. Embora os modelos alcancem forte desempenho preditivo, sua natureza de "caixa preta" limita a confiança e a responsabilidade. Técnicas existentes de Inteligência Artificial Explicável (XAI), como LIME (Explicações Locais Interpretáveis Agnósticas ao Modelo) e SHAP, foram projetadas principalmente para dados tabulares ou de imagem. Quando aplicadas a narrativas clínicas longas, ruidosas e heterogêneas, esses métodos post-hoc frequentemente falham em fornecer insights clinicamente significativos. O artigo identifica uma lacuna crítica: estratégias atuais de explicação baseadas em tokens e perturbação frequentemente destacam tokens triviais, ignoram conceitos clínicos de múltiplas palavras e produzem atribuições instáveis ou enganosas que não se alinham com o raciocínio de especialistas.

Metodologia
Os autores conduziram uma avaliação empírica direcionada utilizando um conjunto de dados do mundo real composto por 467 resumos de alta hospitalar desidentificados do banco de dados MIMIC-IV. O conjunto de dados consiste em pacientes adultos diagnosticados com cálculos renais (código ICD-10 N20.0), rotulados para uma tarefa de classificação binária: prever se o tempo de permanência hospitalar (LOS) excedeu a mediana da coorte.

1. Treinamento do Modelo: Um modelo ModernBERT adaptado ao domínio foi ajustado finamente no conjunto de dados usando o framework HuggingFace Transformers. As entradas foram truncadas para 1024 tokens, e o modelo foi otimizado usando perda de entropia cruzada.
2. Geração de Explicações: Os autores empregaram o LIME para gerar pontuações de importância ao nível de token para as previsões do modelo.
3. Demonstração em Três Partes: Para expor as limitações do LIME neste contexto, os autores realizaram três análises específicas:
   • Análise de Sensibilidade: Um experimento baseado em exclusão onde os tokens de maior classificação identificados pelo LIME foram removidos progressivamente para observar o impacto na confiança do modelo.
   • Análise de Frequência de Tokens: Uma agregação dos 10 tokens atribuídos de maior classificação em 20 resumos de alta hospitalar diversos para identificar a prevalência de tokens não informativos (por exemplo, palavras de parada, símbolos).
   • Perturbação Fora da Variedade (Off-Manifold): Um experimento sintético onde uma nota clinicamente plausível foi perturbada mascarando aleatoriamente tokens para criar entradas sintaticamente quebradas ou semanticamente incoerentes, testando se o modelo e o explicador ainda produziriam resultados de alta confiança e interpretáveis.

Principais Contribuições e Resultados
O estudo demonstra empiricamente seis desafios centrais inerentes à aplicação de explicadores post-hoc padrão a texto clínico:

1. Influência Desproporcional dos Topos de Tokens: A análise de sensibilidade revelou que a confiança do modelo cai drasticamente apenas quando um ou dois tokens principais são removidos. Exclusões subsequentes de tokens de classificação inferior (mesmo aqueles com pontuações LIME não negligenciáveis) tiveram impacto mínimo. Isso sugere que listas longas de tokens "importantes" fornecidas por explicadores frequentemente levam à superinterpretação de características marginais.
2. Prevalência de Tokens Não Informativos: A análise de frequência mostrou que o LIME frequentemente atribui pontuações de atribuição altas a palavras de parada, artefatos de formatação (por exemplo, sublinhados) e palavras funcionais (por exemplo, "não", "e") em vez de termos clinicamente significativos. Embora a filtragem possa remover algum ruído, ela corre o risco de descartar frases médicas dependentes de contexto.
3. Falha em Capturar Conceitos de Múltiplas Palavras: A atribuição ao nível de token falha em capturar conceitos médicos que abrangem múltiplas palavras (por exemplo, "doença renal crônica"), isolando, em vez disso, palavras individuais que carecem de significado semântico isoladamente.
4. Vulnerabilidade a Perturbações Fora da Variedade: O experimento de perturbação revelou que o modelo manteve alta confiança (superior a 0,75) para 17,2% das entradas sintaticamente quebradas e semanticamente incoerentes. Isso indica que métodos baseados em perturbação podem gerar explicações para entradas que estão muito fora da variedade dos dados de treinamento, distorcendo o processo de explicação.
5. Diluição e Instabilidade: A dependência da amostragem aleatória no LIME leva à instabilidade, onde execuções repetidas produzem atribuições diferentes. Além disso, efeitos de média em muitas amostras perturbadas podem obscurecer padrões localizados, produzindo explicações difusas.

Significado e Alegações
O artigo argumenta que as limitações observadas não são artefatos isolados, mas decorrem de falhas estruturais em explicadores baseados em tokens e perturbação quando aplicados a narrativas clínicas complexas. Os autores afirmam que, para que a XAI seja viável na saúde, as estratégias de explicação devem ir além de tokens isolados para incorporar:

• Coerência Linguística: Métodos que respeitam expressões de múltiplas palavras e entidades médicas.
• Fundamentação Semântica: Explicações que se alinham ao raciocínio clínico em vez da frequência estatística de tokens.
• Robustez: Estratégias que são estáveis entre execuções e resistentes ao ruído linguístico.

Os autores concluem que a construção de ferramentas de interpretabilidade clinicamente úteis requer não apenas avanços técnicos no manuseio de unidades textuais mais longas, mas também avaliação centrada no ser humano envolvendo especialistas médicos para garantir que as explicações se alinhem às necessidades de suporte à decisão. Eles enfatizam que esses desafios se estendem além da medicina para outros domínios textuais de alto risco, como processamento de linguagem natural (NLP) legal e científico.