Ranking XAI Methods for Head and Neck Cancer Outcome Prediction

Este estudo apresenta a primeira avaliação abrangente e ranqueamento de 13 métodos de IA explicável (XAI) para previsão de resultados em câncer de cabeça e pescoço, demonstrando que os métodos Integrated Gradients e DeepLIFT se destacam consistentemente em métricas de fidelidade, complexidade e plausibilidade ao serem testados em dados do desafio HECKTOR.

O essencial

Imagine que você é um médico tentando prever se um paciente com câncer de cabeça e pescoço vai se recuperar ou se a doença vai voltar. Hoje em dia, usamos computadores superinteligentes (Inteligência Artificial) para ajudar nessa tarefa, analisando exames de imagem como se fossem mapas do tesouro.

Mas aqui está o problema: esses computadores são como caixas-pretas. Eles dizem "o paciente tem 80% de chance de cura", mas não explicam por que chegaram a essa conclusão. Para um médico confiar nisso, ele precisa saber: "O computador está olhando para o tumor certo ou está apenas adivinhando olhando para um osso?"

Este artigo é como um grande teste de direção para os "óculos de raio-X" que tentam abrir essa caixa-preta.

O Cenário: A Corrida dos "Óculos Mágicos"

Os pesquisadores pegaram 13 tipos diferentes de "óculos mágicos" (chamados de métodos de IA Explicável, ou XAI). Cada um desses óculos tem uma maneira diferente de tentar mostrar o que a IA está pensando.

Eles colocaram esses 13 óculos a trabalhar em um grande banco de dados de pacientes (o desafio HECKTOR) e os avaliaram em quatro categorias principais, que podemos comparar assim:

1. Fidelidade (A Verdade): O óculo mostra o que a IA realmente está pensando, ou está inventando uma história bonita? É como perguntar: "Se eu tirar a lente deste óculo, a IA ainda diria a mesma coisa?"
2. Robustez (A Estabilidade): Se eu balançar um pouco a imagem ou adicionar um pouco de "ruído" (como estática na TV), o óculo continua apontando para o tumor ou começa a apontar para o teto?
3. Complexidade (A Simplicidade): O óculo aponta para o tumor inteiro e nada mais, ou ele aponta para o tumor, para o nariz, para o fundo da sala e para a lua? Um bom óculo deve ser preciso e não fazer um "mar de pontos".
4. Plausibilidade (O Sentido Médico): O que o óculo mostra faz sentido para um médico? Ele aponta para o tumor ou para um osso que não tem nada a ver com a doença?

O Grande Resultado: Quem Ganhou?

Depois de testar tudo, os pesquisadores fizeram um ranking. Foi como uma corrida onde cada óculo tentou ser o melhor em cada categoria.

• Os Vencedores: Dois métodos se destacaram como os "campeões": Integrated Gradients (IG) e DeepLIFT (DL).
  • A Analogia: Imagine que a IA é um detetive. A maioria dos óculos diz: "O suspeito estava perto do crime". Mas o IG e o DL dizem: "O suspeito estava exatamente aqui, e se ele não estivesse aqui, o crime não teria acontecido". Eles conseguiram mostrar com precisão onde o tumor estava (Fidelidade) e isso fazia todo sentido para os médicos (Plausibilidade).
• Os "Quase Lá": Alguns óculos foram ótimos em não se confundir com ruídos (Robustez), mas falharam em mostrar o tumor com precisão.
• Os Perdedores: Alguns métodos, especialmente os que funcionam "perturbando" a imagem (como LIME ou OC), foram como crianças brincando de esconde-esconde: às vezes achavam o tumor, às vezes apontavam para o nada ou para partes do corpo que não tinham nada a ver com o câncer.

Por que isso é importante?

Antes deste estudo, os médicos escolhiam esses "óculos" baseados apenas no que parecia bonito na tela. Era como escolher um carro apenas pela cor, sem testar se ele freia bem.

Este trabalho mostrou que não existe um único óculo perfeito para tudo.

• Se você quer que a IA seja estável contra ruídos, use um tipo.
• Se você quer que ela seja fiel ao raciocínio interno do modelo, use outro (como o IG ou DL).

A Conclusão em Uma Frase

Os pesquisadores descobriram que os métodos Integrated Gradients e DeepLIFT são os melhores "tradutores" para ajudar os médicos a entenderem o que a IA está vendo nos exames de câncer. Eles são precisos, fazem sentido clínico e ajudam a construir confiança, mas ainda precisam de mais testes com médicos reais para garantir que são seguros para decidir tratamentos de vida ou morte.

Em resumo: A IA é poderosa, mas só será útil se soubermos exatamente como ela pensa. E este estudo nos deu o manual de instruções para escolher as melhores lentes para ver esse pensamento.

Resumo técnico

Título: Classificação de Métodos XAI para Previsão de Resultados em Câncer de Cabeça e Pescoço

Autores: Baoqiang Ma, Djennifer K. Madzia-Madzou, Rosa C.J. Kraaijveld, Jin Ouyang (Instituto de Ciências da Imagem, Centro Médico Universitário de Utrecht).

---

1. Problema e Motivação

O câncer de cabeça e pescoço (HNC) apresenta uma variabilidade significativa nos resultados dos pacientes, mesmo com tratamentos semelhantes (radioterapia, quimioterapia e cirurgia). Modelos de Inteligência Artificial (IA), especialmente baseados em Deep Learning e dados PET/CT, têm sido desenvolvidos para prever resultados (como a sobrevida livre de recorrência - RFS) e auxiliar na seleção de tratamentos personalizados.

No entanto, a interpretabilidade desses modelos permanece um obstáculo crítico para sua adoção clínica. Estudos anteriores frequentemente selecionavam técnicas de IA Explicável (XAI) de forma empírica, sem uma avaliação quantitativa rigorosa. Além disso, muitas abordagens focavam apenas na "plausibilidade visual" (alinhamento com a intuição humana), negligenciando outras dimensões essenciais como a fidedignidade (quão bem a explicação reflete o raciocínio real do modelo), robustez e complexidade.

2. Metodologia

Conjunto de Dados e Modelo Preditivo

• Dados: Utilizou-se o conjunto de dados de treinamento do desafio HECKTOR 2025, contendo 651 pacientes com imagens CT, PET e máscaras de Volume Tumoral Bruto (GTV).
• Pré-processamento: As imagens foram recortadas no GTV (192×192×192 mm³), reamostradas e normalizadas.
• Modelo: Foi empregada uma arquitetura DenseNet121 3D para prever a sobrevida livre de recorrência (RFS), treinada com a função de perda de verossimilhança parcial negativa de Cox. O modelo alcançou um índice C de 0,66 no conjunto de teste.

Métodos XAI Avaliados

O estudo aplicou 13 métodos de XAI baseados em mapas de saliência, divididos em três categorias:

1. Baseados em Perturbação: (Ex: OC, LIME) – Avaliam a importância de características ao mascarar ou alterar regiões da imagem.
2. Baseados em Gradiente: (Ex: Gradiente de Visualização (VG), Gradientes Integrados (IG), DeepLIFT (DL)) – Calculam atribuições via retropropagação de gradientes.
3. Baseados em CAM (Class Activation Mapping): (Ex: Grad-CAM, Score-CAM, CAM+) – Utilizam mapas de ativação das camadas convolucionais.

Métricas de Avaliação

Diferentemente de trabalhos anteriores, este estudo avaliou os métodos através de 24 métricas cobrindo quatro aspectos fundamentais:

1. Fidedignidade (Faithfulness): 10 métricas (acordo com o raciocínio real do modelo).
2. Robustez: 5 métricas (estabilidade sob pequenas perturbações ou ruídos).
3. Complexidade: 3 métricas (concisão e esparsidade das regiões destacadas).
4. Plausibilidade: 6 métricas (alinhamento com anatomia clinicamente relevante, uma contribuição chave deste trabalho).

Análise de Classificação

Adotou-se uma abordagem de classificação (ranking) inspirada no benchmark LATEC. Em vez de comparar valores brutos das métricas (que possuem escalas diferentes), os métodos foram classificados de acordo com seu desempenho médio no conjunto de teste. Calcularam-se a média, mediana e desvio padrão desses rankings para cada aspecto.

3. Resultados Principais

• Variação Significativa: Houve grandes variações no desempenho dos métodos XAI entre as diferentes métricas, confirmando que não existe um método "melhor" universalmente.
• Desempenho por Categoria:
  • Fidedignidade: Os métodos Score-CAM (SC), Gradientes Integrados (IG) e DeepLIFT (DL) ocuparam as três primeiras posições.
  • Robustez: Expected Gradients (EG), VG e Grad-CAM (GC) apresentaram o melhor desempenho.
  • Complexidade e Plausibilidade: IxG, IG e DL novamente se destacaram no top 3.
• Métodos Destaque (IG e DL):
  • IG (Integrated Gradients) e DL (DeepLIFT) foram identificados como os métodos mais equilibrados e superiores, alcançando consistentemente o top 3 em fidedignidade, complexidade e plausibilidade.
  • Visualmente, os mapas de saliência gerados por IG e DL mostraram o melhor alinhamento espacial com as máscaras de tumor (GTV), evitando destacar estruturas não relevantes (como ossos), ao contrário de outros métodos que geraram mapas mais difusos ou incorretos.
• Desempenho Fraco: Métodos baseados em perturbação (OC, LIME, KS) falharam em localizar consistentemente o tumor, provavelmente devido à sensibilidade ao ruído de amostragem e hiperparâmetros. Métodos baseados em CAM (GC, SC, C+) tenderam a produzir mapas mais globais e difusos.

4. Contribuições Chave

1. Avaliação Abrangente: Primeiro estudo a avaliar e classificar sistematicamente 13 métodos XAI para previsão de resultados em HNC, cobrindo 24 métricas.
2. Introdução da Plausibilidade Clínica: Diferente do benchmark LATEC (focado em fidedignidade, robustez e complexidade), este trabalho incluiu explicitamente a plausibilidade clínica (alinhamento anatômico), crucial para a aceitação por radiologistas.
3. Descoberta de Trade-offs: Demonstrou que métodos com alta plausibilidade (como VG) podem ter baixa fidedignidade, enquanto IG e DL conseguem equilibrar ambos os aspectos.
4. Benchmark Reprodutível: O código e configurações foram disponibilizados publicamente para facilitar a reprodutibilidade e extensões futuras.

5. Significado e Conclusão

O estudo conclui que a seleção de métodos XAI deve ser específica para a tarefa e o modelo utilizados. Para a previsão de resultados em câncer de cabeça e pescoço, Integrated Gradients (IG) e DeepLIFT (DL) emergem como as escolhas preferenciais devido à sua capacidade de fornecer explicações que são simultaneamente fiéis ao modelo e clinicamente plausíveis.

A pesquisa destaca que a simples visualização de mapas de calor não é suficiente; uma avaliação quantitativa rigorosa é necessária para garantir a confiança na IA clínica. O trabalho sugere que futuras investigações devem focar na validação com especialistas humanos (loop humano-no-comando) e na adaptação desses métodos para arquiteturas mais complexas, como Transformers, além de otimizar o tempo de computação das métricas de fidedignidade e robustez.