Class Visualizations and Activation Atlases for Enhancing Interpretability in Deep Learning-Based Computational Pathology

Este artigo avalia sistematicamente visualizações de classe e atlas de ativação em modelos baseados em transformadores para patologia computacional, demonstrando que, embora essas técnicas revelem estruturas morfológicas coerentes em níveis de tecido e grupos amplos de câncer, sua eficácia diminui em subclasses sobrepostas, refletindo a complexidade intrínseca das representações aprendidas e a variabilidade entre especialistas.

O essencial

Imagine que você tem um super-herói digital chamado "IA" que é especialista em ler lâminas de microscópio de tecidos humanos (patologia). Esse herói consegue olhar para uma imagem de um tumor e dizer: "Isso é câncer de cólon" ou "Isso é um tecido saudável" com uma precisão impressionante.

O problema é que esse herói é um gênio silencioso. Ele faz o trabalho perfeitamente, mas ninguém sabe como ele pensa. Se você perguntar: "Por que você disse que é câncer?", ele não consegue explicar com palavras. Ele apenas "sabe". Isso é perigoso, porque os médicos precisam confiar nele para salvar vidas.

Este artigo é como uma investigação para abrir a mente desse super-herói. Os pesquisadores criaram um método para "traduzir" o pensamento da IA em imagens que os olhos humanos conseguem entender.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Grande Desafio: A Caixa Preta

A IA moderna (especialmente os modelos chamados "Transformers") é como uma caixa preta. Ela recebe uma imagem e dá um resultado, mas o que acontece lá dentro é um labirinto de cálculos que os humanos não conseguem ver.

• O que os pesquisadores fizeram: Eles decidiram não apenas olhar para a resposta final, mas sim para o "rascunho" que a IA faz antes de decidir. Eles queriam ver os "pensamentos" da máquina.

2. As Duas Ferramentas de Investigação

Para entender como a IA vê o mundo, eles usaram duas técnicas principais:

A. Visualização de Classe (CV) = "O Retrato Falado"

Imagine que você pede para a IA: "Desenhe o que você imagina que é um tecido adiposo (gordura)" ou "Desenhe um tumor".

• A IA tenta criar uma imagem do zero que maximize a chance de ser reconhecida como aquela coisa.
• O resultado: A IA gera imagens sintéticas. Para o tecido adiposo, ela desenha bolhas de gordura vazias. Para o tumor, ela desenha células bagunçadas e densas.
• A descoberta: A IA consegue "desenhar" o que é óbvio (gordura, músculo) muito bem. Mas, quando você pede para ela desenhar dois tipos de câncer muito parecidos (como câncer de cólon vs. câncer de reto), as imagens ficam confusas e parecidas. Isso mostra que, para a IA, essas doenças são difíceis de separar, assim como são difíceis para os humanos.

B. Atlas de Ativação (AA) = "O Mapa do Tesouro"

Agora, imagine que a IA tem um mapa gigante onde cada ponto representa uma ideia ou conceito que ela aprendeu.

• Os pesquisadores criaram um "mapa" (o Atlas) onde agruparam ideias parecidas.
• No topo do mapa, as ideias são grandes e claras (ex: "Tecido Saudável" vs. "Tecido Doente").
• Quanto mais você entra no mapa (profundidade da rede), mais detalhado fica. Você vê subgrupos, como "Câncer de Pulmão Tipo A" e "Câncer de Pulmão Tipo B".
• O que eles viram: O mapa mostra que a IA organiza o conhecimento de forma lógica. Onde os conceitos são claros, o mapa é limpo. Onde os conceitos são confusos (doenças muito parecidas), o mapa fica cheio de manchas e sobreposições.

3. A Prova de Fogo: O Teste dos Especialistas

Para saber se essas imagens geradas pela IA faziam sentido, eles chamaram quatro patologistas reais (médicos especialistas em tecidos).

• Eles mostraram as imagens geradas pela IA e perguntaram: "O que é isso?".
• O resultado surpreendente:
  • Quando as imagens eram de coisas óbvias (gordura, músculo), os médicos concordavam entre si e com a IA.
  • Quando as imagens eram de doenças complexas e parecidas, os próprios médicos também discordavam entre si.
  • A lição: A confusão da IA não era um "bug" ou um erro. A IA estava apenas refletindo a realidade complexa da medicina. Às vezes, até os melhores especialistas têm dificuldade em distinguir certas doenças apenas olhando. A IA está sendo honesta sobre essa dificuldade.

4. Por que isso é importante?

Antes, a gente usava a IA como uma "caixa preta" que só dava respostas. Agora, com essas visualizações:

1. Confiança: Os médicos podem ver o que a IA está olhando. Se a IA diz "é câncer" e a imagem gerada mostra células cancerígenas reais, o médico confia mais.
2. Segurança: Se a IA gera uma imagem estranha que nenhum médico reconhece, é um sinal de alerta de que algo está errado ou que a IA está "alucinando".
3. Colaboração: Em vez de a IA substituir o médico, ela se torna uma ferramenta que mostra seus "rascunhos", permitindo que o médico valide o raciocínio.

Resumo em uma frase

Este artigo criou um "espelho" para a inteligência artificial na medicina, permitindo que os médicos vejam como a máquina pensa, descobrindo que, quando a máquina fica confusa, ela está apenas espelhando a complexidade real e difícil da própria medicina humana.

Resumo técnico

Resumo Técnico: Visualizações de Classe e Atlas de Ativação para Interpretabilidade em Patologia Computacional

1. Problema e Motivação

A adoção rápida de modelos baseados em Transformers (como Vision Transformers - ViTs) na patologia computacional permitiu a previsão precisa de biomarcadores moleculares e clínicos diretamente de imagens de lâminas inteiras (WSIs) coradas com Hematoxilina e Eosina (H&E). No entanto, as abordagens de explicabilidade (XAI) não acompanharam o aumento da complexidade dos modelos.

• Limitações Atuais: Os métodos existentes focam principalmente em explicações no nível de instância (ex: mapas de saliência, atribuição baseada em gradiente), que localizam regiões de interesse em imagens específicas, mas não caracterizam sistematicamente quais características morfológicas definem classes inteiras ou como os conceitos são organizados no espaço de características interno do modelo.
• Lacuna: Métodos de visualização de características, como Visualizações de Classe (CVs) e Atlas de Ativação (AAs), amplamente utilizados em visão computacional geral, não foram sistematicamente avaliados para modelos foundation baseados em Transformers em histopatologia. É incerto se esses modelos organizam conceitos morfológicos em representações estruturadas que refletem as diferenças patológicas reais e são identificáveis por patologistas.

2. Metodologia

Os autores desenvolveram um framework de visualização de características no nível de conceito e o aplicaram a um modelo foundation baseado em ViT (modelo UNI) treinado em dados de patologia.

• Conjuntos de Dados:
  • NCT-CRC-HE-100K: 100.000 patches de tecido colorado com H&E, anotados em 9 classes de tecido colorretal (ex: adiposo, linfócitos, tumor, estroma).
  • TCGA: Mais de 1,6 milhão de patches de 11 tipos de câncer sólido (ex: adenocarcinoma de cólon, mama, pulmão, melanoma), representando diferentes níveis de granularidade e sobreposição morfológica.
• Técnicas de Visualização:
  • Visualização de Classe (CV): Gera imagens sintéticas que maximizam a ativação para uma classe específica (logit), revelando padrões prototípicos associados a essa classe.
  • Atlas de Ativação (AA): Organiza as ativações internas em um espaço de baixa dimensão (usando t-SNE), particiona esse espaço em uma grade e reconstrói imagens representativas para cada célula da grade via inversão de características (feature inversion). Isso permite analisar a organização de conceitos e a transição entre eles.
• Avaliação e Métricas:
  • Avaliação Humana: Quatro patologistas (incluindo um certificado) anotaram independentemente imagens reais e geradas (CVs e AAs) para quantificar a concordância interobservador (usando Fleiss' κ, Cohen's κ e Krippendorff's α).
  • Métricas Quantitativas: Foram usadas métricas de similaridade perceptual (LPIPS, DreamSim), distância de Mahalanobis e atribuição baseada em gradiente para verificar se métricas automáticas poderiam substituir a avaliação humana.
  • Análise de Camadas: As visualizações foram geradas em diferentes camadas do Transformer (de camadas iniciais a profundas) para estudar a evolução da representação.

3. Contribuições Principais

1. Framework de Visualização para Transformers em Patologia: Adaptação e avaliação sistemática de CVs e AAs para modelos baseados em ViT no domínio médico, preenchendo uma lacuna crítica na interpretabilidade.
2. Mapeamento da Estrutura de Representação: Demonstração de que os modelos foundation organizam informações morfológicas em "manifolds" estruturados, onde a separabilidade das classes reflete a complexidade patológica intrínseca.
3. Correlação com a Ambiguidade Humana: Estabelecimento de que a ambiguidade nas representações do modelo (sobreposição no atlas) correlaciona-se diretamente com a baixa concordância entre patologistas em casos clinicamente difíceis, sugerindo que o modelo aprende a complexidade real da doença, e não apenas ruído.
4. Análise Comparativa de Métricas: Avaliação rigorosa de métricas de similaridade e atribuição, mostrando que nenhuma métrica automática substitui totalmente o julgamento de especialistas, especialmente em tarefas de alta granularidade.

4. Resultados Chave

• Visualizações de Classe (CVs):
  • Preservaram a reconhecibilidade para tecidos morfologicamente distintos (ex: tecido adiposo, linfócitos).
  • Mostraram separabilidade reduzida e alta variabilidade entre anotadores para subclasses de câncer sobrepostas (ex: adenocarcinoma de cólon vs. reto), indicando que o modelo captura a dificuldade inerente da distinção.
  • A concordância entre patologistas caiu significativamente para CVs em comparação com imagens reais (ex: κ de 0,75 para imagens reais vs. 0,31 para CVs no NCT).
• Atlas de Ativação (AAs):
  • Revelaram organização dependente da camada: camadas iniciais codificam morfologia de baixo nível, enquanto camadas intermediárias (ex: camada 14) exibem conceitos coerentes e bem separados. Camadas profundas tornam-se mais especializadas, mas também mais fragmentadas.
  • Granularidade: A concordância foi alta para agrupamentos grosseiros de câncer (κ = 0,82), mas caiu drasticamente para subclasses (κ = 0,11), espelhando a dificuldade diagnóstica humana.
  • A separabilidade do atlas rastreou a concordância dos especialistas em imagens reais, confirmando que a ambiguidade representacional reflete a complexidade patológica.
• Métricas Quantitativas:
  • Atribuições baseadas em gradiente aproximaram a variabilidade entre patologistas em cenários de baixa complexidade.
  • Métricas perceptuais (LPIPS, DreamSim) mostraram alinhamento limitado e dependência do extrator de características.
  • A Distância de Mahalanobis falhou consistentemente em capturar a estrutura semântica, provavelmente devido a violações de suposições gaussianas em espaços de alta dimensão.

5. Significado e Conclusão

O estudo demonstra que a visualização de características no nível de conceito é uma ferramenta poderosa para interrogar representações aprendidas por modelos de IA em patologia.

• Validação de Confiabilidade: O fato de o modelo exibir ambiguidade onde os humanos também têm ambiguidade sugere que o modelo está aprendendo a estrutura patológica real, o que é crucial para a confiança na implantação clínica.
• Limites da Separação: O framework identifica os limites de separabilidade entre classes, ajudando a definir onde a IA pode ser confiável e onde a intervenção humana é essencial.
• Futuro: O trabalho aponta para a necessidade de desenvolver métricas de similaridade específicas para patologia e de expandir a análise para contextos espaciais em nível de lâmina inteira (WSI).

Em suma, este trabalho avança a interpretabilidade além da explicação de previsões individuais, fornecendo uma estrutura para a análise sistemática da estrutura de representação interna, facilitando uma interação mais informada entre humanos e IA na patologia computacional.