Resumo Técnico: Estabilidade de Explicação da Adaptação em Tempo de Teste na Patologia Computacional

1. Declaração do Problema

Modelos de aprendizado profundo em patologia computacional são altamente sensíveis a mudanças de domínio decorrentes de variações em protocolos de coloração, hardware de escaneamento e coortes de pacientes. Embora a Adaptação em Tempo de Teste (TTA - Test-Time Adaptation) ofereça um mecanismo prático para atualizar modelos em dados de alvo não rotulados sem retreinamento, os paradigmas atuais de avaliação concentram-se quase exclusivamente na acurácia do domínio de alvo.

O artigo identifica uma lacuna crítica: a implantação clínica exige não apenas previsões precisas, mas também explicações confiáveis (ex: mapas de saliência indicando para onde o modelo está olhando). Permanece desconhecido se os métodos de TTA, que modificam os parâmetros do modelo online, alteram inadvertidamente essas explicações. Um método pode manter alta acurácia enquanto desloca a atenção para regiões de tecido não diagnósticas ou, inversamente, preservar as explicações enquanto degrada a calibração. Os autores postulam que a estabilidade da explicação é um eixo de confiabilidade distinto que atualmente não é medido nos benchmarks de TTA.

2. Metodologia

Configuração Experimental

Os autores conduziram um benchmark de larga escala envolvendo 2.958 execuções de adaptação através de:

• Datasets: Dois benchmarks de histopatologia com mudanças naturais de domínio:
  • Camelyon17: Detecção de tumor em linfonodos em múltiplos hospitais (binário).
  • NCT-CRC-HE: Classificação de tecido colorretal de nove classes.
• Arquiteturas: Cinco modelos abrangendo redes convolucionais, transformers e modelos de fundação:
  • Convolucional: ResNet-50, EfficientNet-B3.
  • Transformers: Swin-T, ViT-B/16.
  • Modelo de Fundação: Phikon-v2.
• Métodos de TTA: 17 métodos distintos agrupados por mecanismo:
  • Normalização: BN-Adapt.
  • Entropia: Tent, EATA, DeYO, ROID, COME, REM.
  • Nitidez (Sharpness): SAR, SoTTA.
  • Contínuo: CoTTA, RoTTA, RMemSafe.
  • Protótipo/Sem gradiente/Adaptador: T3A, LAME, SICL, ViDA.
• Operadores de Atribuição: Quatro famílias de métodos de explicabilidade:
  • Integrated Gradients (primário, agnóstico à arquitetura).
  • Grad-CAM, Grad-CAM++ e Attention Rollout.

O Índice de Estabilidade de Explicação (ESI)

Para quantificar o movimento das explicações do modelo, os autores introduziram o Índice de Estabilidade de Explicação (ESI).

• Processo: Mapas de saliência ($S_{pre}$ e $S_{post}$) são normalizados via min-max, redimensionados para uma grade de $224 \times 224$ e convertidos em distribuições de probabilidade.
• Métricas: O ESI agrega seis medidas:
  • Similaridade: Similaridade Estrutural (SSIM), Similaridade de Cosseno, Correlação de Posto de Spearman Reescalonada, IoU de Região de Interesse dos Top-20%.
  • Divergência: Divergência KL Simétrica, Distância de Wasserstein-1 (EMD).
• Cálculo: O índice é uma média ponderada igualmente entre esses seis termos, limitada entre 0 e 1. Um ESI de 1,0 indica uma explicação inalterada.
• Avaliação: O estudo mede três efeitos acoplados: mudança na explicação (ESI), mudança na discriminação ($\Delta$AUC) e mudança na calibração ($\Delta$ECE).

3. Resultados Principais

A. Hierarquia Sistemática de Estabilidade

Os métodos de TTA exibem uma diferença nítida e sistemática na forma como perturbam as explicações:

• Métodos de Backbone Congelado: Métodos que não atualizam o backbone (ex: No-TTA, LAME, T3A, SICL) preservam as explicações quase perfeitamente, com ESI $\approx$ 1,000.
• Métodos Contínuos: Métodos que acumulam atualizações ao longo do tempo (ex: CoTTA, RoTTA) causam o maior desvio, com as menores classificações médias em estabilidade.
• Métodos de Normalização/Entropia: BN-Adapt e Tent mostram valores de ESI agrupados baixos (0,786 e 0,849), mas sua disrupção está fortemente concentrada em modelos convolucionais.

B. Dependência de Arquitetura e Mudança (Shift)

• Sensibilidade Convolucional: Redes convolucionais (ResNet-50, EfficientNet-B3) são substancialmente mais sensíveis ao desvio induzido pela adaptação do que backbones de transformer ou de modelos de fundação. A EfficientNet-B3 apresentou o menor ESI médio (0,806).
• Robustez de Transformers: Swin-T, ViT-B/16 e Phikon-v2 mantiveram valores de ESI próximos a 1,0. Isso é atribuído ao protocolo de adaptação para esses modelos, que congela o backbone e atualiza apenas os blocos de normalização e a cabeça linear.
• Dificuldade da Tarefa: A tarefa mais difícil de múltiplas classes, NCT-CRC-HE, induziu um desvio maior do que a tarefa binária Camelyon17 para métodos contínuos.

C. Desacoplamento de Estabilidade e Qualidade

A descoberta mais significativa é que a estabilidade da explicação é amplamente desacoplada da qualidade da adaptação:

• Falhas Silenciosas: O estudo identificou 54 "falhas de calibração silenciosas" onde a acurácia permaneceu estável ($|\Delta$AUC| < 0,02), mas a calibração degradou ($\Delta$ECE > 0,05). 94% dessas falhas ocorreram em métodos (LAME, T3A) que preservaram as explicações perfeitamente (ESI = 1,0).
• Correlação Fraca: A correlação parcial de Spearman entre ESI e $\Delta$ECE (controlando por $\Delta$AUC) foi fraca ($\rho = +0,089$).
• Conclusão: Um método pode preservar as explicações enquanto degrada a acurácia/calibração, ou mover as explicações enquanto mantém a acurácia. Portanto, o ESI não pode ser inferido da acurácia ou da calibração isoladamente.

D. Vetores de Desvio (Drivers of Drift)

• Força da Adaptação: Aumentar o número de etapas de adaptação (ex: em Tent) diminuiu monotonicamente o ESI.
• Tamanho do Lote (Batch Size): Alterar o tamanho do lote teve efeito negligenciável no ESI.
• Mecanismo: O desvio é impulsionado pelo quanto da hierarquia de características é modificada. Métodos contínuos e atualizações de estatísticas de BN em redes convolucionais afetam as características de forma ampla, enquanto abordagens de backbone congelado não o fazem.

4. Contribuições

1. Formalização da Estabilidade de Explicação: O artigo define a estabilidade da explicação como um eixo de confiabilidade distinto para TTA e introduz o ESI, um índice limitado que combina métricas de similaridade e divergência.
2. Benchmark de Larga Escala: Os autores fornecem uma avaliação abrangente de 17 métodos de TTA em 5 arquiteturas e 2 datasets, gerando 2.958 medições pareadas de acurácia, calibração e estabilidade de explicação.
3. Descobertas Empíricas: O estudo estabelece que o desvio da explicação depende do método, da arquitetura e da mudança de domínio. Crucialmente, demonstra que a estabilidade da explicação não substitui o monitoramento de calibração ou acurácia, pois "falhas silenciosas" podem ocorrer onde as explicações parecem estáveis enquanto a confiabilidade do modelo degrada.

5. Significância e Alegações

O artigo argumenta que a estabilidade da explicação é um eixo de confiabilidade distinto para TTA em patologia computacional.

• Relevância Clínica: Em fluxos de trabalho clínicos, os patologistas dependem de explicações para verificar se os modelos atendem a regiões de tecido plausíveis. Se a TTA deslocar essas atribuições sem alterar a acurácia, o modelo pode deixar de ser "clinicamente auditável", mesmo sendo numericamente robusto.
• Implicações de Implantação: Os autores recomendam que a avaliação de TTA em imagens médicas deve reportar discriminação, calibração e estabilidade de explicação conjuntamente. Confiar apenas na acurácia ou em métricas exclusivas de explicação pode omitir modos críticos de falha.
• Direção Futura: As descobertas sugerem que futuros métodos de TTA devem considerar a regularização do movimento da explicação ou restringir as atualizações a subconjuntos menores de parâmetros para evitar o deslocamento desnecessário da atenção, particularmente em backbones convolucionais.

Os autores afirmam explicitamente que o ESI é uma medida de integridade, não um certificado de segurança. Um ESI alto indica que o racional visual é estável, mas não garante que a previsão seja correta ou bem calibrada. Inversamente, um ESI baixo indica um desvio no racional, o que justifica uma inspeção mais próxima, mas não implica necessariamente uma pior previsão.