Resumo Técnico: Cethraian-Shift

Definição do Problema

Grandes conjuntos de dados de radiografias de tórax públicas, como o NIH ChestX-ray14 e o VinDr-CXR, facilitam o desenvolvimento reprodutível de modelos, mas diferem significativamente em populações de pacientes, vias de aquisição, fontes de rotulagem e densidades de anotação. Embora a validação interna seja o padrão, ela frequentemente falha em expor mudanças na discriminação, calibração de probabilidade, sensibilidade da política de rótulos e estabilidade de localização pós-hoc que ocorrem quando os modelos são avaliados em diferentes conjuntos de dados ou sob diferentes definições de alvo. A literatura existente sugere que o desempenho do classificador pode mudar materialmente fora do ambiente de desenvolvimento, contudo, poucos estudos isolam essas variáveis usando um protocolo de avaliação estritamente congelado que separa o treinamento do modelo do teste externo e da interpretação.

Metodologia

O estudo, intitulado Cethraian-Shift, emprega um protocolo de "avaliação congelada" para auditar uma família fixa de classificadores de raio-X de tórax multilabel. A metodologia central envolve treinar, congelar e, em seguida, avaliar modelos sem modificações adicionais através de distintos conjuntos de dados e políticas de rótulos.

1. Arquitetura do Modelo e Treinamento

• Backbone: Três classificadores DenseNet-121 independentes foram inicializados com pesos do ImageNet (DenseNet121_Weights.IMAGENET1K_V1).
• Dados de Treinamento: Os modelos foram treinados exclusivamente na partição de desenvolvimento do NIH ChestX-ray14 (73.549 imagens).
• Seeds: Três sementes aleatórias distintas (42, 1337 e 2026) foram utilizadas para gerar três checkpoints separados. Nenhuma semente foi excluída.
• Classes: Seis achados foram visados: Cardiomegalia, Derrame pleural, Pneumotórax, Atelectasia, Consolidação e Espessamento pleural.
• Protocolo de Treinamento: Perda de entropia cruzada binária não ponderada, otimizador AdamW e parada precoce (early stopping) baseada na macro AUROC de validação. Nenhuma ponderação de classe, perda focal ou sobreamostragem foi aplicada.
• Reprodutibilidade: Algoritmos determinísticos, estados aleatórios fixos e configurações de hardware específicas (NVIDIA RTX 4080 SUPER) foram impostos.

2. Conjuntos de Dados e Políticas de Avaliação

Os checkpoints congelados foram avaliados em dois conjuntos de dados distintos sob restrições específicas:

• NIH Official Test: A partição de teste retida do NIH ChestX-ray14 (25.596 imagens).
• VinDr-CXR: A partição de treinamento de 15.000 imagens do VinDr-CXR.
• Políticas de Rótulos (VinDr): Para isolar o efeito das definições de alvo, os mesmos logits do modelo foram avaliados contra duas políticas derivadas de leitores:
  • Majority (Maioria): Um rótulo positivo requer o acordo de >50% dos três radiologistas disponíveis (pelo menos 2).
  • Threshold-One (Limiar de Um): Um rótulo positivo requer o acordo de pelo menos um radiologista.
• Calibração: Um escalar de temperatura único por semente foi ajustado nos dados de validação do NIH apenas. Esta temperatura foi aplicada a todas as avaliações subsequentes (NIH test e VinDr) sem novo ajuste.

3. Dimensões de Análise

O estudo avaliou seis dimensões técnicas distintas:

1. Discriminação: Medida via macro AUROC e Precisão Média (AP).
2. Calibração: Avaliada usando escore de Brier, Log-Verossimilhança Negativa (NLL) e Erro de Calibração Esperado (ECE).
3. Sensibilidade da Política de Rótulos: Quantificada comparando as métricas entre as políticas Majority e Threshold-One no VinDr.
4. Variação entre Seeds: Analisou o desacordo de predição e a variância de probabilidade entre as três sementes.
5. Sobreposição de Localização: Mapas Grad-CAM++ foram gerados a partir de network.features.denseblock4 e comparados com as caixas delimitadoras (bounding boxes) do VinDr usando o "pointing game" e métricas de energia dentro da caixa (energy-inside-box).
6. Estabilidade de Explicação: Correlação de Pearson pareada e IoU de Região Superior (Top-Region IoU) foram calculadas entre mapas gerados por diferentes sementes para a mesma imagem.

Principais Resultados

Discriminação e Desempenho

• NIH Official Test: Macro AUROC foi 0,798986 ± 0,002181; Macro AP foi 0,307838 ± 0,004391.
• VinDr-CXR (Majority): A macro AUROC aumentou para 0,871625 ± 0,015777, enquanto a Macro AP caiu para 0,279830 ± 0,011922.
• VinDr-CXR (Threshold-One): A macro AUROC foi 0,843146 ± 0,014760; Macro AP foi 0,317946 ± 0,013857.
• Observação: A divergência entre as tendências de AUROC e AP entre as coortes indica que a discriminação de ranking e o comportamento de precisão-revocação respondem de forma distinta à prevalência da coorte e à composição de casos.

Sensibilidade da Política de Rótulos

A mudança da política de alvo de Majority para Threshold-One no VinDr afetou 1.809 imagens e adicionou 2.374 alvos de imagem-classe positivos. A maior mudança ocorreu em Espessamento pleural (a prevalência aumentou de 0,059 para 0,132). Essas mudanças métricas refletem a sensibilidade da definição do alvo, e não mudanças nos logits de saída subjacentes do modelo.

Transferência de Calibração

O escalonamento de temperatura ajustado na validação do NIH melhorou a calibração no conjunto de teste do NIH (reduzindo o ECE médio de 0,0287 para 0,0197). No entanto, essa melhoria não se generalizou uniformemente:

• VinDr Majority: O ECE piorou ligeiramente (0,0292 bruto → 0,0318 calibrado).
• VinDr Threshold-One: O ECE mostrou melhoria insignificante (0,0448 bruto → 0,0446 calibrado).
  Isso demonstra que a calibração ajustada na validação não garante melhor desempenho sob desvios de conjunto de dados ou de alvo.

Localização e Estabilidade

• Sobreposição de Localização: Pneumotórax apresentou a maior pontuação de pointing-game (0,500), enquanto o Espessamento pleural apresentou a menor (0,046).
• Estabilidade entre Seeds: Cardiomegalia exibiu a maior correlação de mapa entre as sementes (0,919), enquanto a Atelectasia mostrou a menor (0,550).
• Auditoria de Atlas: Um atlas determinístico de 182 casos de falha foi selecionado; 83 foram renderizados, enquanto 99 permaneceram indisponíveis devido a mapas de localização ausentes, destacando limitações na reprodutibilidade da visualização pós-hoc.

Significância e Alegações

O artigo posiciona o Cethraian-Shift não como um avanço arquitetônico, mas como uma auditoria procedural da confiabilidade do modelo. Suas principais contribuições são:

1. Desacoplamento de Dimensões: O estudo demonstra que discriminação, calibração, sensibilidade da política de rótulos, variação entre seeds e estabilidade de explicação comportam-se como dimensões técnicas distintas que não podem ser resumidas por uma única métrica.
2. Rigor do Protocolo Congelado: Ao travar o modelo, o pré-processamento e as políticas de avaliação antes dos testes, o estudo isola os efeitos do desvio de dados e da definição de rótulos dos artefatos de treinamento do modelo.
3. Transparência de Reprodutibilidade: O trabalho fornece uma trilha de auditoria completa, incluindo resultados específicos por seed, seleção de atlas determinística e o relato explícito de dados indisponíveis (ex: os 99 registros de atlas não renderizados).
4. Limitações da Explicação Pós-Hoc: Os resultados reforçam que mapas Grad-CAM++ estáveis não implicam correção clínica ou raciocínio causal.

Conclusões Modestas

O autor afirma explicitamente que estes resultados retrospectivos não estabelecem utilidade clínica, raciocínio causal ou prontidão para implantação. O estudo não reivindica superioridade sobre outras arquiteturas ou modelos. Em vez disso, serve como uma auditoria técnica que destaca que:

• O desempenho em um conjunto de dados não pode ser assumido como inalterado ao ser transferido para outro.
• Estratégias de calibração ajustadas em dados internos podem falhar ou degradar sob desvios externos.
• A estabilidade da explicação varia significamente por patologia e seed, e a estabilidade não é um proxy para fidelidade (faithfulness).

O trabalho conclui que tais auditorias rigorosas e multidimensionais são necessárias para compreender o comportamento de modelos de imagem médica antes de qualquer consideração de implantação clínica.