Cross-cohort evaluation of thyroid ultrasound deep learning across different outcome definitions: a duplicate-controlled benchmark

Resumo Técnico: Avaliação Trans-coorte de Aprendizado Profundo para Ultrassonografia de Tireoide entre Diferentes Definições de Desfecho

Problema
O desempenho de modelos de inteligência artificial (IA) para interpretação de ultrassonografia de tireoide é altamente dependente das características da coorte e do desfecho específico utilizado na avaliação. Um desafio crítico no campo é a intercambialidade de diferentes desfechos diagnósticos: a patologia pós-operatória (um desfecho diagnóstico definitivo) versus categorias de risco atribuídas por radiologistas, como o Sistema de Relato e Dados de Imagem de Tireoide do American College of Radiologist (TI-RADS) (um escore de suspeita orientado ao manejo). Esses desfechos representam estágios distintos da via diagnóstica e não são intercambiáveis. Além disso, modelos de aprendizado profundo treinados em um conjunto de dados frequentemente falham em generalizar para coortes independentes devido a mudanças na população, equipamentos, protocolos de aquisição e definições de rótulos. Este estudo aborda a necessidade de testar o desempenho (benchmarking) de classificadores de ultrassonografia de tireoide, separando explicitamente a avaliação contra desfechos de malignidade do acordo com categorias de risco derivadas do TI-RADS, tudo isso enquanto controla o vazamento de dados (data leakage) ao nível da imagem.

Metodologia
O estudo empregou um pipeline de benchmarking controlado por duplicatas, utilizando um ambiente de análise fixo (Python 3.10, PyTorch 2.5.1).

• Conjuntos de Dados:

  • Arquivo de Desenvolvimento: Uma liberação pública de dados do Mendeley Data contendo 387 imagens de ultrassom em modo B e 1.332 blocos de citologia por aspiração com agulha fina (FNA) derivados de 385 casos de origem. Os rótulos foram binários (Carcinoma Papilar de Tireoide [PTC] vs. Benigno) baseados no diagnóstico pós-operatório. Identificadores ao nível do paciente não estavam disponíveis, impedindo divisões verificadas ao nível do paciente.
  • Coortes Externas: Dois modelos congelados foram avaliados sem retreinamento ou ajuste de limiar em:
    1. TN3K: Um subconjunto de 1.228 imagens com rótulos de benigno/maligno fornecidos pelo próprio conjunto de dados.
    2. DDTI: 637 imagens avaliadas contra um desfecho binário derivado de categorias de TI-RADS de radiologistas (agrupando baixa suspeição TI-RADS 2–3 vs. alta suspeição TI-RADS 4–5).

• Pré-processamento de Dados e Controle de Vazamento:

  • Controle de Duplicatas: As imagens foram agrupadas usando hashes MD5 (duplicatas exatas) e hashes perceptuais (imagens quase idênticas). Esses grupos foram mantidos dentro de partições únicas (treino, validação, teste) para evitar o vazamento de dados ao nível da imagem.
  • Pré-processamento: As imagens foram redimensionadas para 224×224 pixels. Um experimento exploratório testou o recorte automático de Região de Interesse (ROI) baseado em textura para suprimir artefatos de interface periférica.

• Arquitetura do Modelo e Treinamento:

  • Cinco arquiteturas de backbone foram treinadas: ConvNeXt-Small, EfficientNet-B3, Swin-Tiny, ResNet-50 e DenseNet-121.
  • Os modelos foram inicializados com pesos do ImageNet e ajustados (fine-tuned) usando perda de entropia cruzada binária ponderada por classe com otimização AdamW.
  • Um ensemble foi construído pela média das probabilidades sigmoides de ConvNeXt-Small, EfficientNet-B3, Swin-Tiny e ResNet-50.
  • A calibração foi avaliada usando escalonamento de temperatura (temperature scaling), escore de Brier e Erro de Calibração Esperado (ECE).

• Estratégia de Avaliação:

  • O desempenho foi medido usando AUROC, AUPRC, acurácia, sensibilidade, especificidade e escore F1.
  • Intervalos de confiança foram gerados via reamostragem bootstrap não paramétrica (2.000 réplicas).
  • As modalidades de citologia e ultrassom foram analisadas como distribuições de imagem separadas e não pareadas; nenhuma acurácia intra-paciente foi estimada.

Principais Contribuições

1. Separação da Proveniência do Desfecho: O estudo distingue explicitamente a avaliação da capacidade de um modelo de prever malignidade (contra rótulos de patologia) do seu acordo com a estratificação de risco radiológica (TI-RADS).
2. Benchmarking Controlado por Duplicatas: Implementação de hashing exato e perceptual para evitar o vazamento de dados ao nível da imagem na ausência de identificadores ao nível do paciente, um problema comum em arquivos de imagens médicas públicos.
3. Avaliação de Modelo Congelado em Coorte Cruzada: Avaliação de modelos congelados em duas coortes distintas (TN3K e DDTI) sem retreinamento, destacando como o desempenho varia conforme a aquisição e a definição do desfecho.
4. Contraste Descritivo de Modalidade: Uma comparação não pareada de ultrassom versus citologia dentro do arquivo de desenvolvimento, esclarecendo que tais comparações descrevem distribuições de imagem em vez de estabelecer superioridade clínica.

Resultados

• Desempenho Interno (Arquivo de Desenvolvimento):

  • Citologia: O modelo ConvNeXt-Small alcançou uma AUROC de 0,988 (95% CI 0,976–0,998), e o ensemble atingiu 0,986.
  • Ultrassom: O modelo EfficientNet-B3 alcançou uma AUROC de 0,745 (95% CI 0,612–0,865), e o ensemble atingiu 0,733.
  • Recorte de ROI: O recorte automático de ROI melhorou a AUROC do ensemble de ultrassom de 0,745 para 0,817.
  • Calibração: O escalonamento de temperatura melhorou a confiabilidade da probabilidade (ECE reduziu de 0,032 para 0,014) sem alterar métricas baseadas em ranking.

• Avaliação de Coorte Externa (Modelos Congelados):

  • TN3K (Rótulos de Malignidade): O ensemble de ultrassom alcançou uma AUROC de 0,825, e a ResNet-50 atingiu 0,888. Estes resultados indicam boa discriminação contra os rótulos de benigno/maligno distribuídos no conjunto de dados.
  • DDTI (Desfecho TI-RADS): Contra o desfecho derivado do TI-RADS, o ensemble alcançou uma AUROC de 0,477 e a ResNet-50 alcançou 0,437. Isso indica pouco ou nenhum acordo com a categorização TI-RADS.
  • Interpretação: Os autores observam que o contraste entre os resultados de TN3K e DDTI não pode ser atribuído apenas à definição do rótulo, pois a coorte, o equipamento, a aquisição e o espectro de doenças também mudaram simultaneamente.

• Comparação de Modalidade: Uma análise bootstrap descritiva e não pareada mostrou uma diferença de AUROC de citologia menos ultrassom de 0,247 (95% CI 0,120–0,384). Os autores enfatizam que isso não prova que a citologia é clinicamente superior, pois os conjuntos de imagens não foram pareados por paciente.

Significância e Alegações
O artigo afirma que modelos congelados de ultrassonografia de tireoide apresentam desempenhos diferentes entre coortes que diferem em aquisição e definição de desfecho. O forte contraste entre o alto desempenho no TN3K (rótulos de malignidade) e o desempenho próximo ao acaso no DDTI (rótulos TI-RADS) ressalta que esses desfechos não são intercambiáveis.

O estudo apoia três implicações primárias para pesquisas futuras:

1. Relato Explícito: A proveniência do rótulo (ex: diagnóstico pós-operatório vs. TI-RADS) deve ser explicitamente relatada.
2. Interpretação Cautelosa: Contrastes de desempenho entre coortes devem ser interpretados com cautela, pois refletem uma confluência de mudanças de distribuição e definições de desfecho, em vez de um único fator causal.
3. Validação ao Nível do Paciente: Estudos futuros exigem avaliação externa ao nível do paciente contra um padrão de referência clinicamente apropriado para garantir a transportabilidade.

Os autores concluem modestamente que suas descobertas apoiam a necessidade de divisões verificadas ao nível do paciente e descrições consistentes do padrão de referência, em vez de reivindicar uma solução definitiva para o problema da generalização na IA de tireoide. O estudo não valida o diagnóstico de malignidade no DDTI, pois o desfecho TI-RADS não é um padrão de referência de malignidade.