Calibrated Selective Prediction Using Deep Ensembles for ROI-Based Thyroid Nodule Ultrasound Classification Under Dataset Shift: A Retrospective Evaluation

Resumo Técnico: Predição Seletiva Calibrada Usando Deep Ensembles para Classificação de Nódulos de Tireoide Baseada em ROI sob Desvio de Dados (Dataset Shift)

Definição do Problema
Embora modelos de aprendizado profundo tenham demonstrado alta discriminação na classificação de nódulos de tireoide a partir de imagens de ultrassom, a alta acurácia por si só é insuficiente para o suporte à decisão clínica. Em cenários do mundo real, os modelos podem produzir previsões confiantes, porém não confiáveis, para casos ambíguos, imagens de diferentes protocolos de aquisição ou distribuições de dados que diferem do conjunto de treinamento (desvio de dados ou dataset shift). Um sistema clínico seguro deve não apenas classificar imagens, mas também identificar casos em que as sugestões de triagem automatizadas são pouco confiáveis e encaminhá-los a especialistas humanos. Isso requer uma calibração de probabilidade robusta, estimativa de incerteza e um mecanismo de predição seletiva (classificação com uma opção de rejeição) que opere de forma conservadora sob desvio de dados.

Metodologia
O estudo propõe um framework de deep-ensemble determinístico, de cinco membros e calibrado, para a classificação de região de interesse (ROI) de nódulos de tireoide com assistência de anotação. A metodologia envolve os seguintes componentes principais:

• Conjunto de Dados e Arquitetura: O framework utiliza o conjunto de dados TN5000 (5.000 imagens, enriquecidas com malignidade) para desenvolvimento e validação cruzada interna, e o conjunto de dados TN3K (614 imagens, distribuição de classes e estilo de anotação diferentes) para avaliação externa sob desvio de dados. Uma arquitetura baseada em ConvNeXt-Tiny aumentada com um módulo de atenção Squeeze-and-Excitation (SE) foi selecionada como a arquitetura ideal.
• Ensemble e Calibração: São gerados cinco membros de ensemble treinados independentemente (usando diferentes sementes aleatórias). Para garantir estimativas de probabilidade confiáveis, o escalonamento vetorial por membro é aplicado post-hoc usando um subconjunto de calibração dedicado (val_calib) dentro de cada dobra (fold) de validação cruzada.
• Estimativa de Incerteza: A Informação Mútua (MI) é empregada como a principal medida operacional de discordância do ensemble. A MI quantifica a divergência entre a entropia da previsão média do ensemble e a média da entropia dos membros individuais. Uma MI alta indica alta incerteza epistêmica (discordância entre os modelos).
• Política de Triagem Seletiva: Uma política retrospectiva rigorosa de três níveis é aplicada:
  1. Portão de Incerteza: Imagens com MI acima de um limiar específico da dobra são imediatamente atribuídas à revisão do radiologista.
  2. Portões de Exclusão/Inclusão: Entre as imagens de baixa MI, as probabilidades de malignidade calibradas são avaliadas contra limiares específicos da dobra.
     • Probabilidades abaixo de um limiar de exclusão conservador ($\tau_{low}$) recebem uma sugestão de "Não-FNA" (Punção Aspirativa por Agulha Fina) baseada na imagem.
     • Probabilidades acima de um limiar de inclusão conservador ($\tau_{high}$) recebem uma recomendação de "FNA".
     • Probabilidades que caem na "zona cinzenta" intermediária são atribuídas à revisão do radiologista.
• Seleção de Limiares: Os limiares são derivados exclusivamente do subconjunto de validação (val_es) de cada dobra para atender a critérios rigorosos de segurança: um Valor Preditivo Negativo (VPN) de "Não-FNA" $\ge$ 98% e um Valor Preditivo Positivo (VPP) de "recomendação de FNA" $\ge$ 95%.
• Avaliação Externa: Um modelo e uma política congelados derivados do TN5000 são aplicados sem alterações ao TN3K para avaliar a transportabilidade da calibração, do comportamento da incerteza e dos limiares de decisão sob desvio de dados.

Principais Contribuições

1. Desenvolvimento de Framework: Os autores desenvolveram um framework de deep-ensemble determinístico e calibrado usando ConvNeXt-Tiny com atenção SE para classificação de ROI de nódulos de tireoide.
2. Adiamento Baseado em Incerteza: O estudo avalia a Informação Mútua como uma pontuação específica de discordância do ensemble para identificar imagens inadequadas para triagem automatizada, distinguindo isso da ponderação de incerteza durante o treinamento.
3. Política de Triagem Conservadora: Uma política de três níveis é proposta, combinando o adiamento baseado em incerteza com vias de exclusão e inclusão baseadas em probabilidade, garantindo que sugestões automatizadas sejam emitidas apenas para casos de baixa discordância e probabilidades extremas.
4. Análise de Transportabilidade Externa: O estudo avalia rigorosamente uma política congelada derivada do TN5000 em uma coorte independente TN3K, analisando explicitamente como a discriminação, a calibração e a validade dos limiares degradam sob desvio de dados.

Resultados

• Desempenho Interno (TN5000): O ensemble calibrado alcançou uma AUC-ROC fora da dobra (out-of-fold) agrupada de 0,9395 e uma Precisão Média (AP) de 0,9715. A calibração foi excelente, com um Erro de Calibração Esperado (ECE) de 0,0088 e um escore de Brier de 0,0813.
• Predição Seletiva Interna: Com uma taxa de retenção nominal de MI de 50%, o sistema atribuiu 7,2% dos casos para "Não-FNA", 39,9% para "recomendação de FNA" e 52,9% para revisão do radiologista. Isso alcançou um VPN de "Não-FNA" de 98,3% e uma captura de malignidade de 99,83%.
• Desempenho Externo (TN3K): Sob desvio de dados, a discriminação diminuiu (AUC-ROC 0,7870, AP 0,7254) e a calibração deteriorou-se significativamente (ECE 0,1899, escore de Brier 0,2281).
• Resultados de Triagem Externa: A aplicação da política congelada do TN5000 ao TN3K resultou em 83,7% dos casos sendo atribuídos à revisão do radiologista, 15,3% recebendo uma recomendação de FNA e apenas 1,0% recebendo uma sugestão de "Não-FNA". Embora nenhuma imagem maligna tenha sido incorretamente atribuída à via de "Não-FNA" (100% de VPN observado), isso ocorreu devido à alta taxa de adiamento, e não por uma capacidade robusta de exclusão. O VPP da recomendação de FNA caiu para 76,6%, falhando em atingir a meta de 95% estabelecida durante a seleção de limiares interna.

Significância e Alegações
O artigo afirma que o framework de deep-ensemble calibrado proposto demonstra com sucesso forte discriminação e calibração interna, apoiando um framework de predição seletiva conservadora onde as sugestões automatizadas são retidas para casos de alta discordância. No entanto, os autores declaram explicitamente que a avaliação externa no TN3K revela redução na discriminação, calibração degradada e transportabilidade limitada dos limiares operacionais sob desvio de dados.

Consequentemente, os autores concluem que esses achados não apoiam a implantação clínica direta ou alegações de redução real de biópsias sem calibração local, validação de limiares e avaliação clínica prospectiva. Em vez disso, o estudo posiciona a predição seletiva como um mecanismo cauteloso para identificar imagens que são inadequadas para triagem autônoma, enfatizando que sugestões baseadas em imagens automatizadas devem ser emitidas apenas para casos de baixa discordância, enquanto previsões potencialmente não confiáveis devem ser encaminhadas para revisão especializada. O trabalho destaca a necessidade de validação local antes de aplicar tais modelos em novos ambientes clínicos.