Confidence Matters: Uncertainty Quantification and Precision Assessment of Deep Learning-based CMR Biomarker Estimates Using Scan-rescan Data

Resumo Técnico: Confiança Importa – Quantificação de Incerteza e Avaliação de Precisão de Estimativas de Biomarcadores CMR Baseadas em Deep Learning

1. Problema e Motivação

A análise de ressonância magnética cardiovascular (CMR) de cine (vídeo) é crucial para estimar biomarcadores funcionais (como fração de ejeção e massa ventricular) e avaliar a saúde do paciente. Embora métodos de Deep Learning (DL) tenham automatizado essa tarefa com alta precisão em termos de acurácia (ex: pontuação Dice), a avaliação tradicional foca quase exclusivamente em estimativas pontuais (um único valor por exame).

O problema central identificado é que, em análises longitudinais (acompanhamento temporal), a precisão e a reprodutibilidade são tão importantes quanto a acurácia. Métodos atuais ignoram a incerteza inerente às previsões (seja epistêmica, do modelo, ou aleatória, dos dados). Estudos anteriores avaliaram a precisão apenas comparando valores pontuais de exames "scan-rescan" (repetição do exame), negligenciando que as estimativas reais são distribuições probabilísticas. A falta de métricas que quantifiquem a sobreposição e a similaridade estatística dessas distribuições limita a confiança clínica na detecção de mudanças reais no estado do paciente versus ruído do modelo.

2. Metodologia

Os autores propuseram um pipeline que integra técnicas de estimativa de incerteza a um modelo de segmentação de estado da arte para gerar distribuições de biomarcadores em vez de valores únicos.

• Modelo Base: Utilizou-se uma arquitetura nnU-Net treinada para segmentar o pool sanguíneo do ventrículo esquerdo (LVBP), ventrículo direito (RVBP) e miocárdio do LV em imagens SAX (eixo curto). O modelo foi reconfigurado para incluir camadas de dropout para permitir a estimativa de incerteza.
• Técnicas de Incerteza Aplicadas:
  1. Deep Ensemble (DE): Utilização de cinco modelos treinados via validação cruzada (5-fold) para gerar previsões distintas.
  2. Test-Time Augmentation (TTA): Aplicação de transformações espaciais e de intensidade (rotação, cropping, desfoque gaussiano, escalamento) durante a inferência para capturar incerteza aleatória.
  3. Monte Carlo Dropout (MC Dropout): Manutenção das camadas de dropout ativas durante a inferência para gerar múltiplas previsões estocásticas.
• Estimativa de Biomarcadores: A partir das segmentações, calcularam-se volumes (EDV/ESV) e derivaram-se biomarcadores: Fração de Ejeção do VE (LVEF), Fração de Ejeção do VD (RVEF) e Massa do VE (LVM).
• Conjuntos de Dados: Dois conjuntos de dados externos scan-rescan foram utilizados para validação:
  • Roca-HC: 184 exames de 92 voluntários saudáveis.
  • Strain-8: 40 exames de 20 voluntários saudáveis.
• Novas Métricas de Precisão: Para além das métricas tradicionais (média de diferenças, Coeficiente de Variação - CoV), foram propostas três métricas baseadas em distribuição:
  1. CPP (Confidence Precision Percentage): Percentagem de valores do exame B que caem dentro dos limites de confiança de 95% do exame A (e vice-versa).
  2. CIoU (Confidence Intersection over Union): Sobreposição percentual entre os intervalos de confiança dos dois exames.
  3. PDP (Precision Difference Percentage): Percentagem de casos onde testes estatísticos (t-test ou Wilcoxon) rejeitam a hipótese nula, indicando que as distribuições dos dois exames são significativamente diferentes.

3. Contribuições Principais

1. Mudança de Paradigma: Proposta de utilizar técnicas de DL baseadas em incerteza para estimar distribuições de biomarcadores a partir de dados de cine CMR, em vez de apenas estimativas pontuais.
2. Validação Externa: Avaliação rigorosa dessas técnicas em dois conjuntos de dados scan-rescan externos, focando na consistência entre exames repetidos.
3. Novas Métricas de Avaliação: Introdução de métricas (CPP, CIoU, PDP) especificamente desenhadas para quantificar a precisão e a concordância de distribuições em contextos de incerteza, superando as limitações das métricas de erro médio tradicionais.

4. Resultados

• Acurácia de Segmentação: O modelo atingiu alta acurácia geral, com uma pontuação Dice média de 87% em todas as estruturas.
• Métricas Tradicionais (Enganosas): As métricas clássicas (diferença média e CoV) sugeriram bom desempenho e alta precisão para todos os métodos, indicando baixa variabilidade entre os exames scan-rescan.
• Métricas Baseadas em Distribuição (Reveladoras):
  • Inconsistência nas Distribuições: As novas métricas revelaram uma precisão muito menor do que as métricas pontuais sugeriam.
  • Desempenho do MC Dropout: Este método apresentou o pior desempenho nas métricas de distribuição. Menos de 45% dos casos tiveram sobreposição de intervalos de confiança (CIoU) superior a 50%.
  • Diferenças Estatísticas Significativas: Testes de similaridade mostraram que, em mais de 65% dos casos (e até 95% para LVM com MC Dropout), as distribuições dos biomarcadores do exame e do reexame eram estatisticamente diferentes.
  • Desempenho do TTA e DE: O TTA e o Ensemble Deep mostraram maior concordância nos intervalos de confiança, sugerindo que a incerteza aleatória (capturada pelo TTA) é um fator crítico para a precisão em dados scan-rescan.

5. Significância e Conclusão

O estudo demonstra que métricas de desempenho tradicionais (baseadas em valores pontuais) podem mascarar a baixa precisão e a falta de reprodutibilidade de modelos de DL em cenários clínicos reais de acompanhamento longitudinal.

• Conclusão Principal: Embora um modelo possa parecer preciso ao comparar médias, a análise das distribuições revela que a incerteza é alta e que os intervalos de confiança de exames repetidos frequentemente não se sobrepõem.
• Implicação Clínica: A implementação de técnicas que aumentem a repetibilidade e o uso de métricas baseadas em distribuição (como as propostas) são essenciais para garantir que mudanças nos biomarcadores reflitam alterações reais na fisiologia do paciente e não apenas ruído do modelo ou variabilidade de aquisição.
• Futuro: O trabalho destaca a necessidade de desenvolver e adotar métricas mais representativas para avaliar a concordância scan-rescan, garantindo maior confiança na aplicação clínica de biomarcadores derivados de IA.