SHIFT-QA: target-calibrated accept-or-review quality assurance for cardiac MRI segmentation under pathology shift

Resumo Técnico: SHIFT-QA

Definição do Problema
Modelos de segmentação automatizada de ressonância magnética (RM) cardíaca frequentemente alcançam alta precisão média em dados de desenvolvimento, mas podem falhar de forma imprevisível quando implantados em pacientes com diferentes características patológicas (desvio de patologia/pathology shift). Métos convencionais de validação reportam métricas de nível de coorte (ex: Dice médio), mas não fornecem um mecanismo para determinar, para um paciente individual, se um resultado de segmentação é confiável o suficiente para uso automático ou se requer revisão especializada. Esta lacuna é crítica porque os erros de segmentação não são distribuídos uniformemente; um modelo pode ter uma pontuação média favorável enquanto produz erros clinicamente consequentes em subconjuntos específicos de casos. Além disso, métodos padrão de estimativa de incerteza e avaliação de qualidade de segmentação (SQA) muitas vezes carecem de uma regra operacional explicitamente calibrada para converter escores de confiabilidade em decisões de "aceitar ou revisar" antes do teste final no alvo.

Metodologia: Estrutura SHIFT-QA
Os autores propõem o SHIFT-QA, uma estrutura de garantia de qualidade de aceitação ou revisão calibrada para o alvo, projetada para gerenciar o risco residual sob desvio de distribuição. A estrutura opera através das seguintes etapas:

1. Agregação de Evidências de Confiabilidade: Para cada estudo de paciente, a estrutura extrai um vetor de características de nível de paciente ($z_i$) combinando quatro fontes de evidência de confiabilidade:

   • Incerteza Preditiva: Entropia média e de alto percentil sobre a região do foreground.
   • Desacordo de Ensemble: Desacordo de Dice par médio entre as máscaras dos membros do ensemble.
   • Variabilidade de Volume: Coeficiente de variação dos volumes específicos de classe entre os membros do ensemble.
   • Instabilidade Funcional: Desvio padrão das medições clínicas subsequentes (especificamente a fração de ejeção) derivadas dos membros do ensemble.

2. Definição de Falha Operacional: Um rótulo de falha ao nível do paciente ($b_i$) é definido a priori com base em critérios clinicamente significativos. Na implementação de RM cardíaca, a falha ocorre se o Dice médio do foreground do paciente estiver abaixo de um limiar ($\delta_{Dice}$) OU se o erro absoluto da fração de ejeção exceder um limiar ($\delta_{EF}$). Os autores enfatizam que esta definição deve ser fixa antes de acessar os rótulos do teste alvo para evitar vazamento de dados (data leakage).

3. Pontuação de Risco: O vetor de características é mapeado para um escore de risco escalar ($r_i$). Na ausência de exemplos de falha rotulados suficientes para ajuste supervisionado (uma limitação em seu protótipo específico), os autores empregam um fallback de pontuação de confiabilidade predefinido onde as características normalizadas são calculadas pela média para produzir um escore de risco mônoto.

4. Calibragem de Alvo: Um subconjunto rotulado da coorte alvo (paciente-disjunto do conjunto de teste final) é usado para selecionar um limiar de aceitação ($\tau^*$). O limiar é escolhido para maximizar a cobertura automática (a proporção de pacientes aceitos) enquanto garante que a taxa de falha de casos aceitos empíricos no conjunto de calibração permaneça abaixo de uma tolerância pré-especificada ($\alpha$).

5. Implantação Congelada: Uma vez que a regra de falha, o método de pontuação de risco e o limiar estejam congelados, o conjunto de teste alvo final é avaliado exatamente uma vez. O output é uma segmentação de consenso pareada com uma decisão operacional: "aceitar" (se $r_i \le \tau^*$) ou "revisar" (se $r_i > \tau^*$).

Configuração Experimental
Os autores implementaram uma prova de conceito local utilizando o conjunto de dados Automated Cardiac Diagnosis Challenge (ACDC).

• Dados de Origem (Source): Pacientes com Cardiomiopatia Dilatada (DCM), Infarto do Miocárdio (MINF), Normal (NOR) e Ventrículo Direito Anormal (RV) foram usados para treinamento e validação de origem.
• Desvio de Alvo (Target Shift): A Cardiomiopatia Hipertrófica (HCM) foi tratada como a patologia alvo retida para simular um desvio de patologia.
• Divisões de Dados: A coorte ACDC de 100 pacientes foi dividida em Treinamento de Origem (64 pacientes), Validação de Origem (16 pacientes), Calibração de Alvo (10 pacientes HCM) e Teste de Alvo (10 pacientes HCM).
• Modelo: Um U-Net 2D leve treinado com um ensemble de snapshots (derivado de checkpoints de treinamento de continuação) para aproximar a incerteza, dado que ensembles multi-seed totalmente independentes eram computacionalamente restritos.

Principais Resultados

• Diagnóstico da Regra de Falha: Uma regra de falha estrita inicial (baseada em Dice de classe mínima) mostrou-se excessivamente conservadora, rotulando todos os 10 pacientes de calibração HCM como falhas e resultando em uma política de "encaminhar todos". Uma regra congelada revisada (Dice Médio < 0.75 OU |Erro de EF| > 0.15) permitiu uma calibração não trivial.
• Calibragem: Usando a regra revisada, um limiar de $\tau^* = 0.590787$ foi selecionado no conjunto de calibração de alvo, alcançando 80% de cobertura com uma taxa de falha de casos aceitos de 0.375 (abaixo da tolerância alvo de 0.40).
• Desempenho no Teste de Alvo: No conjunto de teste de alvo HCM de 10 pacientes não tocado:
  • Cobertura: 8 de 10 pacientes foram aceitos; 2 foram encaminhados.
  • Precisão: A taxa de falha observada entre os casos aceitos foi de 0.000. Ambos os casos encaminhados foram falhas operacionais sob a regra congelada.
  • Diferenciação: Pacientes aceitos tiveram significativamente maior Dice de foreground médio (0.839 vs. 0.657) e menor erro absoluto de fração de ejeção (0.065 vs. 0.228) em comparação com pacientes encaminhados.

Significância e Alegações
O artigo afirma que o SHIFT-QA demonstra a viabilidade de um fluxo de trabalho de garantia de qualidade calibrado para o alvo para segmentação de RM cardíaca sob desvio de patologia. A principal contribuição é mudar o foco de apenas melhorar a precisão da segmentação para gerenciar o risco ao nível do fluxo de trabalho por meio de:

1. Formular a garantia de qualidade como um problema de decisão ao nível do paciente, em vez de apenas visualização de incerteza.
2. Implementar um protocolo travado onde a definição de falha e o limiar de aceitação são determinados usando um subconjunto de calibração de alvo antes da avaliação final.
3. Mostrar que uma política calibrada pode separar com sucesso segmentações confiáveis de casos de alto risco em um cenário controlado de patologia retida.

Modéstia e Limitações
Os autores declaram explicitamente que estes resultados são preliminares e não constituem validação para implantação clínica. Eles destacam algumas limitações:

• O conjunto de teste de alvo era pequeno (10 pacientes).
• A estimativa de incerteza dependeu de um ensemble de snapshots em vez de modelos totalmente independentes.
• A pontuação de risco usou um fallback predefinido em vez de um modelo supervisionado devido à falta de falhas no lado da origem.
• O estudo foi um protótipo de site único e fornecedor único (ACDC) e não reivindica generalização multicêntrica ou multivendor.

Os autores concluem que, embora a estrutura suporte o conceito de garantia de qualidade calibrada para o alvo, é necessária uma validação multicêntrica e multivendor maior antes da implantação clínica.