Who Gets Missed in the Tail? Thresholded Subgroup Underdiagnosis in Long-Tailed Chest X-ray Classification

Resumo Técnico: Subdiagnóstico de Subgrupos com Limiar em Classificação de Radiografias de Tórax de Cauda Longa

1. Definição do Problema

O artigo aborda uma lacuna de equidade específica na classificação de radiografias de tórax (CXR) de múltiplas etiquetas com cauda longa: a discrepância entre o desempenho de classificação aceitável (ex: macro-mAP) e o resultado real de implantação, onde pacientes positivos raros, particularmente dentro de subgrupos específicos, permanecem não detectados abaixo do limiar de decisão.

Enquanto os métodos de cauda longa existentes focam no reponderamento de classes e os métodos de equidade frequentemente agregam sobre grupos, este trabalho argumenta que o modo de falha crítico é o subdiagnóstico de classe-subgrupo com limiar. Um modelo pode atingir métricas agregadas elevadas enquanto falha sistematicamente em detectar achados raros (a "cauda") para grupos demográficos específicos (ex: combinações específicas de idade ou sexo) uma vez que os escores são convertidos em decisões binárias. A questão central de auditoria é: Após um modelo de cauda longa ser convertido de escores para decisões, quem é perdido?

2. Metodologia

Os autores empregam uma abordagem de "escada diagnóstica" usando variantes de modelos como sondas para isolar a fonte do subdiagnóstico. O estudo utiliza dois coortes: VinDr-CXR (limitado a metadados de sexo e idade) e MIMIC-CXR/CXR-LT (metadados mais ricos, incluindo raça e seguro de saúde). Todos os modelos compartilham um backbone ConvNeXt-Tiny com uma cabeça linear específica para o conjunto de dados.

A escada diagnóstica consiste em seis configurações de modelos (M1–M6):

• M1 (Baseline): Perda de Entropia Cruzada Binária (BCE).
• M2: Perda Assimétrica (ASL).
• M3: ASL com ponderação de número efetivo de classes (CB-ASL).
• M4: Otimização Robusta de Distribuição de Grupo (GroupDRO) como referência para robustez de grupo agregada.
• M5: ASL multiplicado por um peso de classe-subgrupo recortado baseado nas contagens de treinamento (treinamento consciente de subgrupos).
• M6 (Sonda de Limiar): Reutiliza os escores do M5, mas altera a regra de limiarização. Enquanto as classes média/alta usam limiares ótimos de F1, os limiares das classes de cauda são definidos para maximizar o recall do pior grupo sujeitos a um piso mínimo de precisão ($\tau = 0,05$).

Design Experimental Chave:

• Separação de Variáveis: Ao comparar M5 e M6, o estudo isola o efeito da seleção de limiar do treinamento do modelo de escore, pois ambos compartilham idênticos escores ranqueados, ECE e escores de Brier.
• Métricas: O estudo vai além das métricas de ranking (macro-mAP, tail-mAP) para focar na Taxa de Falsos Negativos (FNR) com Limiar, Pior-Grupo FNR por eixo de subgrupo e Positivos Perdidos por 100 Verdadeiros Positivos.
• Quantificação de Incerteza: Devido aos pequenos tamanhos de amostra nas classes de cauda (ex: 3–19 positivos por classe no VinDr), os autores relatam intervalos de confiança de bootstrap 95% independentes e contrastes de bootstrap pareados para garantir rigor estatístico.

3. Resultados Principais

Achados do VinDr-CXR:

• Impacto do Limiar: Mover de limiares padrão de F1 (M5) para limiares conscientes da cauda (M6) reduziu drasticamente o FNR da cauda de 0,471 para 0,269.
• Melhorias nos Subgrupos: O pior-grupo FNR para sexo caiu de 0,507 para 0,157, e para idade de 0,633 para 0,133.
• Métricas Macro: O macro-mAP permaneceu estável (0,635 para ambos M5 e M6), confirmando que a melhoria foi impulsionada pela seleção de limiar, não pelo re-ranqueamento de escores.
• Impacto de Doenças Específicas: As melhorias foram impulsionadas por classes de cauda específicas com suporte suficiente (ex: Calcificação, ILD, Consolidação), enquanto classes com suporte extremamente baixo (ex: Atelectasia com $n=3$) mostraram resultados instáveis.

Achados do MIMIC-CXR/CXR-LT:

• Direção Consistente: A mesma estratégia de limiar (M6) reduziu o FNR da cauda de 0,866 para 0,741 e reduziu o pior-grupo FNR através de sexo, idade, raça e seguro de saúde.
• Risco Residual: Apesar das reduções, as taxas absolutas de positivos perdidos permaneceram altas (ex: 0,741 FNR de cauda), indicando que a limiarização sozinha não resolve o problema da cauda, mas mitiga significativamente os piores casos de erro de subgrupo.
• Limitações do GroupDRO: O baseline GroupDRO (M4) não superou o M6 no FNR de cauda com limiar, sugerindo que a robustez de grupo agregada sozinha é insuficiente para abordar perdas de subgrupos raros neste cenário.

Trade-offs:

• Reduzir erros via limiares mais baixos aumenta a "carga de alerta" (etiquetas preditas como positivas de cauda por 100 estudos). Para o VinDr, isso aumentou de 4,9 (limiar F1) para 38,9 (limiar consciente da cauda), destacando um trade-off de política clínica entre sensibilidade e carga de fluxo de trabalho.

4. Contribuições

O artigo apresenta quatro contribuições principais:

1. Definição da Unidade de Auditoria: Define o subdiagnóstico de classe-subgrupo com limiar como a unidade fundamental para auditar a equidade de CXR de cauda longa, mudando o foco de rótulos ou grupos isolados para a interseção de achado, subgrupo e limiar operacional.
2. Escada Diagnóstica: Introduz uma metodologia para separar perdas de nível de classe, ponderação consciente de subgrupo, robustez de grupo e seleção de limiar para localizar onde os positivos perdidos entram no pipeline.
3. Métricas Interpretáveis: Relata FNR condicionado ao subgrupo, positivos perdidos por 100 verdadeiros positivos e contrastes de bootstrap para tornar interpretável a evidência de células pequenas.
4. Evidência Empírica: Demonstra através de dois coortes que métricas de ranking e robustez de grupo agregada não determinam quem é perdido após a limiarização; o ponto operacional altera materialmente o dano observado na cauda.

5. Significância e Alegações

O artigo posiciona-se como um instrumento de medição em vez de uma solução implantável ou um remédio geral de equidade. Suas alegações primárias são modestas e metodológicas:

• Dependência de Limiar: A equidade de rótulos raros em CXR depende conjuntamente do achado, do subgrupo e do limiar operacional. Não é determinada apenas pela frequência do rótulo ou métricas de ranking.
• Limitação de Métricas Agregadas: Um modelo pode ter um macro-mAP aceitável enquanto deixa casos positivos raros em subgrupos específicos abaixo do limiar.
• Limites de Observabilidade: As alegações de equidade são estritamente limitadas pelos metadados disponíveis (ex: VinDr carece de dados de raça/seguro) e pelo suporte positivo no conjunto de teste.
• Política Clínica: A escolha do limiar ($\tau$) é uma decisão de política clínica que envolve um trade-off entre positivos perdidos e carga de revisão, não um parâmetro universal.

O estudo conclui que a auditoria consciente do limiar é necessária para reduzir os erros de subgrupo observados, mas os altos FNRs residuais e as limitações de metadados significam que esta abordagem deve ser tratada como uma ferramenta de medição de equidade para guiar políticas, não como um ajuste pronto para implantação independente.