Who Gets Missed in the Tail? Thresholded Subgroup Underdiagnosis in Long-Tailed Chest X-ray Classification

Résumé Technique : Sous-diagnostic de sous-groupes par seuillage dans la classification de radiographies thoraciques à longue traîne

1. Définition du Problème

Le document traite d'un écart d'équité spécifique dans la classification multi-étiquettes de radiographies thoraciques (CXR) à longue traîne : la divergence entre les performances de classement acceptables (par exemple, le macro-mAP) et le résultat réel de déploiement où les patients présentant des cas positifs rares, particulièrement au sein de sous-groupes spécifiques, ne sont pas détectés en raison du seuil de décision.

Alors que les méthodes existantes pour les distributions à longue traîne se concentrent sur le repondérage des classes et que les méthodes d'équité agrègent souvent les groupes, ce travail soutient que le mode de défaillance critique est le sous-diagnostic de classe-sous-groupe par seuillage. Un modèle peut atteindre des métriques agrégées élevées tout en manquant systématiquement des découvertes rares (la « queue ») pour des groupes démographiques spécifiques (par exemple, des combinaisons spécifiques d'âge ou de sexe) une fois que les scores sont convertis en décisions binaires. La question d'audit centrale est : Après qu'un modèle à longue traîne a été converti de scores en décisions, qui est manqué ?

2. Méthodologie

Les auteurs emploient une approche d'« échelle de diagnostic » utilisant des variantes de modèles comme sondes pour isoler la source du sous-diagnostic. L'étude utilise deux cohortes : VinDr-CXR (limitée aux métadonnées de sexe et d'âge) et MIMIC-CXR/CXR-LT (métadonnées plus riches incluant la race et l'assurance). Tous les modèles partagent un squelette (backbone) ConvNeXt-Tiny avec une tête linéaire spécifique au jeu de données.

L'échelle de diagnostic se compose de six configurations de modèles (M1–M6) :

• M1 (Base) : Perte de l'entropie croisée binaire (BCE).
• M2 : Perte asymétrique (ASL).
• M3 : ASL avec pondération par le nombre effectif de classes (CB-ASL).
• M4 : Optimisation robuste par distribution de groupe (GroupDRO) comme référence pour la robustesse globale des groupes.
• M5 : ASL multipliée par un poids classe-sous-groupe découpé basé sur les comptages d'entraînement (entraînement conscient des sous-groupes).
• M6 (Sonde de seuillage) : Réutilise les scores de M5 mais modifie la règle de seuillage. Alors que les classes de tête/moyennes utilisent des seuils optimaux pour le F1, les seuils des classes de la queue sont définis pour maximire le rappel du pire groupe sous réserve d'un plancher de précision minimale ($\tau = 0,05$).

Conception expérimentale clé :

• Séparation des variables : En comparant M5 et M6, l'étude isole l'effet de la sélection du seuil du entraînement du modèle de score, car les deux partagent des scores de classement, des scores ECE et des scores de Brier identiques.
• Métriques : L'étude va au-delà des métriques de classement (macro-mAP, tail-mAP) pour se concentrer sur le Taux de Faux Négatifs (FNR) seuillé, le pire FNR de groupe par axe de sous-groupe, et les Positifs Manqués pour 100 Vrais Positifs.
• Quantification de l'incertitude : En raison des petits échantillons dans les classes de la queue (par exemple, 3 à 19 positifs par classe dans VinDr), les auteurs rapportent des intervalles de confiance de bootstrap 95 % indépendants et des contrastes de bootstrap appariés pour assurer la rigueur statistique.

3. Résultats Clés

Résultats de VinDr-CXR :

• Impact du seuillage : Passer des seuils F1 standards (M5) aux seuils conscients de la queue (M6) a considérablement réduit le FNR de la queue de 0,471 à 0,269.
• Améliorations des sous-groupes : Le pire FNR de groupe pour le sexe est passé de 0,507 à 0,157, et pour l'âge de 0,633 à 0,133.
• Métriques Macro : Le macro-mAP est resté stable (0,635 pour M5 et M6), confirmant que l'amélioration était pilotée par la sélection du seuil, et non par le re-classement des scores.
• Impact sur les maladies spécifiques : Les améliorations ont été portées par des classes de la queue ayant un support suffisant (ex: Calcification, ILD, Consolidation), tandis que les classes avec un support extrêmement faible (ex: Atélectasie avec $n=3$) ont montré des résultats instables.

Résultats de MIMIC-CXR/CXR-LT :

• Direction constante : La même stratégie de seuillage (M6) a réduit le FNR de la queue de 0,866 à 0,741 et a abaissé le pire FNR de groupe à travers le sexe, l'âge, la race et l'assurance.
• Risque résiduel : Malgré les réductions, les taux absolus de positifs manqués restent élevés (ex: FNR de la queue de 0,741), indiquant que le seuillage seul ne résout pas le problème de la queue mais atténue significativement les pires échecs de sous-groupes.
• Limites de GroupDRO : La base GroupDRO (M4) n'a pas surpassé M6 sur le FNR de la queue seuillé, suggérant que la robustesse globale des groupes est insuffisante pour traiter les manques de sous-groupes rares dans ce contexte.

Compromis :

• Réduire les manques via des seuils plus bas augmente la « charge d'alerte » (étiquettes positives de la queue prédites pour 100 études). Pour VinDr, cela est passé de 4,9 (seuil F1) à 38,9 (seuil conscient de la queue), soulignant un compromis de politique clinique entre sensibilité et charge de travail.

4. Contributions

Le papier apporte quatre contributions principales :

1. Définition de l'unité d'audit : Il définit le sous-diagnostic de classe-sous-groupe par seuillage comme l'unité fondamentale pour auditer l'équité des CXR à longue traîne, déplaçant l'attention des étiquettes rares ou des groupes isolés vers l'intersection de la découverte, du sous-groupe et du seuil opérationnel.
2. Échelle de diagnostic : Il introduit une méthodologie pour séparer les pertes de classe, le pondérage conscient des sous-groupes, la robustesse des groupes et la sélection du seuil afin de localiser où les positifs manqués entrent dans le pipeline.
3. Métriques interprétables : Il rapporte le FNR conditionné par sous-groupe, les positifs manqués pour 100 vrais positifs et les contrastes de bootstrap pour rendre interprétables les preuves issues de petits échantillons.
4. Preuve empirique : Il démontre, à travers deux cohortes, que les métriques de classement et la robustesse globale des groupes ne déterminent pas qui est manqué après le seuillage ; le point de fonctionnement change matériellement le préjudice observé dans la queue.

5. Signification et Revendications

Le papier se positionne comme un instrument de mesure plutôt que comme une solution déployable ou un remède général à l'équité. Ses principales revendications sont modestes et méthodologiques :

• Dépendance au seuil : L'équité des étiquettes rares en CXR dépend conjointement de la découverte, du sous-groupe et du seuil opérationnel. Elle n'est pas déterminée uniquement par la fréquence des étiquettes ou les métriques de classement.
• Limitation des métriques agrégées : Un modèle peut avoir un macro-mAP acceptable tout en laissant des cas positifs rares dans certains sous-groupes sous le seuil.
• Limites d'observabilité : Les revendications d'équité sont strictement limitées par les métadonnées disponibles (ex: VinDr manque de données sur la race/assurance) et le support positif dans l'ensemble de test.
• Politique Clinique : Le choix du seuil ($\tau$) est une décision de politique clinique impliquant un arbitrage entre les positifs manqués et la charge de révision, et non un paramètre universel.

L'étude conclut qu'un audit conscient du seuillage est nécessaire pour réduire les manques de sous-groupes observés, mais que les FNR résiduels élevés et les limites des métadonnées signifient que cette approche doit être traitée comme un outil de mesure de l'équité pour guider la politique, et non comme une correction prête pour le déploiement autonome.