Cross-cohort evaluation of thyroid ultrasound deep learning across different outcome definitions: a duplicate-controlled benchmark

Résumé Technique : Évaluation Trans-cohorte de l'Apprentissage Profond pour l'Échographie Thyroïdienne à travers Différentes Définitions de Résultats

Problématique
La performance des modèles d'intelligence artificielle (IA) pour l'interprétation de l'échographie thyroïdienne dépend fortement des caractéristiques de la cohorte et de l'extrémité d'évaluation spécifique utilisée. Un défi critique dans ce domaine est l'interchangeabilité des différentes extrémités diagnostiques : la pathologie postopératoire (un résultat diagnostique définitif) par rapport aux catégories de risque assignées par le radiologue, comme le système de rapport et de données d'imagerie thyroïdienne de l'American College of Radiology (TI-RADS) (un score de suspicion orienté vers la gestion clinique). Ces extrémités représentent des étapes distinctes du parcours de diagnostic et ne sont pas interchangeables. De plus, les modèles d'apprentissage profond entraînés sur un ensemble de données échouent souvent à se généraliser à des cohortes indépendantes en raison de changements de population, d'équipement, de protocoles d'acquisition et de définitions de labels. Cette étude répond au besoin de tester les classificateurs d'échographie thyroïdienne tout en séparant explicitement l'évaluation de la malignité des résultats de l'accord avec les catégories de risque dérivées du TI-RADS, le tout en contrôlant la fuite de données au niveau de l'image.

Méthodologie
L'étude a employé un pipeline de benchmarking à contrôle de doublons, utilisant un environnement d'analyse fixe (Python 3.10, PyTorch 2.5.1).

• Ensembles de données :

  • Archive de développement : Une publication publique sur Mendeley Data contenant 387 images d'échographie en mode B et 1 332 blocs de cytologie par aspiration à l'aiguille fine (FNA) dérivés de 385 cas sources. Les labels étaient binaires (Carcinome Papillaire de la Thyroïde [CPT] vs Bénin) basés sur le diagnostic postopératoire. Les identifiants au niveau du patient n'étaient pas disponibles, empêchant des séparations vérifiées au niveau du patient.
  • Cohortes externes : Deux modèles gelés ont été évalués sans réentraînement ni ajustement de seuil sur :
    1. TN3K : Un sous-ensemble de 1 228 images avec des labels bénin/malin fournis par le jeu de données.
    2. DDTI : 637 images évaluées contre une extrémité binaire dérivée des catégories TI-RADS du radiologue (regroupant la faible suspicion TI-RADS 2–3 vs la haute suspicion TI-RADS 4–5).

• Prétraitement des données et contrôle de la fuite :

  • Contrôle des doublons : Les images ont été regroupées par hachages MD5 (doublons exacts) et hachages perceptuels (images quasi identiques). Ces groupes ont été maintenus au sein d'une seule partition (entraînement, validation, test) pour éviter la fuite de données au niveau de l'image.
  • Prétraitement : Les images ont été redimensionnées en 224×224 pixels. Une expérience exploratoire a testé le recadrage automatique de la région d'intérêt (ROI) basée sur la texture pour supprimer les artéfacts d'interface périphériques.

• Architecture et entraînement des modèles :

  • Cinq architectures de base ont été entraînées : ConvNeXt-Small, EfficientNet-B3, Swin-Tiny, ResNet-50 et DenseNet-121.
  • Les modèles ont été initialisés avec des poids ImageNet et affinés à l'aide d'une perte de cross-entropie binaire pondérée par classe avec l'optimiseur AdamW.
  • Un ensemble a été construit en faisant la moyenne des probabilités sigmoïdes de ConvNeXt-Small, EfficientNet-B3, Swin-Tiny et ResNet-50.
  • La calibration a été évaluée à l'aide de l'échelle de température (temperature scaling), du score de Brier et de l'erreur de calibration attendue (ECE).

• Stratégie d'évaluation :

  • La performance a été mesurée via l'AUROC, l'AUPRC, l'exactitude, la sensibilité, la spécificité et le score F1.
  • Les intervalles de confiance ont été générés via un rééchantillonnage bootstrap non paramétrique (2 000 répétitions).
  • Les modalités de cytologie et d'échographie ont été analysées comme des distributions d'images séparées et non appariées ; aucune précision intra-patient comparative n'a été estimée.

Contributions Clés

1. Séparation de la provenance des extrémités : L'étude distingue explicitement l'évaluation de la capacité d'un modèle à prédire la malignité (contre les labels de pathologie) de son accord avec la stratification du risque radiologique (TI-RADS).
2. Benchmarking contrôlé par les doublons : Mise en œuvre de hachages exacts et perceptuels pour prévenir la fuite de données au niveau de l'image en l'absence d'identifiants au niveau du patient, un problème courant dans les archives d'imagerie médicale publiques.
3. Évaluation de modèles gelés en cross-cohorte : Évaluation de modèles gelés sur deux cohortes externes distinctes (TN3K et DDTI) sans réentraînement, soulignant comment la performance varie selon l'acquisition et la définition de l'extrémité.
4. Contraste de modalité descriptif : Une analyse bootstrap non appariée de la différence entre l'échographie et la cytologie, clarifiant que de telles comparaisons décrivent des distributions d'images plutôt que d'établir une supériorité clinique.

Résultats

• Performance Interne (Archive de développement) :

  • Cytologie : Le modèle ConvNeXt-Small a atteint une AUROC de 0,988 (IC 95 % 0,976–0,998), et l'ensemble a atteint 0,986.
  • Échographie : Le modèle EfficientNet-B3 a atteint une AUROC de 0,745 (IC 95 % 0,612–0,865), et l'ensemble a atteint 0,733.
  • Recadrage ROI : Le recadrage automatique de la ROI a amélioré l'AUROC de l'ensemble échographique de 0,745 à 0,817.
  • Calibration : L'échelle de température a amélioré la fiabilité des probabilités (réduction de l'ECE de 0,032 à 0,014) sans modifier les métriques basées sur le rang.

• Évaluation des cohortes externes (Modèles gelés) :

  • TN3K (Labels de malignité) : L'ensemble échographique a atteint une AUROC de 0,825, et ResNet-50 a atteint 0,888. Ces résultats indiquent une bonne discrimination contre les labels bénin/malin distribués du jeu de données.
  • DDTI (Extrémité TI-RADS) : Contre l'extrémité dérivée du TI-RADS, l'ensemble a atteint une AUROC de 0,477 et ResNet-50 a atteint 0,437. Cela indique peu ou pas d'accord avec la catégorisation TI-RADS.
  • Interprétation : Les auteurs notent que le contraste entre les résultats TN3K et DDTI ne peut être attribué uniquement à la définition du label, car la cohorte, l'équipement, l'acquisition et le spectre de la maladie ont également changé simultanément.

• Comparaison de modalité : Une analyse bootstrap descriptive et non appariée a montré une différence de l'AUROC (cytologie moins échographie) de 0,247 (IC 95 % 0,120–0,384). Les auteurs soulignent que cela ne prouve pas que la cytologie est cliniquement supérieure, car les ensembles d'images n'étaient pas appariés par patient.

Signification et Revendications
L'article affirme que les modèles gelés d'échographie thyroïdienne performent différemment selon les cohortes qui diffèrent par l'acquisition et la définition du résultat. Le contraste frappant entre la haute performance sur TN3K (labels de malignité) et la performance proche du hasard sur DDTI (labels TI-RADS) souligne que ces extrémités ne sont pas interchangeables.

L'étude soutient trois implications primaires pour la recherche future :

1. Rapport explicite : La provenance du label (ex: diagnostic postopératoire vs TI-RADS) doit être explicitement rapportée.
2. Interprétation prudente : Les contrastes de performance cross-cohorte doivent être interprétés avec prudence, car ils reflètent une confluence de décalages de distribution et de définitions d'extrémités plutôt qu'un facteur causal unique.
3. Validation au niveau du patient : Les études futures nécessitent une évaluation externe au niveau du patient contre un standard de référence cliniquement approprié pour assurer la transportabilité.

Les auteurs concluent modestement que leurs résultats soutiennent le besoin de séparations vérifiées au niveau du patient et de descriptions cohérentes des standards de référence, plutôt que de revendiquer une solution définitive au problème de la généralisation dans l'IA thyroïdienne. L'étude ne valide pas le diagnostic de malignité sur DDTI, car l'extrémité TI-RADS n'est pas un standard de référence de malignité.