⚡ electrical engineering

Halfway to 3D: Ensembling 2.5D and 3D Models for Robust COVID-19 CT Diagnosis

Cette étude propose un cadre d'apprentissage profond qui combine des représentations 2,5D et 3D via un ensembling pour améliorer la robustesse et la précision du diagnostic du COVID-19 et de la classification des maladies à partir de scanners thoraciques.

Auteurs originaux : Tuan-Anh Yang, Bao V. Q. Bui, Chanh-Quang Vo-Van, Truong-Son Hy

Publié 2026-03-19

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Tuan-Anh Yang, Bao V. Q. Bui, Chanh-Quang Vo-Van, Truong-Son Hy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🏥 Le Défi : Diagnostiquer le COVID avec des Rayons X en 3D

Imaginez que vous êtes un détective médical. Votre mission est de trouver des signes de COVID-19 dans des images de poumons (des scanners CT). Le problème ? Ces images ne viennent pas d'un seul hôpital. Elles arrivent de partout : différents appareils, différents médecins, différents patients. C'est un peu comme si vous deviez reconnaître un visage, mais que la photo venait tantôt d'un vieux Polaroid, tantôt d'une caméra de surveillance floue, et tantôt d'un dessin animé.

Les modèles d'intelligence artificielle (IA) habituels ont du mal : ils apprennent trop bien les "règles" d'un hôpital et paniquent dès qu'ils voient un autre hôpital.

🧠 La Solution : L'Équipe de Deux Experts (Le "2.5D + 3D")

Les auteurs de ce papier ont eu une idée brillante : au lieu de confier le travail à un seul expert, ils ont créé une équipe de deux détectives qui travaillent ensemble.

1. Le Premier Détective : "Le Sculpteur 3D" (Le modèle 3D)

Son super-pouvoir : Il regarde le poumon comme un bloc de marbre complet. Il voit le volume, la forme globale, comment les tissus s'entrelacent dans l'espace.
Son outil : Il utilise une architecture appelée ResNet-18.
Son entraînement spécial : Pour ne pas se faire piéger par les différences entre les hôpitaux, on lui a appris une technique appelée VREx. Imaginez que c'est comme lui apprendre à conduire sur une route de montagne, une route de pluie et une route de sable en même temps. Ainsi, peu importe la "route" (l'hôpital) sur laquelle il roule, il reste stable.
Son point faible : Parfois, il regarde trop la forêt et rate les détails fins des feuilles.

2. Le Second Détective : "L'Expert en Feuilles" (Le modèle 2.5D)

Son super-pouvoir : Au lieu de voir le bloc entier, il coupe le poumon en tranches fines (comme un saucisson) sous trois angles différents : de face, de profil et de dessus. Il examine chaque tranche avec une loupe très puissante.
Son outil : Il utilise un modèle très moderne appelé DINOv3, qui a déjà vu des millions d'images sur internet avant même de commencer. C'est comme un artiste qui a déjà visité tous les musées du monde et qui reconnaît instantanément une texture ou un motif.
Son point fort : Il est excellent pour voir les petits détails précis sur les tranches.

🤝 La Magie : Le "Café de la Réunion" (L'Ensemble)

C'est ici que la magie opère. Au lieu de laisser chaque détective décider seul, ils se réunissent pour discuter.

Le Sculpteur 3D dit : "Je vois une grosse anomalie globale ici !"
L'Expert en Feuilles dit : "Oui, et sur cette tranche précise, je vois un motif très spécifique qui confirme le COVID."

Ils mélangent leurs avis (ce qu'on appelle un "ensemble"). Si l'un doute, l'autre peut le rassurer. Si l'un se trompe à cause d'un artefact bizarre sur une image, l'autre peut corriger l'erreur.

🏆 Les Résultats : Qui a gagné ?

Les chercheurs ont mis leur équipe à l'épreuve lors d'un grand concours (le défi PHAROS-AIF-MIH).

Pour dire "COVID ou Pas COVID" (Détection simple) :
L'équipe combinée a été vice-championne ! En mélangeant les deux points de vue, ils ont obtenu un score de précision incroyable (0.751). C'est comme si le sculpteur et l'expert en tranches se complétaient parfaitement pour cette tâche.
Pour distinguer les maladies complexes (Diagnostic fin) :
Là, c'est un peu plus subtil. Le modèle "Expert en Feuilles" (2.5D) a souvent été le meilleur seul. Pourquoi ? Parce que pour distinguer des cancers très spécifiques, les détails fins des tranches suffisent souvent, et le volume global n'ajoute pas grand-chose. Cependant, l'équipe combinée a réussi à équilibrer les résultats entre les hommes et les femmes, rendant le diagnostic plus juste pour tout le monde.

💡 Leçon à retenir

Ce papier nous apprend que dans le monde médical, la diversité est la clé.

Ne faites pas confiance à un seul type de vision.
Combinez la vue d'ensemble (3D) avec l'attention aux détails (2.5D).
Entraînez vos modèles à être flexibles face aux différences (comme les différents hôpitaux) pour qu'ils ne soient pas surpris dans la vraie vie.

En résumé, c'est comme dire : "Pour bien comprendre un livre, il faut à la fois lire l'histoire globale (le volume) et s'arrêter pour savourer chaque phrase (les tranches)." Ensemble, ils font un diagnostic plus robuste, plus juste et plus fiable.

1. Problématique

Le diagnostic du COVID-19 et d'autres maladies pulmonaires par tomodensitométrie (CT) thoracique repose de plus en plus sur l'apprentissage profond. Cependant, le développement de modèles robustes se heurte à deux défis majeurs :

Le décalage de domaine (Domain Shift) : Les données cliniques proviennent de multiples institutions avec des scanners, des protocoles d'acquisition et des populations de patients différents. Cela dégrade la généralisation des modèles.
L'équité (Fairness) : Les modèles peuvent présenter des disparités de performance selon les groupes démographiques (par exemple, le genre), ce qui est inacceptable dans un contexte médical.
Limites des approches actuelles : Les modèles 3D purs capturent le contexte volumique mais sont coûteux et peuvent négliger des motifs fins au niveau des tranches. À l'inverse, les approches 2D (tranches isolées) manquent de contexte spatial global.

L'objectif est de concevoir un cadre d'IA capable de gérer ces hétérogénéités de sources tout en maintenant une performance diagnostique élevée et équitable.

2. Méthodologie

Les auteurs proposent un cadre d'apprentissage profond hybride combinant deux branches complémentaires : une branche 3D (volumique) et une branche 2.5D (multi-vues), dont les prédictions sont fusionnées par ensembling.

A. Prétraitement des données

Reconstruction de volumes 3D complets à partir de tranches CT axiales brutes.
Redimensionnement à une résolution fixe de $128 \times 128 \times 128$ .
Application d'un filtre de débruitage gaussien 3D et d'un lissage de masque pour améliorer la clarté anatomique.
Normalisation des intensités des voxels dans l'intervalle [0, 255].

B. Branche 3D (Contexte Volumique)

Architecture : ResNet-18 adapté pour l'entrée monocanaire (CT).
Stratégie d'entraînement en deux étapes :
1. Pré-entraînement par Généralisation de Domaine : Utilisation de l'Extrapolation du Risque de Variance (VREx). Cette technique encourage le modèle à maintenir des performances constantes sur différentes distributions de données (sources) en minimisant la variance des pertes entre les domaines.
2. Affinage (Fine-tuning) : Utilisation de l'apprentissage contrastif supervisé pour améliorer la séparabilité des caractéristiques, combiné à l'augmentation de données MixUp.

C. Branche 2.5D (Représentations Multi-vues)

Extraction : À partir du volume reconstruit, des tranches sont extraites selon trois plans anatomiques orthogonaux : Axial, Coronal et Sagittal.
Architecture : Utilisation d'un Vision Transformer (ViT) basé sur DINOv3, pré-entraîné par apprentissage auto-supervisé.
Fusion : Les tranches de chaque vue sont traitées indépendamment, puis leurs embeddings sont fusionnés au niveau des caractéristiques pour capturer des informations anatomiques complémentaires.

D. Intégration par Ensembling

Les prédictions (logits) des deux branches sont combinées via une stratégie d'ensembling pondéré.
L'objectif est de tirer parti à la fois du contexte global volumique (3D) et des détails fins au niveau des tranches (2.5D) pour améliorer la robustesse et la stabilité.

3. Contributions Clés

Cadre Hybride 2.5D–3D : Proposition d'une architecture combinant des représentations de tranches multi-vues et une modélisation volumique pour le diagnostic basé sur le CT.
Robustesse par VREx et Contrastif : Intégration de techniques avancées de généralisation de domaine (VREx) et d'apprentissage contrastif supervisé dans la branche 3D pour gérer les décalages de domaine.
Utilisation de DINOv3 : Conception d'un pipeline 2.5D exploitant les représentations visuelles pré-entraînées de DINOv3, démontrant leur transférabilité efficace vers l'imagerie médicale.
Validation sur Benchmark Réaliste : Démonstration que l'ensembling améliore la robustesse et les performances sur le benchmark PHAROS-AIF-MIH, qui évalue spécifiquement la robustesse multi-source et l'équité.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark PHAROS-AIF-MIH avec deux tâches :

Tâche 1 : Détection binaire du COVID-19.
Tâche 2 : Classification multi-classes (Sain, Adénocarcinome, Carcinome épidermoïde, COVID-19) avec évaluation de l'équité par genre.

Performances sur le jeu de test :

Détection COVID-19 (Tâche 1) : La méthode proposée a obtenu la 2ème place du challenge. L'ensemble (Ensemble) a atteint un score Macro F1 de 0,751, surpassant les modèles individuels (3D seul : ~0,70 ; 2.5D seul : ~0,74). L'ensembling a particulièrement amélioré la généralisation sur la plupart des hôpitaux (sources).
Diagnostic Équitable (Tâche 2) : La méthode a obtenu la 3ème place avec un score Macro F1 de 0,633.
- L'analyse par genre a révélé un écart de performance initial (meilleure performance sur les femmes).
- L'ensemble pondéré (0.7) a permis d'améliorer significativement la performance sur les patients masculins, réduisant ainsi le biais et améliorant le score global.

Observations techniques :

Le modèle 2.5D (DINOv3) a souvent surpassé le modèle 3D (ResNet-18) seul, soulignant la puissance des représentations pré-entraînées sur de vastes datasets visuels.
L'ensembling a apporté un gain significatif pour la tâche binaire (COVID vs Non-COVID) en combinant les forces des deux approches.
Pour la tâche multi-classes complexe, le modèle 2.5D seul restait le plus performant, suggérant que les caractéristiques de tranches suffisent pour distinguer les pathologies, tandis que le contexte 3D apporte peu de valeur ajoutée supplémentaire dans ce cas spécifique.

5. Signification et Conclusion

Ce travail démontre qu'une approche « à mi-chemin » (Halfway to 3D), combinant des représentations 2.5D et 3D, est supérieure aux approches unidimensionnelles pour l'analyse médicale robuste.

Robustesse : La combinaison de la généralisation de domaine (VREx) et de l'ensembling permet de surmonter les hétérogénéités inhérentes aux données hospitalières réelles.
Équité : L'ajustement des poids de l'ensemble permet de corriger les biais démographiques, un aspect crucial pour le déploiement clinique.
Impact Clinique : Le cadre proposé offre une voie pratique vers des outils d'analyse d'images médicales transposables entre différents hôpitaux, capables de résister aux décalages de domaine tout en maintenant une haute précision diagnostique.

En résumé, l'article valide l'hypothèse que l'intégration de modèles pré-entraînés sur des tranches (2.5D) avec une modélisation volumique (3D), renforcée par des stratégies d'apprentissage avancées, constitue l'état de l'art pour le diagnostic robuste du COVID-19 et des pathologies pulmonaires dans des environnements multi-sources.