Radiomics-Integrated Deep Learning with Hierarchical Loss for Osteosarcoma Histology Classification

Résumé Technique : Apprentissage Profond Intégrant la Radiomique avec une Perte Hiérarchique pour la Classification Histologique de l'Ostéosarcome

Énoncé du Problème
L'ostéosarcome (OS) est une tumeur osseuse maligne primaire agressive où une évaluation histopathologique précise des régions tumorales viables par rapport aux non-viables après une chimiothérapie néoadjuvante est cruciale pour le pronostic et la planification du traitement. L'évaluation manuelle des lames histopathologiques est laborieuse, subjective et sujette à une variabilité inter-observateur. Bien que des approches récentes d'apprentissage profond aient tenté d'automatiser la quantification de la nécrose, des études antérieures ont souvent rapporté une généralisation au niveau des tuiles qui ne tenait pas lors de tests au niveau du patient. Cette divergence provient d'une fuite de données causée par des divisions aléatoires au niveau des tuiles (où plusieurs tuiles du même patient apparaissent à la fois dans l'entraînement et le test) et de l'incapacité des modèles multiclasses « plats » à prendre en compte la hiérarchie clinique de la maladie. Spécifiquement, la classification standard à trois classes (non-tumeur, tumeur non-viable, tumeur viable) néglige souvent la signification clinique distincte de ces sous-types et les variations de prévalence des classes inhérentes à la maladie.

Méthodologie
Les auteurs proposent un cadre d'apprentissage hiérarchique multimodal conçu pour aligner l'architecture du modèle sur le raisonnement clinique. La méthodologie se compose de trois composantes fondamentales :

1. Fusion de Caractéristiques Multimodales : Le cadre intègre des caractéristiques d'images issues de l'apprentissage profond avec des descripteurs radiomiques artisanaux.

   • Un encodeur d'image ($f_{img}$) traite les tuiles d'histologie RGB, tandis qu'un encodeur radiomique ($f_{rad}$) traite un vecteur de 29 caractéristiques de premier ordre et de forme 2D extraites via la bibliothèque PyRadiomics.
   • Ces modalités sont fusionnées à l'aide d'un mécanisme de porte d'attention adaptatif. Une porte softmax calcule les poids d'attention ($\alpha_{img}, \alpha_{rad}$) pour créer une combinaison pondérée des plongements (embeddings) d'image et de radiomique, permettant au modèle de prioriser dynamiquement la modalité la plus informative pour un échantillon donné.

2. Formulation de Tâche Hiérarchique : Au lieu d'une classification multiclasse plate à trois classes, le problème est décomposé en deux tâches binaires liées :

   • Tâche A (Grossière) : Distinguer Non-tumeur vs Tumeur (viable + non-viable).
   • Tâche B (Fine) : Distinguer Non-viable vs Viable (appliquée uniquement aux échantillons identifiés comme tumeurs dans la Tâche A).
   • La distribution de probabilité finale à trois voies est dérivée en multipliant les probabilités des deux tâches binaires, garantissant que la sortie respecte la hiérarchie pathologique.

3. Perte Hiérarchique Pondérée par l'Incertitude : Pour optimiser les deux tâches simultanément, les auteurs emploient un cadre de pondération par incertitude homoscédastique (Kendall et al.).

   • Des paramètres scalaires apprenables ($\lambda_A, \lambda_B$) représentent la log-variance (incertitude) de chaque tâche.
   • La fonction d'objectif conjointe combine les pertes d'entropie croisée pondérées des deux tâches, où les tâches ayant une incertitude apprise plus élevée reçoivent des poids effectifs plus faibles. Cela permet au modèle d'équilibrer de manière adaptative le signal d'apprentissage entre les tâches de classification grossière et fine sans réglage manuel des hyperparamètres.

Contributions Clés

• Généralisation au Niveau du Patient : L'étude traite le problème de la fuite de données en employant une division stricte au niveau du patient pour l'entraînement et le test, fournissant une évaluation plus réaliste de la généralisation du modèle par rapport aux divisions aléatoires précédentes au niveau des tuiles.
• Intégration Multimodale : Ce travail démontre que l'incorporation de caractéristiques radiomiques artisanales (spécifiquement les descripteurs de forme et d'intensité) comme entrées supplémentaires améliore significativement les performances de classification et ajoute de l'interprétabilité, même lorsqu'elles sont dérivées des mêmes images utilisées pour l'apprentissage profond.
• Optimisation de la Perte Hiérarchique : Le papier introduit une fonction de perte à deux têtes structurée avec un pondération par incertitude entraînable. Cette approche surpasse les modèles de base multiclasses grâce à une modélisation explicite de la dépendance entre la présence de la tumeur et la viabilité.

Résultats Expérimentaux
Le cadre a été évalué sur le jeu de données TCIA Osteosarcoma Tumor Assessment, comprenant 1 144 tuiles colorées à l'H&E provenant de la période 1995–2015, annotées en catégories Non-tumeur, Tumeur non-viable et Tumeur viable.

• Performance : La configuration proposée (backbone InceptionV3 + Perte Hiérarchique + Radiomique) a atteint des performances de pointe sur ce jeu de données.
  • Précision Globale : 0,86 ± 0,01 (comparé à 0,73 pour le modèle de base InceptionV3 à 3 classes).
  • Macro-F1 : 0,86 ± 0,01.
  • OvR AUC : 0,96 ± 0,00.
• Études d'Ablation :
  • L'ajout de caractéristiques radiomiques à un InceptionV3 standard a amélioré le Macro-F1 de 0,74 à 0,80.
  • L'ajout de la perte hiérarchique à InceptionV3 a amélioré le Macro-F1 de 0,73 à 0,75.
  • La combinaison des deux a produit les gains les plus élevés.
• Améliorations par Classe : Le modèle complet a considérablement amélioré la reconnaissance de la classe difficile « Tumeur non-viable ». La sensibilité à une spécificité de 90 % (Sen@Spe90) pour les tumeurs non-viables est passée de 0,69 (baseline) à 0,83. Le modèle a également maintenu des performances élevées pour les Non-tumeurs (Sen@Spe90 0,92) et les Tumeurs viables (Sen@Spe90 0,95).

Signification et Revendications
Les auteurs affirment que leur travail établit un nouveau standard de performance (state-of-the-art) pour la classification de l'histologie de l'ostéosarcome sur le jeu de données ouvert TCIA. Ils soutiennent que l'intégration de la radiomique fournit une interprétabilité intrinsèque grâce à des descripteurs de forme explicites, complétant les représentations implicites des réseaux profonds. De plus, la formulation hiérarchique soutient un raisonnement cliniquement significatif en alignant le processus de décision du modèle sur la progression de la viabilité tumorale. L'étude conclut que la combinaison de la supervision hiérarchique et de la fusion multimodale est essentielle pour améliorer la discrimination entre tous les types de tissus cliniquement pertinents, particulièrement pour le sous-type de tumeur non-viable, plus difficile à classifier. Le code et les modèles entraînés sont mis à la disposition de la communauté.