Radiomics-Integrated Deep Learning with Hierarchical Loss for Osteosarcoma Histology Classification

Technische Samenvatting: Radiomics-geïntegreerd Deep Learning met Hiërarchische Loss voor Osteosarcoom Histologische Classificatie

Probleemstelling
Osteosarcoom (OS) is een agressieve primaire botmaligniteit waarbij een nauwkeurige histopathologische beoordeling van vitale versus niet-vitale tumorregio's na neoadjuvante chemotherapie cruciaal is voor de prognose en behandelplanning. Handmatige evaluatie van histopathologische coupes is arbeidsintensief, subjectief en gevoelig voor inter-observer variabiliteit. Hoewel recente deep learning-benaderingen pogingen hebben gedaan om necrosekwantificatie te automatiseren, rapporteerden eerdere studies vaak een tile-niveau generalisatie die niet standhield bij testen op patiëntniveau. Deze discrepantie ontstaat door datalekken veroorzaakt door willekeurige splitsingen op tile-niveau (waarbij meerdere tiles van dezelfde patiënt zowel in de trainings- als de testset voorkomen) en het falen van "platte" multi-class modellen om de klinische hiërarchie van de ziekte te verklaren. Specifiek negeren standaard drie-klasse classificaties (niet-tumor, niet-vitale tumor, vitale tumor) vaak de duidelijke klinische significantie van deze subtypen en de variërende klassenprevalentie die inherent is aan de ziekte.

Methodologie
De auteurs stellen een multimodale hiërarchische leerframework voor die is ontworpen om de modelarchitectuur af te stemmen op klinische redenering. De methodologie bestaat uit drie kerncomponenten:

1. Multimodale Feature Fusie: Het framework integreert deep learning beeldkenmerken met handmatige radiomics descriptoren.

   • Een beeldencoder ($f_{img}$) verwerkt RGB-histologie tiles, terwijl een radiomics encoder ($f_{rad}$) een vector van 29 first-order en 2D vormkenmerken verwerkt die zijn geëxtraheerd via de PyRadiomics bibliotheek.
   • Deze modaliteiten worden gefuseerd met behulp van een adaptief attention gating mechanisme. Een softmax gate berekent de attention gewichten ($\alpha_{img}, \alpha_{rad}$) om een gewogen combinatie van de beeld- en radiomics embeddings te creëren, waardoor het model dynamisch de meest informatieve modaliteit voor een gegeven sample kan prioriteren.

2. Hiërarchische Taakformulering: In plaats van een platte drie-klasse classificatie, wordt het probleem gedecomposeerd in twee gerelateerde binaire taken:

   • Taak A (Grof): Het onderscheiden van Niet-tumor vs. Tumor (vitale + niet-vitale).
   • Taak B (Fijn): Het onderscheiden van Niet-vitale vs. Vitale tumor (toegepast alleen op samples geïdentificeerd als tumor in Taak A).
   • De uiteindelijke drie-weg waarschijnlijkheidsverdeling wordt afgeleid door de kansen van de twee binaire taken met elkaar te vermenigvuldigen, wat ervoor zorgt dat de output de pathologische hiërarchie respecteert.

3. Onzekerheid-gewogen Hiërarchische Loss: Om beide taken simultaan te optimaliseren, gebruiken de auteurs een homoscedastische onzekerheid-wegingsframework (Kendall et al.).

   • Leerbare scalaire parameters ($\lambda_A, \lambda_B$) vertegenwoordigen de log-variantie (onzekerheid) van elke taak.
   • De gezamenlijke objectieve functie combineert de gewogen cross-entropy losses van beide taken, waarbij taken met een hogere geleerde onzekerheid een lagere effectieve weging ontvangen. Dit stelt het model in staat om adaptief de leerbalans tussen de grove en de fijne classificatietaak te beheren zonder handmatige hyperparameter afstemming.

Belangrijkste Bijdragen

• Generalisatie op Patiëntniveau: De studie adresseert het probleem van datalekken door een strikte patiënt-niveau split te hanteren voor training en testen, wat een realistischere beoordeling van de modelgeneralisatie biedt vergeleken met eerdere willekeurige splitsingen op tile-niveau.
• Multimodale Integratie: Het werk demonstreert dat het integreren van handmatige radiomics kenmerken (specifiek vorm- en intensiteitsdescriptoren) als aanvullende input de classificatieprestaties aanzienlijk verbetert en interpreteerbaarheid toevoegt, zelfs wanneer deze afgeleid zijn van dezelfde beelden die voor deep learning worden gebruikt.
• Optimalisatie van de Hiërarchische Loss: Het paper introduceert een gestructureerde twee-kop loss functie met leerbare onzekerheid-weging. Deze benadering presteert beter dan platte multi-class baselines door de afhankelijkheid tussen tumor aanwezigheid en vitaliteit expliciet te modelleren.

Experimentele Resultaten
Het framework werd geëvalueerd op de TCIA Osteosarcoma Tumor Assessment dataset, bestaande uit 1.144 H&E-gekleurde tiles uit 1995–2015, geannoteerd in de categorieën Niet-tumor, Niet-vitale tumor en Vitale tumor.

• Prestaties: De voorgestelde configuratie (InceptionV3 backbone + Hierarchical Loss + Radiomics) bereikte state-of-the-art prestaties op deze dataset.
  • Totale Accuraatheid: 0.86 ± 0.01 (vergeleken met 0.73 voor de baseline 3-klasse InceptionV3).
  • Macro-F1: 0.86 ± 0.01.
  • OvR AUC: 0.96 ± 0.00.
• Ablatie-studies:
  • Het toevoegen van radiomics kenmerken aan een standaard InceptionV3 verbeterde de Macro-F1 van 0.74 naar 0.80.
  • Het toevoegen van hiërarchische loss aan InceptionV3 verbeterde de Macro-F1 van 0.73 naar 0.75.
  • De combinatie van beide leverde de hoogste winst op.
• Verbeteringen per Klasse: Het volledige model verbeterde de herkenning van de uitdagende "Niet-vitale tumor" klasse aanzienlijk. De sensitiviteit bij 90% specificiteit (Sen@Spe90) voor niet-vitale tumoren steeg van 0.69 (baseline) naar 0.83. Het model behield ook een hoge prestatie voor Niet-tumor (Sen@Spe90 0.92) en Vitale-tumor (Sen@Spe90 0.95) klassen.

Significantie en Claims
De auteurs claimen dat hun werk een nieuwe state-of-the-art prestatiebenchmark zet voor osteosarcoom histologische classificatie op de openbare TCIA dataset. Zij stellen dat de integratie van radiomics intrinsieke interpreteerbaarheid biedt door middel van expliciete vormdescriptoren, wat de impliciete representaties van deep networks complementeert. Bovendien ondersteunt de hiërarchische formulering klinisch betekenisvolle redenering door de beslissingsprocedure van het model af te stemmen op de progressie van tumorvitaliteit. De studie concludeert dat het combineren van hiërarchische supervisie met multimodale fusie essentieel is voor het verbeteren van de discriminatie over alle klinisch relevante weefseltypen, in het bijzonder voor het moeilijk te classificeren type niet-vitale tumor. De code en getrainde modellen worden beschikbaar gesteld aan de community.