Transformer-Based Multi-Region Segmentation and Radiomic Analysis of HR-pQCT Imaging

Deze studie introduceert een volledig geautomatiseerd framework dat gebruikmaakt van een transformer-gebaseerd SegFormer-model voor multi-regionale segmentatie van HR-pQCT-beelden, waarmee radiomische kenmerken uit zachte weefsels worden ontleend die de prestaties van osteoporosedetectie significant verbeteren ten opzichte van traditionele botgebaseerde methoden.

De kern

🦴 De "Super-Detective" voor Botziekten: Hoe AI Osteoporosis Opspoort

Stel je voor dat je botgezondheid controleren net zo is als het inspecteren van een oud, stevig huis.

Het oude probleem: Alleen naar de muren kijken
Tot nu toe gebruikten artsen een speciale röntgenfoto (DXA) om te kijken of botten broos zijn. Dit is alsof je alleen naar de buitenmuur van het huis kijkt om te zien of het huis veilig is. Je ziet de dikte van de muur, maar je ziet niet wat er binnenin gebeurt (zoals de balken en de vloer) en je ziet ook niet wat er om het huis heen gebeurt (zoals de tuin of de buren).

Bij osteoporose (botontkalking) gaat het echter niet alleen om de botten. Het gaat ook om de spieren en het vet eromheen. Als je alleen naar de botten kijkt, mis je belangrijke aanwijzingen.

De nieuwe oplossing: Een 3D-Scans met een Super-Gezicht
De onderzoekers uit dit paper hebben een nieuwe manier bedacht om dit probleem op te lossen. Ze gebruiken een heel gedetailleerde 3D-scan (HR-pQCT) en laten een slimme computer (kunstmatige intelligentie) de scan bekijken.

Hier zijn de drie stappen van hun "detectivewerk":

1. De Slimme Schilder (De SegFormer)

Stel je voor dat je een ingewikkeld schilderij hebt met botten, spieren en vet. Tot nu toe moesten artsen dit schilderij met de hand inkleuren om de verschillende delen te scheiden. Dat duurde uren en was vaak niet helemaal hetzelfde voor elke arts.

De onderzoekers hebben een AI-schilder (een zogenaamd Transformer-model, genaamd SegFormer) getraind.

• Wat doet hij? Hij kijkt naar de scan en tekent automatisch de lijnen tussen de verschillende delen: het harde buitenste bot, het sponsachtige binnenste bot, en de zachte weefsels (spieren en vet) eromheen.
• Het resultaat: Hij doet dit in een flits, met bijna 100% nauwkeurigheid, en maakt geen fouten. Hij ziet zelfs de kleine, moeilijke botjes in de onderbeen (de fibula) die andere systemen vaak over het hoofd zagen.

2. De Textuur-Scanner (Radiomics)

Nu de AI de verschillende delen heeft ingekleurd, gaat de computer op zoek naar verborgen patronen.

• De Analogie: Stel je voor dat je een stukje stof vasthoudt. Met je ogen zie je alleen de kleur. Maar als je met je vingers voelt, voel je of het ruw, glad, zacht of hard is.
• De AI doet dit: De computer haalt duizenden meetpunten uit de scan. Hij kijkt niet alleen naar hoe "wit" of "zwart" een bot is, maar naar de textuur. Is het botnetwerk netjes en strak, of is het rommelig en hol? Is het spierweefsel strak en gezond, of zit er veel "ruis" (vet) in?
• Dit noemen ze radiomics. Het is alsof de computer de "vingerafdruk" van het weefsel leest.

3. De Grootse Ontdekking: De Buren zijn ook Belangrijk

Dit is het meest verrassende deel van het onderzoek.

• De Verwachting: Je zou denken dat je alleen naar de botten hoeft te kijken om te zien of iemand osteoporose heeft.
• De Realiteit: De AI ontdekte dat de spieren en het vet rondom het bot soms zelfs beter voorspellen of iemand ziek is dan de botten zelf!
• De Vergelijking: Het is alsof je probeert te weten of een huis in slechte staat is. Je kijkt niet alleen naar de muren (de botten), maar ook naar de tuin en de buren (de spieren). Als de buren (spieren) zwak en ongezond zijn, is de kans groot dat het huis (de botten) ook problemen heeft, zelfs als de muren er nog heel uitzien.

Wat betekent dit voor de toekomst?

1. Snellere diagnose: De AI kan nu automatisch en snel een scan analyseren zonder dat een arts uren hoeft te besteden aan het inkleuren van plaatjes.
2. Beter voorspellen: Door ook naar de spieren en het vet te kijken, kunnen artsen osteoporose eerder opsporen, voordat er een bot breekt.
3. Een nieuw inzicht: Het onderzoek laat zien dat botten en spieren onlosmakelijk met elkaar verbonden zijn. Als je je botten wilt beschermen, moet je ook zorgen voor je spieren.

Kortom:
De onderzoekers hebben een slimme digitale assistent gebouwd die niet alleen naar de botten kijkt, maar naar het hele plaatje (bot + spier + vet). Hierdoor kunnen we osteoporose beter, sneller en accurater opsporen dan ooit tevoren. Het is een stap in de richting van een toekomst waarin botbreuken voorkomen worden in plaats van behandeld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Transformer-Based Multi-Region Segmentation and Radiomic Analysis of HR-pQCT Imaging for Osteoporosis Classification", weergegeven in het Nederlands.

Probleemstelling

Osteoporose is een veelvoorkomende skeletaandoening die vaak pas wordt gediagnosticeerd na een fractuur. De huidige klinische standaard, dual-energy X-ray absorptiometrie (DXA), meet alleen de oppervlakte-bone mineral density (aBMD) en negeert de botmicroarchitectuur en omliggende zachte weefsels. Hoewel High-Resolution Peripheral Quantitative Computed Tomography (HR-pQCT) gedetailleerde 3D-beelden van bot en zacht weefsel biedt met minimale straling, worden bestaande analysepijplijnen voornamelijk beperkt tot gemineraliseerde botcompartimenten. Hierdoor blijft een groot deel van de beeldgegevens onderbenut. Bovendien zijn bestaande segmentatiemethoden vaak semi-automatisch, arbeidsintensief en vatbaar voor variabiliteit tussen gebruikers. Er is behoefte aan een volledig geautomatiseerd kader dat gebruikmaakt van geavanceerde deep learning en radiomics om osteoporose te detecteren op basis van zowel bot als zacht weefsel.

Methodologie

De auteurs hebben een volledig geautomatiseerd raamwerk ontwikkeld dat bestaat uit drie hoofdfasen: segmentatie, radiomics-extractie en classificatie.

1. Dataverzameling en Voorbereiding

• Datasets: Er werden twee datasets gebruikt. Een segmentatiedataset (40 scans, 6.720 afbeeldingen) voor het trainen van het segmentatiemodel en een classificatiedataset (122 scans, 20.496 afbeeldingen) voor het trainen en testen van de osteoporose-classificatie.
• Annotatie: Handmatige annotatie werd uitgevoerd met 3D Slicer, waarbij 5 klassen werden gedefinieerd: corticaal bot (tibia en fibula), trabeculair bot (tibia en fibula) en zacht weefsel.
• Preprocessing: Afbeeldingen werden gesneden, genormaliseerd (HU-waarden tussen -4000 en 6000) en gedownsampled naar 800x800 pixels.

2. Segmentatie (Deep Learning)

• Model: Er werd een SegFormer-architectuur (een transformer-based model) gebruikt, specifiek de SegFormer-B3 variant. Dit model combineert een hiërarchische transformer-encoder met een lichte MLP-decoder.
• Innovatie: In tegenstelling tot traditionele CNN's (zoals U-Net), gebruikt SegFormer self-attention-mechanismen om langeafstandsafhankelijkheden en globale context te modelleren, wat cruciaal is voor de complexe ruimtelijke relaties in HR-pQCT-beelden.
• Post-processing: Het model segmenteerde eerst 5 gebieden. Vervolgens werd een post-processing-pijplijn toegepast om het zachte weefsel verder te onderverdelen in huid, myotendineus weefsel en adiposus (vet) weefsel, resulterend in een totale 7-klassen segmentatie.
• Training: Het model werd getraind met een combinatie van Cross-Entropy en Dice Loss, en fine-tuned op de HR-pQCT-data.

3. Radiomics Feature Extractie

• Uit elk van de 7 gesegmenteerde regio's (behalve de huid) werden 939 radiomics-features geëxtraheerd met PyRadiomics.
• Dit omvatte eerste-orde statistieken, vormfeatures, en texture-features (GLCM, GLSZM, GLRLM, NGTDM, GLDM) op originele en gefilterde beelden (o.a. Wavelet, LoG, LBP).
• Feature Selectie: Een driestapsproces (variatiedrempel, correlatieanalyse, en LASSO-regressie) werd gebruikt om redundantie te verminderen en de meest informatieve features te selecteren.

4. Classificatie

• Image Level: Zes machine learning-classifiers (Logistic Regression, SVM, Random Forest, XGBoost, KNN, Naive Bayes) werden getraind om osteoporose te onderscheiden van controles op basis van de geselecteerde features per regio.
• Patient Level: Er werden multivariate logistische regressiemodellen ontwikkeld om de voorspellende waarde van radiomics-features te vergelijken met traditionele variabelen (biologische data, DXA-metingen, HR-pQCT parameters en functionele tests).

Belangrijkste Bijdragen

1. Eerste HR-pQCT Dataset: Introductie van de eerste dataset met 6.720 HR-pQCT-afbeeldingen met pixel-accurate ground-truth masks voor 5 klassen.
2. Transformer-based Segmentatie: Eerste toepassing van SegFormer voor volledig geautomatiseerde multi-region segmentatie van HR-pQCT-beelden, wat superieur is aan CNN-architecturen zoals U-Net, vooral voor kleinere structuren zoals de fibula.
3. Gedetailleerde Zachtweefsel Analyse: Een unieke pijplijn die zacht weefsel splitst in huid, spier/tpees en vetweefsel, waardoor een 7-klassen segmentatie mogelijk is.
4. Systematische Vergelijking: De eerste systematische analyse die de diagnostische bijdrage van verschillende botcompartimenten (corticaal vs. trabeculair) en zachtweefseltypen vergelijkt voor osteoporose-classificatie.
5. Integratie van Modellen: Een kader dat deep learning, radiomics en machine learning combineert om te bewijzen dat zachtweefsel-features waardevolle aanvullende informatie bieden boven traditionele botmetingen.

Resultaten

• Segmentatie: Het SegFormer-model behaalde een gemiddelde F1-score van 95,36%. Het presteerde aanzienlijk beter dan U-Net en Attention U-Net, vooral bij de minder voorkomende klassen (fibula), met een verbetering van de Intersection over Union (IoU) met tot wel 20,43% voor de fibula-trabeculaire regio.
• Image Level Classificatie:
  • Logistic Regression presteerde consistent het beste.
  • Myotendineus weefsel leverde de hoogste nauwkeurigheid (80,08%) en F1-score (0,787).
  • Adiposus weefsel leverde de beste AUROC (0,857).
  • Modellen gebaseerd op zacht weefsel presteerden beter dan of gelijk aan modellen gebaseerd op botcompartimenten (bijv. tibia-trabeculair: 78,55% nauwkeurigheid).
• Patient Level Classificatie:
  • Het Radiomics Zachtweefsel-model presteerde het beste met een nauwkeurigheid van 87,5% en een AUROC van 0,875.
  • Dit was een significante verbetering ten opzichte van het niet-radiomics-basismodel (AUROC 0,792) en het radiomics-botmodel (AUROC 0,826).
  • De resultaten tonen aan dat texture-features in zacht weefsel (zoals homogeniteit van vet en intensiteit van spier) sterke voorspellers zijn voor osteoporose.

Betekenis en Conclusie

De studie demonstreert dat osteoporose niet alleen een botziekte is, maar een systemische aandoening die ook zichtbare veranderingen in omliggende zacht weefsels veroorzaakt. Door gebruik te maken van transformer-gebaseerde segmentatie en radiomics, kan een volledig geautomatiseerd systeem deze subtiele veranderingen detecteren.

De belangrijkste conclusie is dat zachtweefsel-features (spier en vet) even waardevol, zo niet waardevoller, zijn dan traditionele botmetingen voor het detecteren van osteoporose. Dit onderstreept het belang van een geïntegreerde weefselbeoordeling. Hoewel HR-pQCT nog niet zo wijdverspreid is als DXA, biedt deze methode waardevolle inzichten voor de ontwikkeling van toekomstige algoritmen die op bredere, kosteneffectievere beeldvormingsmodaliteiten kunnen worden toegepast om de vroege detectie van osteoporose te verbeteren.