BioPretext: A Multimodal Self-Supervised Learning Framework for Orthopedic Feature Extraction via Cross-Modal Signal Alignment and Dynamic Fusion

In de wereld van de moderne geneeskunde vertrouwen artsen al lang op twee verschillende manieren om naar het menselijk lichaam te kijken. De ene manier is om een foto te maken, zoals een röntgenfoto of een magnetische resonantie-opname, die de statische structuur van botten en gewrichten onthult. De andere manier is om naar de beweging en functie van het lichaam te luisteren, door sensoren te gebruiken om te volgen hoe een hart klopt, hoe spieren vuren of hoe een persoon loopt. Decennialang zijn deze twee stromen informatie afzonderlijk geanalyseerd. Een radioloog kan een afbeelding van een knie bestuderen om schade te controleren, terwijl een fysiotherapeut een patiënt kan observeren tijdens het lopen om de mobiliteit te beoordelen, maar de diepe verbinding tussen de vorm van het bot en het ritme van de beweging is grotendeels onverkend gebleven door computers. Deze scheiding is een gemiste kans, want de manier waarop een gewricht is gebouwd, beïnvloedt direct hoe het beweegt, en omgekeerd kan de manier waarop het beweegt verborgen problemen in de structuur onthullen.

De uitdaging is geweest om computers te leren beide talen tegelijk te begrijpen zonder dat er een mens nodig is om elk afzonderlijk voorbeeld te labelen. In veel medische velden zijn er niet genoeg gelabelde voorbeelden om een computer te leren wat normaal en wat ziek is. Hier komt een nieuwe benadering genaamd zelfgesuperviseerd leren (self-supervised learning) om de hoek kijken. In plaats van te wachten tot een arts de diagnose voor elke afbeelding en elke sensoraflezing opschrijft, stelt deze methode de computer in staat om te leren door puzzels binnen de data zelf op te lossen. De computer zoekt naar patronen en relaties op eigen kracht en bouwt zo een diep begrip op van hoe het lichaam werkt voordat hij ooit een specifieke patiëntcasus ziet.

Een team van onderzoekers van ziekenhuizen in Xinjiang, China, heeft nu een systeem gebouwd dat deze twee werelden samenbrengt. Ze noemen hun creatie BioPretext. Dit framework is ontworpen om een röntgenfoto en een biologisch signaal, zoals een elektrocardiogram of een opname van een gewrigsbeweging, tegelijkertijd te bekijken en te leren hoe ze in elkaar passen. De onderzoekers hebben de computer niet alleen geleerd om naar beide te kijken; ze hebben hem geleerd om het ene te gebruiken om het andere te begrijpen. Ze creëerden een reeks trainingsoefeningen waarbij de computer werd gevraagd een defect biologisch signaal te herstellen met behulp van de foto van het bot als gids, of om een ontbrekend deel van een bewegingspatroon te voorspellen met behulp van de statische afbeelding. Door de computer deze puzzels te laten oplossen, leerde hij de subtiele, natuurlijke verbanden te herkennen tussen de vorm van een gewricht en de manier waarop het functioneert.

Het systeem werkt door gebruik te maken van twee verschillende soorten kunstmatige intelligentie-motoren die zij aan zij werken. De ene motor is gespecialiseerd in het bekijken van afbeeldingen, waarbij een röntgenfoto of MRI wordt afgebroken in minuscule stukjes om de vorm van botten en de dikte van kraakbeen te begrijpen. De andere motor is gespecialiseerd in tijd, waarbij de stroom van gegevens van sensoren die bewegingen of hartslagen over een bepaalde tijd volgen, wordt geanalyseerd. Deze twee motoren werken niet in isolatie. Ze zijn verbonden door een brug die hen in staat stelt constant informatie te delen. Wanneer de beeldmotor een specifiek kenmerk ziet, zoals een vernauwing in een gewrichtsruimte, stuurt deze een signaal naar de tijdmotor om te zoeken naar een overeenkomstige verandering in de bewegingsgegevens. Dit gebeurt in beide richtingen, waardoor een gedeeld begrip ontstaat waarbij de structuur en de functie elkaar informeren.

Om dit leerproces robuust te maken, introduceerden de onderzoekers specifieke regels gebaseerd op hoe het lichaam daadwerkelijk werkt. Ze ontwierpen taken die van de computer vereisten dat hij de wetten van de fysica en biologie respecteerde. Zo werd de computer bijvoorbeeld gevraagd om een gecorrumpeerd signaal te reconstrueren, zoals een hartritme dat ondersteboven is gekeerd of een gat in een loopritme, gebruikmakend van de context van de botstructuur. Als de computer de verkeerde vorm voor de ontbrekende gegevens raadde, wist hij dat hij fout zat, omdat de botstructuur die beweging niet zou ondersteunen. Dit proces, bekend als cross-modale uitlijning (cross-modal alignment), zorgt ervoor dat de computer relaties leert die fysiek mogelijk en klinisch betekenisvol zijn, in plaats van alleen maar willekeurige toevalligheden in de data te vinden.

Zodra de computer deze verbindingen heeft geleerd, gebruikt hij een slim schakelmechanisme om te beslissen welk deel van de informatie het belangrijkst is voor een specifieke taak. Soms is de vorm van het bot de meest cruciale aanwijzing, zoals bij het diagnosticeren van een breuk. Op andere momenten is het bewegingspatroon veelzeggender, zoals bij het beoordelen van hoe goed een patiënt kan lopen na een operatie. Het systeem combineert deze twee soorten informatie niet simpelweg door ze te middelen; het past zijn focus dynamisch aan, waarbij het de beeldgegevens zwaarder laat wegen wanneer de structuur ertoe doet en de sensordata zwaarder laat wegen wanneer de functie ertoe doet. Deze flexibiliteit stelt het systeem in staat om zich aan te passen aan verschillende medische vragen zonder dat het voor elk nieuw probleem opnieuw getraind moet worden.

De onderzoekers testten dit systeem op drie belangrijke orthopedische uitdagingen: het voorspellen van hoe snel artrose zal verergeren, het beoordelen van hoe goed een patiënt beweegt na een operatie, en het inschatten van het risico op een toekomstige breuk. Ze gebruikten een grote collectie medische afbeeldingen en sensoropnames, waarvan sommige publiekelijk beschikbaar waren en andere zij zelf hadden samengesteld. De resultaten lieten zien dat het systeem aanzienlijk beter was in deze taken dan eerdere methoden die alleen naar afbeeldingen of signalen keken. Bijvoorbeeld, bij het voorspellen van de progressie van artrose bereikte het systeem een nauwkeurigheid van 82,3 procent, waarmee het andere modellen die slechts op één type data vertrouwden, overtrof. Bij het beoordelen van de mobiliteit na een operatie was het in staat om loopsnelheid en staplengte met een hoge mate van correlatie te voorspellen, wat veel beter was dan oudere technieken.

De studie onthulde ook dat het systeem de juiste zaken leerde. Toen de onderzoekers keken naar hoe de computer zijn beslissingen nam, ontdekten ze dat hij aandacht besteedde aan de juiste delen van de data. Voor artrose richtte het zich op de vernauwing van de gewrichtsruimte in de afbeeldingen en koppelde dit aan abnormale patronen in de loopkracht. Voor het breukrisico verbond het de textuur van het bot in de röntgenfoto aan de manier waarop een persoon wiebelde tijdens het staan. Dit vermogen om de eigen redenering uit te leggen is cruciaal voor medisch gebruik, aangezien het aantoont dat het systeem niet zomaar gokt, maar logische, biologische verbindingen volgt.

De onderzoekers benadrukken echter voorzichtig dat dit systeem geen afgewerkt product is dat morgen klaar is voor elk ziekenhuis. Het werkt momenteel het beste wanneer de afbeelding en de sensordata tegelijkertijd worden opgenomen, wat in de echte klinische praktijk niet altijd het geval is, waar gegevens bijvoorbeeld op verschillende dagen of met verschillende snelheden worden verzameld. Het systeem vereenvoudigt ook enkele van de complexe fysica van het menselijk lichaam om het trainen beheersbaar te maken, wat betekent dat het enkele van de fijnere details van zeer complexe gewrigsbewegingen zou kunnen missen. Ondanks deze beperkingen demonstreert het werk een krachtige nieuwe manier om computers over het menselijk lichaam te leren. Door machines te leren de verbinding te zien tussen de vorm van onze botten en het ritme van onze beweging, opent dit onderzoek de deur naar nauwkeurigere diagnoses en gepersonaliseerde behandelplannen die rekening houden met de hele persoon, en niet alleen met een enkele foto of een enkele sensoraflezing.