BioPretext: A Multimodal Self-Supervised Learning Framework for Orthopedic Feature Extraction via Cross-Modal Signal Alignment and Dynamic Fusion

In der Welt der modernen Medizin verlassen sich Ärzte seit langem auf zwei unterschiedliche Arten, den menschlichen Körper zu betrachten. Die eine Art besteht darin, ein Bild zu machen, wie etwa eine Röntgenaufnahme oder eine Magnetresonanztomographie, die die statische Struktur von Knochen und Gelenken offenbart. Die andere Art besteht darin, auf die Bewegung und Funktion des Körpers zu hören, indem Sensoren verwendet werden, um zu verfolgen, wie ein Herz schlägt, wie Muskeln feuern oder wie eine Person geht. Jahrzehntelang wurden diese beiden Informationsströme getrennt analysiert. Ein Radiologe mag ein Bild eines Knies untersuchen, um nach Schäden zu suchen, während ein Physiotherapeut einen Patienten beim Gehen beobachtet, um die Mobilität zu beurteilen, aber die tiefe Verbindung zwischen der Form des Knochens und dem Rhythmus der Bewegung blieb von Computern weitgehend unerforscht. Diese Trennung ist eine verpasste Chance, denn die Art und Weise, wie ein Gelenk gebaut ist, beeinflusst direkt, wie es sich bewegt, und umgekehrt kann die Art der Bewegung verborgene Probleme in seiner Struktur offenbaren.

Die Herausforderung bestand darin, Computern beizubringen, beide Sprachen gleichzeitig zu verstehen, ohne dass ein Mensch jedes einzelne Beispiel beschriften muss. In vielen medizinischen Bereichen gibt es nicht genügend beschriftete Beispiele, um einem Computer beizubringen, was normal und was krankhaft ist. Hier kommt ein neuer Ansatz namens selbstüberwachtes Lernen (self-supervised learning) ins Spiel. Anstatt darauf zu warten, dass ein Arzt die Diagnose für jedes Bild und jede Sensorablesung aufschreibt, ermöglicht diese Methode dem Computer, zu lernen, indem er innerhalb der Daten selbst Rätsel löst. Er sucht nach Mustern und Beziehungen auf eigene Faust und baut so ein tiefes Verständnis dafür auf, wie der Körper funktioniert, noch bevor er jemals einen spezifischen Patientenfall sieht.

Ein Forschungsteam aus Krankenhäusern in Xinjiang, China, hat nun ein System entwickelt, das diese beiden Welten zusammenbringt. Sie nennen ihre Kreation BioPretext. Dieses Framework ist darauf ausgelegt, ein Röntgenbild und ein biologisches Signal, wie ein Elektrokardiogramm oder eine Aufnahme der Gelenkbewegung, gleichzeitig zu betrachten und zu lernen, wie sie zusammenpassen. Die Forscher haben den Computer nicht nur gelehrt, auf beides zu schauen; sie haben ihn gelehrt, das eine zu nutzen, um das andere zu verstehen. Sie entwickelten eine Reihe von Trainingsübungen, bei denen der Computer gebeten wurde, ein defektes biologisches Signal mithilfe des Knochenbildes als Leitfaden zu reparieren, oder einen fehlenden Teil eines Bewegungsmusters unter Verwendung des statischen Bildes vorherzusagen. Indem sie den Computer zwangen, diese Rätsel zu lösen, lernte er, die subtilen, natürlichen Verbindungen zwischen der Form eines Gelenks und der Art und Weise, wie es funktioniert, zu erkennen.

Das System arbeitet mit zwei verschiedenen Arten von künstlichen Intelligenz-Engines, die nebeneinander existieren. Eine Engine ist spezialisiert auf das Betrachten von Bildern, indem sie ein Röntgenbild oder ein MRT in winzige Teile zerlegt, um die Form der Knochen und die Dicke des Knorpels zu verstehen. Die andere Engine ist auf die Zeit spezialisiert und analysiert den Fluss von Sensordaten, die Bewegungen oder Herzschläge über die Zeit verfolgen. Diese beiden Engines arbeiten nicht isoliert. Sie sind durch eine Brücke verbunden, die es ihnen ermöglicht, ständig Informationen auszutauschen. Wenn die Bild-Engine ein spezifisches Merkmal sieht, wie etwa eine Verengung im Gelenkspalt, sendet sie ein Signal an die Zeit-Engine, um nach einer entsprechenden Änderung in den Bewegungsdaten zu suchen. Dies geschieht in beide Richtungen und schafft ein gemeinsames Verständnis, bei dem sich Struktur und Funktion gegenseitig informieren.

Um dieses Lernen robust zu machen, führten die Forscher spezifische Regeln ein, die darauf basieren, wie der Körper tatsächlich funktioniert. Sie entwarfen Aufgaben, die den Computer dazu verlangen, die Gesetze der Physik und Biologie zu respektieren. Beispielsweise wurde das System gebeten, ein korrumpiertes Signal zu rekonstruieren – etwa einen Herzrhythmus, der auf den Kopf gestellt wurde, oder eine Lücke in einem Gangmuster – unter Verwendung des Kontextes der Knochenstruktur. Wenn der Computer die falsche Form für die fehlenden Daten errat, wusste er, dass er falsch lag, weil die Knochenstruktur diese Bewegung nicht unterstützen würde. Dieser Prozess, bekannt als Cross-Modal Alignment, stellt sicher, dass der Computer Beziehungen lernt, die physikalisch möglich und klinisch bedeutsam sind, anstatt nur zufällige Koinzidenzen in den Daten zu finden.

Sobald der Computer diese Verbindungen gelernt hat, nutzt er einen intelligenten Schaltmechanismus, um zu entscheiden, welche Information für eine bestimmte Aufgabe am wichtigsten ist. Manchmal ist die Form des Knochens der entscheidende Hinweis, etwa bei der Diagnose eines Bruches. Zu anderen Zeiten ist das Bewegungsmuster aussagekräftiger, etwa bei der Beurteilung, wie gut ein Patient nach einer Operation gehen kann. Das System mittelt diese beiden Arten von Informationen nicht einfach zusammen; es passt seinen Fokus dynamisch an, indem es die Bilddaten stärker gewichtet, wenn die Struktur wichtig ist, und die Sensordaten stärker gewichtet, wenn die Funktion zählt. Diese Flexibilität ermöglicht es dem System, sich an verschiedene medizinische Fragestellungen anzupassen, ohne für jedes neue Problem neu trainiert werden zu müssen.

Die Forscher testeten dieses System an drei großen orthopädischen Herausforderungen: der Vorhersage, wie schnell sich Arthritis verschlechtert, der Beurteilung, wie gut ein Patient sich nach einer Operation bewegt, und der Schätzung des Risikos eines zukünftigen Bruches. Sie verwendeten eine große Sammlung medizinischer Bilder und Sensoraufzeichnungen, von denen einige öffentlich verfügbar waren und andere sie selbst zusammengestellt hatten. Die Ergebnisse zeigten, dass das System bei diesen Aufgaben signifikant besser abschnitt als bisherige Methoden, die nur Bilder oder Signale allein betrachteten. So erreichte das System beispielsweise bei der Vorhersage des Fortschreitens von Osteoarthritis eine Genauigkeit von 82,3 Prozent und übertraf damit andere Modelle, die sich nur auf eine Art von Daten stützten. Bei der Beurteilung der Mobilität nach einer Operation war es in der Lage, Gehgeschwindigkeit und Schrittlänge mit einem hohen Grad an Korrelation vorherzusagen, womit es ältere Techniken weit hinter sich ließ.

Die Studie zeigte auch, dass das System die richtigen Dinge lernt. Als die Forscher untersuchten, wie der Computer seine Entscheidungen trifft, stellten sie fest, dass er auf die korrekten Teile der Daten achtet. Für Arthritis konzentrierte er sich auf die Verengung des Gelenkspalts in den Bildern und verknüpfte dies mit abnormalen Mustern der Gehkraft. Für das Frakturrisiko verband er die Textur des Knochens im Röntgenbild mit der Art und Weise, wie eine Person beim Stehen schwankte. Diese Fähigkeit, seine Argumentation zu erklären, ist für den medizinischen Einsatz entscheidend, da sie zeigt, dass das System nicht nur rät, sondern logischen, biologischen Verbindungen folgt.

Die Forscher weisen jedoch vorsichtig darauf hin, dass dieses System kein fertiges Produkt ist, das morgen in jedem Krankenhaus einsatzbereit ist. Es arbeitet derzeit am besten, wenn die Bild- und Sensordaten gleichzeitig aufgenommen werden, was in der realen klinischen Praxis nicht immer der Fall ist, wo Daten möglicherweise an unterschiedlichen Tagen oder mit unterschiedlichen Geschwindigkeiten erhoben werden. Das System vereinfacht zudem einige der komplexen physikalischen Abläufe des menschlichen Körpers, um das Training handhabbar zu machen, was bedeutet, dass es einige der feineren Details sehr komplexer Gelenkbewegungen übersehen könnte. Trotz dieser Einschränkungen demonstriert die Arbeit eine leistungsstarke neue Art und Weise, Computern etwas über den menschlichen Körper beizubringen. Indem sie Maschinen lehren, die Verbindung zwischen der Form unserer Knochen und dem Rhythmus unserer Bewegung zu sehen, eröffnet diese Forschung die Tür zu genaueren Diagnosen und personalisierten Behandlungsplänen, die den ganzen Menschen berücksichtigen und nicht nur ein einzelnes Bild oder eine einzelne Sensorablesung.