Self-Calibrated Hyperspectral Neural Radiance Fields for 3D Reconstruction of Bone and Bone Analogues
Das Papier stellt BoNeRF-HS vor, ein selbstkalibrierendes hyperspektrales Neural Radiance Field-Framework, das eine hochwertige, pose-freie 3D-Rekonstruktion von Knochen und Knochenanaloga ermöglicht, indem es die Kameraparameter-Intrinsics und die spektrale Luminanz gemeinsam optimiert und dabei einen Gated Spectral Adapter nutzt, um wellenlängenabhängige Gewebedetails zu erfassen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, eine perfekte dreidimensionale Fotografie eines Knochenstücks zu machen. In einer Standardkamera verlassen Sie sich auf die Textur der Oberfläche – die Risse, die Poren, die Rauheit –, um dem Computer zu sagen, wo ein Punkt endet und ein anderer beginnt. Aber Knochen sind oft glatt, glänzend und seltsam gleichförmig, was es für herkömmliche Kameras schwierig macht, ihre eigene Position oder die Form des Objekts zu bestimmen, das sie betrachten. Dies ist eine große Hürde für Ärzte und Wissenschaftler, die den Knochen in drei Dimensionen sehen müssen, ohne ihn zu berühren, insbesondere wenn sie auch wissen wollen, woraus der Knochen auf chemischer Ebene besteht. Um dies zu lösen, haben Forscher einen neuen Weg entwickelt, um 3D-Modelle zu erstellen, der nicht voraussetzt, dass die Kamera im Voraus weiß, wo sie steht. Stattdessen lernt der Computer die Position der Kamera und die Form des Objekts gleichzeitig, unter Verwendung einer speziellen Art von Licht, die die verborgene chemische Zusammensetzung des Gewebes offenbart.
Die Herausforderung, Knochen klar zu sehen, betrifft nicht nur die Form, sondern auch die Zusammensetzung. Während eine normale Kamera nur drei Farben sieht, erfasst eine Hyperspektralkamera hunderte von schmalen Lichtbändern, die vom sichtbaren Spektrum bis in den Nahinfrarotbereich reichen. Dies ermöglicht es der Kamera, subtile Unterschiede in der Art und Weise zu erkennen, wie Licht von mineralisiertem Gewebe reflektiert wird, wodurch Informationen über die Gesundheit, Dichte und chemische Struktur des Knochens gewonnen werden. Die Kombination dieser reichen chemischen Daten mit einem 3D-Modell war jedoch schwierig, da die Methoden, die zum Aufbau von 3D-Formen verwendet werden, bei Knochen meist versagen. Standardwerkzeuge verlassen sich darauf, passende Muster in den Bildern zu finden, um die Bewegung der Kamera zu erraten, aber die Oberflächen von Knochen sind zu glatt und reflektierend, als dass diese Werkzeuge zuverlässig funktionieren könnten. Wenn die Position der Kamera falsch geschätzt wird, wird das resultierende 3D-Modell unscharf oder verzerrt, und die chemischen Daten werden über die falsche Stelle der Oberfläche verschmiert.
Um dieses Problem zu überwinden, hat ein Team von Forschern der University of Greenwich und der Medway School of Pharmacy ein neues System namens BoNeRF-HS entwickelt. Bei diesem System handelt es sich um eine Art künstliche Intelligenz, die lernt, eine 3D-Karte eines Objekts direkt aus einer Serie von Bildern zu erstellen, die aus verschiedenen Blickwinkeln aufgenommen wurden, ohne dass vorab Informationen über die Position der Kamera benötigt werden. Die Forscher testeten dieses System an drei spezifischen Arten von Proben: einem echten Mausknochen, einem synthetischen Material, das die poröse, schwammartige Struktur von Trabekelknochen nachahmt, und einem weiteren synthetischen Material, das die dichte, harte äußere Schicht von kortikalem Knochen imitiert. Sie erfassten 45 verschiedene Ansichten jeder Probe, wobei jede Ansicht 120 distinkte Lichtbänder im Bereich von 400 bis 1000 Nanometern enthielt.
Der Kern dieser neuen Methode ist ein Prozess, bei dem der Computer die internen Einstellungen der Kamera und ihre Position für jedes einzelne Foto berechnet, während er gleichzeitig die 3D-Form aufbaut. In früheren Versuchen mussten Wissenschaftler zuerst eine separate Software verwenden, um die Kameraposition zu schätzen – ein Schritt, der bei Knochen oft fehlschlug. BoNeRF-HS eliminiert diesen Schritt vollständig. Es behandelt die Kameraposition und die 3D-Dichte des Objekts als Dinge, die gemeinsam gelernt und verbessert werden können. Um die chemischen Daten noch genauer zu machen, enthält das System eine spezielle Komponente, die untersucht, wie benachbarte Lichtbänder miteinander in Beziehung stehen. Da sich Licht bei einer Wellenlänge oft ähnlich verhält wie Licht bei der nächsten, nimmt diese Komponente kleine, intelligente Anpassungen an den vorhergesagten Farben vor, um sicherzustellen, dass die chemische Signatur des Knochens scharf und lebensgetreu bleibt.
Als die Forscher ihr neues System mit bestehenden Methoden verglichen, waren die Ergebnisse eindeutig. Der neue Ansatz lieferte schärfere Bilder und genauere 3D-Formen für alle drei Proben. Für den Mausknochen erreichte das System ein Detailniveau, das bisherige Methoden nicht erreichen konnten, wobei feine Kanten und Oberflächenstrukturen bewahrt wurden, die oft verloren gehen. Bei den synthetischen Knochenanaloga erfasste das System erfolgreich die komplexe poröse Struktur des schwammartigen Knochens sowie die glatte Oberfläche des dichten Knochens, mit signifikant weniger Fehlern in den Farb- und chemischen Daten als die älteren Techniken. Das System wurde auch an weichem Mausgewebe getestet, wo es gut abschnitt, wenngleich die Ergebnisse zeigten, dass sich die Methode bei weichem, deformierbarem Gewebe etwas anders verhält als bei starrem Knochen – ein Unterschied, den die Forscher für zukünftige Studien notierten.
Die Bedeutung dieser Arbeit liegt in der Fähigkeit, eine vollständige, kontaktlose Sicht auf den Knochen zu ermöglichen, die sowohl seine physische Form als auch seine chemische Zusammensetzung umfasst. Dies ist ein entscheidender Schritt nach vorn für Felder wie die orthopädische Chirurgie, in der Chirurgen eines Tages ein solches System nutzen könnten, um genau zu sehen, wo sich ein Bruch befindet und wie der Knochen heilt, ohne den Patienten einer Strahlung auszusetzen. Es bietet auch vielversprechende Möglichkeiten für die Forensik, wo das Verständnis des Zustands von Skelettresten wichtige Hinweise liefern kann. Indem sie bewiesen haben, dass ein 3D-Modell präzise aus Hyperspektraldaten erstellt werden kann, ohne die Kameraposition im Voraus kennen zu müssen, haben die Forscher einen praktischen Weg zur Visualisierung von Knochen eröffnet, die zuvor unmöglich war, und verwandeln so ein schwieriges Bildgebungsproblem in ein zuverlässiges Werkzeug für medizinische und wissenschaftliche Entdeckungen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.