Self-Calibrated Hyperspectral Neural Radiance Fields for 3D Reconstruction of Bone and Bone Analogues
Het artikel introduceert BoNeRF-HS, een zelfgekalibreerd hyperspectraal neural radiance field-framework dat hoogwaardige, pose-vrije 3D-reconstructie van bot en botanalogen mogelijk maakt door gezamenlijk camera-intrinsieke eigenschappen en spectrale radiantie te optimaliseren, terwijl gebruik wordt gemaakt van een gated spectrale adapter om golflengteafhankelijke weefseldetails vast te leggen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je voor dat je probeert een perfecte driedimensionale foto te maken van een stuk bot. In een standaardcamera vertrouw je op de textuur van het oppervlak — de barsten, de poriën, de ruwheid — om de computer te laten begrijpen waar het ene punt eindigt en het andere begint. Maar bot is vaak glad, glanzend en vreemd genoeg uniform, waardoor het voor traditionele camera's moeilijk is om te bepalen waar ze zich bevinden of de vorm van het object waar ze naar kijken. Dit is een grote hindernis voor artsen en wetenschappers die bot in drie dimensies willen zien zonder het aan te raken, vooral wanneer ze ook willen weten waar het bot chemisch gezien uit bestaat. Om dit op te lossen, hebben onderzoekers een nieuwe manier ontwikkeld om 3D-modellen te bouwen die niet vereist dat de camera vooraf weet waar deze staat. In plaats daarvan leert de computer de positie van de camera en de vorm van het object tegelijkertijd, met behulp van een speciaal soort licht dat de verborgen chemische samenstelling van het weefsel onthult.
De uitdaging om bot duidelijk te zien gaat niet alleen over de vorm; het gaat over de samenstelling. Terwijl een gewone camera slechts drie kleuren ziet, ziet een hyperspectrale camera honderden smalle lichtbanden, reikend van het zichtbare spectrum tot in het nabij-infrarood. Dit stelt de camera in staat om subtiele verschillen te detecteren in hoe licht weerkaatst van gemineraliseerd weefsel, wat informatie onthult over de gezondheid, dichtheid en chemische structuur van het bot. Het combineren van deze rijke chemische data met een 3D-model is echter moeilijk geweest, omdat de methoden die worden gebruikt om 3D-vormen te bouwen meestal falen bij bot. Standaardtools vertrouwen op het vinden van overeenkomende patronen in de beelden om de beweging van de camera te raden, maar de oppervlakken van bot zijn te glad en reflecterend voor deze tools om betrouwbaar te werken. Wanneer de positie van de camera onjuist wordt geraden, wordt het resulterende 3D-model wazig of vervormd, en de chemische data worden over de verkeerde delen van het oppervlak gesmeerd.
Om dit te overwinnen, heeft een team onderzoekers van de University of Greenwich en de Medway School of Pharmacy een nieuw systeem ontwikkend genaamd BoNeRF-HS. Dit systeem is een vorm van kunstmatige intelligentie die leert om een 3D-kaart van een object te maken direct vanuit een reeks beelden die vanuit verschillende hoeken zijn genomen, zonder dat er vooraf informatie nodig is over waar de camera zich bevond. De onderzoekers testten dit systeem op drie specifieke soorten preparaten: een echt muizenbot, een synthetisch materiaal dat ontworpen is om de poreuze, sponsachtige structuur van trabeculair bot na te bootsen, en een ander synthetisch materiaal dat de dichte, harde buitenlaag van corticaal bot nabootst. Ze legden 45 verschillende aanzichten van elk specimen vast, waarbij elk aanzicht 120 afzonderlijke lichtbanden bevatte variërend van 400 tot 1000 nanometer.
De kern van deze nieuwe methode is een proces waarbij de computer de interne instellingen van de camera en de positie van de camera voor elke enkele foto bepaalt, terwijl het tegelijkertijd de 3D-vorm opbouwt. Bij eerdere pogingen moesten wetenschappers eerst aparte software gebruiken om de positie van de camera te schatten, een stap die bij bot vaak faalde. BoNeRF-HS elimineert die stap volledig. Het behandelt de positie van de camera en de 3D-dichtheid van het object als zaken die gezamenlijk geleerd en verbeterd kunnen worden. Om de chemische data nog nauwkeuriger te maken, bevat het systeem een speciaal onderdeel dat kijkt naar hoe naburige lichtbanden met elkaar samenhangen. Omdat licht op één golflengte vaak vergelijkbaar gedraagt als licht op de volgende, maakt dit onderdeel kleine, intelligente aanpassingen aan de voorspelde kleuren, waardoor het chemische signatuur van het bot scherp en getrouw aan de werkelijkheid blijft.
Toen de onderzoekers hun nieuwe systeem vergeleken met bestaande methoden, waren de resultaten duidelijk. De nieuwe aanpak produceerde scherpere beelden en nauwkeurigere 3D-vormen voor alle drie de specimens. Voor het muizenbot bereikte het systeem een detailniveau dat voorgaande methoden niet konden evenaren, waarbij de fijne randen en oppervlaktetexturen die vaak verloren gaan, werden behouden. Op de synthetische botanalogen legde het systeem de complexe poreuze structuur van het sponsachtige bot en het gladde oppervlak van het dichte bot succesvol vast, met aanzienlijk minder fouten in de kleur- en chemische data dan de oudere technieken. Het systeem werd ook getest op zacht muizentouw, waarbij het goed presteerde, hoewel de resultaten lieten zien dat de methode zich iets anders gedraagt op zacht, vervormbaar weefsel dan op rigide bot, een onderscheid dat de onderzoekers opmerkten voor toekomstig onderzoek.
De betekenis van dit werk ligt in het vermogen om een volledig, contactloos beeld van bot te creëren dat zowel de fysieke vorm als de chemische samenstelling omvat. Dit is een cruciale stap voorwaarts voor vakgebieden zoals de orthopedische chirurgie, waar chirurgen in de toekomst een dergelijk systeem zouden kunnen gebruiken om precies te zien waar een breuk zit en hoe het bot geneest, zonder de patiënt aan straling bloot te stellen. Het biedt ook belofte voor de forensische wetenschap, waar het begrijpen van de conditie van skeletresten vitale aanwijzingen kan bieden. Door te bewijzen dat een 3D-model nauwkeurig gebouwd kan worden vanuit hyperspectrale data zonder dat de positie van de camera vooraf bekend hoeft te zijn, hebben de onderzoekers een praktisch pad geopend naar het visualiseren van bot op een manier die voorheen onmogelijk was, waardoor een moeilijk beeldvormingsprobleem is veranderd in een betrouwbaar instrument voor medische en wetenschappelijke ontdekking.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.