🧬 biologie

Self-Calibrated Hyperspectral Neural Radiance Fields for 3D Reconstruction of Bone and Bone Analogues

L'article présente BoNeRF-HS, un cadre de champ de radiance neuronale hyperspectrale auto-calibré qui permet une reconstruction 3D de haute qualité, sans pose préalable, d'os et d'analogues osseux en optimisant conjointement les intrinsèques de la caméra et la radiance spectrale tout en exploitant un adaptateur spectral à porte pour capturer les détails tissulaires dépendants de la longueur d'onde.

Auteurs originaux : Neetu Sigger, Tuan Thanh Nguyen, Sadaf Ashraf, Gianluca Tozzi

Publié 2026-10-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Neetu Sigger, Tuan Thanh Nguyen, Sadaf Ashraf, Gianluca Tozzi

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prendre une photographie tridimensionnelle parfaite d'un fragment d'os. Avec un appareil photo standard, vous comptez sur la texture de la surface — les fissures, les pores, la rugosité — pour indiquer à l'ordinateur où un point se termine et où un autre commence. Mais l'os est souvent lisse, brillant et étrangement uniforme, ce qui rend difficile pour les caméras traditionnelles de déterminer leur propre position ou la forme de l'objet qu'elles observent. Il s'agit d'un obstacle majeur pour les médecins et les scientifiques qui ont besoin de voir l'os en trois dimensions sans le toucher, surtout lorsqu'ils veulent également savoir de quoi l'os est composé au niveau chimique. Pour résoudre ce problème, des chercheurs ont développé une nouvelle façon de construire des modèles 3D qui ne nécessite pas que la caméra sache à l'avance où elle se trouve. Au lieu de cela, l'ordinateur apprend la position de la caméra et la forme de l'objet simultanément, en utilisant un type spécial de lumière qui révèle la composition chimique cachée du tissu.

Le défi de la visualisation claire de l'os ne concerne pas seulement la forme ; il s'agit de la composition. Tandis qu'un appareil photo classique ne voit que trois couleurs, un appareil photo hyperspectral en voit des centaines de bandes de lumière étroites, s'étendant du spectre visible jusqu'au proche infrarouge. Cela permet à l'appareil de détecter les différences subtiles dans la façon dont la lumière rebondit sur le tissu minéralisé, révélant des informations sur la santé, la densité et la structure chimique de l'os. Cependant, combiner ces riches données chimiques avec un modèle 3D a été difficile car les méthodes utilisées pour construire les formes 3D échouent généralement sur l'os. Les outils standards reposent sur la recherche de motifs correspondants dans les images pour deviner le mouvement de la caméra, mais les surfaces osseuses sont trop lisses et réfléchissantes pour que ces outils fonctionnent de manière fiable. Lorsque la position de la caméra est mal estimée, le modèle 3D résultant est flou ou déformé, et les données chimiques se retrouvent étalées de manière erronée sur la surface.

Pour surmonter cela, une équipe de chercheurs de l'Université de Greenwich et de la Medway School of Pharmacy a développé un nouveau système appelé BoNeRF-HS. Ce système est un type d'intelligence artificielle qui apprend à créer une carte 3D d'un objet directement à partir d'une série d'images prises sous différents angles, sans avoir besoin d'informations préalablement calculées sur l'emplacement de la caméra. Les chercheurs ont testé ce système sur trois types spécifiques de spécimens : un véritable os de souris, un matériau synthétique conçu pour imiter la structure poreuse et spongieuse de l'os trabéculaire, et un autre matériau synthétique imitant la couche externe dense et dure de l'os cortical. Ils ont capturé 45 vues différentes de chaque spécimen, chaque vue contenant 120 bandes de lumière distinctes allant de 400 à 1000 nanomètres.

Le cœur de cette nouvelle méthode est un processus où l'ordinateur détermine les réglages internes de la caméra et sa position pour chaque photo tout en construisant simultanément la forme 3D. Dans les tentatives précédentes, les scientifiques devaient utiliser des logiciels séparés pour estimer la position de la caméra au préalable, une étape qui échouait souvent sur l'os. BoNeRF-HS supprime entièrement cette étape. Il traite la position de la caméra et la densité 3D de l'objet comme des éléments qui peuvent être appris et améliorés ensemble. Pour rendre les données chimiques encore plus précises, le système inclut un composant spécial qui examine comment les bandes de lumière voisines sont liées entre elles. Puisque la lumière à une certaine longueur d'onde se comporte souvent de manière similaire à la lumière suivante, ce composant effectue de petits ajustements intelligents sur les couleurs prédites, garantissant que la signature chimique de l'os reste nette et fidèle à la réalité.

Lorsque les chercheurs ont comparé leur nouveau système aux méthodes existantes, les résultats ont été clairs. La nouvelle approche a produit des images plus nettes et des formes 3D plus précises pour les trois spécimens. Pour l'os de souris, le système a atteint un niveau de détail que les méthodes précédentes ne pouvaient égaler, préservant les bords fins et les textures de surface qui sont souvent perdus. Sur les analogues osseux synthétiques, le système a réussi à capturer la structure poreuse complexe de l'os spongieux et la surface lisse de l'os dense, avec nettement moins d'erreurs dans les données de couleur et de composition chimique que les anciennes techniques. Le système a également été testé sur du tissu mou de souris, où il a bien performé, bien que les résultats aient montré que la méthode se comporte légèrement différemment sur les tissus mous et déformables par rapport à l'os rigide, une distinction que les chercheurs ont notée pour de futures études.

La portée de ce travail réside dans sa capacité à créer une vue complète et sans contact de l'os, incluant à la fois sa forme physique et sa composition chimique. Il s'agit d'une étape cruciale pour des domaines tels que la chirurgie orthopédique, où les chirurgiens pourraient un jour utiliser un tel système pour voir exactement où se situe une fracture et comment l'os guérit sans exposer le patient aux radiations. Cela représente également une promesse pour la science forensique, où la compréhension de l'état des restes squelettiques peut fournir des indices vitaux. En prouvant qu'un modèle 3D peut être construit avec précision à partir de données hyperspectrales sans connaître à l'avance la position de la caméra, les chercheurs ont ouvert une voie pratique vers la visualisation de l'os d'une manière qui était auparavant impossible, transformant un problème d'imagerie complexe en un outil fiable pour la découverte médicale et scientifique.

Résumé Technique : Champs de Radiance Neuraux Hyperspectraux Auto-Calibrés pour la Reconstruction 3D de l'Os et des Analogues Osseux

Énoncé du Problème
L'imagerie hyperspectrale (HSI) offre des informations riches et dépendantes de la longueur d'onde, cruciales pour évaluer la composition des tissus minéralisés, tandis que la reconstruction 3D préserve la morphologie de surface. La combinaison de ces modalités fournit une approche sans contact pour l'évaluation osseuse. Cependant, les méthodes existantes de reconstruction hyperspectrale 3D reposent généralement sur des poses de caméra estimées de manière externe (par exemple, via COLMAP). Cette hypothèse est souvent peu fiable pour les surfaces osseuses en raison de leur faible texture, de leur réflectance spéculaire et de leur morphologie irrégulière, qui entravent l'appariement de caractéristiques et l'estimation de la pose. De plus, les modèles de surface géométriques standards manquent d'informations concernant la composition des tissus et les réponses spectrales. Bien que les Champs de Radiance Neuraux (NeRF) aient fait progresser la représentation de scènes 3D, la plupart des variantes de NeRF hyperspectraux supposent des paramètres de caméra connus, ce qui limite leur utilité dans des scénarios où l'étalonnage externe est irréalisable.

Méthodologie : BoNeRF-HS
Les auteurs proposent BoNeRF-HS, un cadre de champ de radiance neural hyperspectral auto-calibré conçu pour optimiser conjointement les intrinsèques de la caméra, les poses de caméra par vue, la densité volumique et la radiance hyperspectrale directement à partir de données HSI multi-vues, éliminant ainsi le besoin de poses pré-composées (par exemple, COLMAP).

Le cadre se compose des éléments clés suivants :

Paramètres de Caméra Auto-Calibrés : Inspirés de NeRF--, les intrinsèques de la caméra (longueurs focales $f_x, f_y$ ) et les extrinsèques (rotation $R_i$ et translation $t_i$ ) sont traités comme des paramètres apprenables optimisés parallèlement au champ de radiance. Cela supprime la dépendance à l'étalonnage externe.
Architecture NeRF Hyperspectrale : Le modèle utilise un Perceptron Multicouche (MLP) qui mappe les emplacements spatiaux 3D et les directions de vue vers un vecteur de caractéristiques latent. Contrairement aux NeRF standards qui prédisent l'RGB, cette architecture prédit des réponses spectrales dépendantes de la longueur d'onde à travers $B$ bandes (400–1000 nm).
Tête d'Adaptateur Spectral à Porte (Gated Spectral Adapter Head) : Pour exploiter les corrélations entre les bandes spectrales voisines, les auteurs introduisent un adaptateur spectral à porte. Ce module apprend une correction résiduelle contrôlée et dépendante de la longueur d'onde ( $\Delta S$ $Δ S$ ) par rapport à la prédiction spectrale directe initiale ( $S_{dir}$ $S_{d i r}$ ).
- Une tête spectrale directe prédit la radiance hyperspectrale grossière.
- Un adaptateur spectral prédit une correction résiduelle.
- Une branche de porte (gate) prédit une valeur de confiance ( $g \in (0,1)$ ) pour contrôler l'amplitude de la correction.
- Le spectre final est calculé comme $S_{final} = S_{dir} + g \cdot \Delta S$ . Cela permet de raffiner les réponses spectrales tout en préservant la structure spectrale globale.
Objectif d'Entraînement : Le modèle est entraîné en utilisant la perte de l'Angle Spectral (Spectral Angle Mapper - SAM) pour préserver la similitude de la forme spectrale entre les spectres prédits et réels, aux côtés des pertes de rendu standards.

Jeu de Données et Configuration Expérimentale
L'étude utilise un nouveau jeu de données hyperspectral multi-vues comprenant :

Spécimens : Un échantillon d'os de souris, un analogue d'os trabéculaire et un analogue d'os cortical.
Acquisition : 45 vues par spécimen capturées de 0° à 360° à l'aide d'une caméra NIREOS HERA VNIR (400–1000 nm, 120 bandes spectrales).
Prétraitement : Comprend l'étalonnage de la réflectance à l'aide de références noires et blanches, ainsi que le masquage du premier plan pour supprimer les artefacts d'arrière-plan stationnaires.

Résultats Clés
Le cadre a été évalué par rapport aux méthodes existantes dépendantes de la pose et de l'auto-calibration (NeRF--, SiNeRF, NoPe-NeRF) en utilisant le rapport signal sur bruit de crête (PSNR), l'indice de similitude structurelle (SSIM) et l'erreur quadratique moyenne (RMSE).

Performance Quantitative : BoNeRF-HS a obtenu les meilleurs scores PSNR et SSIM pour les trois types d'échantillons (os de souris, analogue trabéculaire, analogue cortical). Pour l'os de souris, il a atteint un PSNR de 29,94 et un SSIM de 0,9254, surpassant la méthode suivante (NeRF-- avec 27,87 PSNR). Il a également obtenu de manière constante l'RMSE le plus bas, indiquant une précision spectrale supérieure.
Performance Qualitative : Les comparaisons visuelles à des bandes spectrales spécifiques (par exemple, la bande 50) ont démontré que BoNeRF-HS produisait des vues rendues plus nettes et une meilleure préservation des détails de surface fins (bords, textures et structures poreuses) par rapport aux bases de référence. Les cartes de chaleur d'erreur ont montré des résidus réduits autour des limites de l'objet et des structures locales.
Fidélité Spectrale : Les courbes spectrales par pixel ont montré que BoNeRF-HS suivait plus étroitement les spectres de référence, particulièrement dans les bandes du proche infrarouge où le bruit est typiquement plus élevé.
Étude d'Ablation : L'adaptateur spectral à porte a considérablement amélioré les performances. La variante à "porte apprise" a amélioré le PSNR de près de 3 dB par rapport à la tête spectrale directe seule, confirmant que le contrôle adaptatif de la correction résiduelle est supérieur aux corrections fixes ou non-portées.
Analyse des Tissus Mous : Lors d'un test sur un échantillon de tissu mou, BoNeRF-HS a obtenu le meilleur PSNR et RMSE mais un SSIM légèrement inférieur à celui de NoPe-NeRF. Les auteurs attribuent cela aux différentes caractéristiques de surface des tissus mous (déformables, faible contraste) par rapport à l'os rigide, suggérant que le SSIM peut pondérer différemment le contraste structurel par rapport aux erreurs d'intensité par pixel dans les scénarios non rigides.

Signification et Revendications
L'article affirme que BoNeRF-HS établit une voie pratique vers la caractérisation hyperspectrale 3D sans contact et sans pose de l'os. En supprimant la dépendance aux poses basées sur COLMAP, la méthode répond à un goulot d'étranglement critique de l'imagerie de surfaces à faible texture et spéculaires comme l'os.

Les auteurs soulignent les applications potentielles dans :

Visualisation peropératoire : Soutenir les procédures orthopédiques guidées par l'image où la structure de surface et les réponses spectrales spécifiques aux tissus sont toutes deux vitales.
Analyse Squelettique Forensique : Fournir une méthode sans contact pour documenter les échantillons squelettiques tout en préservant la morphologie et les données spectrales.
Évaluation des Biomatériaux : Évaluer les analogues osseux et les matériaux synthétiques.

Les auteurs maintiennent une position modeste, notant que les expériences actuelles sont limitées à un seul échantillon par type et à un environnement de paillasse contrôlé. Ils reconnaissent que la transition vers des environnements chirurgicaux réels (dynamiques, à main levée, éclairage variable) nécessite une validation supplémentaire. De plus, ils identifient la divergence de performance sur les tissus mous (SSIM vs PSNR) comme une question ouverte nécessitant des recherches supplémentaires sur la manière dont la méthode gère les tissus déformables et à faible texture par rapport à l'os minéralisé rigide.

Résumé Technique : Champs de Radiance Neuraux Hyperspectraux Auto-Calibrés pour la Reconstruction 3D de l'Os et des Analogues Osseux

Articles similaires