🧬 biología

Self-Calibrated Hyperspectral Neural Radiance Fields for 3D Reconstruction of Bone and Bone Analogues

El artículo presenta BoNeRF-HS, un marco de campo de radiancia neuronal hiperespectral autocalibrado que permite la reconstrucción 3D de alta calidad de huesos y análogos óseos mediante la optimización conjunta de las intrínsecas de la cámara y la radiancia espectral, aprovechando un adaptador espectral de puerta para capturar detalles de los tejidos dependientes de la longitud de onda.

Autores originales: Neetu Sigger, Tuan Thanh Nguyen, Sadaf Ashraf, Gianluca Tozzi

Publicado 2026-10-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Neetu Sigger, Tuan Thanh Nguyen, Sadaf Ashraf, Gianluca Tozzi

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Imagina intentar tomar una fotografía tridimensional perfecta de un fragmento de hueso. En una cámara estándar, dependes de la textura de la superficie —las grietas, los poros, la rugosidad— para decirle a la computadora dónde termina un punto y comienza otro. Pero el hueso suele ser liso, brillante y extrañamente uniforme, lo que dificulta que las cámaras tradicionales determinen su propia posición o la forma del objeto que están observando. Este es un obstáculo importante para médicos y científicos que necesitan ver el hueso en tres dimensiones sin tocarlo, especialmente cuando también desean saber de qué está hecho el hueso a nivel químico. Para resolver esto, investigadores han desarrollado una nueva forma de construir modelos 3D que no requiere que la cámara sepa de antemano dónde está parada. En su lugar, la computadora aprende la posición de la cámara y la forma del objeto al mismo tiempo, utilizando un tipo especial de luz que revela la composición química oculta del tejido.

El desafío de ver el hueso con claridad no es solo una cuestión de forma; es una cuestión de composición. Mientras que una cámara regular ve solo tres colores, una cámara hiperespectral ve cientos de bandas estrechas de luz, extendiéndose desde el espectro visible hacia el infrarrojo cercano. Esto permite a la cámara detectar diferencias sutiles en cómo la luz rebota en el tejido mineralizado, revelando información sobre la salud, la densidad y la estructura química del hueso. Sin embargo, combinar estos ricos datos químicos con un modelo 3D ha sido difícil porque los métodos utilizados para construir formas 3D suelen fallar en el hueso. Las herramientas estándar dependen de encontrar patrones coincidentes en las imágenes para adivinar el movimiento de la cámara, pero las superficies óseas son demasiado lisas y reflectantes para que estas herramientas funcionen de manera confiable. Cuando la posición de la cámara se adivina incorrectamente, el modelo 3D resultante es borroso o distorsionado, y los datos químicos se esparcen erróneamente por la superficie.

Para superar esto, un equipo de investigadores de la Universidad de Greenwich y la Escuela de Farmacia de Medway desarrolló un nuevo sistema llamado BoNeRF-HS. Este sistema es un tipo de inteligencia artificial que aprende a crear un mapa 3D de un objeto directamente a partir de una serie de imágenes tomadas desde diferentes ángulos, sin necesidad de ninguna información precalculada sobre dónde estaba la cámara. Los investigadores probaron este sistema en tres tipos específicos de especímenes: un hueso de ratón real, un material sintético diseñado para imitar la estructura porosa y esponjosa del hueso trabecular, y otro material sintético que imita la capa externa densa y dura del hueso cortical. Capturaron 45 vistas diferentes de cada espécimen, y cada vista contenía 120 bandas distintas de luz que oscilaban entre los 400 y los 1000 nanómetros.

El núcleo de este nuevo método es un proceso en el que la computadora determina la configuración interna de la cámara y su posición para cada una de las fotos mientras construye simultáneamente la forma 3D. En intentos previos, los científicos tenían que usar software separado para estimar la posición de la cámara primero, un paso que a menudo fallaba en el hueso. BoNeRF-HS elimina ese paso por completo. Trata la posición de la cámara y la densidad 3D del objeto como elementos que pueden aprenderse y mejorarse conjuntamente. Para que los datos químicos sean aún más precisos, el sistema incluye un componente especial que observa cómo se relacionan las bandas de luz vecinas entre sí. Dado que la luz en una longitud de onda suele comportarse de manera similar a la luz en la siguiente, este componente realiza ajustes pequeños e inteligentes a los colores predichos, asegurando que la firma química del hueso permanezca nítida y fiel a la realidad.

Cuando los investigadores compararon su nuevo sistema con los métodos existentes, los resultados fueron claros. El nuevo enfoque produjo imágenes más nítidas y formas 3D más precisas para todos los tres especímenes. Para el hueso de ratón, el sistema logró un nivel de detalle que los métodos anteriores no pudieron igualar, preservando los bordes finos y las texturas superficiales que a menudo se pierden. En los análogos de hueso sintético, el sistema capturó con éxito la compleja estructura porosa del hueso esponjoso y la superficie lisa del hueso denso, con significativamente menos error en los datos de color y composición química que las técnicas más antiguas. El sistema también fue probado en tejido blando de ratón, donde funcionó bien, aunque los resultados mostraron que el método se comporta de manera ligeramente distinta en tejido blando y deformable en comparación con el hueso rígido, una distinción que los investigadores señalaron para estudios futuros.

La importancia de este trabajo radica en su capacidad para crear una visión completa y sin contacto del hueso que incluye tanto su forma física como su composición química. Este es un paso crucial hacia campos como la cirugía ortopédica, donde los cirujanos podrían algún día utilizar un sistema como este para ver exactamente dónde se encuentra una fractura y cómo está sanando el hueso sin exponer al paciente a la radiación. También ofrece promesas para la ciencia forense, donde comprender el estado de los restos esqueléticos puede proporcionar pistas vitales. Al demostrar que se puede construir un modelo 3D de manera precisa a partir de datos hiperespectrales sin necesidad de conocer la posición de la cámara de antemano, los investigadores han abierto un camino práctico hacia la visualización del hueso de una manera que antes era imposible, convirtiendo un problema de imagen difícil en una herramienta confiable para el descubrimiento médico y científico.

Resumen Técnico: Campos de Radiancia Neuronal Hiperespectrales Autocalibrados para la Reconstrucción 3D de Hueso y Análogos de Hueso

Planteamiento del Problema
La imagen hiperespectral (HSI) ofrece información rica y dependiente de la longitud de onda, crucial para evaluar la composición del tejido mineralizado, mientras que la reconstrucción 3D preserva la morfología de la superficie. La combinación de estas modalidades proporciona un enfoque sin contacto para la evaluación ósea. Sin embargo, los métodos existentes de reconstrucción 3D hiperespectral dependen típicamente de poses de cámara estimadas externamente (por ejemplo, mediante COLMAP). Esta suposición suele ser poco fiable para las superficies óseas debido a su baja textura, reflectancia especular y morfología irregular, factores que dificultan el emparejamiento de características y la estimación de la pose. Además, los modelos de superficie geométrica estándar carecen de información sobre la composición del tejido y las respuestas espectrales. Aunque los Campos de Radiancia Neuronal (NeRFs) han avanzado en la representación de escenas 3D, la mayoría de las variantes de NeRF hiperespectrales asumen parámetros de cámara conocidos, lo que limita su utilidad en escenarios donde la calibración externa es inviable.

Metodología: BoNeRF-HS
Los autores proponen BoNeRF-HS, un marco de campo de radiancia neuronal hiperespectral autocalibrado diseñado para optimizar conjuntamente las intrínsecas de la cámara, las poses de la cámara por vista, la densidad volumétrica y la radiancia hiperespectral directamente a partir de datos HSI multivista, eliminando la necesidad de poses precompuestas (por ejemplo, COLMAP).

El marco consta de los siguientes componentes clave:

Parámetros de Cámara Autocalibrados: Inspirados en NeRF--, las intrínsecas de la cámara (longitudes focales $f_x, f_y$ ) y las extrínsecas (rotación $R_i$ y traslación $t_i$ ) se tratan como parámetros aprendibles optimizados junto con el campo de radiancia. Esto elimina la dependencia de la calibración externa.
Backbone de NeRF Hiperespectral: El modelo utiliza un Perceptrón de Capas Multicapa (MLP) que mapea ubicaciones espaciales 3D y direcciones de visión hacia un vector de características latentes. A diferencia de los NeRF estándar que predicen RGB, este backbone predice respuestas espectrales dependientes de la longitud de onda a través de $B$ bandas (400–1000 nm).
Cabezal de Adaptador Espectral con Compuerta (Gated Spectral Adapter Head): Para explotar las correlaciones entre bandas espectrales adyacentes, los autores introducen un adaptador espectral con compuerta. Este módulo aprende una corrección residual controlada y dependiente de la longitud de onda ( $\Delta S$ $Δ S$ ) a la predicción espectral directa inicial ( $S_{dir}$ $S_{d i r}$ ).
- Un cabezal espectral directo predice la radiancia hiperespectral gruesa.
- Un adaptador espectral predice una corrección residual.
- Una rama de compuerta predice un valor de confianza ( $g \in (0,1)$ ) para controlar la magnitud de la corrección.
- El espectro final se calcula como $S_{final} = S_{dir} + g \cdot \Delta S$ . Esto permite al modelo refinar las respuestas espectrales preservando la estructura espectral global.
Objetivo de Entrenamiento: El modelo se entrena utilizando la pérdida de Mapeo de Ángulo Espectral (SAM) para preservar la similitud de la forma espectral entre los espectros predichos y los de referencia (ground-truth), junto con las pérdidas de renderizado estándar.

Conjunto de Datos y Configuración Experimental
El estudio utiliza un conjunto de datos hiperespectral multivista recién adquirido que comprende:

Especímenes: Una muestra de hueso de ratón, un análogo de hueso trabecular y un análogo de hueso cortical.
Adquisición: 45 vistas por espécimen capturadas de 0° a 360° utilizando una cámara NIREOS HERA VNIR (400–1000 nm, 120 bandas espectrales).
Preprocesamiento: Incluye la calibración de reflectancia mediante referencias de oscuridad y blanco, y el enmascaramiento del primer plano para eliminar artefactos de fondo estacionarios.

Resultados Clave
El marco fue evaluado frente a métodos existentes dependientes de pose y autocalibrados (NeRF--, SiNeRF, NoPe-NeRF) utilizando la Relación Señal-Ruido de Pico (PSNR), el Índice de Similitud Estructural (SSIM) y el Error Cuadrático Medio (RMSE).

Desempeño Cuantitativo: BoNeRF-HS logró los mejores puntajes de PSNR y SSIM en los tres tipos de muestras (hueso de ratón, análogo trabecular, análogo cortical). Para el hueso de ratón, alcanzó un PSNR de 29.94 y un SSIM de 0.9254, superando al siguiente mejor método (NeRF-- con 27.87 PSNR). También logró consistentemente el RMSE más bajo, indicando una precisión espectral superior.
Desempeño Cualitativo: Las comparaciones visuales en bandas espectrales específicas (por ejemplo, la banda 50) demostraron que BoNeRF-HS produjo vistas renderizadas más nítidas y una mejor preservación de los detalles finos de la superficie (bordes, texturas y estructuras porosas) en comparación con las líneas base. Los mapas de calor de error mostraron residuos reducidos alrededor de los bordes de los objetos y las estructuras locales.
Fidelidad Espectral: Las curvas espectrales píxel a píxel mostraron que BoNeRF-HS sigue más de cerca los espectros de referencia, particularmente en las bandas de infrarrojo cercano donde el ruido suele ser mayor.
Estudio de Ablación: El adaptador espectral con compuerta mejoró significamente el desempeño. La variante de "compuerta aprendida" mejoró el PSNR en casi 3 dB respecto al cabezal espectral directo, confirmando que el control adaptativo de la corrección residual es superior a las correcciones fijas o sin compuerta.
Análisis de Tejido Blando: Al probarse en una muestra de tejido de ratón, BoNeRF-HS logró el mejor PSNR y RMSE, pero un SSIM ligeramente inferior al de NoPe-NeRF. Los autores atribuyen esto a las diferentes características superficiales del tejido blando (deformable, bajo contraste) frente al hueso rígido, sugiriendo que el SSIM puede ponderar el contraste estructural de manera diferente a los errores de intensidad píxel a píxel en escenarios no rígidos.

Significancia y Reivindicaciones
El artículo afirma que BoNeRF-HS establece un camino práctico hacia la caracterización hiperespectral 3D sin contacto y libre de poses del hueso. Al eliminar la dependencia de las poses basadas en COLMAP, el método aborda un cuello de botella crítico en la imagen de superficies de baja textura y especulares como el hueso.

Los autores destacan aplicaciones potenciales en:

Visualización Intraoperatoria: Apoyo a procedimientos ortopédicos guiados por imagen donde tanto la estructura de la superficie como las respuestas espectrales específicas del tejido son vitales.
Análisis Esquelético Forense: Proporcionar un método sin contacto para documentar muestras esqueléticas preservando la morfología y los datos espectrales.
Evaluación de Biomateriales: Evaluación de análogos óseos y materiales sintéticos.

Los autores mantienen una postura modesta, señalando que sus experimentos actuales están limitados a una sola muestra por tipo y a un entorno de banco controlado. Reconocen que la traslación a entornos quirúrgicos reales (dinámicos, manuales, de iluminación variable) requiere una validación adicional. Además, identifican la divergencia de desempeño en tejido blando (SSIM vs. PSNR) como una pregunta abierta que requiere mayor investigación sobre cómo el método maneja tejidos deformables y de bajo contraste en comparación con el hueso mineralizado rígido.

Resumen Técnico: Campos de Radiancia Neuronal Hiperespectrales Autocalibrados para la Reconstrucción 3D de Hueso y Análogos de Hueso

Más como este