🧬 생물학

Self-Calibrated Hyperspectral Neural Radiance Fields for 3D Reconstruction of Bone and Bone Analogues

이 논문은 카메라 내부 파라미터와 분광 복사도를 공동으로 최적화하는 동시에 파장 의존적 조직 세부 사항을 포착하기 위해 게이트형 분광 어댑터를 활용함으로써, 뼈 및 뼈 유사체의 고품질 포즈 프리(pose-free) 3D 재구성을 가능하게 하는 자기 교정형 하이퍼스펙트럴 뉴럴 래디언스 필드 프레임워크인 BoNeRF-HS를 소개한다.

원저자: Neetu Sigger, Tuan Thanh Nguyen, Sadaf Ashraf, Gianluca Tozzi

게시일 2026-10-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Neetu Sigger, Tuan Thanh Nguyen, Sadaf Ashraf, Gianluca Tozzi

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

뼈의 완벽한 3차원 사진을 찍는 것을 상상해 보십시오. 일반적인 카메라에서는 표면의 질감—균열, 구멍, 거칠기—에 의존하여 컴퓨터가 한 지점이 어디서 끝나고 다른 지점이 어디서 시작되는지를 파악합니다. 하지만 뼈는 종종 매끄럽고, 빛이 나며, 이상할 정도로 균일하여, 전통적인 카메라가 자신의 위치를 파악하거나 보고 있는 물체의 모양을 파악하는 것을 어렵게 만듭니다. 이는 의사와 과학자들이 뼈를 직접 만지지 않고도 3차원으로 보고 싶어 할 때, 특히 뼈가 화학적 수준에서 무엇으로 구성되어 있는지까지 알고 싶을 때 직면하는 주요 장애물입니다. 이를 해결하기 위해 연구진은 카메라가 미리 자신의 위치를 알 필요가 없는 새로운 방식의 3D 모델 구축법을 개발했습니다. 대신, 컴퓨터는 특수한 종류의 빛을 사용하여 카메라의 위치와 물체의 모양을 동시에 학습하며, 이 빛은 조직의 숨겨진 화학적 구성을 드러냅니다.

뼈를 명확하게 보는 과제는 단순히 형태에 관한 것이 아니라 구성에 관한 것입니다. 일반 카메라는 세 가지 색상만을 보는 반면, 초분광(hyperspectral) 카메라는 가시광선 영역에서 근적외선 영역까지 뻗어 있는 수백 개의 좁은 빛 띠를 봅니다. 이를 통해 카메라는 광물화된 조직에서 빛이 반사되는 미묘한 차이를 감지하여, 뼈의 건강, 밀도 및 화학적 구조에 대한 정보를 밝혀낼 수 있습니다. 그러나 이러한 풍부한 화학적 데이터와 3D 모델을 결합하는 것은 어려웠는데, 3D 형상을 만드는 데 사용되는 방법들이 대개 뼈에서는 실패했기 때문입니다. 표준 도구들은 이미지에서 일치하는 패턴을 찾아 카메라의 움직임을 추측하는 방식에 의존하지만, 뼈의 표면은 이러한 도구들이 안정적으로 작동하기에는 너무 매끄럽고 반사율이 높습니다. 카메라의 위치가 잘못 추측되면, 결과물인 3D 모델은 흐릿하거나 왜곡되며, 화학적 데이터가 표면의 잘못된 부분으로 번지게 됩니다.

이 문제를 극복하기 위해 그리니치 대학교와 메드웨이 약학 대학의 연구진은 BoNe-HS라고 불리는 새로운 시스템을 개발했습니다. 이 시스템은 카메라가 어디에 있었는지에 대한 사전 계산된 정보 없이도, 다양한 각도에서 촬영된 일련의 이미지로부터 물체의 3D 지도를 직접 생성하는 데 학습하는 일종의 인공지능입니다. 연구진은 이 시스템을 세 가지 특정 유형의 표본, 즉 실제 생쥐 뼈, 해면골(trabecular bone)의 다공성 구조를 모방하도록 설계된 합성 재료, 그리고 치밀한 외층인 피질골(cortical bone)을 모방한 또 다른 합성 재료를 대상으로 테스트했습니다. 그들은 각 표본에 대해 45개의 서로 다른 뷰를 캡처했으며, 각 뷰는 400에서 1000 나노미터 사이의 120개 고유한 빛 띠를 포함했습니다.

이 새로운 방법의 핵심은 컴퓨터가 모든 사진에 대한 카메라의 내부 설정과 위치를 파악하는 동시에 3D 형상을 구축하는 과정에 있습니다. 이전의 시도들에서 과학자들은 카메라의 위치를 추정하기 위해 별도의 소프트웨어를 사용해야 했으며, 이 단계는 뼈의 경우 자주 실패했습니다. BoNe-HS는 이 단계를 완전히 제거합니다. 이 시스템은 카메라의 위치와 물체의 3D 밀도를 함께 학습하고 개선할 수 있는 대상으로 취급합니다. 화학적 데이터를 더욱 정확하게 만들기 위해, 이 시스템은 인접한 빛의 띠들이 서로 어떻게 연관되어 있는지를 살펴보는 특수 구성 요소를 포함합니다. 한 파장의 빛은 다음 파장의 빛과 유사하게 행동하는 경우가 많으므로, 이 구성 요소는 예측된 색상을 지능적으로 미세 조정하여 뼈의 화학적 신호가 선명하고 실제와 똑같이 유지되도록 합니다.

연구진이 기존 방법들과 새로운 시스템을 비교했을 때, 결과는 명확했습니다. 새로운 접근 방식은 세 가지 표본 모두에서 더 선명한 이미지와 더 정확한 3D 형상을 만들어냈습니다. 생쥐 뼈의 경우, 시스템은 기존 방법으로는 따라잡을 수 없는 수준의 세부 사항을 달성하여, 종종 손실되기 쉬운 미세한 가장자리와 표면 질감을 보존했습니다. 합성 뼈 유사체의 경우, 시스템은 해면골의 복잡한 다공성 구조와 치밀골의 매끄러운 표면을 성공적으로 포착했으며, 기존 기술보다 색상 및 화학 데이터의 오류가 현저히 적었습니다. 또한 이 시스템은 부드러운 생쥐 조직에 대해서도 테스트되었는데, 여기서도 좋은 성능을 보였으나, 결과는 이 방법이 딱딱한 뼈와 비교했을 때 부드럽고 변형 가능한 조직에서 약간 다르게 작동한다는 점을 보여주었으며, 연구진은 이를 향후 연구를 위한 구분점으로 기록했습니다.

이 연구의 의의는 물리적 형태와 화학적 구성을 모두 포함하는 뼈의 완전한 비접촉식 뷰를 생성할 수 있다는 데 있습니다. 이는 외과 의사가 환자를 방사선에 노출시키지 않고도 골절이 정확히 어디에 있는지, 그리고 뼈가 어떻게 치유되고 있는지를 볼 수 있게 될 정형외과 분야에서 중요한 진전입니다. 또한, 골격 유해의 상태를 이해함으로써 중요한 단서를 제공할 수 있는 법의학 분야에도 유망합니다. 초분색 데이터를 통해 카메라의 위치를 미리 알지 못해도 정확한 3D 모델을 구축할 수 있음을 입증함으로써, 연구진은 이전에 불가능했던 방식으로 뼈를 시각화하는 실질적인 경로를 열었으며, 까다로운 이미징 문제를 신뢰할 수 있는 의료 및 과학적 발견의 도구로 탈바꿈시켰습니다.

기술 요약: 뼈 및 뼈 유사체의 3D 재구성을 위한 자기 보정형 하이퍼스펙트럴 뉴럴 방사 휘도장(Neural Radiance Fields)

문제 정의
하이퍼스펙트럴 이미징(HSI)은 광물화된 조직의 구성을 평가하는 데 필수적인 파장 의존적 정보를 풍부하게 제공하며, 3D 재구성은 표면 형태를 보존한다. 이러한 모달리티를 결합하는 것은 뼈 평가를 위한 비접촉 방식을 제공한다. 그러나 기존의 하이퍼스펙트럴 3D 재구성 방법들은 일반적으로 외부에서 추정된 카메라 포즈(예: COLMAP)에 의존한다. 이러한 가정은 뼈 표면의 낮은 질감, 거울 반사 특성, 불규칙한 형태 때문에 신뢰하기 어려운데, 이는 특징점 매칭과 포즈 추정을 방해하기 때문이다. 또한, 표준 기하학적 표면 모델은 조직 구성 및 스펙트럼 응답에 대한 정보를 결여하고 있다. 뉴럴 방사 휘도장(NeRF)이 3D 장면 표현을 발전시켰음에도 불구하고, 대부분의 하이퍼스펙트럴 NeRF 변형 모델들은 알려진 카메라 파라미터를 가정하며, 이는 외부 보정이 불가능한 시나리오에서의 유용성을 제한한다.

방법론: BoNeRF-HS
저자들은 다중 뷰 HSI 데이터로부터 카메라 내적 파라미터(intrinsics), 뷰별 카메라 포즈(extrinsics), 부피 밀도(volume density), 그리고 하이퍼스펙트럴 방사 휘도를 직접 공동 최적화하여, 사전 구성된 포즈(예: COLMAP)의 필요성을 제거하도록 설계된 자기 보정형 하이퍼스펙트럴 뉴럴 방사 휘도장 프레임워크인 BoNeRF-HS를 제안한다.

이 프레임워크는 다음과 같은 핵심 구성 요소로 이루어진다:

자기 보정형 카메라 파라미터: NeRF--에서 영감을 받아, 카메라 내적 파라미터(초점 거리 $f_x, f_y$ )와 외적 파라미터(회전 $R_i$ 및 이동 $t_i$ )를 방사 휘도장과 함께 최적화되는 학습 가능한 파라미터로 취급한다. 이를 통해 외부 보정에 대한 의존성을 제거한다.
하이퍼스펙트럴 NeRF 백본: 3차원 공간 위치와 시선 방향을 잠재 특징 벡터(latent feature vector)로 매핑하는 다층 퍼셉트론(MLP)을 활용한다. 표준 RGB를 예측하는 일반적인 NeRF와 달리, 이 백본은 $B$ 개의 밴드(400–1000 nm)에 걸친 파장 의존적 스펙트럼 응답을 예측한다.
게이트형 스펙트럼 어댑터 헤드(Gated Spectral Adapter Head): 인접한 스펙트럼 밴드 간의 상관관계를 활용하기 위해, 저자들은 게이트형 스펙트럼 어댑터를 도입했다. 이 모듈은 초기 직접 스펙트럼 예측( $S_{dir}$ $S_{d i r}$ )에 대해 제어된 파장 의존적 잔차 보정( $\Delta S$ $Δ S$ )을 학습한다.
- 직접 스펙트럼 헤드는 거친(coarse) 하이퍼스펙트럴 방사 휘도를 예측한다.
- 스펙트럼 어댑터는 잔차 보정을 예측한다.
- 게이트 브랜치는 보정의 크기를 제어하기 위한 신뢰도 값( $g \in (0,1)$ )을 예측한다.
- 최종 스펙트럼은 $S_{final} = S_{dir} + g \cdot \Delta S$ 로 계산된다. 이를 통해 모델은 전역적인 스펙트럼 구조를 보존하면서 스펙트럼 응답을 정교화할 수 있다.
훈련 목적 함수: 모델은 예측된 스펙트럼과 실제(ground-truth) 스펙트럼 사이의 스펙트럼 형상 유사성을 보존하기 위해 스펙트럼 각도 매퍼(Spectral Angle Mapper, SAM) 손실을 사용하여 훈련되며, 표준 렌더링 손실과 함께 사용된다.

데이터셋 및 실험 설정
본 연구는 다음과 같이 새로 획득한 다중 뷰 하이퍼스펙트럴 데이터셋을 활용한다:

시료: 마우스 뼈 샘플 1개, 골양상(trabecular bone) 유사체 1개, 피질골(cortical bone) 유사체 1개.
획득: NIREOS HERA VNIR 카메라(400–1000 nm, 120개 스펙트럼 밴드)를 사용하여 0°에서 360°까지 45개의 뷰를 캡처함.
전처리: 암흑(dark) 및 백색(white) 참조를 이용한 반사율 보정과 정지된 배경 아티팩트를 제거하기 위한 전경 마스킹을 포함함.

주요 결과
프레임워크는 PSNR, SSIM, RMSE를 사용하여 기존의 자기 보정형 및 포즈 의존형 방법들(NeRF--, SiNeRF, NoPe-NeRF)과 비교 평가되었다.

정량적 성능: BoNeRF-HS는 세 가지 샘플 유형(마우스 뼈, 골양상 유사체, 피질골 유사체) 모두에서 가장 우수한 PSNR 및 SSIM 점수를 달성했다. 마우스 뼈의 경우, 29.94의 PSNR과 0.9254의 SSIM을 기록하여 차순위 방법(27.87 PSNR의 NeRF--)을 능가했다. 또한 일관되게 가장 낮은 RMSE를 달성하여 우수한 스펙트럼 정확도를 입증했다.
정성적 성능: 특정 스펙트럼 밴드(예: 밴드 50)에서의 시각적 비교 결과, BoNeRF-HS는 베이스라인 모델들에 비해 더 선명한 렌더링 뷰와 미세한 표면 디테일(가장자리, 질감, 다공성 구조)의 더 나은 보존 능력을 보여주었다. 오차 히트맵(Error heatmap)은 물체 경계 및 국소 구조 주변에서 감소된 잔차를 나타냈다.
스펙트럼 충실도: 픽셀 단위 스펙트럼 곡선 분석 결과, BoNeRF-HS는 특히 노이즈가 높은 근적외선 영역에서도 실제 스펙트럼을 더욱 밀접하게 추종하였다.
절제 연구(Ablation Study): 게이트형 스펙트럼 어댑터는 성능을 크게 향상시켰다. "학습된 게이트(learned gate)" 변형 모델은 직접 스펙트럼 헤드 단독 사용 시보다 PSNR을 거의 3 dB 개선하였으며, 이는 적응형 제어가 고정되거나 게이트가 없는 보정보다 우수함을 확인시켜 준다.
연조직 분석: 마우스 조직 샘플에 대해 테스트했을 때, BoNeRF-HS는 가장 좋은 PSNR과 RMSE를 달성했으나, NoPe-NeRF에 비해 SSIM은 약간 낮았다. 저자들은 이를 연조직(변형 가능, 낮은 대비)의 특성(강성 뼈와 대조됨) 때문으로 보고 있으며, 이는 SSIM이 비강성 시나리오에서 픽셀 단위 강도 오차와 달리 구조적 대비를 가중하는 방식에 대한 차이를 시사한다.

의의 및 주장
본 논문은 BoNeRF-HS가 포즈가 필요 없는 비접촉 3D 하이퍼스펙트럼 특성화를 향한 실질적인 경로를 구축한다고 주장한다. 뼈와 같이 질감이 낮고 거울 반사가 있는 표면의 문제를 해결하기 위해 COLMAP 기반 포즈에 대한 의존성을 제거했다.

저자들은 다음과 같은 잠재적 응용 분야를 강조한다:

수술 중 시각화: 표면 구조와 조직 특이적 스펙트럼 응답이 모두 중요한 이미지 가이드 정형외과 수술을 지원함.
법의학적 골격 분석: 형태와 스펙트럼 데이터를 보존하면서 골격 샘플을 기록하는 비접촉 방식을 제공함.
생체 재료 평가: 뼈 유사체 및 합성 재료를 평가함.

저자들은 현재 실험이 단일 샘플 유형당 하나의 샘플과 통제된 벤치탑 환경으로 제한되어 있다는 점을 언급하며 신중한 태도를 유지한다. 이들은 동적이고 자유로운 움직임과 가변적인 조명이 존재하는 실제 수술 환경으로의 전환을 위해서는 추가적인 검증이 필요함을 인정한다. 또한, 연조직에서의 성능 차이(SSIM vs. PSNR)를 강성 광물화 뼈와 비교하여 데포머블(deformable)하고 낮은 질감의 조직을 처리하는 방식에 대한 미해결 과제로 식별하였다.

기술 요약: 뼈 및 뼈 유사체의 3D 재구성을 위한 자기 보정형 하이퍼스펙트럴 뉴럴 방사 휘도장(Neural Radiance Fields)

유사한 논문