⚡ electrical engineering

InnerGS: Internal Scenes Reconstruction and Segmentation via Factorized 3D Gaussian Splatting

InnerGS는 카메라 포즈를 요구하지 않고도 희소한 슬라이스 데이터로부터 상세한 내부 장면 구조를 재구성하는 인수 분해된 3D 가우시안 스플래팅 프레임워크를 도입하며, 언어 특징을 통합하여 텍스트 유도 세그멘테이션으로 이 능력을 확장한다.

원저자: Shuxin Liang, Yihan Xiao, Wenlu Tang

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shuxin Liang, Yihan Xiao, Wenlu Tang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 완벽한 3차원 도시 모델을 만들려고 노력 중이라고 상상해 보세요. 하지만 당신에게는 오직 평면적인 2차원 설계도 뭉치만 있습니다. 오늘날 대부분의 컴퓨터 프로그램은 건물의 외관만을 볼 수 있는 숙련된 건축가와 같습니다. 그들은 정문이 어떻게 생겼는지나 지붕이 어떤 모양인지는 말해줄 수 있지만, 만약 벽 안의 배관이나 드라이월 뒤의 전선을 보여달라고 요청한다면 그들은 벽에 부딪히고 맙니다. 그들은 설계도 사이의 빈 공간을 어떻게 채워야 할지 알지 못합니다. 이것은 의학 분야와 같이 의사들이 몸을 절개하지 않고도 신체 내부를 봐야 하거나, 로봇이 복잡한 물체의 내부 구조를 이해하고 잡아야 하는 분야에서 매우 큰 문제입니다.

이 문제를 해결하기 위해 과학자들은 "3D 가우시안 스플래팅(3D Gaussian Splatting)"이라는 영리한 기술을 사용해 왔습니다. 가우시안을 무서운 수학 공식이 아니라, 흐릿하게 빛나는 빛의 구름이라고 생각해보세요. 당신이 수천 개의 부드럽고 빛나는 구름을 공중에 던져서 3차원 장면을 그려낸다고 상상해 보세요. 각 구름은 중심, 크기, 그리고 색상을 가지고 있습니다. 외부에서 이 장면을 바라볼 때, 이 구름들은 서로 겹치고 혼합되어 매끄럽고 사실적인 그림을 만들어냅니다. 마치 안개로 홀로그램을 만드는 것과 같습니다. 이 방식은 믿을 수 없을 정도로 빠르고 아름다운 그림을 만들어내지만, 지금까지는 주로 사물의 '표면'을 그리는 데 사용되었습니다. 사과의 껍질을 그리는 데는 훌륭하지만, 사과 씨앗과 속살을 보여주는 데는 형편없습니다.

여기서 "InnerGS"라는 새로운 논문이 등장합니다. 연구진인 량슈신(Shuxin Liang), 샤오이한(Yihan Xiao), 탕원루(Wenlu Tang)는 단순하지만 대담한 질문을 던졌습니다. "만약 우리가 이 빛나는 구름들을 사물의 '내부'까지 그리는 데 사용할 수 있다면 어떨까?" 그들은 기존의 구름을 그리는 방식이 특정 카메라 각도에서 사진을 찍는 것에 의존한다는 점을 깨달았습니다. 하지만 CT나 MRI 스캔과 같은 의료용 슬라이스 뭉치를 다룰 때는 카메라가 있는 것이 아니라, 단지 평면적인 페이지들의 층이 있을 뿐입니다. 기존 방식은 카메라가 어디에 서 있는지 알지 못한 채 3D 구름을 2D 사진에 억지로 끼워 맞추려 했기 때문에 실패했습니다.

팀의 해결책은 게임의 규칙을 바꾸는 것과 같습니다. 구름을 던진 다음 카메라에 맞춰 납작하게 찌그러뜨리는 대신, 그들은 구름 자체를 직접 자르기로 했습니다. 그들은 하나의 3차원 구름을 수학적으로 다양한 깊이로 "절단"하여, 모든 슬라이스에 대해 완벽한 2D 형태를 만들어내는 방법을 찾아냈습니다. 이는 마치 폭신한 마시멜로를 가져다가 매 밀리미터 높이마다 그 단면이 어떻게 보이는지 사진을 찍지 않고도 정확히 보여주는 것과 같습니다. 그들은 이를 "조건부 스플래팅(Conditional Splatting)"이라고 부릅니다. 이는 "만약 당신이 5번 슬라이스를 보고 있다면, 바로 그 지점에서 이 특정 구름이 정확히 어떻게 보이는지"를 알려주는 스마트한 방식입니다.

이렇게 함으로써, 그들은 두꺼운 책에서 몇 페이지를 뽑아낸 것처럼 적은 양의 슬라이스만 가지고도, 그 사이의 누락된 페이지들을 매끄럽고 상세한 3D 데이터로 채울 수 있습니다. 그들은 뇌나 심장과 같은 실제 의료 데이터를 사용하여 테스트했습니다. 시뮬레이션 결과, 그들의 새로운 방식은 기존의 "말랑말랑한(squishy)" 방식보다 훨씬 빠르고 정확했습니다. 예를 들어, 뇌를 재구성할 때 그들의 방식은 약 32.5라는 매우 높은 품질의 점수(PSNR)를 달성했으며, 약 26분 만에 이를 수행할 수 있었습니다. 더 멋진 점은, 이 시스템이 손목이 굽혀지거나 심장이 뛰는 것처럼 움직이는 부위도 처리할 수 있다는 것입니다. 구름이 시간이 지남에 따라 꿈틀거리며 모양을 바꿀 수 있도록 허용함으로써 말이죠.

하지만 마법은 단순히 내부를 보는 데서 멈추지 않았습니다. 팀은 또한 이 3D 모델과 대화할 수 있다는 것을 보여주었습니다. 구름에게 언어를 이해하도록 가르침으로써, 그들은 당신이 "간을 보여줘" 또는 "종양을 찾아줘"라고 입력하면 컴퓨터가 3D 볼륨 내에서 정확히 그 부분을 강조해 주는 시스템을 만들었습니다. 언어 유도형 세그멘테이션(language-guided segmentation) 테스트에서, 이 시스템은 신체 부위를 약 88%의 확률로 정확하게 식별해 냈습니다.

이 논문은 세상의 모든 문제를 해결했다고 주장하는 것은 아닙니다. 그들은 자신들의 방식이 특정 유형의 데이터에 가장 잘 작동하며, 이미지의 밝기 변화와 같은 문제에는 여전히 과제가 남아 있음을 인정합니다. 그러나 그들은 이 빛나는 구름들을 사용하여 복잡한 카메라 설정 없이도 물체의 숨겨진 체적 내부를 재구성하는 것이 가능하다는 것을 입증했습니다. 그들은 또한 코드를 누구나 시도해 볼 수 있도록 공개했는데, 이는 의료 영상, 로보틱스, 가상 현실 분야에서 우리가 만질 수 없는 것들 속에 무엇이 숨겨져 있는지 마침내 볼 수 있게 해주는 큰 진전이 될 수 있음을 시사합니다.

기술 요약: InnerGS – 인수분해된 3D 가우시안 스플랫팅을 통한 내부 장면 재구성 및 세그멘테이션

문제 정의

3D 가우시안 스플랫팅(3DGS)은 외부 표면의 효율적인 장면 렌더링에 혁신을 가져왔으나, 기존 방식들은 **내부 장면 재구성(internal scene reconstruction)**에 적용할 때 심각한 한계에 직면합니다. 전통적인 3DGS는 카메라 뷰와 투영 행렬을 사용하여 3D 가우시안을 2D 이미지 평면에 투영하는 방식에 의존합니다. 이러한 접근 방식은 다음과 같은 두 가지 주요 이유로 인해 내부 구조(예: 의료 영상)에는 근본적으로 부적합합니다:

표면 편향(Surface Bias): 표준 3DGS는 물체의 표면에 집중된 가우시안을 학습하므로, 내부 볼륨은 대부분 비어 있거나 정의되지 않은 상태로 남습니다.
포즈 의존성(Pose Dependency): 투영 기반 파이프라인은 카메라 포즈를 필요로 하지만, MRI, fMRI 또는 CT 슬라이스와 같은 슬라이스 데이터 모달리티에는 포즈 정보가 존재하지 않습니다.

결과적으로, 희소한 슬라이스 데이터에 표준 3DGS를 적용하면 연속적인 볼륨 정보를 포착하지 못하여 불완전한 내부 표현으로 이어집니다. 또한, 기존의 내부 재구성 방법들은 특정 모달리티(X-ray/CT)에 크게 의존하거나, 일반화 능력이 떨어지며(MRI, fMRI 등), 실시간 추론을 방해하는 복잡한 정규화 및 딥 MLP에 의존하는 경향이 있습니다.

방법론

저자들은 포즈 정보가 없는 희소한 슬라이스 데이터로부터 직접적인 볼륨 추론이 가능하도록 3DGS를 변형한 프레임워크인 InnerGS를 제안합니다. 핵심 혁신은 **인수분해된 3D 가우시안 스플랫팅(Factorized 3D Gaussian Splatting)**을 통해 연속적인 볼륨 밀도를 모델링하는 데 있습니다.

1. 인수분해된 가우시안 표현 (Factorized Gaussian Representation)

3D 가우시안을 2D 평면에 투영하는 대신, InnerGS는 특정 깊이 슬라이스 $t$ 에서의 픽셀 $(u, v)$ 에 대한 가우시안의 기여도를 직접 모델링합니다. 밀도는 다음과 같이 인수분해됩니다:
$p(u, v, t) = p(u, v | t) \cdot p(t)$

$p(t)$ : 깊이 축을 따른 불확실성 또는 분포를 모델링하는 1D 가우시안입니다.
$p(u, v | t)$ : 슬라이스 위치 $t$ 가 주어졌을 때 이미지 평면상의 횡방향 공간 분포를 설명하는 조건부 2D 가우시안입니다.

이 공식화를 통해 2D 스플랫의 평균은 슬라이스 깊이 $t$ 가 변함에 따라 동적으로 이동할 수 있으며, 스플랫의 범위는 3D 가우시안 중심과 슬라이스 사이의 거리에 따라 규모가 조절될 수 있습니다. 이를 통해 카메라 포즈 없이도 임의의 깊이에서 새로운 슬라이스를 합성할 수 있습니다.

2. 렌더링 파이프라인: 조건부 스플랫팅 (Conditional Splatting)

이러한 내부 구조를 효율적으로 렌더링하기 위해, 본 논문은 표준 "3D 타원체 투영(3D Ellipsoid Projection)"보다 우수한 대안으로 **조건부 스플랫팅(Conditional Splatting)**을 도입합니다.

3D 타원체 투영 (베이스라인): 3D 가우시안 범위를 구체(sphere)로 근사하고 모든 슬라이스에 대해 동일한 입방체 바운딩 박스를 투영합니다. 이는 중복 계산과 과도하게 큰 처리 영역을 초래합니다.
조건부 스플랫팅 (제안 방식): 조건부 2D 가우시안을 기반으로 각 슬의 바운딩 박스를 동적으로 적응시킵니다. 이는 더 타이트한 샘플링을 가능하게 하여, 픽셀당 후보 가우시안의 수와 허위 양성(false positives)을 크게 줄입니다.

렌더링 과정은 후보 가우시안들을 이미지 평면과의 거리에 따라 정렬하고, 표준 3DGS와 유사한 미분 가능한 래스터화 과정을 통해 색상과 불투명도를 누적하지만, 카메라 뷰가 아닌 볼륨 슬라이스 상에서 작동합니다.

3. 최적화 및 확장

학습: 모델은 예측된 슬라이스와 실제 슬라이스 간의 렌더링 손실을 최소화하도록 최적화됩니다. 파이프라인에는 슬라이스 기반 컨텍스트에 맞게 조정된 표준 3DGS 정제 단계(pruning, densification, cloning)가 포함됩니다.
동적 재구성: 4D 데이터(예: 심장 운동, fMRI)를 위해, 프레임워크는 4D 가우시안 스플랫팅 접근 방식을 통합합니다. 정적인 3D 가우시안 세트가 정형 해부학적 구조(canonical anatomy)를 나타내며, 학습된 변형 필드 네트워크(deformation field network)가 위치, 공분산, 색상 및 불투명도의 프레임별 변화를 예측합니다.
세그멘테이션: 시각-언어 모델(VLM)을 통합하여 다운스트림 작업을 위한 확장이 가능합니다. 언어 특징은 각 가우시안에 부착된 압축된 잠재 속성(latent attributes)으로 증류됩니다. 미분 가능한 스플랫팅 방정식은 이러한 특징들을 집계하여, 의료 장면에 대한 오픈 보캐블러리(open-vocabulary) 텍스트 유도 세그멘테이션을 가능하게 합니다.

주요 기여

내부 가우시안 스플랫팅 프레임워크: 포즈 정보가 없는 희소한 슬라이스 데이터로부터 고충실도 재구성을 가능하게 하는, 직접적인 볼륨 추론을 위한 새로운 3DGS 활용 접근 방식입니다.
조건부 스플랫팅 파이프라인: 각 2D 슬라이스에 대해 가우시안 샘플링을 동적으로 적응시키는 효율적인 슬라이스 기반 렌더링 기술로, 휴리스틱 투영 방식에 비해 계산 효율성과 재구성 정확도를 향상시킵니다.
플러그 앤 플레이 구현: 정적 뇌 및 심장 MRI를 포함한 다양한 의료 데이터셋(4D 동적 시퀀스인 손목 움직임 및 뇌 fMRI 포함)에서 효과를 입증하는 제공된 CUDA 구현체입니다.
멀티모달 세그멘테이션: 언어 특징을 통합하여 텍스트 유도 세그멘테이션을 수행함으로써, 자연어 질의를 통한 의료 장면 이해의 가능성을 보여줍니다.

실험 결과

저자들은 PSNR(Peak Signal-to-Noise Ratio)과 SSIM(Structural Similarity Index Measure)을 사용하여 여러 데이터셋에 대해 InnerGS를 평가했습니다.

정적 MRI 재구성:
- 뇌 MRI: BrainWeb 데이터셋에서 평균 32.47 dB의 PS로 0.9676의 SSIM을 달성했습니다. 모델은 미세한 해부학적 구조(피질 주름, 깊은 경계)와 균질한 영역에서의 매끄러운 전이를 성공적으로 재구성했습니다.
- 심장 MRI: HVSMR-2.0 데이터셋에서 평균 31.50 dB의 PSNR과 0.9439의 SSIM을 달성하여 심장실과 혈관을 정확하게 포착했습니다.
동적 재구성:
- 손목 움직임: 동적 MRI 데이터셋에서 Inner-GS는 (이전 프레임을 예측값으로 사용하는) 정적 베이스라인보다 특히 해부학적 움직임이 큰 타임스탬프에서 일관되게 우수한 성능을 보였습니다. 평균 SSIM은 0.9429(베이스라인)에서 0.9649(InnerGS)로 향상되었습니다.
- 뇌 fMRI: 기하학적 구조를 고정하고 색상/불투명도만을 최적화함으로써 시간적 신호 강도 변화(BOLD 대비)를 포착하였으며, 정적 베이스라인보다 높은 PSNR을 기록했습니다.
세그멘테이션:
- SAT-DS의 CT-ORG 서브셋에서, 이 방법은 평균 Dice 유사 계수(mDSC) 88.17%, 평균 IoU(mIoU) 83.72%, 그리고 픽셀 정확도(PA) **98.97%**를 달성했습니다.

의의 및 주장

본 논문은 Inner-GS가 표면 완성을 넘어 볼륨 추론으로 초점을 전환함으로써 3D 재구성 분야의 중요한 격차를 해결한다고 주장합니다. 그 의의는 다음과 같습니다:

모달리티 불가지론(Modality Agnosticism): X-ray나 CT에 특화된 기존 방법들과 달리, Inner-GS는 특정 물리 기반 감쇠 모델을 요구하지 않으므로 MRI, fMRI 등 다양한 데이터 모달리티와 본질적으로 호환됩니다.
포즈 프리(Pose-Free) 작동: 포즈 정보가 없는 슬라이스 형태의 의료 데이터에 직접 적용할 수 있도록 포즈 정보의 필요성을 제거했습니다.
효율성: 무거운 다층 퍼셉트론(MLP)을 피하고 인수분해된 가우시안 구조를 활용함으로써, 3DGS의 속도 이점을 유지하며 NeRF 기반의 내부 재구성보다 빠른 학습과 실시간 가능성을 제공합니다.
다운스트림 유용성: 이 프레임워크는 고품질의 정적/동적 재구성과 자연어 질의를 통한 오픈 보캐블러리 세그멘테이션 능력을 통해 진단 및 수술 계획을 도울 수 있는 임상 작업의 기초가 됩니다.