Each language version is independently generated for its own context, not a direct translation.

투명 물체를 '보이는 대로'가 아니라 '속까지' 재현하는 마법: DiffTrans 소개

안녕하세요! 오늘 소개해 드릴 논문은 ICLR 2026에 발표된 **'DiffTrans'**라는 이름의 새로운 기술에 대한 것입니다. 이 기술은 우리가 일상에서 볼 수 있는 유리, 보석, 투명 플라스틱 같은 물체를 사진만으로 3D 로 완벽하게 복원하는 방법을 개발했습니다.

이 기술이 왜 특별한지, 그리고 어떻게 작동하는지 쉬운 비유와 함께 설명해 드릴게요.

1. 왜 투명 물체는 '악몽'일까요?

상상해 보세요. 투명한 유리잔을 보고 사진을 찍습니다. 그런데 그 유리잔 안에는 빨간색 액체가 들어있고, 배경에는 예쁜 꽃이 있습니다.

불투명 물체 (예: 사과): 카메라는 사과 표면의 빛만 받아서 모양을 알 수 있습니다.
투명 물체 (유리잔): 카메라는 유리 표면의 반사, 유리 안을 통과하는 빛의 굴절, 그리고 안쪽 액체의 색상까지 모두 섞여서 받아칩니다.

기존의 기술들은 이 복잡한 빛의 흐름을 해석하는 데 큰 어려움을 겪었습니다. 마치 거울과 유리창이 뒤섞인 방에서 물체의 진짜 모양을 찾아내는 것과 비슷합니다. 특히 물체 내부에 복잡한 무늬나 색이 있다면, 기존 기술들은 "아, 이건 그냥 투명한 유리구나"라고만 생각하고 내부의 색이나 모양을 무시해버렸습니다.

2. DiffTrans 의 등장: "투명 물체의 해부학자"

DiffTrans 는 이 문제를 해결하기 위해 세 가지 단계로 나누어 투명 물체를 해부하듯 분석합니다.

1 단계: 실루엣으로 '대략적인 뼈대' 만들기

비유: 그림자 놀이입니다.
작동: 여러 각도에서 찍은 사진에서 물체의 '검은 실루엣'만 따냅니다. 이를 바탕으로 물체의 대략적인 3D 모양 (뼈대) 을 먼저 만듭니다. 이때 'FlexiCubes'라는 기술을 써서 구멍이 생기거나 찢어지지 않도록 부드럽게 다듬어줍니다.

2 단계: 배경의 '환상'을 잡아내기

비유: 무대 배경을 그리는 작업입니다.
작동: 물체 밖의 배경 (꽃, 벽, 하늘 등) 이 어떻게 보이는지 분석합니다. 투명 물체는 배경을 왜곡해서 보여주니까, 이 왜곡된 배경을 분석하면 물체의 위치와 모양을 더 정확히 알 수 있습니다.

3 단계: '빛의 사냥꾼'으로 속까지 파헤치기 (가장 중요한 부분!)

비유: 레이저 포인터를 쏘아서 물체 안을 훑어보는 것입니다.
작동: 여기서 DiffTrans 의 진짜 마법이 발휘됩니다. 컴퓨터가 가상의 빛 (레이) 을 쏘아서 물체와 부딪히게 합니다.
1. 반사: 빛이 유리 표면에 튕겨 나가는지 확인합니다.
2. 굴절: 빛이 유리 안으로 들어갈 때 꺾이는 정도 (굴절률) 를 계산합니다.
3. 흡수: 빛이 유리 안을 통과할 때 **색이 얼마나 사라지는지 (흡수율)**를 계산합니다.

이 과정을 **재귀적 (Recursive)**이라고 합니다. 빛이 물체 안을 통과했다가 다시 튀어나오거나, 여러 번 굴절될 때까지 컴퓨터가 계속 추적하는 것입니다. 이 추적 과정을 CUDA(고성능 그래픽 칩) 에서 빠르게 실행해서, 복잡한 계산도 순식간에 해냅니다.

3. DiffTrans 가 가져온 혁신

이전 기술들은 "유리잔은 투명한 거니까 내부 색상은 무시하자"라고 생각했지만, DiffTrans 는 다음과 같이 바꿨습니다.

내부까지 보이다: 보석 안의 금박이나, 유리병 안의 액체 색상까지 완벽하게 재현합니다.
조명 바꾸기 (Relighting): 한번 3D 로 복원해두면, 나중에 "이 유리잔을 어두운 방에 두면 어떨까?", "태양빛을 비추면 어떨까?"라고 조명을 마음대로 바꿔서 새로운 사진을 만들 수 있습니다. 마치 가상 현실에서 조명을 조절하는 것처럼요.
정확한 모양: 빛이 어떻게 굴절되는지 물리 법칙을 따르기 때문에, 모양이 뭉개지거나 찌그러지는 일이 없습니다.

4. 마치며: 왜 이 기술이 중요할까요?

이 기술은 단순히 "예쁜 3D 모델"을 만드는 것을 넘어, 가상 현실 (VR), 영화 특수효과, 디자인 분야에서 큰 변화를 가져올 것입니다.

게임 개발자: 유리창이나 보석 같은 소품을 손쉽게 만들고, 게임 속 조명에 따라 자연스럽게 반응하게 할 수 있습니다.
영화 제작자: 실제 촬영하기 힘든 복잡한 유리 구조물을 디지털로 완벽하게 만들어낼 수 있습니다.
일상: 스마트폰으로 투명 물체를 찍으면, 그 물체의 속까지 3D 로 재구성되어 다양한 각도에서 볼 수 있게 될지도 모릅니다.

한 줄 요약:

DiffTrans는 투명 물체가 빛을 어떻게 구부리고, 색을 어떻게 흡수하는지 물리 법칙으로 완벽하게 계산해내어, 실제와 구별할 수 없는 3D 투명 물체를 만들어내는 '디지털 해부학자'입니다.

이제 투명 물체를 볼 때, 단순히 '비치는 것'이 아니라 그 안의 복잡한 빛의 춤을 상상해 보시는 건 어떨까요?

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem)

투명 물체의 기하학적 구조 (Geometry) 와 재질 (Materials) 을 다중 뷰 이미지로부터 재구성하는 작업은 빛의 굴절, 반사, 내부 흡수 등 복잡한 광학 현상으로 인해 매우 어렵고 (ill-posed problem), 기존 방법론의 한계가 명확합니다.

기존 방법의 한계:
- 단순화된 가정: 대부분의 기존 방법 (NeRRF, NeTO 등) 은 균일한 토폴로지, 이상적인 투명성, 표면 반사만 있는 물체, 또는 내부 흡수 텍스처가 없는 물체에 국한되어 있습니다.
- 재질 모델링 부재: NEMTO, NeTO, NeRRF 등은 투명 물체의 재질을 고려하지 않거나, Nu-NeRF, TransparentGS 와 같이 표면 재질만 모델링하여 내부 흡수 (absorptive texture) 가 있는 복잡한 물체 (보석, 유리 장식, 수지 공예품 등) 를 정확히 재구성하지 못합니다.
- 메쉬 추출의 어려움: Eikonal 필드 기반 방법들은 정교한 메쉬 추출이 어렵고, SDF 또는 3D 가우스 스플래팅 기반 방법들은 복잡한 텍스처를 가진 투명 물체의 기하학적 구조를 복원하는 데 실패합니다.

2. 제안 방법론 (Methodology: DiffTrans)

저자들은 DiffTrans라는 새로운 차분 가능 (differentiable) 렌더링 프레임워크를 제안합니다. 이 프레임워크는 투명 물체의 기하학과 재질을 효율적으로 분해하고 재구성하여, 복잡한 토폴로지와 내부 텍스처를 가진 물체를 정밀하게 복원합니다.

핵심 구성 요소 및 단계

초기화 단계 (Initialization Phase):
- 기하학 초기화: 다중 뷰의 물체 실루엣 (마스크) 만을 사용하여 초기 기하학을 복원합니다. 이를 위해 FlexiCubes를 등면 (iso-surface) 표현으로 사용하며, 팽창 (dilation) 및 부드러움 (smoothness) 정규화를 적용하여 마스크 기반 학습에서 발생하는 아티팩트와 균열을 방지하고 초기 메쉬를 효율적으로 생성합니다.
- 환경 복원: 입력 이미지의 마스크 외부 (배경) 픽셀을 활용하여 환경 조명 방사선장 (Environment Light Radiance Field) 을 복원합니다. 이는 NeRF 스타일의 볼륨 그리드와 트리플레인 (triplane) 을 사용하여 구현됩니다.
정제 단계 (Refine Phase) - 차분 가능 재귀적 메쉬 레이 트레이서:
- 물리 기반 재귀적 트레이싱: 초기 기하학과 환경 정보를 바탕으로, 차분 가능 재귀적 메쉬 레이 트레이서 (Differentiable Recursive Mesh Ray Tracer) 를 설계합니다. 이 트레이서는 OptiX 와 CUDA 로 구현되어 높은 계산 효율성을 보장합니다.
- 광선 추적 로직:
  - 빛이 물체 표면과 만날 때 반사 (Reflection) 와 굴절 (Refraction) 을 물리 법칙 (프레넬 방정식) 에 따라 결정적으로 (deterministic) 계산합니다.
  - 물체 내부로 진입한 빛은 흡수율 (Absorption Rate, $\mu_t$ ) 에 따라 감쇠되며, 이는 Beer-Lambert 법칙을 기반으로 모델링됩니다.
  - 빛이 물체 내부에서 반사되거나 굴절되어 다시 나가는 과정을 재귀적으로 추적하여 최종 방사선 (Radiance) 을 합성합니다.
- 동시 최적화: 이 과정을 통해 기하학 (메쉬), 굴절률 (IoR), 흡수율을 엔드 - 투 - 엔드 (end-to-end) 방식으로 동시에 최적화합니다.
손실 함수 및 정규화:
- 색상 손실 ( $L_{color}$ ), 톤 정규화 ( $L_{tone}$ , 색상 채널 비율 제약), 흡수율의 국소적 부드러움 ( $L_{mat-smooth}$ ) 등을 결합하여 최적화합니다.
- 특히, 굴절된 배경으로 인한 흡수율 그래디언트 오류를 방지하기 위해 톤 정규화를 도입했습니다.

3. 주요 기여 (Key Contributions)

DiffTrans 프레임워크: 복잡한 토폴로지와 내부 흡수 텍스처를 가진 투명 물체의 기하학과 재질을 동시에 분해 및 재구성할 수 있는 새로운 차분 가능 렌더링 프레임워크를 제안했습니다.
효율적인 초기화 전략: FlexiCubes 에 팽창 및 부드러움 정규화를 결합하여, 마스크 정보만으로 초기 기하학을 효율적으로 복원하고 배경 환경을 동시에 복원하는 방법을 제시했습니다.
고성능 차분 가능 레이 트레이서: OptiX 와 CUDA 를 기반으로 한 재귀적 메쉬 레이 트레이서를 설계하여, 기하학, 굴절률, 흡수율을 통합적으로 최적화하면서도 계산 비용을 크게 줄였습니다.
성능 입증: 합성 및 실사 데이터셋에서 기존 최첨단 방법들 (NeRO, NU-NeRF, NeRRF 등) 보다 우수한 재구성 품질을 보였으며, 특히 복잡한 텍스처와 토폴로지를 가진 물체에서 뛰어난 성능을 입증했습니다.

4. 실험 결과 (Results)

데이터셋: NEMTO, Lyu et al. 의 합성 데이터셋 (토끼, 소, 말, 원숭이, 손, 마우스) 과 iPhone 으로 촬영한 실사 데이터셋 (꽃 등) 을 사용했습니다.
정량적 평가:
- 기하학 재구성: Chamfer Distance (CD) 와 F1-score 에서 모든 베이스라인 방법보다 우수한 성능을 보였습니다. (예: 평균 CD 3.264 vs NeRRF 13.341)
- 굴절률 (IoR) 예측: 실제 값과 매우 근사한 IoR 값을 예측하여 물리적으로 정확한 재구성을 가능하게 했습니다.
- 재조명 (Relighting): 재구성된 기하학과 재질을 활용하여 새로운 조명 환경에서의 렌더링이 가능했으며, PSNR, SSIM, LPIPS 지표에서 기존 방법들을 압도했습니다.
정성적 평가: 복잡한 내부 흡수 텍스처 (예: 말의 녹색 흡수 재질, 원숭이의 색상 전환) 를 정확하게 복원했으며, 기존 방법들이 실패했던 빈 공간 채우기 및 구조적 오류를 해결했습니다.

5. 의의 및 결론 (Significance)

이 연구는 투명 물체 재구성 분야에서 내부 흡수 재질 (absorptive material) 을 명시적으로 모델링하고, 이를 기하학적 구조와 함께 엔드 - 투 - 엔드로 최적화하는 첫 번째 체계적인 접근법 중 하나입니다.

실용성: 복잡한 텍스처와 토폴로지를 가진 실제 세계의 투명 물체 (보석, 유리 공예품 등) 를 정밀하게 디지털 트윈할 수 있는 가능성을 열었습니다.
편집 가능성: 재구성된 기하학과 재질 정보를 통해 재조명 (Relighting) 과 같은 장면 편집 기능을 지원하여, AR/VR 및 콘텐츠 제작 분야에서 중요한 도구로 활용될 수 있습니다.
효율성: CUDA 기반의 최적화된 레이 트레이서를 통해 계산 비용을 줄여, 고해상도 및 복잡한 장면에서도 실용적인 학습 시간을 보장합니다.

요약하자면, DiffTrans 는 투명 물체의 복잡한 광학 현상을 물리 법칙에 기반하여 정확하게 모델링하고, 이를 효율적인 최적화 프레임워크로 구현함으로써 투명 물체 3D 재구성의 새로운 기준을 제시한 연구입니다.

DiffTrans: Differentiable Geometry-Materials Decomposition for Reconstructing Transparent Objects