$R^2$-Mesh: Reinforcement Learning Powered Mesh Reconstruction via Geometry and Appearance Refinement

이 논문은 NeRF 의 렌더링 능력을 활용하여 가상 뷰를 생성하고, UCB 기반의 기하학적 보상 강화 학습을 통해 최적의 관점을 동적으로 선택함으로써 SDF 기하학과 외관을 함께 최적화하여 정밀한 메쉬 재구성을 수행하는 $R^2$-Mesh 프레임워크를 제안합니다.

핵심

🎨 3D 조각가의 딜레마: "사진이 부족해요!"

기존의 3D 재구성 기술 (NeRF 등) 은 마치 한정된 사진만 보고 3D 조형물을 만드는 조각가와 같습니다.

• 문제점: 조각가는 손에 든 사진 (훈련 데이터) 만 보고 물체의 모양을 추정합니다. 하지만 사진이 몇 장 없으면, 사진에 없는 뒷부분이나 구석진 부분은 어떻게 생겼는지 알 수 없습니다.
• 결과: 물체의 모양이 뭉개지거나, 빛이 반사되는 방식이 어색해지거나, 전체적으로 "대충 만든 것" 같은 느낌이 듭니다.
• 또 다른 문제: 조각가는 처음에 정해진 사진들만 계속 보게 됩니다. 하지만 물체의 어떤 부분은 사진이 많아서 잘 보이지만, 어떤 부분은 사진이 부족해서 계속 실수가 납니다. 모든 사진을 똑같이 중요하게 여기는 것은 비효율적입니다.

🚀 R2-Mesh 의 해결책: "가상의 눈"과 "현명한 선택"

R2-Mesh 는 이 문제를 해결하기 위해 두 가지 마법 같은 전략을 사용합니다.

1. 가상의 눈 (NeRF 가 만들어낸 새로운 사진들)

이 기술은 먼저 AI 가 물체의 전체적인 윤곽을 대략적으로 파악하게 합니다. 그리고 나서 AI 가 스스로 "가상의 사진"을 찍어냅니다.

• 비유: 조각가가 실제 사진만 보는 게 아니라, 머릿속으로 "이 각도에서 보면 이렇게 보일 거야"라고 상상해서 새로운 사진을 만들어내는 것입니다.
• 효과: 이제 조각가는 원래 사진뿐만 아니라, AI 가 만들어낸 수많은 새로운 각도의 사진들도 보게 됩니다. 덕분에 물체의 뒷면이나 구석진 부분도 훨씬 더 정확하게 만들어낼 수 있습니다.

2. 현명한 사냥꾼 (강화 학습과 UCB 전략)

하지만 가상의 사진을 무작정 다 보는 것은 비효율적입니다. "이미 잘 보이는 부분"을 계속 보는 것은 시간 낭비이고, "아직 잘 안 보이는 부분"을 놓치면 안 되니까요.

• 전략: R2-Mesh 는 현명한 사냥꾼처럼 행동합니다.
  • 탐험 (Exploration): "아직 가본 적 없는 새로운 각도"를 시도해 봅니다. (무작위 선택)
  • 활용 (Exploitation): "지금까지 가장 많이 실수가 난 부분"을 집중적으로 봅니다. (기존 지식 활용)
  • UCB 알고리즘: 이 사냥꾼은 **'어떤 각도를 찍으면 가장 큰 도움을 줄까?'**를 수학적으로 계산합니다. (상한 신뢰 구간, UCB)
• 결과: 조각가는 시간이 지날수록 가장 도움이 되는 '최고의 각도'를 자동으로 골라내어, 물체의 결함을 하나씩 고쳐나갑니다.

🛠️ 어떻게 작동하나요? (단계별 과정)

1. 1 단계 (대략적인 스케치): 먼저 기존 AI 기술을 써서 3D 물체의 '대략적인 실루엣'을 만듭니다. (거친 SDF 격자)
2. 2 단계 (정교한 다듬기):
   • 가상 사진 찍기: AI 가 다양한 각도에서 가상의 사진을 찍습니다.
   • 최고의 각도 고르기: '현명한 사냥꾼' 알고리즘이 이 중에서 가장 도움이 될 사진을 골라냅니다.
   • 정밀 수정: 고른 사진들을 바탕으로 3D 물체의 표면 (기하학적 형태) 과 빛 반사 (색상) 를 동시에 다듬습니다.
   • 반복: 이 과정을 반복하며 물체가 점점 더 매끄럽고 사실적으로 변합니다.

🌟 왜 이 기술이 중요한가요?

기존 방법들은 "주어진 사진만 보고 뚝딱" 만드는 방식이었다면, R2-Mesh 는 "스스로 새로운 정보를 만들어내고, 가장 필요한 부분을 집중적으로 공부하는" 방식입니다.

• 더 정확한 모양: 물체의 가장자리가 뭉개지지 않고 선명합니다.
• 더 자연스러운 빛: 물체가 빛을 받을 때의 반사광이 훨씬 사실적입니다.
• 효율성: 쓸모없는 사진을 보느라 시간을 낭비하지 않고, 가장 중요한 부분만 집중적으로 다듬습니다.

💡 한 줄 요약

"R2-Mesh 는 AI 가 스스로 가상의 사진을 찍어내고, 그중에서 가장 도움이 되는 사진을 골라 3D 물체를 조각하는 '현명한 3D 조각가'입니다."

이 기술은 가상현실 (VR), 의료 영상, 로봇 공학 등 정밀한 3D 모델이 필요한 모든 분야에서 더 빠르고 정확한 결과를 만들어낼 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

기존 Neural Radiance Fields (NeRF) 기반의 3D 메쉬 재구성 방법들은 다음과 같은 한계를 가지고 있습니다:

• 제한된 감독 신호 (Limited Supervision): 학습이 오직 주어진 훈련 세트의 이미지에만 의존합니다. 이는 관측 데이터가 제한적이어서 기하학적 구조 (Geometry) 와 외관 (Appearance) 을 완전히 제약하기 어렵게 만듭니다.
• 동적인 관점 기여도: 학습 과정에서 각 관점 (Viewpoint) 의 기여도는 균일하지 않으며, 최적화 단계에 따라 동적으로 변화합니다. 고정된 관점 집합을 사용하면 최적의 지도 정보를 제공하지 못해 기하학적 정제와 렌더링 품질이 저하될 수 있습니다.
• 세부 정보 손실: 기존 방법들은 초기 메쉬 토폴로지가 고정되어 있거나, Marching Cubes 와 같은 후처리 과정에서 세부 사항이 손실되거나 아티팩트가 발생할 수 있습니다.

2. 제안 방법 (Methodology)

저자들은 R2-Mesh라는 강화 학습 (Reinforcement Learning) 기반 프레임워크를 제안합니다. 이 방법은 NeRF 의 렌더링 능력을 활용하여 추가적인 가짜 감독 신호 (Pseudo-supervision) 를 생성하고, 강화 학습을 통해 학습에 가장 유익한 관점을 동적으로 선택합니다.

핵심 구성 요소:

1. 2 단계 학습 프로세스:

   • Stage 1 (초기화): Instant-NGP 아키텍처를 사용하여 NeRF 모델을 학습시키고, 이를 통해 초기 SDF (Signed Distance Field) 그리드와 뷰 의존적 외관 필드를 생성합니다. 이 단계에서 coarse SDF 와 후보 관점 집합을 확보합니다.
   • Stage 2 (정제): 학습 반복마다 두 단계를 수행합니다.
     • UCB 기반 관점 선택: Upper Confidence Bound (UCB) 알고리즘을 사용하여 현재 모델 상태에 가장 유익한 NeRF 렌더링 관점 (가짜 정답) 을 동적으로 선택합니다.
     • 기하 및 외관 동시 정제: 선택된 관점들과 실제 훈련 이미지를 함께 사용하여 SDF 와 외관을 미분 가능한 렌더링 (Differentiable Rendering) 하에 동시에 최적화합니다.

2. UCB 기반 적응형 관점 선택 전략:

   • 동작 공간: 가상 구를 중심으로 균일하게 분포된 $n$개의 후보 관점 ($V_{NeRF}$) 을 정의합니다.
   • UCB 값 계산: 각 관점 $a$에 대해 $UCB_a(t) = \hat{r}_a(t) + c\sqrt{\frac{2 \ln t}{N_a(t)}}$ 공식을 사용하여 탐색 (Exploration) 과 활용 (Exploitation) 을 균형 있게 조절합니다.
   • 보상 함수 (Reward):
     • 색상 보상 ($r_{color}$): MSE 와 LPIPS 를 사용하여 메쉬와 NeRF 렌더링 간의 색상 및 구조적 일관성을 평가합니다.
     • 기하 보상 ($r_{geo}$): NeRF 의 깊이 맵을 이진화하여 메쉬와 NeRF 간의 가시 영역 (Foreground) 정렬을 평가합니다.
   • 학습: 매 반복마다 $m$개의 실제 이미지와 $k$개의 UCB 기반 선택된 NeRF 가짜 이미지를 함께 사용하여 학습합니다.

3. 토폴로지 인식 메쉬 정제:

   • FlexiCubes 사용: 고정된 토폴로지의 한계를 극복하기 위해 FlexiCubes 를 도입합니다. SDF 그리드 정점에 학습 가능한 변형 및 가중치 파라미터를 추가하여, 최적화 과정에서 메쉬의 정점 위치와 연결성 (Connectivity) 이 유연하게 조정되도록 합니다.
   • 손실 함수: 색상 손실 (Charbonnier loss), TV 정규화 (부동 아티팩트 제거), FlexiCubes 정규화 (메쉬 아티팩트 억제) 를 결합합니다.

3. 주요 기여 (Key Contributions)

1. NeRF 기반 가짜 감독 신호 활용: NeRF 의 생성 능력을 활용하여 원본 데이터셋을 넘어선 다양하고 고품질의 관점 정보를 훈련 신호로 추가했습니다.
2. UCB 기반 온라인 관점 선택 전략: 기하학적 인식을 포함한 보상 함수와 UCB 알고리즘을 결합하여, 학습 진행 상황에 따라 가장 정보량이 많은 관점을 동적으로 식별하고 선택합니다.
3. R2-Mesh 프레임워크: SDF 와 외관을 결합한 공동 최적화 프레임워크를 제시하여, 토폴로지를 인식하며 점진적으로 정제되는 고품질 메쉬 재구성을 가능하게 합니다.

4. 실험 결과 (Results)

• 데이터셋: 실세계 DTU 데이터셋과 합성 NeRF-synthetic 데이터셋을 사용하여 평가했습니다.
• 기하학적 정확도 (Chamfer Distance):
  • NeRF-synthetic 및 DTU 데이터셋에서 MobileNeRF, NVdiffrec, NeuS2, NeRF2Mesh 등 기존 최첨단 방법들보다 우수한 Chamfer Distance (CD) 점수를 기록했습니다.
  • 특히 복잡한 기하학적 구조와 세부 사항에서 더 정밀한 메쉬를 생성했습니다.
• 렌더링 품질 (PSNR, SSIM, LPIPS):
  • NeRF-synthetic 및 DTU 데이터셋에서 PSNR, SSIM, LPIPS 모든 지표에서 기존 방법들 (Neuralangelo, NVdiffrec 등) 보다 우수한 성능을 보였습니다.
  • 특히 "Ours (w/o VE)"와 비교 시, 관점 향상 (VE) 기능이 렌더링 품질을 크게 향상시킴을 확인했습니다.
• Ablation Study:
  • 관점 향상 (VE) 제거: 렌더링 품질이 저하되어 다양한 관점 정보가 중요함을 입증했습니다.
  • 메쉬 정제 (RF) 제거: 메쉬 렌더링 품질이 급격히 떨어졌습니다.
  • 기하 보상 ($r_{geo}$) 제거: 객체 경계에서 아티팩트가 증가했습니다.
  • UCB vs Greedy/Random: UCB 전략이 Greedy(최대 손실 관점 선택) 나 Random 전략보다 우수한 성능을 보이며, 탐색과 활용의 균형을 잘 유지함을 증명했습니다.

5. 의의 및 결론 (Significance)

R2-Mesh 는 NeRF 의 강력한 렌더링 능력을 메쉬 재구성에 효과적으로 통합한 사례입니다. 고정된 훈련 데이터의 한계를 넘어, 강화 학습을 통한 적응형 관점 선택과 SDF 기반의 토폴로지 정제를 결합함으로써, 기존 방법들보다 훨씬 높은 기하학적 정밀도와 렌더링 품질을 달성했습니다. 이는 가상 현실, 로봇 공학, 의료 영상 등 고품질 3D 메쉬가 필수적인 분야에서 중요한 진전을 의미합니다.