1. 문제 제기 (Problem Statement)

기존의 암시적 신경 표현 (Implicit Neural Representations, INR) 은 SIREN, WIRE, FINER 등의 아키텍처를 통해 고해상도 이미지 재구성, 초해상도, 압축 등에서 뛰어난 성능을 보였습니다. 그러나 INR 기반 방법론들은 다음과 같은 근본적인 한계를 가지고 있습니다:

• 명시적 기하 구조의 부재: INR 은 신경망 파라미터 내에 정보를 암시적으로 인코딩하므로, 국소적인 편집 (local editing) 이나 물리 시뮬레이션과의 통합이 어렵습니다.
• 이산적 표현의 한계: 최근 등장한 가우시안 스플래팅 (Gaussian Splatting) 기반 방법 (예: MiRaGe) 은 명시적인 기하 구조를 제공하여 편집성을 높였으나, 표현이 이산적 (discrete) 이기 때문에 물리 엔진이 객체의 기하학을 크게 변경할 때 아티팩트 (artifacts) 가 발생하고, 진정한 연속적인 이미지 표현을 제공하지 못합니다.

이러한 한계를 극복하기 위해 연속적인 이미지 표현과 해석 가능한 기하 구조를 동시에 갖춘 새로운 프레임워크가 필요합니다.

2. 방법론 (Methodology)

저자들은 GaINeR (Geometry-Aware Implicit Network Representation) 을 제안합니다. 이는 2D 이미지에 대한 INR 과 학습 가능한 가우시안 임베딩을 결합한 하이브리드 프레임워크입니다.

핵심 아키텍처

1. 학습 가능한 가우시안 컴포넌트:

   • 이미지 도메인은 $N$개의 가우시안 분포 집합 $\mathcal{G}$로 표현됩니다.
   • 각 가우시안은 위치 ($\mu_i$), 공분산 행렬 ($\Sigma_i$), 그리고 학습 가능한 특징 임베딩 벡터 ($\mathbf{e}_i$) 로 파라미터화됩니다.
   • 임베딩의 표현력을 높이기 위해 멀티-해상도 해시 그리드 (multi-resolution hashgrid) 특징을 활용합니다.

2. 거리 가중치 KNN 집계 (Distance-Weighted KNN Aggregation):

   • 입력 좌표 $\mathbf{x}$가 주어지면, 유클리드 공간에서 가장 가까운 $K$개의 가우시안 중심을 식별합니다 (반경 제한 KNN).
   • 이웃 가우시안들의 특징 벡터를 가우시안 가중치 (거리 기반) 로 평균화하여 지역적으로 기하 정보를 인식하는 임베딩 $\mathbf{e}_{\mathbf{KNN}}(\mathbf{x}, \mathcal{G})$를 생성합니다.

3. MLP 디코더:

   • 집계된 임베딩을 다층 퍼셉트론 (MLP) 디코더 $f_\theta$에 입력하여 해당 좌표의 최종 RGB 색상 값을 예측합니다.
   • 이 구조는 좌표 기반 신경망의 연속성과 가우시안의 명시적 기하 구조를 결합합니다.

주요 기능 및 확장

• 이미지 편집: 가우시안의 중심 ($\mu_i$) 을 이동, 회전, 변형시키면 KNN 집계된 특징이 자연스럽게 변형되어, MLP 디코더를 통해 아티팩트 없이 매끄러운 이미지 변형이 가능합니다.
• 물리 시뮬레이션 통합: 가우시안 중심을 물리 엔진 (예: Taichi Elements 의 MPM) 의 물질 점 (material points) 으로 간주하여, 물리 법칙에 따른 변형을 자연스럽게 렌더링할 수 있습니다.
• 2D 에서 3D 로의 리프팅 (Lifting): MLP 디코더가 밀도 ($\sigma$) 를 추가로 예측하도록 확장하면, 단일 2D 이미지를 3D 볼륨 표현으로 변환할 수 있습니다. 이때 Mahalanobis 거리를 사용하여 3D 공간에서의 KNN 검색을 수행합니다.

3. 주요 기여 (Key Contributions)

1. GaINeR 프레임워크 도입: 가우시안 임베딩과 MLP 를 기반으로 한 새로운 2D 이미지 INR 을 제안하여, 기존 INR 기반 방법들보다 우수한 재구성 품질을 달성했습니다.
2. 기하학적 편집 및 물리 통합: 명시적인 기하 구성 요소를 도입하여 직관적인 2D 이미지 수정과 물리 시뮬레이션 엔진과의 통합을 가능하게 했습니다. 또한, 완전한 연속 표현을 통해 재학습 없이 임의 해상도의 초해상도 (Super-resolution) 를 지원합니다.
3. 단일 이미지 기반 3D 변환: 깊이 안내형 (depth-guided) 가우시안 변위를 통해 단일 2D 이미지를 3D 인식 가능한 표현으로 변환하고, 일관된 공간 조작을 가능하게 했습니다.

4. 실험 결과 (Results)

저자들은 Kodak 및 DIV2K 데이터셋을 사용하여 재구성, 편집, 2D-to-3D 변환 성능을 평가했습니다.

• 정량적 평가 (Reconstruction):
  • Kodak 데이터셋에서 기존 최첨단 방법인 MiRaG(PSNR 59.52) 대비 77.09의 PSNR 을 기록했습니다.
  • DIV2K 데이터셋에서도 54.54 (MiRaGe) 에서 62.20으로 크게 향상되었습니다.
  • MS-SSIM 은 거의 1.0 에 근접하여 구조적 일관성이 매우 높음을 보여줍니다.
• 정성적 평가 (Editing & Physics):
  • 편집: 구부리기, 자르기, 늘리기 등의 변형에서 MiRaGe 는 심각한 아티팩트와 왜곡을 보인 반면, GaINeR 은 매끄럽고 사실적인 결과를 유지했습니다.
  • 물리 시뮬레이션: 탄성 꽃, 모래 사과 등 복잡한 물리 상호작용 시나리오에서 GaINeR 은 이산적 표현의 한계 (뾰족한 경계, 투명도 문제) 없이 연속적이고 고충실도의 텍스처를 유지했습니다.
• 2D-to-3D 및 업스케일링:
  • 단일 이미지로부터 깊이 지도를 활용하여 3D 기하 구조를 재구성하고 새로운 뷰를 합성하는 데 성공했습니다.
  • ×8, ×10, ×12 배의 업스케일링에서도 가우시안 아티팩트 없이 선명한 에지와 미세한 질감을 보존했습니다.

5. 의의 및 결론 (Significance & Conclusion)

GaINeR 은 연속적인 신경망 표현의 유연성과 명시적인 가우시안 기하 구조의 해석 가능성을 성공적으로 융합했습니다. 이 연구는 다음과 같은 의의를 가집니다:

• 편집성과 물리 현실성: INR 의 고질적인 편집 난제와 물리 엔진 통합 문제를 해결하여, 상호작용 가능한 이미지 조작의 새로운 기준을 제시했습니다.
• 차원 불변성 (Dimension-Agnostic): 2D 이미지 재구성에서 시작하여 3D 볼륨 모델링으로 자연스럽게 확장 가능하며, 이는 2D 인식과 3D 추론을 연결하는 강력한 프레임워크가 될 수 있습니다.
• 실용성: 재학습 없이 임의 해상도의 이미지를 생성할 수 있어, 고해상도 이미지 처리 및 실시간 애플리케이션에 큰 잠재력을 가지고 있습니다.

결론적으로 GaINeR 은 단순한 이미지 재구성을 넘어, 기하학적 일관성을 유지하며 물리적으로 타당한 편집과 3D 변환을 가능하게 하는 차세대 이미지 표현 기술로 평가됩니다.