기술 요약: MiraGe – 가우시안 스플래팅을 이용한 편집 가능한 2D 이미지

문제 정의

내재적 신경 표현(Implicit Neural Representations, INRs)과 최근의 GaussianImage와 같은 가우시안 기반 방법들은 연속 함수나 가우시안 구성 요소를 통해 2D 이미지를 인코딩함으로써 고품질의 재구성 및 압축을 달성하며 성공적인 성과를 보여주었습니다. 그러나 이러한 방법들에는 중요한 한계점이 존재합니다. 이들은 주로 이미지를 정적인 데이터 표현으로 취급한다는 점입니다. 즉, 3D 공간 맥락 내에서 2D 객체(예: 사진)에 대한 인간의 지각을 모방하는 직관적이고 사용자 주도적인 이미지 수정 능력이 부족합니다. 3D 가우시안 스플래팅(3DGS)은 장면 조작을 허용하지만, 기존의 2D 가우시안 접근 방식(예: GaussianImage)은 장면 객체의 변형이나 물리 기반 상호작용의 통합을 지원하지 못하여, 동적인 편집 및 애니메이션 시나리오에서의 적용성을 제한합니다.

방법론

MiraGe는 2D 이미지를 3D 공간에 위치한 평면 객체로 간주함으로써 인간의 시각적 지각 관점에서 2D 이미지 인코딩을 재정의하여 이러한 한계를 해결합니다. 핵심 방법론은 다음과 같은 구성 요소들을 포함합니다:

1. 평면 3D 가우시안 표현 (Flat 3D Gaussian Representation)

표준 3D 가우시안이나 2D 가우시안 대신, MiraGe는 평면 3D 가우시안을 사용합니다. 이는 하나의 스케일 파라미터가 0으로 강제되는($s_1 = \epsilon$) 가우시안 구성 요소로, 효과적으로 평면 분포를 생성합니다.

• GaMeS 파라미터화: 본 논문은 GaMeS(Gaussian Mesh Splatting) 파라미터화를 활용하여 이러한 평면 가우시안을 삼각형 면 메쉬("triangle soup")로 표현합니다. 가우시안 구성 요소 $N(m, R, S)$는 평균과 스케일/회전 파라미터로부터 꼭짓점이 유도되는 삼각형 $V = [v_1, v_2, v_3]$로 매핑됩니다. 이를 통해 밑바탕이 되는 삼각형 메쉬를 변형함으로써 가우시안의 속성(위치, 스케일, 회전)을 직접 조작할 수 있습니다.

2. 공간적 구성 및 초기화

2D 이미지는 원점 $(0,0,0)$에 위치한 XZ 평면에 초기화됩니다. 카메라로부터의 거리는 인지되는 스케일을 제어하는 하이퍼파라미터입니다. 초기화 범위는 원근 투영 하에서 이미지 전체가 가시성을 유지할 수 있도록 카메라의 시야각(FOV)을 기준으로 계산됩니다.

3. 세 가지 제어 변형 (Three Control Variants)

본 논문은 이러한 가우시안들의 공간적 위치를 제어하기 위한 세 가지 접근 방식을 제안합니다:

• Amorphous-MiraGe: 가우시안들이 XZ 평면에 초기화되지만, 학습 중에 3D 공간에서 자유롭게 움직일 수 있도록 허용합니다. 이는 3D 조작을 가능하게 하지만, 저자들은 이것이 상당한 아티팩트를 생성할 수 있으며 추가적인 제약 없이는 고품질 표현에 불충분하다고 언급합니다.
• 2D-MiraGe: 아티팩트를 방지하기 위해 가우시안들을 XZ 평면에 엄격히 고정합니다. 이 방법은 가우시안 구성 요소들을 평면에 정렬시키기 위해 회전 행렬을 사용하여 직교 투영을 보장합니다. 2D에는 효과적이지만, 3D 수정을 시도할 때 가우시안들이 카메라 위치에 따라 무작위로 나타나는 문제가 발생합니다.
• Graphite-MiraGe: 이 변형은 학습 가능한 이동 파라미터 $\gamma$를 도입하여 가우시안이 XZ 평면을 벗어날 수 있게 합니다(특히 Y축 방향으로). 이를 통해 카메라 위치에 대한 순서를 유지하면서도 3D 수정을 가능하게 하여, 복잡한 공간적 추론과 이미지 결합을 용이하게 합니다.

4. 미러 카메라 설정 (Mirror Camera Setup)

재구성 충실도와 제어력을 높이기 위해, MiraGe는 Y축을 따라 대칭적으로 정렬되어 서로를 향하고 있는 두 개의 반대 방향 카메라를 사용하는 미러 카메라 설정을 채택합니다.

• 하나의 카메라는 원본 이미지 $I$를 재구성합니다.
• 두 번째 카메라는 미러 반사 이미지 $M(I)$(수평 뒤집힘)를 재구성합니다.
• 손실 함수는 두 뷰의 재구성 비용인 $L(I) + L(M(I))$를 결합합니다. 이 설정은 가우시안이 특정 공간 영역 내에 머물도록 보장하여 표현의 정확도를 높입니다.

5. 물리 엔진 통합

MiraGe는 물리 기반 수정 및 상호작용을 가능하게 하기 위해 물리 엔진(2D용 Taichi_elements, 3D용 Blender)과 통합됩니다. 물리 엔진을 블랙박스로 취급함으로써, 모델은 현실적인 상호작용, 변형 및 움직임을 시뮬레이션하여 2D 이미지 콘텐츠의 동적인 애니메이션을 구현할 수 있습니다.

주요 기여

본 논문은 다음과 같은 주요 기여를 명시합니다:

1. MiraGe 모델: 평면 3D 가우시안 구성 요소를 사용하여 2D 이미지를 표현함으로써 최첨단 재구성 품질을 달성하는 새로운 모델을 소개합니다.
2. 3D 공간 조작: 2D 이미지를 3D 공간 내에서 조작할 수 있게 하여, 3D 효과의 환상을 만들어내고 전통적인 2D 프레임워크에서는 어려운 직관적인 원근 조정 기능을 제공합니다.
3. 물리 통합: MiraGe를 물리 엔진과 성공적으로 통합하여, 2D 및 3D 환경 모두에서 물리 기반 수정 및 상호작용을 가능하게 함으로써 애니메이션의 현실감을 높였습니다.

결과

Kodak 및 DIV2K 데이터셋에 대한 정량적 평가 결과, MiraGe는 고전적인 INR(SIREN, WIRE, I-NGP, NeuRBF), 표준 3DGS 및 GaussianImage를 포함한 기존 베이스라인들을 능가하는 성능을 보여주었습니다.

• 재구성 품질: MiraGe는 현저히 높은 PSNR 및 MS-SSIM 점수를 달려냅니다. 예를 들어, DIV2K 데이터셋에서 GaussianImage-100k가 PSNR 41.48, MS-SSIM 0.9981을 기록한 것에 비해, MiraGe-100k는 PSNR 54.54, MS-SSIM 0.9998을 달성했습니다.
• 시각적 충실도: 시각적 비교를 통해 MiraGe가 DragGAN이나 DragDiffusion과 같은 생성 모델에 비해 국부적 편집 시 아티팩트가 적고 미세한 디테일(예: 얼굴의 보조개, 사자의 입)을 더 잘 보존함을 보여줍니다.
• 편집 능력: 모델은 3D 공간에서 2D 이미지를 구부리거나, 회전하거나, 애니메이션화하는 등의 현실적인 수정을 지원하며, 서로 다른 평면 상의 여러 이미지를 결합하는 콜라주 형태의 구성도 가능하게 합니다.

의의 및 주장

저자들은 MiraGe가 2D 이미지 표현과 3D 공간 이해 사이의 간극을 메운다고 주장합니다. 2D 이미지를 3D 공간의 평면 객체로 보는 인간의 지각을 시뮬레이션함으로써, 이 방법은 다음을 가능하게 합니다:

• 직관적인 편집: 사용자는 3차원 상에서 직접 복잡한 변환(아핀 변환, 굽힘 등)을 수행할 수 있습니다.
• 동적 응용: 물리 엔진과의 통합을 통해 현실적이고 물리 법칙을 따르는 2D 애니메이션을 생성할 수 있으며, 이는 가상 현실 배경 및 인터랙티브 공간 인터페이스에 적합합니다.
• 우수한 성능: 생성 기술에 의존하여 의미론적 내용을 예측 불가능하게 변경하는 대신, 표준 INR 또는 GaussianImage 접근 방식보다 더 나은 재구성 품질과 자연스러운 수정 능력을 제공합니다.

결론적으로, 본 논문은 모델이 학습 데이터의 2D 특성(예: 전경 요소가 움직일 때 가려진 배경 영역)에 의해 제한될 수 있지만, 평면 3D 가우시안, 미러 카메라 학습, 그리고 물리 통합의 결합이 이미지 편집 및 애니메이션의 가능성을 확장하는 강력한 도구 세트를 제공한다고 밝히고 있습니다.