ReCoSplat: Autoregressive Feed-Forward Gaussian Splatting Using Render-and-Compare

이 논문은 예측된 카메라 포즈의 오차를 보정하기 위해 렌더링 및 비교 (Render-and-Compare) 모듈을 도입하고, 긴 시퀀스 처리를 위해 하이브리드 KV 캐시 압축 전략을 적용하여 포즈 유무 및 카메라 내부 파라미터 유무에 관계없이 온라인 신관 합성에서 최첨단 성능을 달성하는 오토레거시 피드포워드 가우스 스플래팅 모델인 ReCoSplat 을 제안합니다.

핵심

이 논문은 **'ReCoSplat'**이라는 새로운 기술을 소개합니다. 이 기술을 쉽게 이해하려면, 우리가 여행지에서 사진을 찍어 3D 지도를 만드는 과정을 상상해 보세요.

🎒 핵심 아이디어: "여행지 3D 지도를 실시간으로 만들기"

기존의 3D 지도 만들기 기술은 다음과 같은 문제가 있었습니다:

1. 시간이 너무 걸림: 모든 사진을 다 모아서 컴퓨터로 장시간 계산해야 지도가 완성되었습니다. (실시간이 안 됨)
2. 위치 정보가 필요함: 카메라가 어디에 있었는지 (위치, 각도) 를 정확히 알아야만 제대로 지도를 만들 수 있었습니다. 하지만 실제 여행에서는 이 정보가 없거나 틀릴 때가 많습니다.

ReCoSplat은 이 두 가지 문제를 해결합니다.

• 실시간: 사진을 하나씩 찍을 때마다 바로바로 3D 지도를 업데이트합니다.
• 위치 정보 불필요: 카메라 위치를 정확히 모를 때도, 혹은 위치를 추정해서 틀릴 때도 잘 작동합니다.

---

🛠️ 어떻게 작동할까요? (세 가지 비유)

1. "렌더링하고 비교하기" (Render-and-Compare)

가장 중요한 기술입니다. 이걸 **'요리사와 맛보기'**에 비유해 볼까요?

• 문제 상황: 요리사 (AI) 가 새로운 재료를 보고 요리를 하려고 합니다. 그런데 요리사의 손맛 (카메라 위치 추정) 이 조금 불안정해서 재료를 놓는 위치가 매번 달라집니다.
• 기존 방법: 요리사가 "내 손맛이 맞을 거야!"라고 믿고 계속 요리하면, 재료가 엉뚱한 곳에 쌓여 요리가 망칩니다.
• ReCoSplat 의 방법 (Render-and-Compare):
  1. 요리사는 지금껏 만든 요리를 한 번 더 그립니다 (렌더링).
  2. 그 그림을 **방금 들어온 새 재료 사진 (관측)**과 비교합니다.
  3. "어? 내가 그린 그림과 실제 사진이 안 맞네? 내가 재료를 너무 왼쪽에 놓았구나!"라고 스스로 오류를 찾아냅니다.
  4. 이 비교 결과를 바탕으로 다음 재료를 더 정확하게 놓습니다.

이처럼, **"내가 만든 것을 그려서 실제 사진과 비교하고 수정하는 과정"**을 반복하기 때문에, 카메라 위치가 조금 틀려도 3D 지도가 흐트러지지 않고 잘 만들어집니다.

2. "기억력 관리" (KV Cache Compression)

여행이 길어지면 (사진이 100 장, 200 장이 넘으면) 컴퓨터의 **기억 공간 (메모리)**이 부족해집니다. 모든 사진을 다 기억하려니 컴퓨터가 과부하가 걸려 멈춰버립니다.

• ReCoSplat 의 해결책:
  • 초기 단계: 여행 초반에는 모든 사진을 꼼꼼히 기억합니다.
  • 나중 단계: 여행이 길어지면, 가장 중요한 사진들만 골라 기억하고 나머지는 잊어버립니다.
  • 전략: "이 사진은 지금 당장 필요 없으니 지우고, 대신 이 사진 (대표적인 장면) 하나만 기억해서 전체 흐름을 유지하자"는 식입니다.
  • 결과: 메모리 사용량을 90% 이상 줄여서, 일반 가정용 컴퓨터 (게임용 그래픽카드 등) 에서도 긴 여행지를 실시간으로 3D 로 만들 수 있게 되었습니다.

3. "조립식 블록" (Autoregressive Feed-Forward)

기존 방법은 모든 블록을 다 모아서 한 번에 조립했습니다. 하지만 ReCoSplat 은 레고 블록을 하나씩 쌓아 올리는 방식입니다.

• 새로운 사진이 들어오면, 그 사진에 해당하는 3D 블록 (가우시안) 을 바로 만들어서 기존 지도에 붙입니다.
• 이렇게 하면 사진을 다 찍기 전에라도, 찍은 순간순간 3D 장면을 볼 수 있습니다.

---

🌟 왜 이 기술이 특별한가요?

1. 현실적인 상황 대응: 카메라 위치를 정확히 알지 못해도 (예: 스마트폰으로 흔들리며 찍은 영상), AI 가 스스로 "아, 내가 잘못 봤구나"라고 깨닫고 고쳐줍니다.
2. 빠른 속도: 장시간의 영상을 실시간으로 3D 공간으로 변환할 수 있어, AR/VR, 로봇이 주변을 인식하는 것, 실시간 게임 등에 쓰일 수 있습니다.
3. 가벼운 무게: 메모리를 엄청나게 적게 쓰므로, 무거운 서버가 아닌 일반 노트북이나 스마트폰에서도 작동할 가능성이 큽니다.

💡 한 줄 요약

"ReCoSplat 은 카메라 위치가 정확하지 않아도, 스스로 그려본 결과와 실제 사진을 비교하며 오류를 수정하고, 긴 여행지 영상도 가볍게 3D 지도로 만들어주는 똑똑한 실시간 3D 제작 기술입니다."

기술 요약

ReCoSplat: 렌더링 및 비교 (Render-and-Compare) 를 활용한 자기회귀 피드포워드 가우시안 스플래팅

본 논문은 ReCoSplat이라는 새로운 방법을 제안하며, 이는 순차적인 이미지 스트림으로부터 3D 장면을 재구성하고 새로운 뷰 (Novel View) 를 실시간으로 합성하는 온라인 자기회귀 (Autoregressive) 피드포워드 가우시안 스플래팅 모델입니다. 기존 오프라인 방식의 한계를 극복하고, 카메라 포즈가 제공되지 않거나 (Unposed) 내부 파라미터 (Intrinsics) 가 누락된 상황에서도 견고한 성능을 발휘합니다.

아래는 논문의 주요 내용을 기술적으로 요약한 것입니다.

---

1. 문제 정의 (Problem)

• 배경: 3D 가우시안 스플래팅 (3DGS) 은 고품질의 실시간 렌더링이 가능하지만, 기존 최적화 기반 방법은 장면당 학습 시간이 길어 실시간 응용에 부적합합니다. 이를 해결하기 위해 입력 이미지에서 직접 3D 가우시안을 예측하는 '피드포워드' 방식이 등장했으나, 대부분 모든 이미지를 한 번에 받는 오프라인 재구성에 국한되어 있습니다.
• 도전 과제:
  • 자기회귀 설정의 부재: embodied AI, AR/VR, 비디오 생성 등에서는 관찰 데이터가 순차적으로 들어오며, 실시간으로 장면을 업데이트해야 합니다.
  • 포즈 분포 불일치 (Pose Distribution Mismatch): 학습 시에는 정밀한 정답 (Ground-Truth, GT) 포즈를 사용하지만, 추론 시에는 예측된 포즈를 사용해야 합니다. GT 포즈로 학습된 모델은 예측된 (노이즈가 있는) 포즈를 사용할 때 가우시안 정렬이 깨지며 성능이 급격히 저하됩니다.
  • 메모리 병목: 수백 개의 프레임을 처리하는 긴 시퀀스의 경우, Transformer 기반 모델의 KV Cache(키-값 캐시) 메모리 사용량이 기하급수적으로 증가하여 소비자용 하드웨어에서 실행이 어렵습니다.

2. 방법론 (Methodology)

ReCoSplat 은 다음과 같은 세 가지 핵심 기술로 구성됩니다.

A. 렌더링 및 비교 (Render-and-Compare, ReCo) 모듈

• 목적: 학습 시의 GT 포즈와 추론 시의 예측 포즈 간의 분포 불일치를 해결하여 모델의 일반화 능력을 향상시킵니다.
• 동작 원리:
  1. 현재까지 축적된 3D 가우시안 장면을 **예측된 조립 포즈 (Assembly Pose)**로 렌더링합니다.
  2. 이 렌더링된 이미지와 새로 들어온 **관측 이미지 (Observation)**를 비교합니다.
  3. 두 이미지의 차이 (포즈 오차 및 기하학적 불일치) 를 포착하여 **크로스 어텐션 (Cross-Attention)**을 통해 가우시안 예측을 위한 안정적인 조건부 신호 (Conditioning Signal) 로 활용합니다.
• 효과: 이 모듈은 포즈 추정 오차가 있더라도 이를 보정하여 가우시안 예측을 안내하므로, GT 포즈로 학습된 모델이 예측 포즈 환경에서도 안정적으로 작동하게 합니다.

B. 효율적인 긴 시퀀스 재구성을 위한 KV Cache 압축

• 문제: Transformer 의 모든 레이어에서 모든 과거 토큰을 유지하면 VRAM 사용량이 시퀀스 길이에 비례하여 폭발합니다.
• 해결 전략 (하이브리드 압축):
  1. 초기 레이어 잘라내기 (Early Layer Truncation): Transformer 의 초기 글로벌 어텐션 레이어 (전체 18 개 중 처음 10 개) 는 다중 뷰 대응 관계 (Multi-view correspondence) 형성에 기여도가 낮으므로, 해당 레이어의 KV 캐시를 아예 저장하지 않고 현재 청크 (Chunk) 내 토큰만 사용합니다.
  2. 선택적 컨텍스트 유지 (Selective Context Retention): 나머지 8 개 레이어에서는 모든 토큰을 유지하지 않고, 청크 단위로 대표 토큰 (예: 청크의 마지막 프레임) 만 선택적으로 유지합니다.
  3. 학습 가능한 레지스터 토큰: 유지된 뷰를 명시적으로 표시하기 위해 학습 가능한 레지스터 토큰을 도입하여 네트워크가 압축된 캐시를 효과적으로 활용하도록 합니다.
• 성능: 100 프레임 이상의 시퀀스에서 KV 캐시 크기를 90% 이상 (약 10 배) 줄여, 소비자용 GPU 에서 실시간 재구성을 가능하게 합니다.

C. 자기회귀 백본 및 학습 전략

• 아키텍처: YoNoSplat 기반의 ViT 인코더와 교대 어텐션 (Alternating Attention) Transformer 디코더를 사용합니다.
• 학습 단계 (Curriculum Learning):
  1. Stage 1: 고정된 청크 크기 (8) 로 학습하며 KV 캐시 압축 없이 시작.
  2. Stage 2: 청크 크기를 변수 (4~8) 로 변경하며 학습하여 다양한 입력 길이에 적응.
  3. Stage 3: 전체 KV 캐시 압축 전략을 활성화하여 최종 학습.
• 손실 함수: 광도적 품질 (MSE, LPIPS), 카메라 파라미터 정확도 (내부/외부 파라미터), 가우시안 희소성 (Opacity) 을 모두 고려한 다중 태스크 손실을 사용합니다.

3. 주요 기여 (Key Contributions)

1. Render-and-Compare 모듈: GT 포즈와 예측 포즈 간의 분포 불일치를 해결하여, 포즈가 없거나 부정확한 상황에서도 안정적인 3D 재구성을 가능하게 함.
2. KV Cache 압축 전략: 초기 레이어 잘라내기 및 선택적 토큰 유지를 결합하여 메모리 효율을 극대화하고, 소비자 하드웨어에서의 긴 시퀀스 처리를 실현함.
3. 최고 수준의 성능 (SOTA): 포즈가 있는/없는, 내부 파라미터가 있는/없는 다양한 입력 설정과 도메인 내/외 (In/Out-of-Distribution) 데이터셋에서 기존 오프라인 방법 및 다른 자기회귀 방법들을 능가하는 성능 달성.

4. 실험 결과 (Results)

• 데이터셋: DL3DV, ScanNet++, RealEstate10K, ACID 등 다양한 환경에서 평가.
• 성능:
  • Novel View Synthesis: 포즈가 제공되지 않은 (Unposed) 설정에서 기존 자기회귀 방법들 (StreamGS, SaLon3R 등) 보다 PSNR, SSIM, LPIPS 모든 지표에서 우위를 점함. 특히 ReCo 모듈이 포즈 오차와 로컬 가우시안 예측 오차를 동시에 보정하여 성능 향상에 기여함을 입증.
  • 포즈 추정 (Pose Estimation): 카메라 포즈 예측 정확도 (AUC) 에서도 CUT3R, TTT3R 등 다른 온라인 방법들보다 뛰어난 성능을 보임.
  • 메모리 효율: 256 프레임 입력 시, 압축 없는 방법 (YoNoSplat 등) 은 OOM(메모리 부족) 이 발생하지만 ReCoSplat 은 RTX 4090/A6000 같은 소비자 GPU 에서도 정상 실행됨.
• Ablation Study: 예측된 포즈로 학습하면 성능이 떨어지지만, ReCo 모듈을 사용하면 GT 포즈로 학습된 모델이 예측 포즈 환경에서도 강건함을 확인.

5. 의의 및 결론

ReCoSplat 은 실시간 온라인 3D 재구성의 핵심 난제인 '포즈 불일치'와 '메모리 병목'을 동시에 해결한 획기적인 방법론입니다.

• 실용성: AR/VR, 로봇 공학 (Embodied AI), 실시간 비디오 생성 등 제한된 하드웨어 환경에서 순차적으로 들어오는 데이터를 기반으로 고품질의 3D 장면을 즉시 생성할 수 있는 기반을 마련했습니다.
• 일반화: 카메라 포즈나 내부 파라미터가 불완전한 상황에서도 작동 가능하여, 실제 센서 데이터 처리에 매우 유용합니다.
• 향후 전망: 포즈 추정 기술의 발전과 결합될 경우, 더욱 정밀한 자기회귀 재구성이 가능할 것으로 기대됩니다.

이 연구는 오프라인 최적화 없이도 순차적 입력만으로 고품질 3D 가우시안 스플래팅을 가능하게 하여, 실시간 3D 비전 분야의 새로운 표준을 제시합니다.