Image Compression Using Novel View Synthesis Priors

이 논문은 수중 원격 조작 차량의 실시간 시각 피드백을 위해 사전 임무 정보를 활용한 학습 기반의 새로운 뷰 합성 기법을 통해 기존 방법보다 우수한 압축률과 화질을 달성하는 모델 기반 이미지 압축 기술을 제안합니다.

핵심

이 논문은 수중 로봇 (ROV) 이 바다 속에서 찍은 사진을 아주 작은 데이터로 압축해서, 제한된 통신 속도로도 실시간에 가깝게 전송하는 새로운 기술을 소개합니다.

바다 속 통신은 매우 어렵습니다. 전파는 물속에서 잘 통하지 않아서, 대신 **소리 (음파)**를 이용합니다. 하지만 이 소리 통신은 속도가 매우 느려서, 고화질 사진을 보내려면 몇 초, 몇 분을 기다려야 하거나 아예 보내지 못하는 경우가 많습니다.

이 문제를 해결하기 위해 연구팀이 제안한 방법을 세 가지 비유로 쉽게 설명해 드리겠습니다.

---

1. 문제 상황: "느린 우편함과 무거운 짐"

상상해 보세요. 여러분이 바다 속 로봇을 조종하고 있는데, 로봇이 찍은 사진을 보내야 합니다. 하지만 통신 채널은 매우 좁은 우편함처럼 좁습니다.

• 기존 방식 (일반적인 압축): 로봇이 찍은 사진 전체를 "WebP"나 "JPEG" 같은 일반적인 방법으로 압축해서 보냅니다. 하지만 사진이 너무 무거워서 우편함 (통신 속도) 을 통과하는 데 시간이 너무 오래 걸립니다. 로봇이 멈춰서 기다려야 하거나, 화면이 끊겨서 로봇을 조종하기 어렵습니다.

2. 해결책: "기억력 좋은 지도와 차이점만 보내기"

연구팀은 **"이미 그 장소를 잘 알고 있다"**는 점을 이용했습니다. 로봇이 같은 곳을 여러 번 방문하는 경우가 많기 때문입니다.

• 비유: "친구와의 약속"
  • 기존 방식: 친구에게 "오늘 내가 입은 옷은 흰색 티셔츠에 청바지, 신발은 검은색 운동화야"라고 모든 디테일을 문자로 보내는 것입니다. (데이터가 큽니다.)
  • 이 연구의 방식: 친구가 "오늘 우리가 만나기로 한 카페는 이미 알고 있지? 내가 어제 갔을 때와 똑같은 곳이야"라고 **이미지 (사전 지식)**를 공유해 둡니다.
  • 이제 로봇은 "오늘 카페에 새로 생긴 노란색 간판 하나만 달라졌어"라고 **변화된 부분 (차이점)**만 보내면 됩니다.
  • 결과: 전체 카페 사진을 보내는 대신, 노란색 간판 하나만 보내면 되므로 데이터 양이 극적으로 줄어듭니다.

3. 핵심 기술: "완벽한 재현을 위한 미세 조정 (iNVS)"

이 기술의 핵심은 두 가지입니다.

A. 사전 지식 (NVS Prior): "3D 지도 만들기"

로봇이 처음 그 장소를 방문할 때 (매핑 단계), 주변 환경을 3D 로 정밀하게 스캔하여 **가상의 3D 지도 (모델)**를 만들어 둡니다. 이 지도는 로봇과 지상 통제실 양쪽에 저장됩니다.

• 로봇이 다시 그 자리에 가면, 이 3D 지도를 바탕으로 "지금 내가 찍은 사진이 어떻게 보여야 할지"를 미리 그려냅니다.

B. 미세 조정 (iNVS): "조금씩 움직여 맞춰보기"

하지만 로봇의 위치나 빛의 조건이 미세하게 다르면, 미리 그린 그림과 실제 사진이 완벽하게 겹치지 않습니다.

• 기존 방식 (Affine Warping): 그림을 2 차원적으로 살짝 비틀어서 맞추려고 합니다. 하지만 이건 3D 공간의 깊이를 무시하므로, 벽이 뒤틀리거나 찌그러지는 화질 왜곡이 생깁니다.
• 이 연구의 방식 (iNVS): 로봇이 "내 위치를 아주 미세하게 조정해 볼까?"라고 수학적으로 계산합니다. 마치 퍼즐을 맞추듯, 미리 그린 그림과 실제 사진의 차이가 가장 작아지도록 로봇의 위치와 각도를 자동으로 최적화합니다.
• 이렇게 완벽하게 맞춘 후, 오직 차이점 (예: 물고기가 지나가거나, 새로운 물체가 생긴 부분) 만 압축해서 보냅니다.

---

실험 결과: 얼마나 효과가 좋을까요?

연구팀은 인공 해수욕장과 실제 바다 (산호초, 침몰선) 에서 실험을 했습니다.

1. 압축률: 기존 방식보다 최대 4 배 이상 더 적은 데이터로 같은 화질의 사진을 보낼 수 있었습니다.
   • 예시: 100kbps 의 느린 통신망에서도 초당 10 장의 사진을 보낼 수 있게 되어, 로봇 조종이 훨씬 매끄러워졌습니다.
2. 화질: 기존 방식보다 더 선명하고 선명한 이미지를 복원했습니다.
3. 새로운 물체에도 강함: 바다에 갑자기 물고기나 새로운 구조물이 나타나도, 이 기술은 그 새로운 부분만 따로 보내면 되므로 여전히 잘 작동했습니다.

결론: 왜 이 기술이 중요한가요?

이 기술은 "이미 알고 있는 것은 보내지 않고, 변한 것만 보내는" 지능적인 방식을 통해, 물속이라는 열악한 통신 환경에서도 고화질 실시간 영상을 가능하게 합니다.

마치 친구와 이미 공유한 대화 내용은 다시 말하지 않고, 새로운 소식만 짧게 전하는 것과 같습니다. 이를 통해 수중 로봇의 작업 효율이 크게 향상되고, 더 안전하고 정밀한 해양 탐사가 가능해질 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 원격 조종 잠수정 (ROV) 을 이용한 수중 탐사, 환경 모니터링, 인프라 점검 및 조작 작업은 실시간 시각적 피드백이 필수적입니다.
• 제약 조건:
  • 수중 통신은 주로 음향 (Acoustic) 방식을 사용하며, 이는 장거리 통신이 가능하지만 대역폭이 매우 제한적입니다 (수십 kbps 수준).
  • 기존 이미지 코덱 (WebP, JPEG-XL) 이나 최신 학습 기반 압축 기법 (Learned Image Compression) 은 수중 환경의 낮은 대역폭에서 실시간 고화질 영상 전송을 위해 충분한 압축률을 제공하지 못합니다.
  • 수중 영상은 탁도, 백스캐터 (backscatter), 해양 눈 (marine snow) 등으로 인해 노이즈가 많고, 학습 기반 모델은 수중 데이터의 부족으로 일반화가 어렵습니다.
• 핵심 문제: 제한된 대역폭의 수중 음향 링크를 통해 ROV 에서 운영자에게 실시간으로 고품질 영상을 전송하는 방법.

2. 제안 방법론 (Methodology)

저자들은 NVS Prior (Novel View Synthesis Prior) 기반의 새로운 이미지 압축 프레임워크인 NVSPrior와 이를 최적화하는 iNVS (inverse NVS) 알고리즘을 제안합니다.

A. 핵심 개념: NVS Prior 활용

• 사전 정보 (Prior) 구축: ROV 가 특정 수중 장소를 반복적으로 방문한다는 점에 착안하여, 초기 '매핑 (Mapping)' 단계에서 수집한 이미지로 신규 뷰 합성 (NVS) 모델 (예: 3D Gaussian Splatting, 3DGS) 을 학습시킵니다.
• 양측 저장: 학습된 NVS 모델은 ROV 와 운영자 측 (수면) 에 모두 저장되어 동일한 렌더링을 보장합니다.
• 압축 원리:
  1. ROV 는 현재 카메라 이미지를 촬영합니다.
  2. NVS 모델을 사용하여 현재 카메라 위치 (잠재 표현, Latent Representation) 에서 장면을 렌더링합니다.
  3. 실제 카메라 이미지와 렌더링된 이미지 간의 차이 (Residual/Difference) 만을 계산합니다.
  4. 대부분의 장면은 NVS 모델로 재구성되므로, 차이 이미지는 매우 작고 압축하기 쉽습니다.
  5. 전송 데이터: 최적화된 잠재 표현 (Pose 등, 매우 작음) + 압축된 차이 이미지.

B. iNVS (Inverse NVS): 정밀한 잠재 표현 최적화

• 문제: 단순히 PoseLSTM 같은 추정기로 Pose 를 구하면 렌더링과 실제 이미지 간의 오차가 커져 차이 이미지가 커지고 압축 효율이 떨어집니다.
• 해결: iNVS는 그라디언트 기반 최적화 (Gradient-based Optimization) 를 통해 렌더링 이미지와 실제 카메라 이미지의 차이를 최소화하는 최적의 잠재 표현 (Pose) 을 실시간으로 찾습니다.
  • 초기화 (Initialization): 이전 프레임의 최적화된 잠재 표현을 초기값으로 사용하여 빠른 수렴을 도모합니다.
  • 목적 함수 (Loss Function): 픽셀 단위 오차 (MSE) 를 최소화합니다.
  • 최적화 알고리즘: BFGS (Quasi-Newton 방법) 를 사용하여 소수의 파라미터 (6-DoF Pose) 를 효율적으로 최적화합니다.
  • 차이 이미지 압축: 계산된 차이 이미지는 WebP 또는 JPEG-XL 로 압축하여 전송합니다.

3. 주요 기여 (Key Contributions)

1. NVSPrior 프레임워크 제안: 학습된 NVS 모델에서 추출된 장면 특화 사전 정보 (Scene-specific priors) 를 활용한 최초의 이미지 압축 프레임워크입니다.
2. iNVS 알고리즘 개발: 그라디언트 기반 잠재 표현 정제 (Refinement) 방법을 제안하여, 기존 2D 와핑 (Affine warping) 방식보다 훨씬 높은 재구성 정밀도와 압축 효율을 달성했습니다.
3. 포괄적인 분석: 손실 함수 (Loss function), 최적화 알고리즘, 초기화 전략에 대한 심층 분석을 통해 다양한 수중 환경에 적합한 설정을 제시했습니다.
4. 강건성 입증: 통제된 수조 실험, 새로운 객체 (Novel objects) 및 가림 (Occlusion) 상황, 실제 수중 데이터 (탁도, 백스캐터 포함) 에서 기존 코덱 및 학습 기반 방법보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋:
  • 통제된 환경: 싱가포르 TCOMS 인공 해양 수조 (3DGS 모델 학습 및 테스트).
  • 실제 환경: SeaThru-NeRF (IUI3-RedSea), Torpedo Boat Wreck (심해 침몰선).
• 성능 비교 (T1 데이터셋 기준):
  • 압축률 (Compression Ratio): 제안된 방법 (NVSPrior+iNVS+WebP) 은 141.76 배의 압축률을 달성하여, 기존 WebP(48.76 배) 보다 약 2.9 배, JPEG-XL 보다 약 4.7 배 더 높은 압축률을 보였습니다.
  • 화질 (PSNR): 36.15 dB (JPEG-XL 사용 시) 로 기존 학습 기반 방법 (MLIC++ 등) 보다 높은 재구성 품질을 유지했습니다.
  • 전송 크기: 평균 1.2 kB (320x180 해상도) 로, 100 kbps 링크에서 초당 약 10 프레임을 전송 가능하게 했습니다.
• **새로운 객체 대응:**场景中에 새로운 물체 (안전선, 금속 구조물) 가 추가된 T2 데이터셋에서도 기존 방법들보다 압축 효율과 화질 면에서 우위를 보였습니다.
• 실제 수중 환경: Torpedo Boat Wreck 데이터셋에서도 WebP 대비 전송 크기를 약 2.2 배 줄이면서 시각적 충실도를 유지했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실시간 수중 통신의 혁신: 제한된 대역폭의 수중 음향 링크에서도 실시간 고화질 영상 피드백을 가능하게 하여, ROV 의 원격 조작 및 정밀 점검 능력을 획기적으로 향상시킵니다.
• 데이터 효율성: 수중 데이터의 부족으로 학습 기반 코덱이 겪는 일반화 문제를, 특정 장면에 대한 사전 지식 (NVS Prior) 을 활용함으로써 해결했습니다.
• 실용성: 계산 비용이 증가하는 단점이 있으나, 이전 프레임 기반 초기화와 효율적인 최적화 (BFGS) 를 통해 실시간성 (약 60~100ms/프레임) 을 확보했습니다.
• 미래 전망: 이 기술은 수중 로봇 공학 분야에서 대역폭 제약 문제를 해결하는 핵심 기술로 자리 잡을 것이며, 향후 동적 환경 적응 및 비디오 스트리밍 확장 등을 통해 실제 현장 적용이 기대됩니다.

요약하자면, 이 논문은 수중 환경의 제한된 통신 대역폭 문제를 해결하기 위해, 미리 학습된 3D 장면 모델 (NVS) 을 '사전 정보'로 활용하고, 실시간으로 카메라 위치를 정밀하게 보정 (iNVS) 하여 이미지 차이만 전송하는 혁신적인 압축 기법을 제안하고 그 우수성을 입증했습니다.