Video Reconstruction using Diffusion-based Image-to-Video Generation with Trajectory Guidance

기술 요약: 궤적 안내를 활용한 확산 기반 이미지-비디오 생성을 통한 비디오 재구성

문제 제기
본 논문은 해상 기동을 수행하는 자율 수면 차량 (ASV) 의 상단 드론 영상에서 누락되거나 손실된 프레임을 재구성하는 과제를 다룹니다. 구체적인 맥락은 작은 물체 (소형 선박) 가 시야에 비해 작게 나타나는 저질감의 개방 수역 환경입니다. 이러한 시나리오에서는 시각적 신호만으로는 정확한 물체 운동을 판단하기에 종종 불충분하여, 예측 가능하고 부드러운 운동이나 순수 데이터 기반의 사전 지식에 의존하는 기존 보간 방법들이 실패합니다. 또한, 표준 딥러닝 접근법은 희소한 관측 조건에서 모호한 텍스트를 기반으로 할 때 흐릿한 출력을 생성하거나 그럴듯한 질감을 합성하지 못하는 경우가 많습니다. 핵심적인 어려움은 도메인 특화 모델 미세 조정이 필요 없이 희소하고 비시각적인 원격 측정 데이터 (GPS 로그) 와 시간적으로 일관성 있으며 고충실도의 비디오 시퀀스 생성 사이의 간극을 메우는 데 있습니다.

방법론
저자들은 사전 훈련된 이미지-비디오 확산 모델, 구체적으로 SG-I2V(Stable Video Diffusion 기반) 를 사용하여 원시 GPS 원격 측정 데이터와 단일 참조 비디오 프레임을 궤적 안내 비디오 시퀀스로 변환하는 파이프라인을 제안합니다. 이 파이프라인은 네 가지 명확한 단계를 통해 작동합니다:

1. 입력 구성 및 바운딩 박스 초기화:
   참조 프레임을 기반으로 사용자가 선박에 대한 바운딩 박스를 수동으로 초기화합니다. 자동 감지 (예: YOLO) 가 가능하지만, 저자들은 근접 시나리오에서의 재식별 오류를 방지하고 GPS 궤적을 특정 선박에 신뢰성 있게 일관되게 할당하기 위해 수동 초기화를 선택했습니다. 또한, 전역 카메라 운동을 인코딩하기 위해 네 개의 모서리 바운딩 박스가 배치됩니다 (드론이 정지해 있었으므로 이 특정 실험에서는 일정하게 유지됨).

2. GPS-픽셀 투영:
   맞춤형 매핑 함수가 지리 좌표를 이미지 공간 운동 단서로 변환합니다. 이 과정은 다음을 포함합니다:

   • 지리-계량 변환: 이구면근사 (equirectangular approximation) 를 사용하여 GPS 고정값 (경도, 위도) 을 로컬 동-북 계량 오프셋으로 변환.
   • 회전: 추정된 카메라 요 (yaw, 선박의 지상 경로 및 시각적 검사를 통해 유래) 를 사용하여 계량 프레임을 이미지 축에 정렬.
   • 크기 추정: GPS 에서 유래된 선박 간의 계량 거리와 참조 프레임에서의 픽셀 거리를 비교하여 픽셀당 미터 크기 ($s$) 계산.
   • 프레임별 투영: GPS 로그를 비디오 타임스탬프로 보간하고 픽셀 공간으로 투영하여 각 선박에 대한 궤적 배열 ($T_i$) 생성.

3. 궤적 조건부 생성:
   참조 이미지와 객체별 궤적 배열로 구성된 페이로드는 SG-I2V 모델에 입력됩니다. 모델은 시각적 콘텐츠와 내장된 궤적 안내 모두에 조건부적으로 후속 14 프레임을 생성합니다. 주목할 점은 저자들이 사전 훈련된 모델에 도메인 특화 미세 조정을 적용하지 않고, 대신 시각적 품질과 시간적 일관성을 최적화하기 위해 하이퍼파라미터 (잠재 최적화 반복 횟수, 히트맵 확산, FFT 주파수 혼합) 의 체계적인 제거 실험에 의존했다는 것입니다.

4. 평가 기준:
   제안된 방법은 다음 기준에 대해 벤치마크됩니다:

   • 광학 흐름 외삽: Farneback 광학 흐름을 사용하여 참조 프레임을 앞으로 왜곡.
   • RIFE(실시간 중간 흐름 추정): 시간적 끝점 모두에 조건부인 딥러닝 보간 방법 (실제 누락 프레임 시나리오에서는 사용 불가능한 장점).

주요 기여
본 논문은 세 가지 주요 기여를 제시합니다:

1. GPS-이미지 투영 체계: 희소 추적 데이터를 상용 생성 모델이 직접 소비할 수 있는 공간 운동 단서로 변환하는 방법.
2. 제로-미세 조정 파이프라인: 해양 데이터로 기본 확산 모델을 재훈련하지 않고 물리적으로 그럴듯한 합성을 달성하는 완전한 재구성 워크플로우.
3. 체계적인 벤치마킹: 특히 작은 물체 조건에서 기존 보간 및 외삽 방법보다 생성형 궤적 안내 합성의 우월성을 입증하는 실제 해양 영상에 대한 정량적 평가.

결과
평가 방법은 지상 진실에 대해 지각적 (LPIPS), 시간적 (부드러움), 무참조 품질 (BRISQUE), 궤적 정확도 지표를 비교합니다:

• 지각적 품질: SG-I2V 는 합성 방법 중 가장 자연스럽게 보이는 프레임을 생성했으며, BRISQUE 점수는 25.52로 지상 진실 점수인 23.64에 가장 근접했습니다. 반면 RIFE 는 42.46 을 기록하여 과도하게 부드럽게 처리된 출력을 나타냈습니다.
• 시간적 일관성: SG-I2V 는 1.14 px/frame의 시간적 부드러움을 달성하여 지상 진실인 1.42 에 근접했습니다. 광학 흐름 (0.39) 과 RIFE(0.59) 는 운동 크기를 과소평가했습니다.
• 궤적 준수: SG-I2V 는 9.31 픽셀의 오차로 GPS 궤적에 가장 강력하게 준수함을 보여주었습니다. 이는 영상과 로그 간의 근사적인 수동 시간 정렬로 인한 지상 진실 비디오 자체의 정렬 오차인 28.70 픽셀보다 현저히 낮으며, 모델이 GPS 에서 유래된 운동 단서를 성공적으로 통합했음을 나타냅니다.
• LPIPS: 광학 흐름이 가장 낮은 LPIPS(0.110) 를 달성했지만, 저자들은 이는 왜곡을 통한 원본 이미지 통계의 보존을 반영할 뿐 진정한 지각적 품질 생성이 아니라고 지적합니다.

의의 및 주장
본 논문은 궤적 안내 확산 합성이 시각적 신호가 모호한 저질감, 작은 물체 조건에서 해상 비디오 재구성을 위한 실행 가능한 접근법이라고 주장합니다. 그 의의는 값비싼 도메인 특화 모델 재훈련 없이 보조 센서 데이터 (GPS) 를 사용하여 비디오 합성을 물리적으로 그럴듯한 결과물로 유도할 수 있는 능력에 있습니다.

저자들은 평가가 2 초짜리 단일 클립으로 제한되어 정량적 발견의 일반화 가능성을 제한한다는 점을 겸손하게 인정합니다. 모든 비디오 재구성 작업에 대한 보편적 우월성을 주장하지는 않지만, 객체 운동이 원격 측정을 통해 알려져 있지만 시각적으로 추적하기 어려운 시나리오에서 그들의 접근법의 특정 유효성을 강조합니다. 향후 작업은 파이프라인을 더 긴 시퀀스로 확장하고, 동기화 및 바운딩 박스 초기화를 자동화하며, 변위 크기를 더 정확하게 인코딩하기 위해 지상 속도 (SOG) 데이터를 통합하는 것이 제안됩니다.