DEVIS-GRPO: Unleashing GRPO on Dynamic Extreme View Synthesis

기술 요약: DEVIS-GRPO

문제 정의
궤적 제어 비디오 생성은 가상 현실, 자율 주행 시뮬레이션, 영화 제작과 같은 응용 분야에서 필수적입니다. 기존 방법들은 작은 시점 카메라 운동 (일반적으로 40° 이내) 에서는 적절히 작동하지만, 큰 시점 또는 "극단적인" 시점 변화 (90° 초과) 를 처리할 때는 성능이 크게 저하됩니다. 현재 접근 방식은 일반적으로 암시적 카메라 임베딩 모델링과 명시적 재투사 모델링이라는 두 가지 패러다임으로 나뉩니다. 두 방법 모두 극단적인 시점에서 어려움을 겪습니다: 암시적 방법은 종종 지정된 카메라 궤적을 정확하게 따르지 못하며, 명시적 방법은 소스 비디오와 생성된 비디오의 전경 및 배경 콘텐츠 간 불일치를 자주 발생시킵니다. 이러한 한계는 주로 극단적인 시점 변화를 포함하는 동기화된 비디오 데이터셋의 부족에 기인하며, 이러한 데이터의 실제 세계 획득은 어렵습니다. 기존 데이터셋은 일반적으로 작은 각도의 운동이나 정적 장면만 포함하여, 모델이 동적인 극단적인 시점으로 일반화하는 것을 방해합니다.

방법론
저자들은 궤적 제어 비디오 생성에 그룹 상대 정책 최적화 (GRPO) 를 통합한 DEVIS-GRPO(Dynamic Extreme VIew Synthesis-GRPO) 를 제안합니다. 핵심 혁신은 누적 동적 극단 시점 합성 (ADEVIS) 이라는 새로운 샘플링 전략에 있습니다.

1. ADEVIS 전략: 큰 각도 비디오를 단일 단계로 생성하려는 대신, ADEVIS 는 큰 카메라 운동 ($\Delta T$) 을 더 작은 궤적 증가분 ($\Delta T_1, \Delta T_2, \dots, \Delta T_n$) 시퀀스로 분해합니다. 모델은 생성된 시점을 정제하기 위해 이러한 작은 단계들을 점진적으로 누적합니다. 이 접근법은 극단적인 전환 동안 기하학적 일관성을 유지하기 위해 이전 단계의 사전 지식을 활용합니다.
2. 누적 변형: 각 단계에 필요한 기하학적 사전 지식을 얻기 위해, 논문은 네 가지 누적 전략을 조사합니다:
   • 참조 비디오 누적 (RFA): 모든 단계에서 재투사를 위해 원본 소스 비디오를 사용합니다.
   • 재투사 비디오 누적 (RVA): 이전에 생성된 비디오 ($\hat{V}_{i-1}$) 에서 재투사를 수행합니다.
   • 가림 영역 누적 (ORA): 이전 단계의 재투사와 현재 단계를 융합하며, 특히 깊이 추정이 더 신뢰할 수 있는 가까운 영역이나 연속 영역을 대상으로 합니다 (ORA-dt 및 ORA-cc).
   • 불릿 타임 누적 (BTA): 소스 비디오의 첫 프레임을 반복하고 초기 운동을 더 작고 연속적으로 증가하는 변화로 분해하여 "불릿 타임" 전환을 생성합니다. 이 전략은 연결부에서의 정렬 불일치를 최소화하는 데 가장 효과적인 것으로 확인되었습니다.
3. GRPO 최적화: 이 프레임워크는 별도의 가치 모델이 필요 없이 정책 모델을 최적화하기 위해 GRPO 를 사용합니다.
   • 확률적 샘플링: 훈련 중, 모델은 누적 단계 수 ($n$) 와 각 단계의 운동 크기를 무작위화하여 다양한 궤적 그룹을 샘플링합니다.
   • 보상 함수: 다중 수준 일관성 - 품질 보상 함수는 가시 영역의 픽셀 수준 충실도 (PSNR, SSIM), 의미 수준 충실도 (LPIPS), 그리고 비디오 품질 지표 (Temporal Flicker, Motion Smooth, Aesthetic Quality, Imaging Quality) 를 기반으로 생성된 샘플을 평가합니다.
   • 그룹 상대 이점: 모델은 절대 점수가 아닌 그룹 내 샘플의 상대적 이점을 기반으로 목적 함수를 최대화하여 업데이트됩니다.
4. 추론: 훈련 단계가 다단계 누적을 사용하는 것과 달리, 추론 과정은 최적화된 모델을 사용하여 큰 각도 비디오를 단일 단계로 직접 생성하여 효율성을 보장합니다.

주요 기여

• 극단 시점 합성에 대한 GRPO 의 첫 적용: 논문은 극단적인 시점 하의 궤적 제어 비디오 생성을 위해 특별히 설계된 첫 번째 온라인 정책 경사 방법인 DEVIS-GRPO 를 소개합니다.
• ADEVIS 샘플링 전략: 정책 모델을 워밍업하기 위해 값비싼 쌍을 이룬 큰 시점 비디오 데이터셋이 필요하지 않도록 제거하는 누적 동적 극단 시점 합성 (ADEVIS) 을 제안합니다. 작은 시점 증가분을 누적하여 큰 시점 운동을 달성합니다.
• 다양한 누적 전략: 점진적 시점 합성 패러다임을 탐구하기 위해 네 가지 서로 다른 누적 전략 (RFA, RVA, ORA, BTA) 을 설계하고 평가하였으며, BTA 가 우수한 접근법으로 확인되었습니다.
• 다중 수준 보상 함수: 강화 학습 과정을 안내하기 위해 일관성 (픽셀 및 의미) 과 비디오 품질을 균형 있게 조화시키는 보상 함수를 개발했습니다.

결과
실험은 Kubric-4D, iPhone, DL3DV 데이터셋에서 수행되었습니다.

• 정량적 성능: Kubric-4D 데이터셋에서 DEVIS-GRPO 는 두 번째로 좋은 방법 대비 비가림 영역에서 PSNR 21.57% 및 SSIM 7.31% 의 상대적 개선을 달성했습니다. iPhone 데이터셋에서는 LPIPS 지수가 18.56% 감소했습니다.
• 일관성 및 준수: 이 방법은 시간적 및 질감적 일관성을 유지하고 지정된 카메라 궤적을 엄격히 준수하는 데 있어 GCD, EX-4D, TrajectoryCrafter 와 같은 베이스라인을 능가하는 우수한 성능을 보여주었습니다.
• 절대 연구: Vanilla-GRPO 와의 비교에서 DEVIS-GRPO 는 더 나은 일관성 지표를 가진 더 다양한 샘플을 생성함을 보였습니다. SFT(지도 미세 조정) 및 DPO(직접 선호도 최적화) 패러다임과의 비교는 그룹 상대 이점을 갖춘 GRPO 접근 방식이 최상의 성능을 산출함을 확인시켰습니다.

의의
이 논문은 DEVIS-GRPO 가 극단적인 시점 합성에서의 데이터 부족이라는 중요한 병목 현상을 해결한다고 주장합니다. 누적 샘플링 전략을 활용함으로써, 동기화된 다중 시점 감독이나 값비싼 큰 각도 비디오 쌍 없이도 효과적인 훈련을 가능하게 합니다. 이 프레임워크는 작은 시점 제어 가능성과 극단적인 카메라 운동 하의 고품질 일관성 비디오 생성 사이의 간극을 성공적으로 연결하여 궤적 제어 비디오 생성의 새로운 표준을 제시합니다.