Improving Dynamic Object Interactions in Text-to-Video Generation with AI Feedback

1. 문제 정의 (Problem)

• 동적 상호작용의 부재: 기존 텍스트-비디오 생성 모델 (VideoCrafter, VADER 등) 은 정적인 장면을 생성하거나, 프롬프트에 명시된 객체의 움직임 (예: 물체 집기, 떨어뜨리기, 변형 등) 을 무시하는 경우가 많습니다.
• 물리 법칙 위반: 생성된 비디오는 종종 현실적인 물리 법칙 (중력, 충돌, 변형 등) 을 위반하거나, 객체가 갑자기 사라지거나 나타나는 할루시네이션 (hallucination) 이 발생합니다.
• 확장성의 한계: 데이터와 모델 크기를 늘리는 것만으로는 이러한 동적 상호작용 문제를 해결하기 어렵고, 인간 피드백을 통한 정렬 (Alignment) 은 비용이 너무 많이 들어 확장성이 떨어집니다.

2. 방법론 (Methodology)

A. 통합 확률적 관점에서의 RL 파인튜닝

저자는 기존에 제안된 두 가지 대표적인 오프라인 RL 알고리즘인 **RWR (Reward-Weighted Regression)**과 **DPO (Direct Preference Optimization)**가 확률적 추론 (Probabilistic Inference) 관점에서 동일한 목적 함수에서 유도됨을 증명했습니다.

• Forward-EM-Projection (RWR): KL 정규화를 전향적으로 적용하며, 학습 데이터 내 특정 프롬프트에 대한 성능 최적화에 강점이 있으나 과적합 (Overfitting) 경향이 있습니다.
• Reverse-BT-Projection (DPO): Bradley-Terry 가정을 기반으로 하며, 부정적인 샘플의 확률을 낮추는 음의 기울기 (Negative Gradient) 를 통해 일반화 성능이 더 뛰어납니다.
• 결론: 알고리즘 자체의 우월성보다는 어떤 보상 (Reward) 과 데이터를 사용하는지가 성능을 결정하는 핵심 요소임을 강조합니다.

B. 시각 - 언어 모델 (VLM) 기반 AI 피드백

기존의 자동화된 지표 (CLIP 점수, 광학 흐름 등) 나 인간 선호도 데이터를 대체할 수 있는 확장 가능한 방법으로 **VLM (예: Gemini-1.5-Pro, GPT-4o)**을 활용합니다.

• 이진 피드백 (Binary Feedback): VLM 에게 생성된 비디오와 프롬프트를 입력받아, 물리 법칙의 정확성, 작업 완료 여부, 일관성 등을 평가하여 **'수락 (Accept)' 또는 '거부 (Reject)'**의 이진 라벨을 생성합니다.
• 물리 이해도 검증: 실험 결과, VLM 은 실제 비디오와 생성된 비디오를 구분하는 데 90% 이상의 정확도를 보이며, 인간 평가자의 역할을 효과적으로 대체할 수 있음을 확인했습니다.

C. 파이프라인

1. 사전 학습된 모델로 비디오 생성.
2. VLM 을 통해 생성된 비디오에 대한 이진 피드백 (또는 지표 기반 보상) 획득.
3. 획득한 데이터를 사용하여 RWR 또는 DPO 알고리즘으로 RL 파인튜닝 수행.
4. (선택 사항) 반복적 (Iterative) 인 파인튜닝을 통해 성능 추가 향상.

3. 주요 기여 (Key Contributions)

1. 알고리즘적 동등성 증명: RWR 과 DPO 가 동일한 RL 목적 함수에서 파생됨을 수학적으로 증명하여, 실제 적용 시에는 보상 신호와 데이터의 특성에 맞춰 알고리즘을 선택해야 함을 시사합니다.
2. VLM 기반 동적 상호작용 최적화: 텍스트-비디오 모델의 동적 객체 상호작용 (물체 제거, 다중 객체, 변형, 방향성 이동, 낙하 등) 을 개선하기 위해 VLM 을 활용한 AI 피드백이 가장 효과적임을 입증했습니다.
3. 지표 기반 보상의 한계 극복: 기존에 널리 쓰이던 CLIP 점수나 광학 흐름 (Optical Flow) 기반 보상은 '과최적화 (Over-optimization)' 문제를 일으켜 지표는 좋아지지만 실제 비디오 품질은 떨어지는 현상을 보였습니다. 반면, VLM 기반 피드백은 인간 평가와 높은 상관관계를 보이며 실제 품질을 향상시켰습니다.

4. 실험 결과 (Results)

• 평가 지표: VLM 평가 (Gemini, GPT-4o), 인간 평가, VBench (일관성, 부드러움 등) 를 종합적으로 사용했습니다.
• 성능 향상:
  • **AI 피드백 (RWR-AIF, DPO-AIF)**을 사용한 모델이 모든 평가 지표에서 가장 큰 개선을 보였습니다.
  • 특히 DPO-AIF는 인간 평가에서 약 14.7% 포인트, VLM 평가에서 3.5~3.8% 포인트의 절대적 향상을 기록했습니다.
  • RWR은 학습 데이터에서는 높은 성능을 보였으나 테스트 데이터에서는 과적합으로 인해 성능이 저하되는 경향이 있었습니다. DPO는 과적합 없이 견고한 일반화 성능을 보였습니다.
• 동적 상호작용 개선:
  • 기존 모델이 가장 취약했던 **'다중 객체 상호작용 (Multiple Objects)'**과 '낙하 (Falling Down)' 시나리오에서 RL 파인튜닝을 통해 현저한 개선이 있었습니다.
  • VBench 점수: 일관성 (Consistency) 과 부드러움 (Smoothness) 관련 지표에서 가장 높은 점수를 기록했습니다.
• 과최적화 현상: HPSv2 나 PickScore 와 같은 지표 기반 보상을 DPO 로 최적화할 경우, 지표는 상승하지만 생성된 비디오의 물리 법칙 위반이나 비현실적인 장면이 증가하는 '과최적화'가 발생했습니다.

5. 의의 및 결론 (Significance)

• 확장 가능한 솔루션: 비용이 많이 드는 인간 피드백 대신, VLM 을 활용한 AI 피드백이 텍스트-비디오 모델의 동적 상호작용 품질을 개선하는 확장 가능하고 효과적인 대안임을 입증했습니다.
• 실용적 가이드라인:
  • **일반화 (Generalization)**가 중요하다면 DPO를, 특정 프롬프트 세트 내의 지표 최적화가 필요하다면 RWR을 사용하는 것이 좋습니다.
  • VLM 기반의 이진 피드백이 현재까지 알려진 어떤 자동화된 지표보다 인간 선호도와 높은 상관관계를 가지며, 비디오의 물리적 일관성을 개선하는 데 가장 효과적입니다.
• 미래 방향: 현재 오픈 소스 모델들의 동적 표현 한계를 극복하고, Sora 나 Veo 와 같은 상용 모델에서도 발생할 수 있는 동적 실패 모드를 해결하는 데 본 연구의 방법이 적용 가능함을 시사합니다.

요약하자면, 이 논문은 **"텍스트-비디오 생성 모델이 복잡한 물리 법칙과 객체 상호작용을 올바르게 구현하도록 하기 위해서는, 단순한 이미지 품질 지표가 아닌, VLM 이 제공하는 물리 및 일관성 기반의 AI 피드백을 RL 파인튜닝에 활용하는 것이 핵심"**이라는 결론을 내립니다.