KD-CVG: A Knowledge-Driven Approach for Creative Video Generation

1. 연구 배경 및 문제 정의 (Problem)

최근 생성형 AI 를 활용한 광고 콘텐츠 제작 (Creative Generation, CG) 이 주목받고 있지만, 텍스트 - 비디오 (Text-to-Video, T2V) 모델이 전자상거래 환경의 광고 크리에이티브 비디오 (ACV) 생성에 적용될 때는 두 가지 주요 한계에 직면해 있습니다.

• 모호한 의미 정렬 (Ambiguous Semantic Alignment):
  • 일반적인 T2V 와 달리, 광고는 제품의 '판매 포인트 (Selling Points)'를 강조해야 합니다. 그러나 판매 포인트 텍스트는 종종 추상적이거나 비디오 콘텐츠와 직접적인 연관성이 부족합니다.
  • 예: 치약의 "구강 pH 균형"이라는 텍스트를 "물방울"이나 "민트 잎"의 미묘한 움직임으로 간접적으로 표현해야 하는 경우, 기존 모델은 텍스트와 비디오 간의 의미론적 연결을 파악하기 어렵습니다.
• 부족한 운동 적응성 (Inadequate Motion Adaptability):
  • 제품별 고유한 판매 포인트에 따라 특정하고 사실적인 움직임이 필요합니다.
  • 기존 일반 T2V 모델은 전자상거래 특유의 복잡한 미세 움직임 (예: 물방울의 상승, 치약의 변형 등) 을 이해하지 못해 비물리적인 움직임이나 기형적인 왜곡 (Distortion) 을 발생시킵니다.

2. 제안 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 광범위한 광고 크리에이티브 지식베이스 (ACKB) 를 구축하고, 이를 활용한 지식 기반 접근법 (KD-CVG) 을 제안했습니다. KD-CVG 는 크게 두 가지 핵심 모듈로 구성됩니다.

A. 광고 크리에이티브 지식베이스 (Advertising Creative Knowledge Base, ACKB)

• 주요 전자상거래 플랫폼에서 수집한 58K 개의 광고 비디오를 필터링하고, Qwen2-VL 등을 활용하여 판매 포인트 텍스트와 스크립트를 추출했습니다.
• 최종적으로 10K 개의 텍스트 - 비디오 쌍 (377 가지 제품 카테고리 포함) 으로 구성된 고품질 데이터셋을 구축했습니다.

B. KD-CVG 프레임워크의 핵심 모듈

1. 의미 인식 검색 (Semantic-Aware Retrieval, SAR)

• 목적: 모호한 의미 정렬 문제 해결.
• 구조: 그래프 어텐션 네트워크 (GAT) 와 강화 학습 (Reinforcement Learning) 을 결합합니다.
  • SC-GAT (Semantic Correlation GAT): 판매 포인트 텍스트들을 노드로, 의미적 관계를 엣지로 하는 그래프를 구성합니다. CLIP 인코딩된 텍스트 임베딩을 기반으로 문맥 인식 어텐션 점수를 계산하여 가장 관련성 높은 참조 비디오와 스크립트를 검색합니다.
  • 강화 학습: 생성된 스크립트의 품질을 평가하는 CIDEr 점수를 보상 신호 (Reward) 로 사용하여, 정책 경사 (Policy Gradient) 를 통해 어텐션 가중치를 최적화합니다.

2. 멀티모달 지식 참조 (Multimodal Knowledge Reference, MKR)

• 목적: SAR 에서 검색된 참조를 바탕으로 의미적 정렬과 운동 적응성을 동시에 확보합니다.
• 단계 1: 점진적 스크립트 생성 (Progressive Script Generation)
  • 검색된 상위 참조 스크립트에서 주제 (Subject), 장면 (Scene), 운동 패턴 (Motion) 을 분리합니다.
  • 목표 제품 특성에 맞게 주제와 장면을 변형하되, 운동 패턴은 유지하여 LLM 이 최종 스크립트를 생성하도록 유도합니다.
• 단계 2: 운동 사전 지식 증류 (Motion Prior Distillation)
  • 차분 운동 인코딩: 비디오 잠재 공간에서 프레임 간 운동 벡터를 계산하고 선형 보간을 통해 연속적인 운동 역학을 정의합니다.
  • 운동 증류 손실 (Motion Distillation Loss): 생성된 비디오의 운동 기울기와 참조 패턴 간의 오차를 최소화하도록 학습합니다.
  • MR-LoRA: 시간적 어텐션 블록에 저랭크 적응 (Low-Rank Adaptation) 을 적용하여 파라미터 효율적으로 운동 패턴을 학습합니다.

3. 주요 기여 (Key Contributions)

1. KD-CVG 프레임워크 제안: 판매 포인트 텍스트를 직접적으로 광고 비디오로 변환하는 새로운 프레임워크를 개발했습니다.
2. SAR 모듈 설계: 그래프 어텐션 네트워크와 강화 학습을 통해 판매 포인트 텍스트의 의미 이해도를 높이고, 의미 정렬 문제를 완화했습니다.
3. MKR 모듈 도입: 멀티모달 참조를 통해 운동 일치를 보장하는 스크립트와 운동 사전 지식을 추출하여, T2V 모델의 운동 적응성 한계를 극복했습니다.
4. ACKB 데이터셋 공개: 전자상거래 광고 생성 연구를 위한 대규모 고품질 지식베이스를 구축하고 오픈소스로 공개했습니다.

4. 실험 결과 (Results)

• 정량적 평가:
  • 텍스트 정렬 (Textual Alignment): 기존 SOTA 모델 (Show-1, VideoCrafter2 등) 대비 우수한 CLIP 유사도를 보였습니다.
  • 운동 품질: 운동 부드러움 (Motion Smoothness) 과 동적 정도 (Dynamic Degree) 에서 가장 높은 점수를 기록했습니다. 특히 'Min-Max Score'에서 81.80% 로 압도적인 성능을 보였습니다.
  • 시간 효율성: 생성 시간은 약 102 초로, Show-1(3692 초) 보다 훨씬 빠르며 VideoCrafter2(161 초) 와 유사한 수준을 유지하면서도 품질이 훨씬 뛰어났습니다.
• 정성적 평가 (사용자 연구):
  • 27 명의 참가자를 대상으로 한 평가에서 텍스트 정렬, 비디오 품질, 운동 규칙성, 강조도 (Highlight Degree) 모든 항목에서 최고 점수를 받았습니다.
• Ablation Study:
  • SAR 와 MKR 모듈을 모두 적용했을 때 성능이 가장 극대화됨을 확인했습니다.
  • 스크립트 생성 품질 (CIDEr 점수) 이 높을수록 최종 비디오 생성 성능도 비례하여 향상됨을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 전자상거래 환경에서 발생하는 의미적 모호성과 운동 왜곡이라는 두 가지 핵심 과제를 체계적으로 해결했습니다. KD-CVG 는 단순한 텍스트 - 비디오 변환을 넘어, 제품의 판매 포인트를 시각적으로 설득력 있게 전달할 수 있는 최초의 지식 기반 프레임워크라는 점에서 의의가 큽니다.

구체적인 의의는 다음과 같습니다:

• 실용성: 실제 전자상거래 광고 제작에 바로 적용 가능한 고품질 자동화 솔루션을 제공합니다.
• 기술적 진보: T2V 모델에 외부 지식베이스 (ACKB) 와 그래프 기반 추론을 결합하여 도메인 특화 (Domain-specific) 생성 성능을 획기적으로 높였습니다.
• 오픈소스 기여: 코드와 데이터셋을 공개함으로써 향후 관련 연구의 기반을 마련했습니다.

결론적으로, KD-CVG 는 생성형 AI 가 단순한 콘텐츠 생성을 넘어 비즈니스 목적 (광고 효과 극대화) 을 달성하는 데 필수적인 기술적 도약임을 입증했습니다.