기술 요약: RVEDiT – 비디오 편집을 위한 확산 트랜스포머의 암시적 추론

문제 정의

지시 기반 비디오 편집은 관련 없는 콘텐츠를 보존하고 시간적 일관성을 유지하면서 자연어 지시에 따라 소스 비디오를 변환하는 것을 요구합니다. 저자들은 기존 확산 트랜스포머 (DiT) 편집기가 현재 파이프라인의 두 가지 구조적 한계로 인해 이 작업에 어려움을 겪고 있다고 주장합니다:

1. 구분되지 않은 조건부 입력 (Undifferentiated Conditioning): 표준 DiT 에서 텍스트 지시와 시각 토큰은 모든 트랜스포머 블록에 의해 균일하게 처리되는 단일 결합 시퀀스로 연결됩니다. 이는 단일 토큰 스트림이 고수준 편집 의도와 저수준 시각적 대상을 동시에 인코딩하도록 강요하여, 추론을 위한 전용 '작업 공간'을 남기지 않습니다.
2. 비지도 내부 추론 (Unsupervised Internal Reasoning): 편집을 지배하는 교차 어텐션 패턴은 픽셀 수준 재구성 손실 (예: 흐름 매칭) 을 통해 간접적으로만 감독됩니다. 결과적으로 모델의 내부 추론 흔적 (어떤 텍스트 토큰이 어떤 시각적 영역을 읽는지 인코딩하는 어텐션 맵) 은 제약이 부족합니다. 모델은 재구성 오차를 최소화하도록 학습되지만, 지시 충실한 편집에 필요한 세밀한 대응 관계를 명시적으로 설정하는 법은 배우지 못합니다.

본 논문은 지시 기반 비디오 편집이 근본적으로 외부 멀티모달 대규모 언어 모델 (MLLM) 들에 의존하거나 (이는 환각을 유발할 수 있음) 백본을 블랙박스처럼 취급하는 것이 아니라, DiT 백본 내에서 본질적으로 해결되어야 하는 잠재적 추론 문제라고 주장합니다.

방법론: RVEDiT

저자들은 조건부 입력 스트림을 구조화하고 내부 추론 과정을 감독하도록 설계된 프레임워크인 RVEDiT(Reasoning Video Editing DiT) 를 제안합니다. 이는 두 가지 상호 보완적인 구성 요소로 이루어져 있습니다:

1. 세분성 라우팅 토큰 조건부 입력 (Granularity-Routed Token Conditioning, GRTC)

이 구성 요소는 깊이 인식 라우팅 메커니즘을 도입하여 구분되지 않은 조건부 입력 병목 현상을 해결합니다:

• 학습 가능한 편집 토큰: 소스 비디오와 지시를 기반으로 MLLM(특히 Qwen2.5-VL) 에서 $K$개의 학습 가능한 편집 토큰 ($X_e$) 이 증류됩니다. 이러한 토큰은 편집 의도의 추상적이고 전역적으로 문맥화된 운반체 역할을 합니다.
• 세분성 기반 라우팅: 토큰은 의미적 세분성에 따라 DiT 의 서로 다른 레이어로 라우팅됩니다:
  • 얕은 레이어 ($\ell_{idx} \le L_s$): 학습 가능한 편집 토큰 ($X_e$) 에만 어텐션합니다. 이를 통해 초기 블록은 수천 개의 픽셀 수준 토큰에 의해 희석되지 않고 전역 편집 의도를 수립할 수 있습니다.
  • 깊은 레이어 ($\ell_{idx} > L_s$): $[X_e; X_v; X_\ell]$ 전체 시퀀스에 어텐션합니다. 여기서 $X_v$는 네이티브 시각 토큰이고 $X_\ell$은 텍스트 토큰입니다. 이를 통해 깊은 블록은 전역 의도를 특정 영역, 질감, 움직임에 구체화할 수 있습니다.
• 효과: 이는 백본 내에서 전역 의도 형성과 지역적 정제를 분리하는 coarse-to-fine(거칠기에서 정밀함으로) 편집 프로세스를 생성합니다.

2. 참조 기반 어텐션 정렬 (Reference-Anchored Attention Alignment, RAAA)

이 구성 요소는 추론 비용이 발생하지 않는 훈련 시간 정규화기를 도입하여 비지도 추론 병목 현상을 해결합니다:

• 참조 브랜치: 훈련 중, 동일한 DiT(공유 가중치) 를 통해 지상 진실 대상 비디오 ($v^*$) 와 그 캡션 ($\ell^*$) 을 조건으로 하는 두 번째 순전파가 수행됩니다. 이 브랜치는 기준이 되는 "성공적인" 추론 흔적 (교차 어텐션 맵) 을 생성합니다.
• 상호 정보 최대화: 이 방법은 편집 브랜치 (소스 + 지시 조건부) 의 교차 어텐션 특징과 참조 브랜치 (대상 조건부) 의 교차 어텐션 특징 간의 상호 정보를 최대화합니다.
• 목적: 대칭적 InfoNCE 추정기를 사용하여, 모델은 무작위로 샘플링된 깊이에서 편집 브랜치의 어텐션 기하학을 참조 브랜치와 정렬하도록 장려받습니다. 이는 모델이 단순히 픽셀 재구성 오차를 최소화하는 것이 아니라, 성공적인 편집을 반영하기 위해 어디에 그리고 어떻게 어텐션해야 하는지를 가르칩니다.
• 추론: 참조 브랜치는 훈련 후 폐기되므로 배포 시 계산 오버헤드가 추가되지 않습니다.

최종 훈련 목적 함수는 표준 흐름 매칭 손실 ($\mathcal{L}_{fm}$) 과 정렬 항 ($\mathcal{L}_{align}$) 을 결합합니다:
$$\mathcal{L} = \mathcal{L}_{fm} + \lambda_{align} \mathcal{L}_{align}$$

주요 기여

1. 문제 공식화: 본 논문은 비디오 편집에서 암시적 추론을 방해하는 기존 DiT 파이프라인의 두 가지 구조적 병목 현상 (구분되지 않은 조건부 입력과 비지도 추론) 을 식별하고 공식화합니다.
2. RVEDiT 프레임워크: 추론을 내재화하는 DiT 네이티브 프레임워크:
   • 세분성 라우팅 토큰 조건부 입력: MLLM 에서 파생된 토큰을 얕은 레이어로, 네이티브 토큰을 깊은 레이어로 라우팅함으로써 coarse-to-fine 편집 프로세스를 수립합니다.
   • 참조 기반 어텐션 정렬: 편집 및 참조 어텐션 흔적 간의 상호 정보를 최대화함으로써 추론 경로를 능동적으로 감독합니다.
3. 실증적 검증: 광범위한 실험을 통해 RVEDiT 이 특히 국소적, 구성적, 충실도 민감한 편집에서 최첨단 오픈소스 베이스라인을 능가함을 입증했습니다.

실험 결과

저자들은 VACE, OmniVideo, ICVE, Lucy-Edit, DITTO, Kiwi-Edit 등을 포함한 베이스라인에 대해 OpenVE-Bench에서 RVEDiT 를 평가했습니다. 평가는 지시 준수 (IC), 일관성 충실도 (CF), 시각적 품질 (VQ) 의 세 가지 축을 점수화하는 MLLM-as-a-judge 프로토콜 (Gemini-3.1-Pro 및 Qwen3.5-VL-35B) 을 사용하여 수행되었습니다.

• 정량적 성능: RVEDiT 는 두 판정자 모두에서 가장 높은 전체 점수를 달성했습니다 (Qwen3.5-VL-35B 기준 77.42, Gemini-3.1-Pro 기준 62.48).
• 구체적 향상: 모델은 주변 콘텐츠의 정밀한 수정과 보존이 필요한 Local Add 및 Local Change 작업에서 특히 강력한 성능을 보였습니다. 또한 Global Style 전이에서도 잘 수행되었습니다.
• Ablation 연구:
  • GRTC 를 제거하면 명확한 전역 의도가 필요한 작업 (Local Add, Global Style) 에서 성능이 저하되었습니다.
  • RAAA 를 제거하면 세밀한 위치 대응이 필요한 작업 (Local Add, CF 및 VQ 지표) 에서 점수가 하락했습니다.
  • 두 구성 요소 모두를 제거하면 특히 Local Remove 작업에서 심각한 실패가 발생했으며 (IC 는 전체 모델 대비 거의 17 점 하락), 이는 두 구성 요소의 중요성을 보여줍니다.
• 메커니즘 분석: 어텐션 질량 분석은 얕은 레이어가 편집 토큰 (전역 의도) 에 집중하는 반면, 깊은 레이어는 네이티브 토큰 (지역적 정제) 으로 전환함을 확인하여 coarse-to-fine 설계를 검증했습니다.

중요성 및 주장

본 논문은 RVEDiT 가 생성 백본의 내부 추론 과정을 명시적으로 형성하는 것이 강력하고 제어 가능한 비디오 편집을 향한 실현 가능한 길임을 성공적으로 입증했다고 주장합니다. 작업을 잠재적 추론 문제로 간주하고 표준 DiT 의 구조적 병목 현상을 해결함으로써, 이 방법은 다음과 같은 성과를 달성합니다:

• 지시 충실도: 복잡한 자연어 지시에 대한 더 나은 준수.
• 소스 보존: 편집되지 않은 콘텐츠와 장면 구조의 향상된 유지.
• 시간적 일관성: 프레임 간 깜빡임 및 아티팩트 감소.

저자들은 이러한 개선 사항이 외부 계획 모듈이나 추가 추론 비용 없이 달성되었음을 강조하며, 엔드투엔드 생성 패스가 아키텍처 설계와 표적 훈련 목적을 통해 암시적 추론 능력을 부여받을 수 있음을 시사합니다.