What Semantics Survive the Connector? Diagnosing VLM-to-DiT Alignment in Video Editing

"What Semantics Survive the Connector? Diagnosing VLM-to-DiT Alignment in Video Editing" 논문에 대한 상세한 기술 요약입니다.

문제 제기

최근 비디오 생성 모델들은 명령 기반 비디오 편집을 수행하기 위해 비전 - 언어 모델 (VLM) 과 확산 트랜스포머 (DiT) 를 결합하는 방식을 increasingly 의존하고 있습니다. 지배적인 패러다임은 VLM(예: Qwen2.5-VL) 의 풍부하고 다중 모달 추론 능력을 DiT 의 원래 텍스트 임베딩 공간에 정렬시키기 위해 연결기 모듈 (일반적으로 MLP) 을 사용하는 것입니다. 이 설계는 연결기가 학습 가능한 쿼리 토큰으로 정교화를 추가할 수 있는 잠재력을 포함하여, VLM 의 의미론적 이해를 DiT 에 매끄럽게 전달할 수 있다고 가정합니다.

그러나 저자들은 이러한 정렬이 심각한 의미론적 병목 현상으로 작용한다고 가설을 세웁니다. VLM 이 복잡한 편집 명령을 성공적으로 이해할 수는 있지만, 연결기는 특정 공간 슬롯, 대상 속성 값, 객체 역할과 같은 정교한 구조적 변수들을 DiT 에 도달하기 전에 저하시킬 수 있습니다. 현재의 엔드 - 투 - 엔드 평가 벤치마크는 정렬 실패와 DiT 자체의 노이즈 제거 또는 주의 오류를 혼동하기 때문에 이러한 문제를 분리해 내지 못합니다. 또한, 자연 비디오 데이터셋은 이러한 특정 의미론적 변수들을 탐구하는 데 필요한 분리된 주석이 부족합니다.

방법론

1. TRACE-Edit: 진단 벤치마크

이 가설을 엄격하게 조사하기 위해 저자들은 구조적 편집 의미론을 분리하도록 설계된 통제된 진단 벤치마크인 TRACE-Edit를 소개합니다.

• 구축: 데이터셋은 구성 파이프라인을 통해 구축됩니다. 먼저 단일 객체 '원자 (atomic)' 비디오가 생성되고, 주제, 카테고리, 속성의 명확성을 보장하기 위해 VLM 에 의해 검증됩니다. 그런 다음 이러한 비디오들이 2x2 비디오 그리드로 구성됩니다.
• 작업 공식화: 명령은 관계적이며, 모델이 한 슬롯 (예: 왼쪽 상단) 의 객체를 다른 슬롯 (예: 오른쪽 하단) 의 객체 속성 (색상, 재질, 또는 동작) 과 일치하도록 수정해야 합니다.
• 정답 (Ground Truth): 모든 예시에는 편집된 슬롯 ($y_{slot}$), 대상 값 ($y_{tgt}$), 편집된 객체 ($y_{editobj}$), 참조 객체 ($y_{refobj}$) 에 대한 정확한 레이블이 포함됩니다.
• 규모: 데이터셋은 색상, 재질, 동작 도메인 전반에 걸쳐 11,048 개의 관계 편집 예제를 생성하는 5,524 개의 합성 비디오를 포함합니다.

2. 진단 프로토콜

저자들은 표준 리더보드 대신 다단계 진단 프레임워크를 사용하여 네 가지 대표 모델 (UniVideo 변형, Kiwi-Edit, 그리고 커스텀 Wan-Query) 을 평가합니다:

• 기하학적 분석: 연결기 전 (VLM) 과 연결기 후 (DiT 지향) 표현 간의 유효 랭크 변화, 특징 분산, 그리고 중심 커널 정렬 (CKA) 을 측정합니다.
• 선형 프로빙: 특정 변수 (속성 유형, 편집된 슬롯, 대상 값, 객체 역할) 의 접근성을 측정하기 위해 연결기 전후 특징에 선형 분류기를 훈련시킵니다.
• 토큰 - 경로 분해: 쿼리 토큰을 사용하는 모델에서 저자들은 의미론적 증거가 어디에 존재하는지 (텍스트 전용, 쿼리 전용, 또는 혼합 뷰) 분석하고 토큰 수준의 마진 기여도를 계산합니다.
• 주의 라우팅: 노이즈 제거 단계와 레이어 전반에 걸쳐 DiT 가 조건 토큰 (텍스트 대 쿼리) 에 어떻게 주의를 할당하는지 분석합니다.
• 출력 수준 실패 분석: 생성된 비디오의 실패를 '과소 편집 (conservative)' 대 '구조적 오류 (잘못된 슬롯, 잘못된 바인딩, 잘못된 대상)'로 분류하기 위해 VLM 을 심판자로 활용합니다.

주요 결과

1. 연결기에서의 의미론적 저하

• 기하학적 변환: 연결기 정렬은 수동적인 투영이 아닙니다. 그것은 특징 공간 기하학을 실질적으로 재구성합니다. 일부 모델은 유효 랭크가 증가하는 것을 보이지만, 종종 특징 분산의 심각한 붕괴를 겪습니다.
• 선택적 보존: 거친 의도 (예: "색상을 변경") 는 거의 완벽한 정확도로 보존됩니다. 그러나 정교한 구조적 의미론은 현저히 저하됩니다:
  • 편집된 슬롯: 정렬 후 U-Query 에서 정확도가 약 92% 에서 약 74% 로 떨어집니다.
  • 대상 값: 모든 모델에서 접근성이 떨어집니다 (예: U-Query 에서 약 51% 에서 약 49% 로).
  • 객체 역할: 편집된 객체와 참조 객체의 해독 가능성은 다양하며, 일부 모델은 이 정보를 완전히 상실합니다.
• 토큰 라우팅 전환: 쿼리 기반 모델에서 텍스트 토큰은 강력한 의미론을 유지하는 반면, 연결기는 실제 의미론적 증거를 쿼리 토큰에서 멀리 이동시킵니다. 그러나 DiT 는 여전히 이러한 쿼리 토큰에 지배적인 주의를 할당하여 정보 라우팅과 주의 할당 사이의 불일치를 만듭니다.

2. 출력 실패는 보수적이지 않고 구조적입니다

• 생성된 비디오에 대한 분석은 구조적 오류 (잘못된 슬롯, 잘못된 바인딩, 잘못된 대상) 가 주요 실패 모드 (오류의 40.9%–61.9%) 를 구성하며, 과소 편집 (11.1%–14.6%) 을 훨씬 능가한다는 것을 보여줍니다.
• 이는 모델이 종종 편집을 시도하지만 올바른 슬롯 - 값 - 역할 바인딩을 보존하지 못한다는 것을 확인하며, 이는 연결기에서 관찰된 의미론적 저하와 직접적으로 상관관계가 있습니다.

3. 현재 설계의 한계

• 쿼리 토큰: 단순히 쿼리 토큰을 추가하는 것만으로는 문제를 해결하지 못합니다. 연결기가 쿼리 경로를 따라 슬롯 - 값 - 역할 정보를 보존하지 못한다면, DiT 는 이를 효과적으로 활용할 수 없습니다.
• 백본 강도: DiT 백본을 교체하는 것 (예: HunyuanVideo 를 Wan 으로 교체) 은 VLM 에서 DiT 로의 정렬 중에 손실된 구조적 변수들을 회복시키지 못합니다. 이는 병목 현상이 생성기가 아닌 연결기에 있음을 나타냅니다.

주요 기여

1. TRACE-Edit: 구조적 자연 비디오 벤치마크의 한계를 극복하고 비디오 편집에서 구조적 의미론을 진단하기 위해 슬롯, 값, 객체 - 역할 변수를 분리하는 통제된 합성 벤치마크.
2. 진단 프로토콜: 조건 공간 기하학, 의미론적 접근성, 토큰 라우팅, 그리고 주의 할당을 분석하는 VLM-to-DiT 정렬을 탐구하기 위한 포괄적인 프레임워크.
3. 병목 현상에 대한 경험적 증거: 현재 VLM-to-DiT 설계가 의미론적 저하를 겪고 있으며, 연결기가 관계적 편집 프로그램을 분열시키는 주요 병목 현상임을 입증한 엄격한 연구.

의의와 주장

이 논문은 연결기가 손실 없는 의미론적 어댑터로 작용한다는 지배적인 가정에 도전합니다. 저자들은 정교한 구조적 의미론이 정렬 중에 심각하게 저하된다고 주장하며, 단순히 강력한 VLM 과 연결기를 사용하는 것만으로는 복잡한 비디오 편집에 충분하다는 신념을 뒤집습니다.

이 작업의 의의는 다음과 같습니다:

• 문제 재정의: 엔드 - 투 - 엔드 비디오 품질에서 연결기의 중간 표현 품질로 초점을 이동시킵니다.
• 병목 현상 식별: DiT 의 노이즈 제거 능력 대신 구조적 변수에 대한 결정적 실패 지점으로서 VLM-to-DiT 정렬을 지목합니다.
• 미래 방향: 저자들은 향후 비디오 편집기가 연결기 설계를 의미론적 보존 문제로 취급해야 한다고 주장합니다. 쿼리 토큰에 의존하는 모델은 최종 생성 품질 지표에만 의존하는 대신, 연결기 이후 슬롯, 값, 객체 - 역할 변수가 여전히 접근 가능한지 진단을 보고해야 한다고 제안합니다.

이 논문은 연결기가 정교한 관계적 바인딩을 보존하지 못하는 문제를 해결하지 않는 한, 가장 진보된 VLM 과 DiT 조차도 정밀한 명령 기반 비디오 편집을 수행하지 못할 것이라고 결론지었습니다.