기술 요약: SARA (의미론적 적응 관계 정렬)

문제 정의

최근 비디오 확산 모델 (VDM) 들은 높은 시각적 충실도와 시간적 일관성을 달성했으나, 세밀한 의미론적 제어 가능성에 있어서는 어려움을 겪고 있습니다. 이들은 종종 개체를 누락하거나, 속성을 잘못된 주체에 잘못 연결하거나, 프롬프트에 명시된 상호작용을 약화시킵니다. VideoREPA 및 MoAlign과 같은 표현 정렬 목표는 고정된 시각 기반 모델 (VFM) 에서 시공간 토큰 관계를 증류하여 텍스트 추종성을 향상시키지만, 감독 할당 문제로 고통받고 있습니다.

• VideoREPA는 프롬프트와 관계없이 모든 토큰 쌍에 동일한 가중치 ($O(N^2)$ 예산) 를 부여합니다. 다중 개체 장면에서 이로 인해 약 27% 의 감독 예산이 프롬프트에서 결코 참조되지 않는 배경 - 배경 쌍에 낭비되는 반면, 개체 간 관계에 필수적인 주체 - 주체 쌍은 약 23% 만 할당받습니다.
• MoAlign은 VFM 타겟을 운동 감독 하위 공간으로 압축하여 움직이는 주체 - 주체 쌍만을 감독하는 AND 라우터처럼 작동함으로써 이를 해결하려 시도합니다. 그러나 광학 흐름은 가려짐, 빠른 운동, 또는 낮은 질감 하에서 실패하는 등 주의를 위한 잡음이 많은 대리 지표이며, 개체를 장면 내에 고정시키는 데 필수적인 정적 주체와 주체 - 배경 쌍을 무시합니다.

핵심적인 과제는 고정된 $O(N^2)$ 쌍 예산을 배경 채움 대신 프롬프트 관련 관계(주체 - 주체 및 주체 - 배경 모두) 에 집중하도록 할당하는 방법입니다.

방법론: SARA

SARA 는 VideoREPA 의 토큰 - 관계 증류 (TRD) 형태를 유지하면서 동적으로 감독을 라우팅하는 텍스트 조건부 주의도를 도입하는 2 단계 프레임워크를 제안합니다.

1 단계: 텍스트 조건부 주의도 정렬기 학습

가벼운 정렬기가 텍스트 프롬프트에 조건부로 연속적인 주의도 지도 $M_p$를 예측하도록 오프라인에서 학습됩니다.

• 백본: 고정된 V-JEPA(시각), SAM 3.1(분할), Qwen3-VL-Embedding(텍스트) 을 사용합니다.
• 아키텍처: 크로스 어텐션 모듈이 시각 토큰과 텍스트 임베딩을 융합한 후, 주의도 헤드 (MLP + 시그모이드) 와 대비 학습을 위한 시각 프로젝터가 뒤따릅니다.
• 감독 전략:
  1. 개체 분리 감독: 단일 전역 마스크 대신, 정렬기는 비디오당 $K+2$번의 순전파로 학습됩니다: $K$개의 개체별 쌍 (캡션 + 이진 마스크), 하나의 결합 개체 쌍, 그리고 하나의 배경 쌍. 이는 모델이 일반적인 전경 사전 지식으로 붕괴되는 것을 방지합니다.
  2. InfoNCE 정규화: 융합된 시각 특징을 임베딩 공간에서 텍스트 은닉 상태와 정렬시켜 주의도가 가장 지배적인 주체로 붕괴되는 것을 방지하고, 개체 간 대비를 유지합니다.
• 출력: 각 토큰이 프롬프트와 관련된 정도를 나타내는 연속적인 주의도 지도 $M_p \in [0, 1]$.

2 단계: 주의도 라우팅 TRD

VDM(특히 Wan2.2) 의 지속적 학습 동안, 고정된 1 단계 정렬기가 전체 비디오 캡션에 대한 주의도 지도를 생성합니다. 이러한 지도는 쌍 라우팅 연산자를 통해 TRD 손실에 융합됩니다.

• 쌍 라우팅 연산자: SARA 는 부울 연산의 퍼지 논리 완화 (relaxation) 를 정의하여 토큰 주의도 ($w_i, w_j$) 를 쌍 가중치 ($W_{ij}$) 로 매핑합니다:
  • AND: $w_i w_j$ (주체 - 주체 쌍만 유지; MoAlign 의 효과와 유사).
  • XOR: $|w_i - w_j|$ (경계 쌍만 유지).
  • OR (기본): $w_i + w_j - w_i w_j$. 이것이 핵심 혁신입니다. 주체 - 주체 쌍 및 주체 - 배경 쌍을 유지하여 배경 - 배경 쌍으로부터 감독을 라우팅합니다.
• 손실 함수: 표준 TRD 손실은 가중 평균으로 수정되며, 가중치는 OR 연산자에 의해 결정됩니다. 이는 VFM 타겟이나 확산 경로의 학습 가능 파라미터 수를 변경하지 않고도 배경 잡음에서 의미론적으로 관련 있는 관계로 감독 예산을 재할당합니다.

주요 기여

1. 개념적: VDM 을 위한 의미론적 적응을 TRD 위의 쌍 라우팅 문제로 재정의합니다. MoAlign 을 암시적 AND 라우터로 형식화하고, 주체 - 배경 정렬을 명시적으로 포함하는 텍스트 감독 OR 라우터를 제안합니다.
2. 방법론적: 개체별 SAM 마스크와 InfoNCE 정규화자로 학습된 텍스트 조건부 주의도 정렬기를 도입합니다. 이를 통해 시스템은 정적 운동 단서가 아닌 프롬프트에 기반하여 어떤 토큰 쌍이 감독을 전달할지 동적으로 결정할 수 있습니다.
3. 경험적: SARA 가 여러 평가 프로토콜에서 Wan2.2 백본에 대해 SFT, VideoREPA, MoAlign 일관적으로 우월한 성능을 보임을 입증합니다.

결과

실험은 Wan2.2 고잡음 트랜스포머를 사용하여 50 만 클립 다중 개체 코퍼스에서 수행되었습니다. 평가에는 13 차원 VLM 루브릭, 공개 VBench-1.0/2.0 스위트, 그리고 맹검 사용자 연구가 포함되었습니다.

• VLM 루브릭: SARA 는 사전 학습된 베이스라인 대비 **텍스트 정렬 (TA)**과 **운동 품질 (MQ)**을 동시에 개선한 유일한 방법입니다. 모든 차원에서 가장 강력한 베이스라인 (MoAlign) 을 능가합니다.
• VBench: SARA 는 VBench-1.0(의미론: VideoREPA 대비 +0.90) 과 VBench-2.0(최종: MoAlign 대비 +0.38) 에서 모두 최고 집계 점수를 달성합니다.
• 사용자 연구: 맹검 쌍별 연구에서 annotator 들은 모든 베이스라인보다 SARA 를 선호했으며, 사전 학습된 모델 대비 가장 큰 차이를 보였습니다.
• Ablation: 주의도 헤드나 InfoNCE 정규화자를 제거하면 성능이 크게 저하됩니다. OR 라우터를 AND 또는 XOR 으로 교체해도 성능이 저하되어, 주체 - 배경 쌍의 포함이 결정적임을 확인시켜 줍니다.

중요성 및 주장

이 논문은 SARA 가 현재 표현 정렬 방법에서의 감독 신호 "희석"을 해결한다고 주장합니다. $O(N^2)$ 예산의 할당을 기하학적 또는 운동 기반 휴리스틱에서 프롬프트 기반 휴리스틱으로 전환함으로써, SARA 는 모델이 텍스트가 지시하는 특정 위치에서 속성과 상호작용을 연결하도록 학습함을 보장합니다.

저자들은 SARA 가 프롬프트 추종을 개선하지만, 기본 모델의 학습 프로토콜의 한계를 계승한다고 지적합니다. 구체적으로, Wan2.2 MoE 의 고잡음 전문가만 업데이트되기 때문에, 고정된 사전 학습 모델 대비 "저잡음" 렌더링 품질 (예: 인간 충실도, 시간적 일관성) 에서 약간의 일관된 저하가 발생합니다. 그러나 SARA 는 모든 지속적 학습 방법 중 가장 작은 저하를 보여, 균일한 업데이트보다 고정된 저잡음 전문가에 대한 표적 업데이트가 덜 파괴적임을 시사합니다.

이 논문은 SARA 가 비디오 확산 모델을 정렬하기 위한 더 효율적이고 의미론적으로 인식된 메커니즘을 제공하며, 추가적인 추론 시 조건이나 확산 백본의 아키텍처 변경 없이 세밀한 텍스트 추종에서 최첨단 결과를 달성한다고 결론지었습니다.