기술 요약: AlignVid

1. 문제 제기

텍스트 기반 이미지-비디오 (TI2V) 생성은 운동 외삽 측면에서 크게 진전되었으나, 프롬프트가 참조 이미지에 상당한 편집 (예: 객체 추가, 제거, 수정) 을 요구할 때 의미적 충실도 (semantic fidelity) 측면에서 어려움을 겪습니다. 본 논문은 이러한 실패 모드를 의미적 무관심 (semantic negligence) 으로 규정하며, 이는 모델이 텍스트로 지정된 변경 사항을 수행하는 대신 참조 이미지의 의미론을 보존하는 현상을 의미합니다.

실증적 분석을 통해 저자들은 이를 시각적 우세 (visual dominance) 에 기인한 것으로 규명했습니다. 고충실도 참조 이미지는 모델의 어텐션 메커니즘 내에서 심각한 어텐션 분산 (high entropy) 을 유발합니다. 이 우세 현상은 텍스트 모달리티를 억제하여 새로운 의미 정보의 통합이나 필요한 운동 생성 능력을 저해합니다. 파일럿 연구는 입력 이미지에 가우시안 블러를 적용하면 이러한 우세 현상이 완화되어 어텐션 엔트로피가 감소하고 의미적 준수가 개선되지만, 시각적 품질이 희생됨을 밝혔습니다. 핵심 연구 질문은 입력 이미지를 훼손하지 않으면서 모델의 내부 어텐션 분포를 조절하여 이러한 엔트로피 감소 효과를 달성할 수 있는지 여부입니다.

2. 방법론: AlignVid

저자들은 에너지 기반 어텐션 관점에 기반하여 모델의 내부 어텐션 분포를 재보정하는 학습 불필요 (training-free) 개입인 AlignVid를 제안합니다. 이 방법은 두 가지 주요 구성 요소로 이루어집니다:

A. 어텐션 스케일링 변조 (ASM)

소프트맥스 함수에서 어텐션 스케일링과 온도 제어 간의 이론적 연관성에 착안하여, ASM 은 쿼리 ($Q$) 또는 키 ($K$) 임베딩을 재스케일링하여 어텐션 지형을 날카롭게 만듭니다.

• 메커니즘: $Q$ 또는 $K$ 를 $\gamma > 1$ 인자로 스케일링하는 것은 수학적으로 소프트맥스의 역온도 ($\alpha$) 를 증가시키는 것과 동일합니다.
• 효과: 이는 조건부 토큰 (텍스트 및 이미지) 내의 어텐션 분포 엔트로피를 감소시켜, 모델이 고로그트 (high-logit) 이고 의미적으로 관련 있는 소수의 토큰에 어텐션을 집중하도록 강제합니다.
• 구현:
  • MMDiT 아키텍처 (조건부가 쿼리를 통해 주입됨) 에서는 ASM 이 $Q$를 변조합니다.
  • DiT 아키텍처 (표준 크로스 어텐션) 에서는 ASM 이 $K$를 변조합니다.
  • 두 가지 변형이 제안됩니다: 스칼라 스케일링 (Scalar Scaling) (고정 $\gamma$) 과 에너지 기반 스케일링 (Energy-based Scaling) (로그트 날카로움에 기반한 적응형 $\gamma$).

B. 가이드 스케줄링 (GS)

ASM 의 무분별한 적용이 시각적 품질을 저하시키는 것을 방지하기 위해, 저자들은 두 수준에서 변조를 게이트하는 스케줄링 메커니즘을 도입합니다:

• 블록 수준 가이드 스케줄링 (BGS): 변조는 '전경 민감도 (foreground-sensitive)' 트랜스포머 블록에만 적용됩니다. 이러한 블록은 PCA 와 그라운딩 모델을 경량 보정 프로세스에 사용하여 전경 토큰에 집중하는 레이어를 식별함으로써 확인됩니다.
• 스텝 수준 가이드 스케줄링 (SGS): 변조는 노이즈 제거 궤적의 특정 구간에서만 활성화됩니다. 저자들은 초기 노이즈 제거 단계에 가이드를 적용할 때 전역 의미 정렬을 결정하는 초기 단계와 시각적 세부 사항을 정제하는 후기 단계 간의 최적 균형을 얻을 수 있음을 발견했습니다.

3. 주요 기여

1. 문제 분석 및 파일럿 연구: 본 논문은 TI2V 의 의미적 충실도 과제를 공식화하고 이를 시각적 우세 및 높은 어텐션 엔트로피와 실증적으로 연결합니다. 또한 어텐션 집중이 시각적 중복성으로부터 텍스트 신호를 해방시키는 데 필수적임을 입증합니다.
2. AlignVid 프레임워크: ASM 과 GS 를 통해 어텐션을 변조하는 학습 불필요 방법입니다. 어텐션 메커니즘 내 모달 계층을 재가중함으로써 계산 오버헤드는 무시할 수준이며 미적 영향도 최소화하면서 의미적 정렬을 개선합니다.
3. OmitI2V 벤치마크: 저자들은 367 개의 인간 주석 샘플을 포함하는 포괄적인 벤치마크를 도입하여 수정, 추가, 삭제 세 가지 시나리오에서의 프롬프트 준수를 평가하도록 설계했습니다. 기존 벤치마크가 일반 비디오 품질에 초점을 맞춘 것과 달리, OmitI2V 는 시각적 질문 답변 (VQA) 프로토콜을 사용하여 세밀한 의미 준수를 목표로 합니다.

4. 실험 결과

OmitI2V 벤치마크 및 기타 표준 벤치마크 (VBench, GenEval, ImgEdit) 에 대한 광범위한 실험은 AlignVid 의 유효성을 입증합니다:

• 의미적 충실도: AlignVid 는 FramePack, FramePack-F1, Wan2.1과 같은 베이스라인 모델에 적용될 때 모든 편집 유형 (수정, 추가, 삭제) 에서 의미적 정렬 점수를 일관되게 개선합니다. 예를 들어, FramePack 에서는 추가 정확도가 +4.58%, 수정 정확도가 +3.23% 향상되었습니다.
• 시각적 품질: 약간의 트레이드오프가 존재하지만, 의미적 충실도와 동적 정도에서의 상당한 개선에 비해 미적 품질의 감소는 미미합니다 (예: 미적 점수에서 -0.37~ -1.49 포인트).
• 일반화: 이 방법은 텍스트-이미지 (T2I) 생성 (OmniGen2) 및 텍스트-비디오 (T2V) 작업으로의 긍정적인 전이성을 보여주며, 각각 GenEval 및 VBench 에서 성능을 개선합니다. 또한 ImgEdit 벤치마크의 이미지 편집 작업도 향상시킵니다.
• 효율성: 이 방법은 추가 학습이나 복잡한 모듈 없이 어텐션 가중치만 수정하므로 무시할 수 있는 추론 오버헤드 (실행 시간 0.1% 미만 증가) 를 도입합니다.
• CFG 와의 비교: AlignVid 는 클래스리스 가이드 (CFG) 를 보완합니다. CFG 위에 AlignVid 를 적용하면 추가적인 개선을 이루어 추가 학습이 필요 없다는 실용적 이점을 제공합니다.

5. 중요성 및 주장

본 논문은 AlignVid 가 입력 수준의 교란 (예: 블러) 의 유익한 효과를 시각적 입력을 손상시키지 않고 모방함으로써 모델의 내부 어텐션 분포를 직접 조절하여 조정 가능한 의미–품질 트레이드오프를 제공한다고 주장합니다.

저자들은 자신의 작업을 현재 TI2V 모델에서 만연한 의미적 무관심 문제에 대한 진단 및 교정 도구로 위치시킵니다. 어텐션 엔트로피와 의미 선택 간의 이론적 연결을 확립함으로써, 생성형 비디오 모델의 제어 가능성을 향상시키는 원칙적이고 경량화된 접근법을 제시합니다. OmitI2V 벤치마크의 도입은 현재 평가 스위트에 존재한다고 저자들이 주장하는 격차를 해소하기 위해 세밀한 편집 준수를 엄격하게 평가하는 데 중요한 기여로 강조됩니다.

본 논문은 영향력에 대해 겸손한 어조를 유지하며, 향상된 제어 가능성은 창의적 응용 분야에 이득이 되지만, 설득력 있는 합성 콘텐츠 생성과 관련된 위험을 완화하기 위해 책임 있는 배포 관행이 필요하다고 지적합니다.