YOSE: You Only Select Essential Tokens for Efficient DiT-based Video Object Removal

"YOSE: You Only Select Essential Tokens for Efficient DiT-based Video Object Removal" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

**비디오 객체 제거 (VOR)**는 공간적 사실성과 시간적 일관성을 유지하면서 비디오에서 원치 않는 객체를 제거하는 것을 목표로 합니다. 최근 최첨단 (SOTA) 방법들, 예를 들어 MiniMax Remover와 같은 방법들은 고품질 결과를 달성하기 위해 **Diffusion Transformers (DiT)**를 활용합니다. 그러나 이러한 방법들은 상당한 **추론 지연 (inference latency)**과 계산 비효율성에 시달립니다.

• 핵심 문제: 기존 DiT 기반 VOR 모델들은 오직 작은 마스크 영역만 처리가 필요할 때도 전체 시공간 토큰 공간 (모든 프레임과 픽셀) 에 대해 **밀집 계산 (dense computations)**을 수행합니다.
• 결과: 계산 복잡도는 마스크 크기와 관계없이 일정하게 유지됩니다. 실제 세계의 VOR 작업은 일반적으로 작은 마스크 비율을 포함합니다 (예: 약 70% 의 경우가 마스크가 20% 미만). 이로 인해 막대한 중복이 발생합니다. 예를 들어, MiniMax Remover 는 약 10 FPS 만 작동하여 실용적인 적용을 제한합니다.

2. 방법론: YOSE 프레임워크

저자들은 DiT 기반 VOR 을 재구조화하지 않고 가속화하기 위해 경량 플러그인 파인튜닝 프레임워크인 **YOSE(You Only Select Essential Tokens)**를 제안합니다. YOSE 는 두 가지 핵심 구성 요소를 도입합니다.

A. 배치 가변 길이 인덱싱 (BVI)

BVI 는 모델이 마스크 영역 내의 토큰 (필수 토큰) 만 처리할 수 있도록 하는 미분 가능한 동적 인덱싱 연산자입니다.

• 메커니즘: 경사 흐름을 차단하는 하드 인덱싱 대신, BVI 는 grid_sample 을 통한 연속 보간 기반 선택을 사용하여 마스크된 토큰을 가변 길이 시퀀스로 매핑합니다.
• 전방 인덱스 ($Ind_F$): 처리를 위해 마스크 영역에서 필수 토큰을 선택합니다.
• 후방 인덱스 ($Ind_B$): 처리된 결과를 원래의 시공간 위치로 복원합니다.
• 이점: 배치 전체에서 가변 길이 토큰 처리를 지원하여, 모델이 다양한 마스크 크기를 효율적으로 처리하면서도 엔드투엔드 훈련을 위한 경사 흐름을 유지할 수 있게 합니다. 이는 계산 복잡도를 $O(N_{total})$에서 $O(N_{masked})$로 줄입니다.

B. 확산 과정 시뮬레이터 (DiffSim) 모듈

마스크된 토큰만 처리하는 것은 마스크가 아닌 영역 (배경) 과의 의미론적 연속성을 깨뜨릴 위험이 있습니다. DiffSim 은 이를 처리하지 않고도 마스크가 아닌 영역의 영향을 시뮬레이션함으로써 이 문제를 해결합니다.

• 메커니즘:
  1. 노이즈 잠재 공간과 마스크된 비디오 잠재 공간 간의 차이를 나타내는 **잔여 잠재 ($Res_{Nis}$)**를 구성합니다.
  2. 학습 가능한 매개변수인 결합 매개변수 ($G$), 스케일링 매개변수 ($S$), 그리고 편향 ($Bias$) 을 사용하여 마스크가 아닌 영역에 대한 프록시 Key 및 Value (KV) 특징을 생성합니다.
  3. 시뮬레이션된 KV 의 공식은 다음과 같습니다: $KV = G \cdot Lat_{mask} + (1-G) \cdot Res_{Nis}$이며, 그 다음 스케일링과 편향 변조가 뒤따릅니다.
• 이점: 이러한 시뮬레이션된 특징들은 DiT 의 자기 주의 (self-attention) 메커니즘에 주입됩니다. 이를 통해 "내부" (마스크된) 토큰이 "외부" (마스크가 아닌) 컨텍스트에 주의를 기울일 수 있게 되어, 전체 토큰 계산의 비용 없이 경계를 가로지르는 의미론적 및 시간적 일관성을 유지합니다.

C. 퓨전 전략

처리된 영역과 처리되지 않은 영역 간의 통계적 불일치로 인한 경계 아티팩트를 제거하기 위해:

• 마스크가 팽창되어 중첩 영역을 생성합니다.
• 생성된 중첩 영역의 평균과 분산을 원래 마스크가 아닌 영역과 정렬합니다.
• 부드러운 전환을 보장하기 위해 가중치 혼합 전략이 적용됩니다.

3. 주요 기여

1. YOSE 프레임워크: 필수 토큰만 처리하여 DiT 기반 VOR(예: MiniMax Remover) 을 가속화하는 마스크 인식 파인튜닝 프레임워크로, 마스크 비율에 비례하는 선형 계산 복잡도를 달성합니다.
2. 배치 가변 길이 인덱싱 (BVI): 동적 마스킹과 관련된 경사 흐름 및 배치 병렬화 문제를 해결하는 효율적인 가변 길이 토큰 선택 및 처리를 가능하게 하는 미분 가능한 연산자입니다.
3. 확산 과정 시뮬레이터 (DiffSim): DiT 블록 내에서 마스크가 아닌 영역의 확산 영향을 근사화하여 불필요한 계산 없이 전역 의미론적 일관성을 보장하는 새로운 모듈입니다.
4. 성능: 이 방법은 최대 2.5 배 속도 향상 (20% 마스크 비율에서 약 25 FPS 달성) 을 달성하며, 시각적 품질은 베이스라인과 비슷하거나 약간 더 우수하게 유지합니다.

4. 실험 결과

저자들은 DAVIS 및 YouTube-VOS 데이터셋을 사용하여 MiniMax Remover와 VACE에서 YOSE 를 평가했습니다.

• 속도 및 효율성:
  • FLOPs 및 지연 시간: YOSE 는 추론 시간과 마스크 비율 사이에 선형 관계를 보입니다.
  • 가속화: 5% 마스크 비율에서 3.3 배 가속화, 20% 마스크 비율 (일반적인 실제 시나리오) 에서 2.5 배 가속화를 달성합니다.
  • FPS: 480p 해상도에서 약 10 FPS(MiniMax) 에서 **약 25 FPS(YOSE)**로 증가합니다.
• 시각적 품질:
  • 지표: YOSE 는 VBench 지표 (모션 부드러움, 미적 품질) 및 배경 지표 (PSNR, SSIM, LPIPS) 에서 비슷하거나 약간 개선된 점수를 유지합니다.
  • 배경 보존: 특히 YOSE(VACE) 는 원래 VACE 대비 배경 PSNR 을 5.47 dB, SSIM 을 0.07 향상시켜 배경에서 마스크 모양의 아티팩트가 "환각"되는 것을 효과적으로 방지했습니다.
• Ablation 연구:
  • DiffSim을 제거하면 모션 부드러움과 배경 재구성 품질이 모두 저하됩니다.
  • 퓨전 전략을 제거하면 가시적인 경계 아티팩트가 발생합니다.
  • 훈련 효율성: BVI 는 기존 접근 방식의 약 11 시간과 비교하여 8 개 GPU 에서 약 4 시간 만에 배치 크기 4 로 훈련을 가능하게 합니다.

5. 의의

YOSE 는 실용적인 실시간 비디오 편집을 향한 중요한 진전을 나타냅니다. 계산 비용을 전체 비디오 크기와 분리하고 관심 영역 (마스크) 에만 엄격하게 연결함으로써, 현재 DiT 기반 생성형 비디오 모델의 주요 병목 현상을 해결합니다.

• 확장성: 고충실도 비디오 객체 제거를 소비자 하드웨어에서 또는 지연 시간이 중요한 실시간 애플리케이션에서 실현 가능하게 만듭니다.
• 일반화: 이 프레임워크는 모델에 구애받지 않는 (플러그 앤 플레이) 방식이며, 여러 DiT 기반 아키텍처 (MiniMax Remover, VACE) 에서 성공적으로 검증되었습니다.
• 품질 vs 속도: 공격적인 가속화가 반드시 시각적 충실도에서의 트레이드오프를 요구하지는 않음을 보여줍니다. 어떤 경우에는 선택적 처리가 마스크가 아닌 영역을 과도하게 해석하는 것을 방지함으로써 배경 안정성을 오히려 향상시킵니다.