Video-Rate Streaming Stylization on a Vision-Aware MLLM-Conditioned Edit Diffusion: Asymmetric Batched Inference on a Distilled UNet + MLLM Text Encoder

기술 요약: 비전 인지형 MLLM 조건부 에디트 디퓨전에 기반한 비디오 속도 스트리밍 스타일화

문제 정의
디퓨전 모델을 이용한 실시간 비디오 번역은 전통적으로 텍스트 조건부 이미지 디퓨전 스택에 의존해 왔으며, 여기서 U-Net 디노이저는 프레임당 계산 병목 지점이었고, 텍스트 인코더는 경량 CLIP 클래스 네트워크(매개변수 약 1억 2,500만 개)였습니다. 그러나 디노이저를 공격적으로 증류(distillation)하여 4단계 또는 1단계 학생 모델로 축소하면, 이 병목 현상이 역전됩니다. 소스 이미지와 텍스트 지침을 모두 처리해야 하는 "비전 인지형(vision-aware)" 에디트 디퓨전의 경우, 텍스트 인코더는 Qwen3-VL(21.3억 매개변수)과 같은 무거운 멀티모달 대규모 언어 모델(MLLM)로 대체됩니다.

이러한 "소형 증류 디노이저 및 헤비 MLLM 인코더(Small-Distilled-Denoiser plus Heavy-MLLM-Encoder, SDD-MTE)" 체제에서는 MLLM 텍스트 인코더가 임계 경로(critical path)가 됩니다. 기존의 디노이저 중심 파이프라인을 위해 설계된 표준 스트리밍 기법은 여기서 실패합니다. 그 이유는 다음과 같습니다:

1. 인코더 레이턴시: MLLM 인코더는 디노이저보다 훨씬 크며, 단순한 단일 스트림 디스패치를 방해하는 고유한 CPU-GPU 동기화 지점(예: 회전 위치 임베딩에서의 동기화)을 포함하고 있습니다.
2. 시간적 일관성 오버헤드: ControlNet-LLLite와 같은 기존의 시간적 어댑터는 Python 브랜치와 텐서 정체성 체크를 사용하는데, 이는 torch.compile 그래프 캡처를 깨뜨려 나이브한 구현 시 기본 U-Net보다 약 3.5배 느리게 동작하게 만듭니다.
3. 수치적 불안정성: 광범위한 범위의 MLLM 출력(표준편차=37, 최댓값=1160)은 FP16 어텐션 메커니즘을 오버플로시켜, StreamDiffusion과 같은 시스템이 의존하는 TensorRT 경로를 사용할 수 없게 만듭니다.

본 논문은 이 역전된 병목 현제 체제에서 단일 소비자용 GPU 내에서 비디오 속도 스트리밍 처리량을 달성하는 과제를 다룹니다.

방법론
저자들은 0.39B 증류 U-Net(DreamLite-mobile)과 2.13B Qwen3-VL 인코더를 결합한 SDD-MTE 체제에 맞춰 설계된 세 가지 특정 엔지니어링 메커니즘을 기반으로 한 스트리밍 파이프라인을 제안합니다.

1. 비대칭 사이드-스트림 / 메인-스트림 파이프라인:

   • 파이프라인은 두 개의 동시 CUDA 스트림으로 분리됩니다. **메인 스트림(Main Stream)**은 현재 배치($n$)에 대한 컴파일된 U-Net 디노이징 및 VAE 디코딩을 처리합니다.
   • **사이드 스트림(Side Stream)**은 다음 배치($n+1$)에 대한 MLLM 텍스트 인코딩(TE) 및 VAE 인코딩을 동시에 처리합니다.
   • 이 설계는 MLLM 인코더의 고유한 동기화 레이턴시를 U-Net 계산 뒤로 숨깁니다.
   • 배치 분할 상쇄(Batch Amortization): 시스템은 각 파이프라인 호출 전에 $B$ 프레임(예: $B=8$ 또는 $16$)을 버퍼링합니다. MLLM 인코더는 배치 크기에 따라 하위 선형적으로 확장되는 반면($B=8$에서 하위 선형성 $s \approx 0.226$), 컴파일된 U-Net은 거의 선형적으로 확장되기 때문에($s \approx 0.77$), 배칭을 통해 U-Net 비용을 비례적으로 증가시키지 않으면서 프레임당 TE 비용을 크게 줄일 수 있습니다.
   • 정적 프롬프트 캐싱(선택 사항): 고정된 지침을 가진 스트림의 경우, 시스템은 하나의 대표 프레임을 인코딩하고 그 키/값 텐서를 나머지 배치에 브로드캐스트하거나, $N$ 배치마다 인코딩을 갱신할 수 있습니다.

2. 컴파일 친화적 ControlNet-LLLite 재구성:

   • torch.compile 최적화를 활성화하기 위해, 저자들은 이전의 Python 브랜치나 텐서 정체성 변경으로 인해 매 프레임마다 Dynamo 재컴파일을 강제했던 ControlNet-LLLite 어댑터를 리팩토링했습니다.
   • 주요 변경 사항으로는 조건 임베딩을 고정 크기 버퍼로 등록하고 인플레이스(in-place) 업데이트를 수행하며, 훈련 전용 경로(드롭아웃, 데이터 타입 체크)를 제거하고, 전용 forward_inference 메서드를 노출하는 것이 포함됩니다.
   • 이를 통해 전체 U-Net + 어댑터 스택을 단일 융합 그래프(fused graph)로 폴딩할 수 있으며, 이를 통해 에이저(eager) 참조 구현 대비 4.75배의 속도 향상을 달est했습니다.

3. 주기적 컨디셔닝 갱신 및 훅 서브셋(Hook Subset):

   • 갱신 스케줄: 이전 프레임을 워핑(warped)하여 얻은 LLLite 컨디셔닝 임베딩을 매 배치마다 다시 계산하는 대신, 시스템은 $N$ 배치마다(예: $N=8$) 이를 재구축합니다. 이는 LLLite 경로의 실행 시간을 지배하는 컨디셔닝 CNN의 비용을 상쇄합니다.
   • 훅 서브셋: 전체 108개의 훅을 down_blocks에만 위치한 38개의 훅 서브셋으로 축소합니다. 이는 컨디셔닝 인코더의 작업량을 약 65% 감소시키면서도, 모든 108개 훅을 사용할 때 발생하는 "매끄러운 보라색(smooth purple)" 아티팩트를 제거하고 공간적 선명도를 회복합니다.
   • 비동기 흐름: Farneback 광학 흐름(optical flow) 계산은 프리페치(prefetch) 중에 비동기적으로 스레딩되어 다음 사이드 스트림 슬롯과 겹쳐서 실행되도록 합니다.

주요 기여

• 시스템 아키텍처: 역전된 병목 현상을 극복하기 위해 MLLM 인코더를 별도의 동시 워크로드로 취급하는 새로운 비대칭 파이프라인 전략을 제시합니다.
• 컴파일러 최적화: 시간적 어댑터를 위한 융합 그래프 실행을 가능하게 하여 torch.compile과 호환되는 리팩토링된 ControlNet-LLLite 구현을 제공합니다.
• 효율성 메커니즘: 배칭을 통한 TE 상쇄, 주기적 컨디셔닝 갱신, 훅 서브셋 선택의 조합을 통해 상당한 품질 저하 없이 프레임당 레이턴시를 줄입니다.
• 실증적 검증: 소비자용 하드웨어(RTX 3090 Ti, 4090, 5090)에서 지속적인 처리량과 시간적 일관성을 입증하는 포괄적인 평가를 수행했습니다.

결과
단일 RTX 3090 Ti에서 512×512 해상도, 배치 크스 $B=8$, 1단계 추론($K=1$)으로 평가한 결과:

• 처리량: 파이프라인은 480프레임 실행 동안 27.4 FPS(p50 레이턴시 ~0.5초) 및 $B=16$에서 29.6 FPS(p50 레이턴시 ~1.0초)를 유지합니다.
• 하드웨어 스케일링: 성능은 RTX 4090에서 54.9 FPS, RTX 5090에서 74.1 FPS로 확장됩니다.
• 품질: "챔피언(champion)" 구성(down_blocks 훅 서브셋 + 주기적 갱신)은 노-LLLite 베이스라인(22.97) 대비 20% 감소한 18.34의 워핑 에러($\epsilon_w$)를 달성하면서도, 공간적 디테일(Sobel 점수 5.10 vs 4.74 베이스라인)을 유지합니다.
• 일반화: 출시된 시간적 어댑터는 사용되지 않은 19개의 DAVIS-2017 시퀀스와 7개의 비-DAVIS 소스에서 추출한 15개 클립에 대해 도메인 내 노이즈 범위 내의 성능을 보이며 잘 일반화됩니다.
• 프롬프트 일반화: 모델은 본 적 없는 스타일 프롬프트(예: 반 고흐)를 잘 처리하지만, 훈련 매니폴드 외부의 고주파 텍스처를 가진 스타일(예: 코믹 할프톤)에 대해서는 성능이 저하됩니다.

의의 및 주장
본 논문은 벤치마크 우위 주장이 아닌 시스템 연구로서 자리매김합니다. 저자들은 명시적으로 StreamDiffusion 클래스의 시스템(CLIP 인코더 사용)보다 우월하다고 주장하지 않으며, 맥락을 제공하기 위해 동일한 스택의 StreamDiffusion 재실행 결과와 비교합니다.

주된 의의는 MLLM 인서가 무거운 텍heten 인코더인 경우에도 시스템 아키텍처를 재설계함으로써 단일 소비자용 GPU에서 비디오 속도 스트리밍이 가능하다는 것을 보여주는 데 있습니다. 저자들은 표준 디노이저 가속 기술만으로는 이 체제에 불충분하며, 제안된 메커니즘(비대칭 파이프라인, 컴파일 친화적 어댑터, 상쇄된 컨디셔닝)이 실시간 성능을 끌어내는 데 필수적이라고 강조합니다.

또한, 본 논문은 실무자들에게 특정 도메인에서의 흔한 엔지니어링 막다른 골목(예: 나이브한 잠재 변수 믹싱, MLLM 출력에 따른 TensorRT FP16 실패, 그리고 스무딩 아티팩트를 측정할 때 워핑 에러만을 사용하는 것의 위험성)을 문서화함으로써 가이드 역할을 합니다.