기술 요약: OTCache

문제 정의

Flow Matching(FM) 및 Rectified Flow에 기반한 확산 모델(Diffusion Models)은 이미지 및 비디오 합성 분야에서 최첨단 성능을 달enc성했습니다. 그러나 이러한 모델들의 실제 배포는 반복적인 디노이징 과정과 관련된 막대한 계산 비용 및 메모리 점유율로 인해 자원이 제한된 환경이나 인터랙티브 시나리오에서 어려움을 겪고 있습니다.

학습이 필요 없는 캐싱 전략(training-free caching strategies)이 중간 피처를 재사용하여 추론을 가속화하기 위해 등장했지만, 기존의 그래프 기반 방법들(예: MeanCache, LeMiCa)은 저(低) NFE(Number of Function Evaluations) 영역에서 심각한 한계에 직면해 있습니다. 이러한 방법들은 일반적으로 캐시 스케줄링을 유향 그래프 상의 제약된 최단 경로 문제로 정식화하며, 이는 **가산적 독립성 가정(additive independence assumption)**에 의존합니다. 이 가정은 엔드 투 엔드(end-to-end) 성능 저하가 독립적인 로컬 에지 오차들의 합으로 근사될 수 있다는 가설입니다. 저자들은 극단적인 가속 상황(저 NFE)에서는 이 대리 모델(surrogate)이 무너진다고 주장합니다. 즉, 큰 통합 단계(integration steps)로 인해 초기 캐싱 결정이 후속 단계와 비선형적으로 상호작용하게 되며, 이로 인해 발생하는 상당한 충실도 손실을 그래프 기반 최적화 도구들이 회복하지 못한다는 것입니다. 또한, 기존 방식들은 각 예산을 독립적으로 취급하여, 서로 다른 추론 예산 간의 구조적 규칙성과 매끄러운 진화 과정을 무시합니다.

방법론: OTCache

이러한 한계를 해결하기 위해, 저자들은 **최적 운송(Optimal Transport, OT)**에서 영감을 얻어 캐시 스케줄링을 정책 공간에서의 매끄러운 진화로 모델링하는 학습 불필요 프레임워크인 OTCache를 제안합니다. 이 프레임워크는 세 가지 뚜렷한 단계로 작동합니다:

1. 단계 1: 참조 정책 획득 (고예산 설정)
   보수적인 고예산 설정(예: $B_{ref} = 20$) 하에서, 표준 그래프 기반 캐싱 방법(MeanCache로 구현됨)을 사용하여 고충실도 참조 스케줄($\pi_{ref}$)을 생성합니다. 이 영역에서는 가산적 최단 경로 대리 모델이 여전히 신뢰할 수 있으므로, 기저의 ODE 궤적에 대한 견고한 구조적 사전 지식(prior)을 제공합니다.

2. 단계 2: 앵커 정책 탐색 (저예산 설정)
   그래프 기반 대리 모델이 실패하는 극단적인 저예산 영역(예: $B_{anc} = 8$)에서, OTCache는 근사 최적 앵커 스케줄($\pi_{anc}$)을 찾기 위해 경량화된 **블랙박스 탐색(black-box search)**을 수행합니다.

   • 목적 함수: 로컬 에지 오차를 최소화하는 대신, 캐싱된 출력과 전체 예산의 그라운드 트루스(ground truth) 사이의 엔드 투 엔드 지각적 목적 함수(LPIPS)를 직접 최소화합니다.
   • 최적화: 탐색은 Warm start로부터 시작된 CMA-ES를 포함한 Optuna를 활용합니다. 최적화는 단조성을 유지하고 탐색 지형의 컨디셔닝을 개선하기 위해 "갭(gap, 1차 차분)" 공간에서 이루어집니다.

3. 단계 3: 타겟 예산 예측 (타겟 예산)
   임의의 타겟 예산($B \in [B_{anc}, B_{ref}]$)에 대한 스케줄을 예측하기 위해, OTCache는 앵커 정책과 참조 정책 사이의 전이를 확률 측도 공간에서의 매끄러운 궤적으로 모델링합니다.

   • 연속적 표현: 이산적인 스케줄은 조각별 3차 헤르미트 보간 다항식(PCHIP)을 사용하여 연속적이고 엄격하게 단조적인 시간 왜곡 곡선으로 격상됩니다.
   • 분위수 보간: 타겟 스케줄은 앵커 곡선과 참조 곡선 사이의 바서슈타인 지오데식 보간(Wasserstein geodesic interpolation, 분위수 함수의 선형 보간)을 통해 생성됩니다.
   • 가중치 지오데식: 보간 가중치는 두 가지 사전 지식에 의해 결정됩니다: 국소성(Locality) (타겟 예산까지의 거리) 및 신뢰도(Confidence) (고예산 참조 모델에 대한 신뢰).
   • 보수적 실현: 연속적인 지오데식은 파워 로 법칙 왜곡($\rho \ge 1.0$)을 사용하여 역방향 ODE의 벡터 필드 변동성이 가장 높은 초기 단계 쪽으로 NFE 밀도를 편향시켜 다시 이산 스케줄로 변환됩니다.

주요 기여

• 캐시 스케줄링의 재고: 저자들은 기존 그래프 기반 스케줄러의 두 가지 근본적인 결함을 식별했습니다: (i) 저 NFE 영역에서 비선형 오차 전파로 인한 가산적 최단 경로 대리 모델의 불일치, (ii) 서로 다른 예산 간의 구조적 관계 활용 실패.
• 예산 조건부 스케줄 진화: OTCache는 캐시 스케줄을 확률 측도로 취급하는 3단계 프레임워크를 도입합니다. 캐싱 정책의 진화를 매끄러운 궤적으로 모델링함으로써, 최적 운송 기하학을 활용하여 앤더와 참조 엔드포인트 사이를 보간하고, 독립적인 예산 최적화의 함정을 피합니다.
• 학습 불필요 가속: 이 프레임워크는 확산 모델의 재학습을 요구하지 않으므로 기존 아키텍처에 즉시 적용 가능합니다.

실험 결과

저자들은 세 가지 최첨단 생성 모델인 FLUX.1 [dev], Qwen-Image, HunyuanVideo에 대해 OTCache를 평가했습니다.

• FLUX.1 [dev]: 4.50배 가속(10 steps) 시, OTCache는 0.254의 LPIPS와 0.996의 ImageReward를 달성했습니다. 이는 유사한 속도에서 콘텐츠 불일치와 객체 왜곡을 겪은 MeanCache(LPIPS 0.272) 및 기타 베이스라인을 유의미하게 능가했습니다.
• Qwen-Image: OTCache는 4.70배 가속(10 steps)과 함께 0.171의 LPIPS를 달성하였으며, 눈에 띄는 콘텐츠 변화와 객체 위치 이동을 보인 MeanCache 및 LeMiCa에 비해 우수한 구조적 충실도(SS림 SSIM 0.864, PSNR 21.48)를 입증했습니다.
• HunyuanVideo: 텍스트-투-비디오 생성에서 OTCache는 3.66배 가속과 함께 80.37%의 VBench 점수 및 0.252의 LPIPS를 달성하여, MeanCache(3.59배)를 능가하고 DiCache 및 TeaCache와 같은 방법에서 나타나는 시간적 아티팩트를 방지했습니다.

절제 연구(Ablation Studies):

• 콘텐츠 일관성: OTCache는 MeanCache가 콘텐츠 드리프트를 보인 높은 가속 비율에서도 희귀 단어의 의미론과 구조적 세부 사항(예: 장면 내 특정 객체)을 유지했습니다.
• 파라미터 $\rho$: 초기 단계의 안정성과 후기 단계의 정교함 사이의 균형을 맞추기 위해 비선형 NFE 밀도 할당($\rho = 1.3$)이 최적임이 밝혀졌습니다.
• 탐색 효율성: 단계 2의 앵커 탐색은 매우 효율적이었으며, Top-1 최적값을 찾는 데 필요한 중앙값 시도 횟수는 약 50회였습니다.

의의 및 주장

본 논문은 OTCache가 이산적이고 독립적인 최단 경로 최적화에서 기하학을 고려한 스케줄 모델링으로 전환함으로써 확산 모델을 가속화하는 새로운 관점을 제공한다고 주장합니다. 예산에 따른 캐싱 정책의 진화를 정책 공간에서의 매끄러운 궤적으로 해석하고 최적 운송을 사용하여 보간함으로써, OTCache는 전통적인 그래프 기반 방법들이 저 NFE 영역에서 해결하지 못하는 충실도 손실을 복구합니다. 이 연구는 모델 재학습 없이도 최첨단 베이스라인과 비교하여 생성 충실도를 유지하거나 오히려 향상시키면서 상당한 가속(최대 4.7배)을 달성할 수 있음을 보여줍니다.