MeanCache: From Instantaneous to Average Velocity for Accelerating Flow Matching Inference

이 논문은 기존 캐싱 방법의 한계를 극복하고 Jacobian-벡터 곱을 활용한 평균 속도 관점과 궤적 안정성 스케줄링 전략을 통해 FLUX.1 및 HunyuanVideo 등 다양한 모델에서 고품질 생성을 유지하면서 3.5 배 이상 가속화를 실현하는 훈련 불필요한 MeanCache 프레임워크를 제안합니다.

핵심

🎨 1. 문제: "너무 빨리 달리다 보면 길을 잃는다"

인공지능이 그림을 그릴 때, 처음엔 잡음 (소음) 에서 시작해 점점 선명한 그림으로 변해갑니다. 이 과정에서 AI 는 매순간 "지금 이 순간에 어디로 가야 할까?"를 계산합니다.

기존의 빠른 방법들은 **"지금 이 순간의 속도"**만 보고 다음 단계로 점프했습니다.

• 비유: 산을 오르는 등산객이 생각해보죠.
  • 기존 방식: "지금 발걸음 속도가 시속 5km 야! 그럼 다음 10 분 뒤엔 이 속도로 5km 더 가겠지!"라고 계산합니다.
  • 문제점: 하지만 산길은 구불구불합니다. 지금 속도가 빨라도 곧 길이 꺾이거나 오르막이 나올 수 있죠. 그래서 "지금 속도"만 믿고 계속 직진하면, 결국 산 정상 (완성된 그림) 에서 멀어지고, 엉뚱한 곳에 떨어지거나 (화질 저하), 길을 잃게 됩니다.

🚀 2. 해결책: "평균 속도로 길을 재단하다"

이 논문은 **'MeanCache'**라는 새로운 방법을 제안합니다. 핵심은 **'순간 속도'가 아니라 '평균 속도'**를 사용하는 것입니다.

• 새로운 방식: "지금 이 순간의 속도만 보지 말고, **앞으로 10 분 동안 갈 전체 경로의 '평균 속도'**를 계산해서 다음 단계로 가자."
• 비유:
  • 등산객이 "지금 발걸음만 보지 말고, 앞으로 10 분 동안 내가 걸을 전체 거리를 미리 계산해서 평균 내면 시속 3km 정도겠네"라고 생각합니다.
  • 이렇게 평균을 내면, 순간적인 오르막이나 내리막의 흔들림을 상쇄할 수 있어 길을 훨씬 정확하게 찾아갈 수 있습니다.

🧠 3. 기술의 핵심: "기억력 (캐시) 과 지도 (스케줄링)"

이 기술은 두 가지 마법 같은 도구를 사용합니다.

① JVP(자코비안 - 벡터 곱) = "과거의 기억을 활용한 예측"

• AI 가 매번 모든 계산을 다시 하면 시간이 너무 걸립니다. 그래서 **이전에 계산했던 데이터 (캐시)**를 재활용합니다.
• 하지만 그냥 과거 데이터를 가져오면 오류가 쌓입니다.
• MeanCache 의 아이디어: "과거에 계산했던 **수학적 변화율 (JVP)**을 이용해서, '지금 순간 속도'를 '평균 속도'로 보정하자."
• 비유: 등산객이 "어제 이 길에서 비가 와서 미끄러졌던 기억 (과거 데이터) 을 바탕으로, 오늘 이 길의 평균 경사를 정확히 예측해서 발을 디디는 것"입니다.

② 궤적 안정성 스케줄링 = "최적의 휴식 지도 그리기"

• 언제 계산을 건너뛰고 (캐싱), 언제 다시 계산해야 할지 정하는 것이 중요합니다. 무작정 건너뛰면 화질이 망가집니다.
• MeanCache 의 아이디어: 모든 길목 (시간 단계) 을 노드로 보고, "여기서 건너뛰면 얼마나 위험할까?"를 계산한 뒤, **가장 안전한 길 (최단 경로)**을 찾아냅니다.
• 비유: 등산객이 "이곳은 위험해서 천천히 가고, 저곳은 평지라서 빨리 지나가자"라고 최적의 휴식 지도를 그려서 걷는 것입니다. 이 지도는 AI 가 다시 훈련할 필요 없이, 미리 계산된 데이터로 자동으로 만들어집니다.

---

🏆 4. 결과: "빠르면서도 완벽한 그림"

이 기술을 적용한 결과, 기존 방법들보다 3~4 배 이상 빨라졌습니다.

• FLUX.1(이미지 생성 모델): 4.12 배 빨라짐.
• Qwen-Image(이미지 생성 모델): 4.56 배 빨라짐.
• HunyuanVideo(영상 생성 모델): 3.59 배 빨라짐.

중요한 점:
기존 방법들은 속도를 높이면 그림이 흐려지거나 (블러), 모양이 뭉개지거나 (왜곡) 했습니다. 하지만 MeanCache 는 속도를 4 배로 높여도 원래 그림의 디테일과 선명함을 거의 잃지 않았습니다. 마치 "고속도로를 4 배 속도로 달리면서도 차가 흔들리지 않고 목적지에 정확히 도착하는 것"과 같습니다.

💡 요약

MeanCache는 인공지능이 그림을 그릴 때, "지금 당장의 속도"에 집착하지 않고 "전체 경로의 평균"을 계산하여 길을 재단하는 기술입니다.

• 기존: "지금 빨라! 계속 가자!" → 길을 잃고 화질 나쁨.
• MeanCache: "이 구간은 평균 속도로 계산해서 가자!" → 길을 정확히 찾아 화질 유지 + 속도 4 배 향상.

이 기술은 인공지능이 더 빠르고 저렴하게, 하지만 더 똑똑하게 그림과 영상을 만들 수 있게 해주는 혁신적인 '스마트 캐시' 시스템입니다.

기술 요약

1. 문제 정의 (Problem)

Flow Matching (FM) 은 이미지, 비디오, 멀티모달 생성 작업에서 뛰어난 성능을 보이지만, 상업적 규모 모델 (FLUX.1, Qwen-Image, HunyuanVideo 등) 에서는 다음과 같은 한계가 존재합니다.

• 높은 추론 비용: 매 스텝마다 신경망 추론이 필요하여 메모리 사용량이 크고 지연 시간 (latency) 이 길어 상호작용이 필요한 환경에 부적합합니다.
• 기존 캐싱 방법의 한계: 기존 무학습 (training-free) 캐싱 방법들 (DeepCache, TeaCache 등) 은 주로 순간 속도 (Instantaneous Velocity) 또는 중간 특징 (Feature) 을 재사용합니다.
• 궤적 이탈 및 오차 누적: 고 가속도 비율 (High Acceleration Ratios) 에서 순간 속도는 궤적 따라 급격히 변동하므로, 이를 기반으로 구간을 재구성하면 국소적 오차가 누적되어 생성물의 품질이 급격히 저하되고 궤적이 실제 경로에서 이탈하는 문제가 발생합니다.

2. 방법론 (Methodology)

저자들은 MeanCache를 제안하며, 이는 순간 속도가 아닌 평균 속도 (Average Velocity) 관점에서 캐싱 문제를 재정의합니다.

가. 평균 속도 관점의 전환 (Instantaneous to Average Velocity)

• MeanFlow Identity 활용: Flow Matching 의 목표가 궤적이 선형적 특성을 만족하도록 하는 것임을 고려하여, 구간 $[s, t]$에 대한 평균 속도를 계산합니다.
• JVP (Jacobian-Vector Product) 기반 추정:
  • 평균 속도 $u$와 순간 속도 $v$ 사이의 관계를 수학적으로 유도하여, 평균 속도를 추정하기 위해 JVP를 사용합니다.
  • 추론 시 정확한 JVP 를 구할 수 없으므로, 이전 캐싱된 상태 (참조점 $r$) 와 현재 상태 ($t$) 를 이용해 JVP 를 근사합니다.
  • 이를 통해 구간 평균 속도를 추정하고, 이를 기반으로 궤적을 보정하여 오차 누적을 방지합니다.

나. 궤적 안정성 스케줄링 전략 (Trajectory-Stability Scheduling)

• 다중 그래프 (Multigraph) 모델링:
  • 각 타임스텝을 노드로, 캐싱 가능한 전이 (전이 구간 $K$) 를 간선으로 표현하는 다중 그래프를 구성합니다.
  • 간선의 가중치는 **예측된 평균 속도와 실제 평균 속도 간의 오차 (Stability Deviation)**로 정의됩니다.
• Peak-Suppressed Shortest Path (최단 경로 탐색):
  • 주어진 예산 (Budget, 즉 계산 단계 수) 내에서 전체 오차를 최소화하되, 특정 구간에서 오차가 급격히 치솟는 것 (Peak) 을 억제하는 목적 함수를 가집니다.
  • 동적 계획법 (Dynamic Programming) 을 통해 최적의 캐싱 시점과 구간 ($K$) 을 자동으로 결정합니다. 이는 고정된 규칙이나 임계값 기반 전략보다 훨씬 유연하고 안정적입니다.

3. 주요 기여 (Key Contributions)

1. 평균 속도 관점의 캐싱: 기존 순간 속도 기반의 불안정한 캐싱 방식을 평균 속도 도메인으로 전환하여, 고 가속도 환경에서도 궤적 안정성을 확보했습니다.
2. JVP 기반 캐싱 구성: Jacobian-Vector Products 를 활용하여 평균 속도를 효율적으로 추정하고, 이를 통해 국소 오차 누적을 완화하는 새로운 캐싱 메커니즘을 제시했습니다.
3. 자동화된 스케줄링 도구: 그래프 기반의 최단 경로 탐색 알고리즘을 통해 재학습 없이도 최적의 캐싱 시점과 구간을 동적으로 결정하는 실용적인 도구를 개발했습니다.

4. 실험 결과 (Results)

FLUX.1, Qwen-Image, HunyuanVideo 등 최신 상업적 모델에서 SOTA 기반 방법 (TeaCache, DiCache, TaylorSeer 등) 과 비교 평가되었습니다.

• 가속도 및 품질:
  • FLUX.1: 최대 4.12 배 가속화 달성. 기존 방법들이 3.5 배 이상에서 품질이 급격히 떨어지는 반면, MeanCache 는 선명한 디테일과 구조적 일관성을 유지했습니다.
  • Qwen-Image: 최대 4.56 배 가속화 달성. LPIPS(지각적 유사성) 가 0.075 로 매우 낮아 거의 손실 없는 샘플링을 보였습니다.
  • HunyuanVideo: 최대 3.59 배 가속화 달성. VBench 점수 80.08% 를 유지하며 비디오의 시간적 일관성과 화질을 보존했습니다.
• 정량적 지표: 모든 가속도 비율에서 ImageReward, CLIP Score, SSIM, PSNR 등 다양한 지표에서 기존 방법들을 일관되게 상회했습니다.
• 희소 단어 (Rare-word) 테스트: "Matutinal", "Peristeronic"과 같은 희소 단어 프롬프트에서도 MeanCache 는 높은 가속도 (4 배 이상) 에서도 콘텐츠 일관성을 유지했으나, 기존 방법들은 의미 왜곡이 발생했습니다.

5. 의의 및 결론 (Significance)

• 상업적 규모 모델 적용 가능성: 재학습 없이도 대규모 생성 모델의 추론 비용을 획기적으로 줄이면서도 고품질을 유지할 수 있음을 입증했습니다.
• 새로운 패러다임 제시: 캐싱 전략을 단순한 특징 재사용이 아닌, 수학적 안정성 (평균 속도) 을 기반으로 한 궤적 최적화 문제로 접근함으로써, 생성 모델 가속화 연구에 새로운 방향성을 제시했습니다.
• 실용성: 상호작용이 필요한 환경이나 리소스가 제한된 환경에서도 고품질 생성을 가능하게 하여, Flow Matching 기반 모델의 상용화 장벽을 낮추는 데 기여합니다.

이 논문은 MeanCache를 통해 Flow Matching 추론의 효율성과 안정성을 동시에 해결하는 강력한 솔루션을 제시하며, 향후 대규모 생성 모델 가속화 연구의 중요한 이정표가 될 것으로 기대됩니다.