🤖 machine learning

OnlineCache: Learning Dynamic Caching Policies with Error Correction for Efficient Diffusion Inference

OnlineCache는 학습 가능한 정책과 오차 수정기를 사용하여 다양한 프롬프트와 타임스텝에 걸쳐 계산 자원을 적응적으로 할당함으로써, 생성 품질을 유지하면서도 확산 모델의 추론 속도를 크게 향상시키는 동적 캐싱 프레임워크입니다.

원저자: Zhikang Xie, Xichen Ye, Yifan Wu, Haoshen Yu, Li chenan, Peizhu Gong, Weizhong Zhang, Cheng Jin

게시일 2026-08-03

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Zhikang Xie, Xichen Ye, Yifan Wu, Haoshen Yu, Li chenan, Peizhu Gong, Weizhong Zhang, Cheng Jin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 걸작을 그리려는데, 매 붓질을 할 때마다 캔버스 전체를 처음부터 다시 그려야만 하는 상황을 상상해 보십시오. 이것이 오늘날 디퓨전 모델(diffusion models)이라 불리는 현대 AI 이미지 생성기가 작동하는 방식의 본질입니다. 이들은 혼란스러운 디지털 노이즈 구름에서 시작하여, 단계별로 조금씩 정교하게 다듬어 나가며 선명한 그림을 만들어냅니다. 이 과정은 놀라울 정도로 사실적인 이미지를 만들어내지만, 마치 고층 빌딩을 지을 때 벽돌을 한 장씩 쌓을 때마다 전체 타워를 다시 지어 확인하는 것처럼 믿기지 않을 정도로 느리고 계산 비용이 많이 듭니다. 이러한 AI 도구를 더 빠르고 실시간 애플리케이션에 유용하게 만들기 위해, 과학자들은 불필요한 단계를 건너뛸 방법을 찾아왔습니다. 지금까지 가장 인기 있는 아이디어는 "캐싱(caching)"이었는데, 이는 이전의 붓질을 복사본으로 보관했다가 그림이 크게 변하지 않았다면 그것을 재사용하는 것과 같습니다. 하지만 기존의 방식은 경직되어 있었습니다. 즉, 그림이 쉬운지 어려운지에 상관없이 단순히 타이머에 따라 단계를 건너뛰기로 결정하는 고정된 스케줄을 사용했습니다.

이 논문은 OnlineCache라고 불리는 더 똑똑하고 유연한 접근 방식을 소개합니다. 저자들은 고정된 규칙 책을 따르는 대신, 실시간으로 그림 과정을 관찰하는 작고 가벼운 "코치"(정책 네트워크)를 훈련시켰습니다. 이 코치는 매 순간, 이전의 붓질을 재사용해도 안전할지 아니면 전체의 무거운 계산을 수행해야 할지를 결정합니다. 논문은 이미지 생성의 난이도가 프롬프트에 따라 크게 달라지며(어떤 아이디어는 쉽고, 어떤 것은 복잡함), 그림 과정 중 일부 단계는 오류에 더 민감하다는 점을 주장합니다. AI가 실시간으로 전략을 적응하고, 단계를 건너뛸 때 발생하는 작은 실수들을 바로잡기 위한 "교정기(corrector)"까지 포함하도록 가르침으로써, OnlineCache는 엄청난 속도 향상을 달enc합니다. FLUX.1-dev 모델에서, 이 방식은 이미지 품질을 느리고 신중한 방식만큼 높게 유지하면서도 속도를 거의 3배(3× speedup)로 높였습니다. 저자들은 이 역동적이고 학습 기반인 접근 방식이 다양한 이미지 크기, 데이터셋, 심지어 비디오 생성 작업에서도 기존의 정적 방법들을 일관되게 능가함을 입증했습니다.

문제점: "일률적인 적용(One-Size-Fits-All)"의 함정

OnlineCache가 왜 중요한지 이해하려면, 먼저 이 기술이 해결하려는 문제를 살펴봐야 합니다. 디퓨전 모델은 흐릿하고 노이즈가 섞인 스케치에서 시작하여 점진적으로 선명하게 만드는 예술가와 같습니다. 최종 이미지를 얻기 위해 30단계 이상의 단계를 거칠 수도 있습니다. 과거에 연구자들은 "단계 10, 11, 12가 비슷해 보이니, 단계 10의 결과를 재사용하자"라고 말함으로써 이 과정을 가속화하려 했습니다. 이것을 **캐싱(caching)**이라고 부릅니다.

하지만 기존의 방식은 "어떤 학생이든 상관없이, 너는 반드시 단계 10, 11, 12를 건너뛰어야 한다"라고 말하는 엄격한 선생님과 같았습니다. 이것이 **정적 정책(static policy)**입니다. 논문은 이 접근 방식의 두 가지 주요 결함을 지적합니다:

프롬프트마다 요구사항이 다름: 어떤 이미지 요청은 간단하지만(예: "빨간 공"), 어떤 것은 복잡합니다(예: "비 내리는 사이버펑크 도시"). 정적 선생님은 이들을 똑같이 취급하여, 쉬운 작업에는 시간을 낭비하고 어려운 작업에는 너무 서두르게 됩니다.
순간마다 위험 요소가 다름: 그림 과정에서 어떤 단계는 형태를 잡는 데 결정적이지만, 어떤 단계는 그저 질감을 더하는 데 불과합니다. 만약 결정적인 단계를 건너뛴다면, 전체 이미지가 잘못될 수 있습니다. 정적 규칙은 그 차이를 알지 못합니다. 중요한 단계를 건너뛰거나, 지루한 단계에 시간을 낭비할 수 있습니다.

저자들은 이러한 경직성이 병목 현상이라고 주장합니다. 그들은 작업의 "난이도"가 프롬프트마다, 그리고 단계마다 변함에도 불구하고 기존 방법들은 이를 무시했다는 점을 관찰했습니다.

해결책: 배우는 스마트한 코치

OnlineCache는 캐싱 결정을 학습 문제로 바꿈으로써 판도를 바꿉니다. 고정된 규칙 대신, 시스템은 그림 과정을 지켜보는 똑똑한 코치 역할을 하는 아주 작은 신경망(정책)을 사용합니다.

코치가 결정하는 방식:
코치는 단계를 건너뛸지 결정하기 전에 몇 가지 핵심 단서를 살핍니다:

현재 상태: 지금 이미지는 어떤 모습인가? (여전히 엉망인가, 아니면 거의 완성되었는가?)
캐시된 상태: 마지막으로 저장된 단계는 어떤 모습이었는가?
시간: 과정 중 얼마나 진행되었는가?

이러-한 단서들을 바탕으로 코치는 묻습니다: "이 예전 결과를 재사용해도 안전한가, 아니면 힘든 작업을 수행해야 하는가?" 만약 코치가 안전하다고 판단하면, 무거운 계산을 건너뛰어 시간을 절약합니다. 만약 이미지가 까다롭거나 단계가 결정적이라고 판단하면, AI에게 전체 계산을 수행하도록 강제합니다.

"바이레벨(Bilevel)"의 반전 (코치와 교정기):
논문은 이 시스템의 두 가지 버전을 소개합니다. 첫 번째는 단순히 코치만 있는 것입니다. 두 번째이자 더 발전된 버전(Bilevel Optimization 또는 BLO)은 **교정기(Corrector)**라는 두 번째 캐릭터를 추가합니다.

코치는 언제 건너뛸지를 결정합니다.
교정기는 코치가 단계를 건너뛸 때 발생하는 작은 오류들을 바로잡는 작은 도구입니다.

이것은 마치 배속 재생을 하는 비디오 플레이어와 같습니다. 코치는 언제 배속 재생을 할지 결정합니다. 만약 배속 재생이 너무 많이 지나가서 화면이 흐릿해진다면, 교정기는 그 흐릿함을 즉시 해결하는 "선명하게(sharpen)" 버튼 역할을 하여, 배속 재생된 영상이 여전히 선명하게 보이도록 보장합니다. 시스템은 코치와 교정기를 함께 훈련시킵니다. 즉, 코치는 교정기가 해결할 수 있을 때만 건너뛰도록 학습하고, 교정기는 코치가 건너뛴 부분을 무엇이든 고칠 수 있도록 학습합니다.

실험 결과

저자들은 FLUX.1-dev, DiT, CogVideoX(비디오용)를 포함한 여러 강력한 AI 모델에 대해 이 시스템을 테스트했습니다. 결과는 다음과 같습니다:

속도 대 품질: FLUX.1-dev 모델에서 OnlineCache는 거의 **3배의 속도 향상(3× speedup)**을 달성했습니다. 이는 표준 방식보다 이미지를 3배 빠르게 생성했음을 의미합니다. 결정적으로, 품질이 떨어지지 않았습니다. 사실, 이미지들은 다른 빠른 방식들보다 더 선명하고 정확했습니다.
적응성: 이 시스템은 다양한 시나리오를 처리할 수 있음을 증고했습니다. 단순한 이미지를 생성하라는 요청을 받으면 더 많은 단계를 건너뛰었고, 프롬프트가 복잡하면 더 열심히 작업했습니다. 또한 특정 순간이 건너뛰기에는 너무 중요하다는 것을 파악하여, 어떤 순간은 안전하게 무시할 수 있는지 알아냈습니다.
경쟁 우위: 논문은 OnlineCache를 ERTAC-Cache 및 TeaCache와 같은 다른 최상위 방법들과 비교했습니다. 거의 모든 테스트에서 OnlineCache는 더 적은 오류로 더 나은 이미지를 생성했습니다. 예를 들어, 한 테스트에서 동일한 양의 건너뛰기를 사용하는 정적 방법과 비교했을 때 시각적 오류(L1 error)를 37.48% 줄였습니다.
일반화: 시스템은 하나의 이미지 세트(MSCOCO)로 훈련되었지만, 완전히 다른 이미지(Parti-Prompts)와 다른 해상도(512x512에서 1024x1024까지)에서도 재훈련 없이 완벽하게 작동했습니다. 심지어 비디오 생성에서도 작동하여, "스마트 코치" 아이디어가 단지 사진만을 위한 것이 아님을 보여주었습니다.

이것이 왜 중요한가

이 논문은 빠른 AI의 미래가 더 크고 빠른 컴퓨터를 만드는 것이 아니라, 우리가 가진 컴퓨터를 얼마나 똑똑하게 사용하는지에 달려 있다고 제안합니다. 경직된 "일률적인" 규칙에서 벗어나 역동적이고 학습 기반인 접근 방식을 수용함으로써, 우리는 놀라운 품질을 희생하지 않으면서도 AI 생성기를 훨씬 더 빠르게 만들 수 있습니다. 저자들은 AI에게 언제 지름길을 택하고 어떻게 실수를 바로잡을지를 결정하게 함으로써, 속도와 완벽함이라는 두 마리 토끼를 모두 잡을 수 있음을 보여줍니다.

요약하자면, OnlineCache는 AI에게 경직된 로봇이 아닌 유연한 예술가가 되도록 가르치며, 그 결과 과업에 적응하는 더 빠르고 고품질의 창작물을 만들어냅니다.

기술 요약: OnlineCache

문제 정의

확산 모델(Diffusion models)은 이미지, 비디오, 오디오 전반에 걸쳐 생성형 AI의 지배적인 패러다임으로 자리 잡았습니다. 그러나 반복적인 디노이징(denoising) 과정에 의존하는 특성상 상당한 계산 오버헤드와 높은 지연 시간이 발생하며, 이는 실시간 배포를 저해합니다. 중간 특징(intermediate features)을 재사용하고 시간적 중복성을 활용하기 위해 캐시 기반 가속 전략이 등장했지만, 기존 방식들은 상당한 경직성 문제를 안고 있습니다. 대부분의 현재 방법론은 정적이고 샘플에 무관한 스케줄(예: 고정된 캐싱 비율)이나 휴리스틱 기반 규칙(예: 탐욕적 로컬 임계값)에 의존합니다.

저자들은 이러한 경직된 정책이 디노이징 과정에서 경험적으로 검증된 두 가지 이질성 원인을 해결하지 못한다고 주장합니다:

샘플 수준의 이질성(Sample-level heterogeneity): 프롬프트에 따라 생성 난이도가 크게 달라집니다. 정적 정책은 계산 자원을 균등하게 할당하므로, 복잡한 입력에는 더 많은 자원을 할당하고 단순한 입력에는 적은 자원을 할당하는 데 실패합니다.
타임스텝 수준의 이질성(Timestep-level heterogeneity): 에러 민감도는 디노이징 궤적 전체에 걸쳐 변동합니다. 정적인 정책은 의도치 않게 에러가 높은 단계를 캐싱하거나, 불필요하게 낮은 에러 단계에서 계산을 낭비하여 최적이 아닌 품질을 초래할 수 있습니다.

방법론

이러한 한계를 해결하기 위해, 본 논문은 캐싱 스케줄을 순차적 의사결정 문제로 정식화한 동적 캐싱 프레임워크인 OnlineCache를 제안합니다. 이 프레임워크는 언제 캐싱을 할지, 그리고 근사 에러를 어떻게 보정할지를 학습하여 특정 샘플과 타임스텝 모두에 적응합니다.

핵심 구성 요소

정책 네트워크 ( $\pi_\theta$ ):
- 아키텍처: 각 타임스텝에 대해 캐싱된 잔차(residual)를 재사용할지 또는 전체 계산을 수행할지에 대한 이진 결정( $a_t \in \{0, 1\}$ )을 출력하는 경량 멀티 레이어 퍼셉트론(MLP)입니다.
- 상태 표현 ( $s_t$ ): 효율성과 일반화 성능을 보장하기 위해, 정책은 원시 레이턴트 토큰(raw latent tokens)을 직접 입력받지 않습니다. 대신 **통계적 충분성(statistical sufficiency)**과 **시간적 인지(temporal awareness)**를 활용합니다:
  - 현재 레이턴트 $x_t$ 와 캐싱된 잔차 $r_{cached}$ 의 채널별 평균( $\mu$ ) 및 표준 편차( $\sigma$ ).
  - 돌출된 국소 업데이트를 포착하기 위한 캐싱된 잔차의 최댓값 절대값( $\max(|r_{cached}|)$ ).
  - 위상 정보를 제공하기 위한 시간 임베딩( $emb_{time}(t)$ ).
- 최적화: 정책은 **정책 경사법(Policy Gradient, REINFORCE)**을 사용하여 훈련됩니다. 목적 함수는 시각적 충실도와 목표 가속 비율 사이의 균형을 맞추는 궤적 수준의 보상을 최대화합니다.
보상 설계:
- 품질 보상 ( $R_q$ ): 생성된 이미지와 정답(ground truth) 사이의 지각적 유사도(LPIPS) 및 구조적 유사도(SSIM)를 기반으로 합니다.
- 가속 제약 ( $R_a$ ): 목표 캐시 비율(예: 50% 캐싱)을 강제하는 페널티 항입니다.
- 안정성 페널티 ( $R_s$ ): 에러 폭발을 방지하기 위해 연속적인 스킵(skip)이 허용 범위를 초 exceed할 경우 적용되는 페널티입니다.
이중 수준 최적화(Bilevel Optimization, BLO) 변형:
- 계산 생략으로 인해 발생하는 에러를 완화하기 위해, 저자들은 경량 MLP로 구현된 학습 가능한 **에러 교정기(Error Corrector, $C_\phi$ )**를 도입합니다.
- 외부 루프(Outer Loop): 글로벌 생성 품질를 최대화하도록 정책 $\theta$ 를 최적화합니다.
- 내부 루프(Inner Loop): 캐싱된 단계에서의 국소 에러(MSE)를 최소화하도록 교정기 $\phi$ 를 최적화합니다.
- 훈련 전략: 이산적 액션 샘플링과 고차원성으로 인해 정확한 암시적 기울기(implicit gradient)를 계산하는 것이 불가능하므로, 저자들은 **1차 근사(First-Order Approximation)**를 사용합니다. 이들은 정책을 업데이트하는 단계(교정기가 고정되었다고 가정)와 새로운 정책에 의해 생성된 궤적을 통해 교정기를 업데이트하는 단계를 교대로 수행합니다. 이러한 좌표 하강(coordinate descent) 방식은 공동 평형(joint equilibrium)으로 수렴합니다.

주요 기여

동적, 인스턴스 인식 프레임워크: OnlineCache는 고정된 규칙을 넘어, 프롬프트 난이도와 타임스텝 민감도에 따라 계산 자원을 동적으로 할당합니다.
정책과 교정의 공동 최적화: BLO 변형은 캐싱 결정과 에러 교정기를 독특하게 결합하여, 정책이 유도된 궤적 편차를 교정기가 효과적으로 복구할 수 있을 때만 계산을 건너뛰도록 보장합니다.
효율적이고 일반화 가능한 설계:
- 정책 네트워크는 매우 가볍습니다(무시할 만한 추론 지연 시간).
- 원시 텐서 대신 통계적 요약(평균/표준편차)을 사용함으로써 해상도에 구애받지 않으며, 해상도 및 밀접하게 연관된 모델 아키텍처 간의 제로샷 전이가 가능합니다.
포괄적인 평가: 저자들은 이미지(FLUX.1-DEV, DiT) 및 비디오(CogVideoX) 생성에 걸친 광범-한 실험을 통해 정적 및 학습 기반 베이스라인 대비 우수성을 입증했습니다.

실험 결과

본 논문은 여러 모델과 데이터셋에 걸쳐 상당한 성능 향상을 보고합니다:

FLUX.1-DEV (이미지 생성):
- MSCOCO (512×512)에서 OnlineCache (BLO 변형)는 72.22%의 캐시 비율로 2.96배의 속도 향상을 달នូវ하며, 속도와 시각적 품질(더 낮은 LPIPS, 더 높은 SSIM/PSNR) 모두에서 ERTACache(2.68배)와 TeaCache(2.60배)를 능가했습니다.
- Parti-Prompts에서 품질의 점진적 저하를 유지하면서도 최대 5.25배의 속도 향상을 달성하였으며, 극단적인 가속 수준에서도 경쟁력 있는 지표를 유지했습니다.
- 일반화: 512×512 이미지로 훈련된 방법이 재학습 없이 1024×1024 해상도로 성공적으로 일반화되었습니다. 또한 증류된 FLUX.1-Schnell 모델과 Parti-Prompts 데이터셋에도 효과적으로 전이되었습니다.
DiT-XL/2 (ImageNet-256):
- 학습 기반 방법(FastCache, L2C) 및 훈련이 필요 없는 방법(TeaCache, AdaCache)과 비교했을 때, OnlineCache는 1.88배의 속도 향상(DPM++ 50 스텝 기준)을 달성하는 동시에 FID를 3.47에서 3.28로 개선했습니다. 저자들은 이러한 품질 향상이 선택적 캐싱과 에러 교정을 통한 샘플링 노이즈 억제 덕분이라고 설명합니다.
CogVideoX-2B (비디오 생성):
- 비디오 생성 작업에서 OnlineCache는 TeaCache 베이스라인을 능가하여, 유사한 속도 향상 조건에서 더 높은 VBench 점수와 더 낮은 LPIPS를 달성했습니다 (예: 1.79배 속도 향상 시 VBench 점수 78.09% vs TeaCache 77.40%).

의의 및 주장

본 논문은 OnlineCache가 캐시 기반 가속을 위한 원칙적이고 전역적으로 최적화된 패러다임을 구축한다고 주장합니다. 캐싱을 정적 규칙이 아닌 순차적 의사결정 문제로 다룸으로써, 프레임워크는 효율성과 충실도 사이의 트레이드오프를 효과적으로 조절합니다.

저자들은 다음과 같은 점을 강조합니다:

자원을 자동 할당하여 확산 프로세스의 본질적인 이질성을 해결합니다.
백본 확산 모델에 아키텍처 수정이 필요 없는 "플러그 앤 플레이" 솔루션입니다.
다양한 모달리티와 해상도에서 검증된 바와 같이, 기존 SOTA 방법들보다 더 우수한 **파레토 프런티어(Pareto frontier)**를 제공합니다.

이 연구는 향อน 가속 전략이 휴리스틱이나 정적 스케줄링을 넘어, 속도와 에러 교정 모두를 공동으로 최적화하는 적응형 인스턴스 인식 정책으로 나아가야 함을 시사합니다.

문제점: "일률적인 적용(One-Size-Fits-All)"의 함정

해결책: 배우는 스마트한 코치

실험 결과

이것이 왜 중요한가

기술 요약: OnlineCache

문제 정의

방법론

핵심 구성 요소

주요 기여

실험 결과

의의 및 주장

유사한 논문