🤖 AI

CachedSearch: Training-Free Cached Exploration for Test-Time Search in Video Diffusion

이 논문은 비디오 확산 모델의 테스트 시점 탐색을 가속화하기 위해 후보 롤아웃(rollout)을 공격적으로 캐싱하여 순위 충실도를 보존한 뒤, 오직 최상위 승자만을 전체 연산량으로 재생성함으로써 다양한 모델 아키텍처에 걸쳐 현저히 감소된 비용으로 최적에 가까운 성능 이득을 달성하는 훈련 불필요 방식인 CachedSearch를 소개한다.

원저자: Shreshth Saini, Neil Birkbeck, Yilin Wang, Balu Adsumilli, Alan C. Bovik

게시일 2026-07-31

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shreshth Saini, Neil Birkbeck, Yilin Wang, Balu Adsumilli, Alan C. Bovik

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 도서관에서 완벽한 노래 한 곡을 찾으려 한다고 상상해 보세요. 당신에게는 수천 곡의 노래를 몇 초 만에 스캔할 수 있을 만큼 매우 빠르지만, 약간은 덜렁대는 조수가 있습니다. 이 조수는 가사를 섞거나 박자를 놓치기도 합니다. 반면, 모든 음표를 완벽하게 듣지만 단 한 곡을 확인하는 데도 엄청난 시간이 걸리는 느리고 완벽주의적인 조수도 있습니다. 인공지능, 특히 "비디오 생성"의 세계에서 우리는 이와 비슷한 상황에 처해 있습니다. AI 모델은 텍스트 설명을 바탕으로 영상을 만들어낼 수 있지만, 단 하나의 고품질 영상을 만드는 것은 모든 곡을 일일이 확인하는 것과 같이 비용이 매우 많이 들고 느립니다. 최선의 결과를 얻기 위해 연구자들은 "테스트 시간 탐색(test-time search)"이라는 기술을 사용합니다. 즉, AI에게 여러 가지 다른 버전의 영상(후보들)을 만들라고 요청한 다음, 그중 가장 좋은 것을 골라내는 방식입니다. 문제는 그 많은 후보를 만드는 데 막대한 시간과 컴퓨팅 자원이 소모되며, 대부분은 결국 버려진다는 점입니다.

이 논문은 이 값비싼 문제를 해결하기 위한 영리한 새로운 전략인 CachedSearch를 소개합니다. 이것을 "초안 작성 및 완성" 시스템이라고 생각해 보세요. 연구팀은 완벽주의자 조수에게 모든 후보를 처음부터 다시 쓰라고 요청하는 대신, 빠르고 덜렁대는 조수를 사용하여 모든 옵션의 거친 초안을 빠르게 생성합니다. 이들은 한 단계에서 다음 단계로 작업의 일부를 재사용하여 속도를 높이는 특별한 "캐싱(caching)" 기술을 사용하여 초안 작성을 약 두 배 더 빠르게 만듭니다. 결정적으로, 연구진은 이 거친 초안들이 어떤 영상이 최고인지 판단하기에 충분히 괜찮은지를 테스트했습니다. 그 결과, 초안이 완벽하지는 않더라도 느리고 완벽한 버전이 순위를 매기는 방식과 거의 동일하게 후보들의 순위를 매긴다는 것을 발견했습니다. 따라서 이 전략은 다음과 같습니다. 빠른 초안을 사용하여 승자를 찾고, 그제서야 느린 완벽주의자 조수에게 그 단 하나의 승자 영상을 처음부터 완벽하게 만들라고 요청하는 것입니다.

결과는 인상적입니다. 이 "저렴하게 탐색하고, 확실할 때 집중하라(explore cheap, commit full)"는 접근 방식을 사용함으로써, 연구팀은 모든 옵션을 완벽하게 확인했을 때 얻을 수 있는 품질 향상의 약 **94.7%**를 유지하면서도, 시간은 **63%**만 소요한다는 것을 발견했습니다. 실제로, 완벽한 영상 4개를 확인하는 데 드는 것과 동일한 시간(예산)이 있다면, 이 방법은 8개의 거친 초안을 확인하고, 그중 최고를 찾아 완벽하게 만들어냄으로써 기존 방식보다 38% 더 나은 결과를 만들어냅니다. 이 논문은 이 방식이 13억 개의 파라미터를 가진 작은 모델부터 140억 개의 파라미터를 가진 거대한 모델에 이르기까지 다양한 AI 모델에서 작동함을 보여줍니다. 핵심적인 발견은, 빠른 초안에서 발생하는 "실수"는 대부분 영상들이 이미 너무 비슷해서 어떤 것을 골라도 큰 차이가 없는 경우에 발생한다는 점입니다. 이는 이 방법이 AI 모델을 다시 학습시킬 필요 없이 사용할 수 있는 안전한 방법이며, 비디오 생성의 마법을 잃지 않으면서도 훨씬 더 빠르고 저렴하게 만드는 플러그인 업그레이드처럼 작동한다는 것을 의미합니다.

기술 요약: CachedSearch - 비디오 확산 모델의 테스트 시점 탐색을 위한 학습 불필요 캐싱 기반 탐색

1. 문제 정의

비디오 확산 모델은 가장 계산 집약적인 생성 워크로드 중 하나입니다. 테스트 시점 탐색 전략(예: Best-of-N)은 검증기(verifier)를 통해 최고 점수의 출력을 선택하기 위해 여러 후보를 샘플링하는데, 이는 비용을 2~10배로 가중시킵니다. 표준 Best-of-N 방식에서는 대다수가 버려짐에도 불구하고 모든 후보를 전체 계산 비용으로 생성합니다.

개별 롤아웃(rollout)을 가속화하기 위해 디노이징 단계 전반에서 특징을 재사용하는 학습 불필료 캐싱 기술(2~3배의 속도 향상 제공)이 존재하지만, 이를 테스트 시점 탐색에 적용하는 연구는 아직 미개척 분야입니다. 핵심적인 장애물은 미묘합니다: 캐싱은 손실적(lossy)이라는 점입니다. 시드(seed)가 일치하는 비교에서는 픽셀 수준의 충실도를 보존할 수 있지만, 검증기 하에서 후보들의 상대적 순위를 보존할 수 있는지는 불분명합니다. 만약 캐싱이 후보의 순위를 뒤섞는다면, 탐색 과정이 잘못된 후보를 선택하게 되어 효율성 이득을 상쇄할 수 있습니다. 본 논문은 캐싱이 비디오 테스트 시점 탐색에서 후보의 순위를 왜곡하는지 문제를 제기하고, 캐싱을 안전하게 활용하는 방법을 제안합니다.

2. 방법론: CachedSearch

저자들은 탐색(exploration)과 전달(delivery)을 분리하는, 학습이 필요 없고 검증기에 무관한 프로토콜인 CachedSearch를 제안합니다. 이 방법은 픽셀 충실도는 다소 저하될 수 있으나, 후보들의 상대적 순위는 대개 유지된다는 원리에 기반합니다.

핵심 워크플로우

탐색 (저비용): 공격적인 캐싱을 사용하여 $N$ 개의 후보를 생성합니다. 래퍼(wrapper)가 트랜스포머 호출을 가로채고 누적된 입력 드리프트(input drift)가 임계값 $\tau$ 미만인 경우 계산을 건너뜁니다.
스코어링: 검증기(예: ImageReward)를 사용하여 모든 $N$ 개의 캐싱된 후보에 점수를 매깁니다.
선택: 가장 높은 점수를 받은 캐싱된 후보에 해당하는 시드를 식별합니다.
커밋 (전체 계산): 선택된 시드에 대해서만 전체 계산 비용(캐싱 없이)을 들여 재생성하여 최종 출력을 생성합니다.

기술적 구현

적응형 변환 벡터 캐싱 (Adaptive Transformation-Vector Caching): 이 방법은 EasyCache의 변형을 사용하여 Diffusion Transformer(DiT)를 래핑합니다. 원시 출력 대신 변환 벡터 $\Delta = v_\theta(x_{ref}) - x_{ref}$ 를 캐싱합니다.
스킵 규칙 (Skip Rule): 누적 드리프트 지표 $a$ 가 래턴트 입력의 상대적 변화를 추적합니다. 만약 $a \le \tau$ 이면, 트랜스포머 호출을 건너뛰고 근사치 $\hat{v}_\theta(x) = x + \Delta$ 를 사용합니다. $a > \tau$ 가 되면 트랜스포머를 평가하고 상태를 갱신합니다.
결정론적 특성: 과정은 고정된 $(c, s, \tau)$ 에 대해 결정론적이며, 이는 "커밋" 단계가 선택된 시드에 대해 정확히 동일한 전체 계산 샘플을 재현함을 보장합니다.
비용 모델: CachedSearch의 비용은 $N \cdot C_c + C_f$ 입니다. 여기서 $C_c$ 는 캐싱된 롤아웃 비용이고 $C_f$ 는 전체 비용입니다. 이는 $N > N^* = 1/(1-\gamma)$ (단, $\gamma = C_c/C_f$ )일 때, 표준 Best-of-N( $N \cdot C_f$ )보다 훨씬 저렴합니다.

3. 주요 기여

최초의 순위 보존 연구: 본 논문은 캐싱이 테스트 시점 탐색 하에서 후보의 순위를 보존하는지에 대한 최초의 경험적 연구를 제공합니다. 게이트 그리드(gate grid), VBench, VBench-2.0에서 시드 매칭 프로토콜을 통해 평가를 수행했습니다.
"탐색은 저렴하게, 커밋은 완전하게" 프로토콜: Full Best-of-8 대비 94.7%의 보상 이득을 유지하면서 실제 실행 시간(wall-clock time) 비용은 63%만 사용하여 구현되는 CachedSearch를 도입했습니다.
왜곡 분석: 순위 오류가 "자기 제한적(self-limiting)"임을 입증했습니다. 왜곡은 후보 간의 점수 차이가 거의 없는(낮은 점수 편차) 프롬프트에 집중됩니다. 이러한 경우, "잘못된" 후보를 선택하더라도 발생하는 후회(regret)가 최소화됩니다.
일반화 가능성: 1.3B에서 14B 파라미터에 이르는 6개의 모델과 4개의 아키텍처 패밀리(Wan, LTX, CogVideoX, Hunyuan)에 걸쳐 전이됨을 보여주며, 모델 패밀리당 단 하나의 파라미터( $\tau$ ) 재조정만을 필요로 합니다.
결합성: CachedSearch가 후보 프루닝(pruning) 방법과 곱셈적으로 결합되어 3.11배의 탐색 속도 향상을 달성함을 증명했습니다.

4. 실험 결과

평가는 주로 Wan2.1-T2V-1.3B를 대상으로 수행되었으며, 더 큰 모델 및 다양한 스위트에서 재현되었습니다.

순위 보존:
- VBench 스위트(946개 프롬프트)에서 캐싱된 점수와 전체 점수 사이의 중앙값 per-prompt Spearman 순위 상관계수( $\rho$ )는 0.905입니다.
- Top-1 일치도(동일한 최적 후보 선택)는 **72%**입니다.
- VBench-2.0(더 어려운 스위트)에서도 $\rho = 0.881$ 로 유사한 결과를 재현했습니다.
효율성 및 이득 포착:
- $N=8$ 일 때, CachedSearch는 Full Best-of-8의 보상 이득을 94.7% 포착하면서 비용은 **63%**만 소모합니다.
- 고정된 예산 하에서, 이는 탐색 범위를 두 배로 넓힐 수 있게 하여(예: 4개 후보 대신 8개), Full Best-of-4보다 38% 더 많은 보상을 제공합니다.
- 방법론은 폭(width)에 따라 확장됩니다: $N=16$ 일 때, 비용의 57%로 이득의 95.7%를 포착합니다.
후회(Regret) 분석:
- 평균 후회는 낮습니다 (VBench에서 0.056).
- 72%의 프롬프트에서 후회가 발생하지 않습니다 (zero regret).
- 오류는 주로 점수 편차가 낮은 시나리오에서 발생하며, 이 경우 올바른 선택의 가치 자체가 본질적으로 낮습니다.
모델 일반성:
- 이 방법은 1.3B~14B 규모에서 작동합니다. Wan2.1-14B는 1.3B 모델과 동일한 중앙값 $\rho$ (0.905)를 달성했습니다.
- 다른 계열의 모델(예: CogVideoX-5B)은 높은 포착률(>85%)을 유지하기 위해 $\tau$ 를 (예: 0.10에서 0.05로) 재조정해야 합니다.
대안과의 비교:
- "단계 축소(step truncation)"(디노이징 단계 감소)와 비교했을 때, 캐싱은 다른 분포를 샘플링하는 대신 동일한 궤적을 변형하기 때문에 훨씬 더 많은 탐색 가치를 보존합니다 (축소 시 72.6% 포착 vs 캐싱 시 90.1% 포착).
- 다양한 캐싱 엔진(PAB, CFG-Cache, TeaCache)과 호환되어 통합된 '포착 대 속도 향상' 경계를 형성합니다.

5. 의의 및 주장

본 논문은 CachedSearch가 비디오 확산 모델의 테스트 시점 스케일링을 위한 "플러그인 승수(plug-in multiplier)"라고 주장합니다. 그 의의는 다음과 같습니다:

충실도와 순위의 분리: 후보들이 픽셀 단위로 완벽할 필요는 없으며, 단지 그들의 상대적 순위에 대해 "정직"하기만 하면 된다는 것을 입증했습니다.
학습 없는 비용 절감: 모델 가중치를 미세 조정하거나 수정하지 않고도 근사 손실 없는 품질 유지와 상당한 비용 절감(프루닝과 결합 시 최대 3.11배)을 달 수 있습니다.
확장성: 이 접근 방식은 탐색 알고리즘 및 검증기와 독립적이므로, 모든 샘플링 후 랭킹 루프에 적용 가능합니다.
실질적 영향: 동일한 계산 예산 내에서 더 넓은 탐색 공간을 허용함으로써 작은 모델(예: 1.3B)이 더 큰 모델과 경쟁할 수 있게 하여, 고품질 비디오 생성을 민주화합니다.

저자들은 이 교훈이 캐싱을 넘어 확장된다고 결론짓습니다. 즉, 어떤 손실적 가속기라도 순위 및 후회 감사(ranking-plus-regret audit)를 통과할 수 있다면 탐색을 지원할 수 있으며, 이는 생성형 AI에서 가속기 간의 예산 할당에 대한 새로운 방향을 제시합니다.