Technische Samenvatting: CachedSearch - Training-vrije Cached Exploratie voor Test-tijd Zoekopdrachten in Video-diffusie

1. Probleemstelling

Video-diffusiemodellen vertegenwoordigen een van de meest rekenintensieve generatieve workloads. Test-tijd zoekstrategieën (bijv. Best-of-N), die meerdere kandidaten samplen om de hoogst scorende output via een verifier te selecteren, verergeren deze kosten met een factor 2–10×. In standaard Best-of-N wordt elke kandidaat gegenereerd tegen de volledige computationele kosten, ook al wordt de meerderheid verworpen.

Hoewel er training-vrije caching-technieken bestaan om individuele rollouts te versnellen door kenmerken te hergebruiken over denoising-stappen (wat 2–3× versnellingen oplevert), is hun toepassing op test-tijd zoeken nog niet onderzocht. De kernhindernis is subtiel: caching is verlieslatend (lossy). Hoewel het de pixel-getrouwheid in seed-gematchte vergelijkingen mogelijk behoudt, is het onduidelijk of het de relatieve ordening van kandidaten onder een verifier behoudt. Als caching de rangschikking van kandidaten verstoort, kan het zoekproces de verkeerde kandidaat selecteren, wat de efficiëntiewinst tenietdoet. Dit artikel onderzoekt of caching de rangschikking van kandidaten corrumpeert in video test-tijd zoekopdrachten en stelt een methode voor om caching veilig te benutten.

2. Methodologie: CachedSearch

De auteurs stellen CachedSearch voor, een training-vrij, verifier-agnostisch protocol dat exploratie ontkoppelt van levering. De methode werkt volgens het principe dat hoewel de pixel-getrouwheid onder caching licht kan degraderen, de relatieve rangschikking van kandidaten vaak intact blijft.

Kernworkflow

1. Exploratie (Goedkoop): Genereer $N$ kandidaten met agressieve caching. Een wrapper onderschept de transformer-aanroepen en slaat berekeningen over wanneer de geaccumuleerde input-drift onder een drempelwaarde $\tau$ ligt.
2. Scoring: Scoor alle $N$ gecachte kandidaten met een verifier (bijv. ImageReward).
3. Selectie: Identificeer de seed die overeenkomt met de hoogst scorende gecachte kandidaat.
4. Commit (Volledig): Regenereer alleen de winnende seed tegen de volledige computationele kosten (zonder caching) om de definitieve output te produceren.

Technische Implementatie

• Adaptieve Transformatie-Vector Caching: De methode omvat de Diffusion Transformer (DiT) met een variatie op EasyCache. In plaats van ruwe outputs te cachen, cacheert het de transformatievector $\Delta = v_\theta(x_{ref}) - x_{ref}$.
• Skip Rule: Een geaccumuleerde drift-indicator $a$ houdt de relatieve verandering in latente inputs bij. Als $a \le \tau$, wordt de transformer-aanroep overgeslagen en wordt de benadering $\hat{v}_\theta(x) = x + \Delta$ gebruikt. Zodra $a > \tau$, wordt de transformer geëvalueerd en wordt de staat ververst.
• Determinisme: Het proces is deterministisch voor vaste $(c, s, \tau)$, waardoor de "commit"-fase exact dezelfde volledige berekening reproduceert voor de geselecteerde seed.
• Kostenmodel: De kosten van CachedSearch zijn $N \cdot C_c + C_f$, waarbij $C_c$ de gecachte rollout-kosten zijn en $C_f$ de volledige kosten. Dit is aanzienlijk goedkoper dan volledige Best-of-N ($N \cdot C_f$) wanneer $N > N^* = 1/(1-\gamma)$, waarbij $\gamma = C_c/C_f$.

3. Belangrijkste Bijdragen

• Eerste Studie naar Behoud van Rangschikking: Het artikel biedt de eerste empirische studie naar de vraag of caching de rangschikking van kandidaten behoudt onder test-tijd zoeken. Het stelt een seed-gematcht protocol vast dat is geëvalueerd op de gate grid, VBench en VBench-2.0.
• Het "Explore-Cheap, Commit-Full" Protocol: Introduceert CachedSearch, dat 94,7% van de reward-winst van volledige Best-of-8 behoudt bij slechts 63% van de wandklok-kosten (wall-clock cost).
• Analyse van Corruptie: Toont aan dat fouten in de rangschikking "zelflimiterend" zijn. Corruptie concentreert zich op prompts waar kandidaten bijna gelijkwaardig zijn (lage score-spreiding). In deze gevallen leidt het selecteren van de "verkeerde" kandidaat tot minimale spijt (regret).
• Generaliseerbaarheid: Toont aan dat de methode werkt over zes modellen en vier architectuurfamilies (Wan, LTX, CogVideoX, Hunyuan) variërend van 1,3B tot 14B parameters, waarbij slechts één parameter ($\tau$) per familie opnieuw moet worden afgestemd.
• Componeerbaarheid: Bewijst dat CachedSearch multiplicatief stapelt met methoden voor kandidaat-pruning, wat een 3,11× versnelling in exploratie oplevert.

4. Experimentele Resultaten

De evaluatie werd primair uitgevoerd op Wan2.1-T2V-1.3B, met replicatie op grotere modellen en verschillende suites.

• Behoud van Rangschikking:
  • Op de VBench-suite (946 prompts) is de mediane per-prompt Spearman rangcorrelatie ($\rho$) tussen gecachte en volledige scores 0,905.
  • Top-1 overeenkomst (het selecteren van dezelfde beste kandidaat) is 72%.
  • VBench-2.0 (een moeilijkere suite) repliceert deze resultaten met $\rho = 0,881$.
• Efficiëntie en Winstbehoud:
  • Bij $N=8$ vangt CachedSearch 94,7% van de reward-winst van volledige Best-of-8 tegen 63% van de kosten.
  • Onder een vast budget maakt het zoeken twee keer zo breed mogelijk (bijv. 8 kandidaten versus 4), wat 38% meer reward oplevert dan volledige Best-of-4.
  • De methode schaalt met de breedte: bij $N=16$ vangt het 95,7% van de winst tegen 57% van de kosten.
• Regret Analyse:
  • De gemiddelde spijt (mean regret) is laag (0,056 op VBench), met een mediaan van 0.
  • 72% van de prompts ervaart nul spijt.
  • Fouten treden voornamelijk op in scenario's met een lage spreiding, waarbij de waarde van de juiste selectie inherent laag is.
• Model Generaliteit:
  • De methode werkt over de 1,3B–14B schaal. Wan2.1-14B bereikt dezelfde mediane $\rho$ (0,905) als het 1,3B model.
  • Modellen uit andere families (bijv. CogVideoX-5B) vereisen het herkalibreren van $\tau$ (bijv. van 0,10 naar 0,05) om hoge capture-percentages (>85%) te behouden.
• Vergelijking met Alternatieven:
  • Vergeleken met "step truncation" (het verminderen van denoising-stappen), behoudt caching aanzienlijk meer zoekwaarde (90,1% capture versus 72,6% voor truncatie) omdat het hetzelfde traject verstoort in plaats van een ander distributie te samplen.
  • Het is compatibel met diverse caching-engines (PAB, CFG-Cache, TeaCache), wat vormt tot een verenigd front van capture-versus-versnelling.

5. Betekenis en Claims

Het artikel claimt dat CachedSearch een "plug-in multiplier" is voor test-tijd schaling in video-diffusie. De betekenis ligt in:

1. Ontkoppeling van Getrouwheid en Rangschikking: Het demonstreert dat kandidaten voor zoekdoeleinden niet pixel-perfect hoeven te zijn; ze hoeven alleen maar "eerlijk" te zijn over hun relatieve ordening.
2. Kostenreductie zonder Training: Het bereikt bijna verliesvrije kwaliteitsbehoud en significante kostenreductie (tot 3,11× wanneer gecombineerd met pruning) zonder finetuning of het wijzigen van modelgewichten.
3. Schaalbaarheid: De aanpak is orthogonaal aan het zoekalgoritme en de verifier, waardoor het toepasbaar is op elke sample-dan-rank loop.
4. Praktische Impact: Het stelt kleinere modellen (bijv. 1,3B) in staat om grotere modellen te evenaren door een bredere zoekruimte mogelijk te maken binnen hetzelfde computationele budget, wat de hoogwaardige videogeneratie democratiseert.

De auteurs concluderen dat de les verder gaat dan caching: elke verlieslatende accelerator kan exploratie ondersteunen als deze een ranking-plus-regret audit doorstaat, wat suggereert dat er een nieuwe richting is voor het alloceren van budgetten over accelerators in generatieve AI.