🤖 machine learning

OTCache: Optimal Transport for Geometry-Aware Caching in Diffusion Models

OTCach is een training-vrij framework dat de sampling van diffusiemodellen versnelt door caching-schema's te modelleren als een vloeiende evolutie in de beleidsruimte met behulp van Optimal Transport, waarbij significante versnellingen en verbeterde getrouwheid worden bereikt over diverse modellen door te interpoleren tussen een hoogwaardig referentieschema en een geoptimaliseerd laag-budget anker.

Oorspronkelijke auteurs: Huanlin Gao, Fang Zhao, Qiang Hui, Fuyuan Shi, Shaoan Zhao, Yantao Li, Chao Tan, Ting Lu, Yuren You, Kai Wang, Shiguo Lian

Gepubliceerd 2026-07-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Huanlin Gao, Fang Zhao, Qiang Hui, Fuyuan Shi, Shaoan Zhao, Yantao Li, Chao Tan, Ting Lu, Yuren You, Kai Wang, Shiguo Lian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een meesterwerk te schilderen, maar je mag slechts een zeer beperkt aantal penseelstreken gebruiken. Als je probeert de hele afbeelding in slechts een paar streken te schilderen, mis je misschien belangrijke details of kloppen de kleuren niet. Dit is de uitdaging waar moderne AI beeld- en videogeneratoren voor staan: ze hebben meestal honderden "penseelstreken" (genoemd "stappen") nodig om een kwalitatief hoogwaardige afbeelding te creëren, wat veel tijd kost en veel computerkracht verbruikt.

Om dit te versnellen, hebben onderzoekers een truc geprobeerd genaamd caching. Denk hierbij aan een schilder die, in plaats van voor elke enkele streek nieuwe verf te mengen, de emmer verf die hij een moment geleden heeft gemengd, hergebruikt. Als de scène niet veel veranderd is, bespaart het hergebruik van de oude verf tijd.

De oude manier om te beslissen wanneer verf te hergebruiken (het "caching-schema") had echter een grote tekortkoming. Het ging ervan uit dat elke beslissing om verf te hergebruiken onafhankelijk was van de andere. Het was als een GPS die de kortste route berekent door de afstand van elk klein wegsegment bij elkaar op te tellen, zonder rekening te houden met het feit dat het nemen van een kortere route vroeg in de rit je in een verschrikkelijke file kan doen belanden. In het "low-stroke" regime (waarbij je probeert extreem snel te zijn), faalt deze oude methode, wat leidt tot wazige of vervormde afbeeldingen.

Ontmoet OTCache: De "Slimme Navigator"

De auteurs van dit paper stellen een nieuw systeem voor genaamd OTCache. In plaats van elke beslissing als een geïsoleerd wiskundig probleem te behandien, beschouwen zij het hele schilderproces als een vloeiende, stromende reis. Ze gebruiken een wiskundig concept genaamd Optimal Transport, wat je kunt zien als een "smoothie-blender" voor strategieën.

Zo werkt OTCache in drie eenvoudige stappen:

De Veilige Kaart (Referentie): Eerst kijkt het systeem naar een "veilige" scenario waarin het voldoende tijd heeft (een hoog aantal stappen). Het gebruikt een standaard, betrouwbare methode om te bepalen wat de beste manier is om in deze comfortabele omgeving te schilderen. Dit geeft hen een hoogwaardige "kaart" van hoe de schildering zich zou moeten ontwikkelen.
De Extreme Test (Anker): Vervolgens kijken ze naar het tegenovergestelde extreme: een scenario waarin ze bijna geen tijd hebben (zeer weinig stappen). Hier faalt de oude "afstand-optellen"-methode. Daarom gebruikt OTCache een slimme, lichtgewicht zoektool om de absolute beste manier te vinden om in deze haast te schilderen, zelfs als het de oude regels moet breken. Dit wordt hun "ankerpunt" voor de extreme snelheid.
De Vloeiende Mix (Interpolatie): Stel je nu voor dat je wilt schilderen met een snelheid tussen de veilige kaart en de extreme test. In plaats van te gokken, neemt OTCache de "Veilige Kaart" en de "Extreme Test" en mengt deze vloeiend samen. Het behandelt het schilderingschema als een flexibele rubberen band, die wordt uitgerekt en vervormd om aan de exacte benodigde snelheid te voldoen. Omdat de "Veilige Kaart" en de "Extreme Test" verbonden zijn door een vloeiende wiskundige curve, werken de tussenliggende snelheden ook perfect.

De Resultaten

Het paper testte dit op drie krachtige AI-modellen (FLUX.1, Qwen-Image en HunyuanVideo). De resultaten waren indrukwekkend:

Snelheid: OTCache maakte de AI 3,6 tot 4,7 keer sneller dan voorheen.
Kwaliteit: In tegen tegenstelling tot andere snelle methoden die de afbeeldingen vreemd of vervormd maakten (zoals een geit met extra poten of een giraffe die de verkeerde kant op kijkt), hield OTCache de afbeeldingen scherp en trouw aan de oorspronkelijke beschrijving.
Betrouwbaarheid: Het loste het probleem op waarbij andere methoden volledig zouden falen wanneer ze gevraagd werden om te snel te gaan.

In een Notendop

Beschouw OTCach als een slimme reisplanner. Oude planners zouden zeggen: "Neem de snelste weg voor de eerste mijl, neem daarna de snelste weg voor de tweede mijl," zonder te beseffen dat de eerste weg tot een doodlopende weg kan leiden. OTCache kijkt naar de hele reis van begin tot eind, begrijpt hoe de reis verandert naarmate je sneller gaat, en creëert een vloeiend, geoptimaliseerd pad dat je op je bestemming (de perfecte afbeelding) krijgt zonder crashen. Het is een "training-free" oplossing, wat betekent dat het niet opnieuw hoeft te leren hoe het moet schilderen; het leert simpelweg hoe het sneller kan schilderen door slimmer te zijn over wanneer het zijn gereedschap hergebruikt.

Technische Samenvatting: OTCache

Probleemstelling

Diffusiemodellen, met name die gebaseerd op Flow Matching (FM) en Rectified Flow, hebben state-of-the-art resultaten bereikt in beeld- en videogeneratie. De praktische inzetbaarheid ervan in scenario's met beperkte middelen of interactieve toepassingen wordt echter gehinderd door de enorme computationele overhead en het geheugengebruik die gepaard gaan met iteratieve denoising-processen.

Hoewel training-vrije caching-strategieën zijn ontstaan om de inferentie te versnellen door middel van het hergebruik van tussenliggende features, kampen bestaande graafgebaseerde methoden (bijv. MeanCache, LeMiCa) met significante beperkingen in low-NFE (Number of Function Evaluations) regimes. Deze methoden formuleren cache-scheduling doorgaans als een geconstreind kortste-padprobleem op een gerichte graaf, waarbij ze vertrouwen op een additieve onafhankelijkheidsveronderstelling. Deze veronderstelling stelt dat de end-to-end degradatie van een schema benaderd kan worden door de som van onafhankelijke lokale randfouten. De auteurs stellen dat deze surrogaatvorm faalt onder extreme versnelling (lage NFE), waarbij grote integratiestappen ervoor zorgen dat eerdere caching-beslissingen niet-lineair interageren met daaropvolgende stappen, wat leidt tot substantiële verlies van getrouwheid (fidelity) die graafgebaseerde optimalisaties niet kunnen herstellen. Bovendien behandelen bestaande benaderingen elk budget onafhankelijk, waarbij de structurele regelmatigheden en de vloeiende evolutie van optimale schema's over verschillende inferentie-budgetten heen worden genegeerd.

Methodologie: OTCache

Om deze beperkingen aan te pakken, stellen de auteurs OTCache voor, een training-vrij framework dat cache-scheduling modelleert als een vloeiende evolutie in de policy-ruimte, geïnspireerd door Optimal Transport (OT). Het framework werkt in drie afzonderlijke stadia:

Stadium 1: Referentie Policy Verwerving (High-Budget)
Onder een conservatieve, high-budget setting (bijv. $B_{ref} = 20$ ), wordt een standaard graafgebaseerde caching-methode (geïnstantieerd als MeanCache) gebruikt om een hoogwaardig referentie-schema ( $\pi_{ref}$ ) te genereren. In dit regime blijft de additieve kortste-pad-surrogaat betrouwbaar en biedt het een robuuste structurele prior voor de onderliggende ODE-trajectorie.
Stadium 2: Anchor Policy Zoektocht (Low-Budget)
In het extreme low-budget regime (bijv. $B_{anc} = 8$ ), waar graafgebaseerde surrogaten falen, voert OTCache een lichtgewicht black-box zoektocht uit om een bijna-optimale anchor-schedule ( $\pi_{anc}$ ) te vinden.
- Doel: In plaats van lokale randfouten te minimaliseren, minimaliseert de zoektocht direct een end-to-end perceptuele doelstelling (LPIPS) tussen de gecachte output en de full-budget grondwaarheid.
- Optimalisatie: De zoektocht maakt gebruik van Optuna met CMA-ES, geïnitialiseerd met een warm start vanuit het MeanCache-schema. De optimalisatie vindt plaats in een "gap" (eerste-orde verschil) ruimte om monotoniciteit te behouden en de conditionering van het zoeklandschap te verbeteren.
Stadium 3: Optimal Path Voorspelling (Target Budget)
Om schema's te voorspellen voor willekeurige target-budgetten ( $B \in [B_{anc}, B_{ref}]$ ), modelleert OTCache de transitie tussen de anchor- en referentie-policies als een vloeiende traject in de ruimte van waarschijnlijkheidsmaten.
- Continue Representatie: Discrete schema's worden opgehoogd naar continue, strikt monotone time-warping curves met behulp van Piecewise Cubic Hermite Interpolating Polynomials (PCHIP).
- Quantile Interpolatie: De target-schedule wordt gegenereerd via Wasserstein geodesic interpolatie (lineaire interpolatie van quantile functies) tussen de anchor- en referentie-curves.
- Gewogen Geodeet: De interpolatiegewichten worden bepaald door twee priors: Locality (afstand tot het target-budget) en Confidence (vertrouwen in de high-budget referentie).
- Conserveerde Realisatie: De continue geodeet wordt gediscretiseerd terug naar een schema met behulp van power-law warping ( $\rho \ge 1.0$ ) om de NFE-dichtheid te concentreren naar de vroege stadia van de reverse ODE, waar de volatiliteit van het vectorveld het hoogst is.

Belangrijkste Bijdragen

Heroverweging van Cache Scheduling: De auteurs identificeren twee fundamentele gebreken in bestaande graafgebaseerde schedulers: (i) de mismatch van additieve kortste-pad-surrogaten onder niet-lineaire foutpropagatie in low-NFE regimes, en (ii) het falen om structurele relaties over verschillende budgetten heen te benutten.
Budget-geconditioneerde Schema Evolutie: OTCache introduceert een driestadia-framework dat cache-schema's behandelt als waarschijnlijkheidsmaten. Door hun evolutie te modelleren als een vloeiende traject in de policy-ruimte, maakt de methode gebruik van de geometrie van Optimal Transport om te interpoleren tussen betrouwbare eindpunten, waardoor de valkuilen van onafhankelijke budget-optimalisatie worden vermeden.
Training-vrije Versnelling: Het framework vereist geen hertraining van het diffusiemodel, waardoor het direct toepasbaar is op bestaande architecturen.

Experimentele Resultaten

De auteurs hebben OTCache geëvalueerd op drie state-of-the-art generatieve modellen: FLUX.1 [dev], Qwen-Image, en HunyuanVideo.

FLUX.1 [dev]: Bij een 4.50× versnelling (10 stappen) bereikte OTCache een LPIPS van 0.254 en een ImageReward van 0.996. Dit presteerde aanzienlijk beter dan MeanCache (LPIPS 0.272) en andere baselines, die bij vergelijkbare snelheden kampten met inhoudelijke inconsistenties en objectvervormingen.
Qwen-Image: OTCache bereikte een 4.70× versnelling (10 stappen) met een LPIPS van 0.171, wat een superieure structurele getrouwheid (SSIM 0.864, PSNR 21.48) demonstreerde vergeleken met MeanCache en LeMiCa, die merkbare verschuivingen in inhoud en herpositionering van objecten vertoonden.
HunyuanVideo: Voor text-to-video generatie behaalde OTCache een 3.66× versnelling met een VBench-score van 80.37% en een LPIPS van 0.252, waarmee het MeanCache (3.59×) versloeg en temporele artefacten voorkwam die zichtbaar waren bij methoden zoals DiCache en TeaCache.

Ablatie-studies:

Inhoudelijke Consistentie: OTCache behield zeldzame semantische details en structurele details (bijv. specifieke objecten in een scène) bij hoge versnellingsratio's waar MeanCache inhoudelijke drift vertoonde.
Parameter $\rho$ : Een niet-lineaire allocatie van NFE-dichtheid ( $\rho = 1.3$ ) bleek optimaal om de stabiliteit in de vroege fase te balanceren met verfijning in de latere fase.
Efficiëntie van de Zoektocht: De anchor-zoektocht in Stadium 2 bleek zeer efficiënt, waarbij het mediaan aantal pogingen om de Top-1 optimum te vinden ongeveer 50 was.

Betekenis en Claims

Het artikel claimt dat OTCache een nieuw perspectief biedt op het versnellen van diffusiemodellen door de verschuiving van discrete, onafhankelijke kortste-pad-optimalisatie naar geometrie-bewuste schema-modellering. Door de evolutie van caching-policies over budgetten heen te interpreteren als een vloeiende traject in de policy-ruimte en Optimal Transport te gebruiken voor interpolatie, herstelt OTCache de verliezen in getrouwheid die traditionele graafgebaseerde methoden niet kunnen adresseren in low-NFE regimes. Het werk demonstreert dat het mogelijk is om substantiële versnelling (tot 4.7×) te bereiken terwijl de generatie-getrouwheid gelijk blijft of zelfs wordt verbeterd ten opzichte van state-of-the-art baselines, alles zonder de noodzaak van modelhertraining.