🤖 machine learning

OTCache: Optimal Transport for Geometry-Aware Caching in Diffusion Models

OTCache est un cadre de travail sans entraînement qui accélère l'échantillonnage des modèles de diffusion en modélisant les programmes de mise en cache comme une évolution fluide dans l'espace des politiques à l'aide du transport optimal, atteignant des accélérations significatives et une fidélité améliorée à travers divers modèles en interpolant entre un programme de référence de haute fidélité et une ancre à faible budget optimisée.

Auteurs originaux : Huanlin Gao, Fang Zhao, Qiang Hui, Fuyuan Shi, Shaoan Zhao, Yantao Li, Chao Tan, Ting Lu, Yuren You, Kai Wang, Shiguo Lian

Publié 2026-07-01

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Huanlin Gao, Fang Zhao, Qiang Hui, Fuyuan Shi, Shaoan Zhao, Yantao Li, Chao Tan, Ting Lu, Yuren You, Kai Wang, Shiguo Lian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de peindre un chef-d'œuvre, mais que vous n'avez le droit d'utiliser qu'un nombre très limité de coups de pinceau. Si vous essayez de peindre tout le tableau en seulement quelques traits, vous risquez de manquer des détails importants ou de rendre les couleurs incorrectes. C'est le défi auquel sont confrontés les générateurs d'images et de vidéos par IA modernes : ils ont généralement besoin de centaines de « coups de pinceau » (appelés étapes) pour créer une image de haute qualité, ce qui prend beaucoup de temps et utilise beaucoup de puissance informatique.

Pour accélérer le processus, des chercheurs ont tenté une astuce appelée le cache (caching). Pensez à cela comme à un peintre qui, au lieu de mélanger de la nouvelle peinture pour chaque coup de pinceau, réutilise un seau de peinture qu'il a mélangé un instant plus tôt. Si la scène n'a pas beaucoup changé, réutiliser l'ancienne peinture permet de gagner du temps.

Cependant, l'ancienne façon de décider quand réutiliser la peinture (le « calendrier de mise en cache ») présentait un défaut majeur. Elle supposait que chaque décision de réutiliser la peinture était indépendante des autres. C'était comme un GPS qui calcule le chemin le plus court en additionnant la distance de chaque petit segment de route, ignorant le fait que prendre un raccourci tôt pourrait vous entraîner dans un terrible embouteillage plus tard. Dans le régime de « faible nombre de coups » (lorsque vous essayez d'être extrêmement rapide), cette ancienne méthode échoue, ceما entraînant des images floues ou déformées.

Entrez en scène, OTCache : Le « Navigateur Intelligent »

Les auteurs de cet article proposent un nouveau système appelé OTCache. Au lieu de traiter chaque décision comme un problème mathématique isolé, ils considèrent l'ensemble du processus de peinture comme un voyage fluide et continu. Ils utilisent un concept mathématique appelé Transport Optimal, que vous pouvez considérer comme un « mixeur à smoothies » pour les stratégies.

Voici comment fonctionne OTCache en trois étapes simples :

La Carte Sécurisée (Référence) : D'abord, le système examine un scénario « sûr » où il dispose de beaucoup de temps (un grand nombre d'étapes). Il utilise une méthode standard et fiable pour déterminer la meilleure façon de peindre dans ce cadre confortable. Cela leur donne une « carte » de haute qualité de la façon dont la peinture devrait évoluer.
Le Test Extrême (Ancre) : Ensuite, ils regardent l'extrême opposé : un scénario où ils ont presque aucun temps (très peu d'étapes). Ici, l'ancienne méthode de « l'addition des distances » échoue. Ainsi, OTCache utilise un outil de recherche léger et intelligent pour trouver la meilleure façon absolue de peindre dans cette précipitation, même s'il doit briser les anciennes règles. Cela devient leur point d'ancrage pour la vitesse extrême.
Le Mélange Fluide (Interpolation) : Maintenant, imaginez que vous vouliez peindre à une vitesse située entre la carte sécurisée et le test extrême. Au lieu de deviner, OTCache prend la « Carte Sécurisée » et le « Test Extrême » et les mélange ensemble de manière fluide. Ils traitent le calendrier de peinture comme un élastique flexible, l'étirant et le déformant pour s'adapter exactement à la vitesse dont vous avez besoin. Parce que la « Carte Sécurisée » et le « Test Extrême » sont connectés par une courbe mathématique fluide, les vitesses intermédiaires fonctionnent parfaitement aussi.

Les Résultats

L'article a testé cela sur trois modèles d'IA puissants (FLUX.1, Qwen-Image et HunyuanVideo). Les résultats sont impressionnants :

Vitesse : OTCache a rendu l'IA 3,6 à 4,7 fois plus rapide qu'auparavant.
Qualité : Contrairement aux autres méthodes rapides qui rendaient les images bizarres ou déformées (comme une chèvre avec des pattes supplémentaires ou une girafe faisant face à la mauvaise direction), OTCache a maintenu les images nettes et fidèles à la description originale.
Fiabilité : Il a résolu le problème où d'autres méthodes échouaient complètement lorsqu'on leur demandait d'aller trop vite.

En bref

Considérez OTCache comme un planificateur de voyage intelligent. Les anciens planificateurs vous diraient : « Prenez la route la plus rapide pour le premier kilomètre, puis la plus rapide pour le deuxième kilomètre », sans réaliser que la première route pourrait mener à une impasse. OTCache regarde l'ensemble du voyage du début à la fin, comprend comment le voyage change à mesure que vous accélérez, et crée un chemin optimisé et fluide qui vous mène à votre destination (l'image parfaite) rapidement sans accident. C'est une solution « sans réapprentissage » (training-free), ce qui signifie qu'elle n'a pas besoin de réapprendre à peindre ; elle apprend simplement à peindre plus vite en étant plus intelligente sur le moment où elle réutilise ses outils.

Résumé Technique : OTCache

Énoncé du Problème

Les modèles de diffusion, particulièrement ceux basés sur le Flow Matching (FM) et le Rectified Flow, ont atteint des résultats de pointe dans la synthèse d'images et de vidéos. Cependant, leur déploiement pratique dans des scénarios à ressources limitées ou interactifs est entravé par l'énorme surcharge de calcul et l'empreinte mémoire associés aux processus de débruitage itératifs.

Bien que des stratégies de mise en cache sans réentraînement soient apparues pour accélérer l'inférence en réutilisant les caractéristiques intermédiaires, les méthodes existantes basées sur les graphes (par exemple, MeanCache, LeMiCa) font face à des limitations significatives dans les régimes à faible NFE (Nombre d'Évaluations de Fonction). Ces méthodes formulent généralement l'ordonnancement du cache comme un problème de plus court chemin dirigé sur un graphe, s'appuyant sur une hypothèse d'indépendance additive. Cette hypothèse postule que la dégradation de bout en bout d'un ordonnancement peut être approximée par la somme des erreurs locales indépendantes. Les auteurs soutiennent que ce substitut s'effondre sous une accélération extrême (faible NFE), où les grands pas d'intégration provoquent des interactions non linéaires avec les étapes suivantes, entraînant des pertes de fidélité substantielles que les optimiseurs basés sur les graphes ne parviennent pas à récupérer. De plus, les approches existantes traitent chaque budget de manière indépendante, ignorant les régularités structurelles et l'évolution fluide des ordonnancements optimaux à travers différents budgets.

Méthodologie : OTCache

Pour répondre à ces limitations, les auteurs proposent OTCache, un cadre sans réentraînement qui modélise l'ordonnancement du cache comme une évolution fluide dans l'espace des politiques, inspiré par le Transport Optimal (OT). Le cadre opère en trois étapes distinctes :

Étape 1 : Acquisition de la Politique de Référence (Haut Budget)
Sous un réglage conservateur à haut budget (par exemple, $B_{ref} = 20$ ), une méthode de mise en cache standard basée sur les graphes (instanciée par MeanCache) est utilisée pour générer un ordonnancement de référence de haute fidélité ( $\pi_{ref}$ ). Dans ce régime, le substitut du plus court chemin additif reste fiable, fournissant un a priori structurel robuste pour la trajectoire de l'ODE sous-jacente.
Étape 2 : Recherche de la Politique Ancre (Bas Budget)
Dans le régime extrême à bas budget (par exemple, $B_{anc} = 8$ ), où les substituts basés sur les graphes échouent, OTCache effectue une recherche boîte noire légère pour trouver un ordonnancement ancre quasi optimal ( $\pi_{anc}$ ).
- Objectif : Au lieu de minimiser les erreurs d'arêtes locales, la recherche minimise directement un objectif perceptuel de bout en bout (LPIPS) entre la sortie mise en cache et la vérité terrain à budget complet.
- Optimisation : La recherche utilise Optuna avec CMA-ES, initialisée par un démarrage à chaud (warm start) à partir de l'ordonnancement MeanCache. L'optimisation se déroule dans un espace d'écart (différence de premier ordre) pour préserver la monotonicité et améliorer le conditionnement du paysage de recherche.
Étape 3 : Prédiction de l'Ordonnancement (Budget Cible)
Pour prédire les ordonnancements pour des budgets cibles arbitraires ( $B \in [B_{anc}, B_{ref}]$ ), OTCache modélise la transition entre les politiques ancres et de référence comme une trajectoire fluide dans l'espace des mesures de probabilité.
- Représentation Continue : Les ordonnancements discrets sont élevés en courbes de déformation temporelle continues et strictement monotones à l'aide de polynômes d'interpolation de Hermite cubique par morceaux (PCHIP).
- Interpolation par Quantiles : L'ordonnancement cible est généré via une interpolation géodésique de Wasserstein (interpolation linéaire des fonctions de quantile) entre les courbes ancre et de référence.
- Géodésique Pondérée : Les poids d'interpolation sont déterminés par deux a priori : la Localité (distance au budget cible) et la Confiance (fiabilité de la référence à haut budget).
- Réalisation Conservatrice : La géodésique continue est discrétisée à nouveau en un ordonnancement en utilisant un déformage en loi de puissance ( $\rho \ge 1.0$ ) pour favoriser la densité de NFE vers les premières étapes de l'ODE inverse, là où la volatilité du champ de vecteurs est la plus élevée.

Principales Contributions

Repenser l'Ordonnancement du Cache : Les auteurs identent deux défauts fondamentaux des ordonnanceurs basés sur les graphes : (i) le désalignement des substituts de plus court chemin additifs sous l'effet de la propagation non linéaire des erreurs dans les régimes à faible NFE, et (ii) l'incapacité à exploiter les relations structurelles entre différents budgets.
Évolution de l'Ordonnancement Conditionnée par le Budget : OTCache introduit un cadre en trois étapes qui traite les ordonnancements de cache comme des mesures de probabilité. En modélisant leur évolution comme une trajectoire fluide dans l'espace des politiques, la méthode exploite la géométrie du transport optimal pour interpoler entre des points terminaux fiables, évitant ainsi les pièges de l'optimisation de budget indépendante.
Accélération sans Réentraînement : Le cadre ne nécessite aucun réentraînement du modèle de diffusion, ce qui le rend immédiatement applicable aux architectures existantes.

Résultats Expérimentaux

Les auteurs ont évalué OTCache sur trois modèles génératifs de pointe : FLUX.1 [dev], Qwen-Image, et HunyuanVideo.

FLUX.1 [dev] : Avec une accélération de 4,50× (10 étapes), OTCache a obtenu un LPIPS de 0,254 et un ImageReward de 0,996. Cela a nettement surpassé MeanCache (LPIPS 0,272) et les autres bases de référence, qui souffraient d'incohérences de contenu et de distorsions d'objets à des vitesses similaires.
Qwen-Image : OTCache a atteint une accélération de 4,70× (10 étapes) avec un LPIPS de 0,171, démontrant une fidélité structurelle supérieure (SSIM 0,864, PSNR 21,48) par rapport à MeanCache et LeMiCa, qui présentaient des changements de contenu et des repositionnements d'objets notables.
HunyuanVideo : Pour la génération de texte-vers-vidéo, OTCache a atteint une accélération de 3,66× avec un score VBench de 80,37 % et un LPIPS de 0,252, surpassant MeanCache (3,59×) et évitant les artefacts temporels observés avec des méthodes comme DiCache et TeaCache.

Études d'Ablation :

Cohérence du Contenu : OTCache a maintenu la sémantique des mots rares et les détails structurels (par exemple, des objets spécifiques dans une scène) à des taux d'accélération élevés où MeanCache présentait une dérive de contenu.
Paramètre $\rho$ : Une allocation non linéaire de la densité de NFE ( $\rho = 1,3$ ) s'est avérée optimale, équilibrant la stabilité des premières étapes et le raffinement des étapes ultérieures.
Efficacité de la Recherche : La recherche de l'ancre en Étape 2 s'est révélée très efficace, le nombre médian d'essais requis pour trouver l'optimum Top-1 étant d'environ 50.

Signification et Revendications

L'article affirme qu'OTCache apporte une nouvelle perspective sur l'accélération des modèles de diffusion en passant d'une optimisation de plus court chemin discrète et indépendante à une modélisation d'ordonnancement consciente de la géométrie. En interprétant l'évolution des politiques de mise en cache à travers les budgets comme une trajectoire fluide dans l'espace des politiques et en utilisant le transport optimal pour l'interpolation, OTCache récupère les pertes de fidélité que les méthodes traditionnelles basées sur les graphes ne peuvent traiter dans les régimes à faible NFE. Le travail démontre qu'il est possible d'obtenir une accélération substantielle (jusqu'à 4,7×) tout en maintenant, voire en améliorant, la fidélité de génération par rapport aux bases de référence de pointe, le tout sans nécessiter de réentraînement du modèle.