Resumen Técnico: OTCache

Planteamiento del Problema

Los modelos de difusión, particularmente aquellos basados en el Ajuste de Flujo (Flow Matching - FM) y el Flujo Rectificado (Rectified Flow), han logrado resultados de vanguardia en la síntesis de imágenes y video. Sin embargo, su despliegue práctico en escenarios con recursos limitados o interactivos se ve obstaculizado por la enorme sobrecarga computacional y las huellas de memoria asociadas con los procesos iterativos de eliminación de ruido.

Aunque han surgido estrategias de almacenamiento en caché sin entrenamiento para acelerar la inferencia mediante la reutilización de características intermedias, los métodos basados en grafos existentes (por ejemplo, MeanCache, LeMiCa) enfrentan limitaciones significativas en regímenes de bajo NFE (Número de Evaluaciones de Función). Estos métodos típicamente formulan la programación de la caché como un problema de camino más corto restringido en un grafo dirigido, apoyándose en un supuesto de independencia aditiva. Este supuesto postula que la degradación de extremo a extremo de una programación puede aproximarse sumando errores locales independientes de las aristas. Los autores argumentan que este sustituto falla bajo una aceleración extrema (bajo NFE), donde los grandes pasos de integración causan que las decisiones de almacenamiento en caché tempranas interactúen de forma no lineal con los pasos posteriores, lo que conduce a pérdidas sustanciales de fidelidad que los optimizadores basados en grafos no logran recuperar. Además, los enfoques existentes tratan cada presupuesto de forma independiente, ignorando las regularidades estructurales y la evolución suave de las programaciones óptimas a través de diferentes presupuestos de inferencia.

Metodología: OTCache

Para abordar estas limitaciones, los autores proponen OTCache, un marco de trabajo sin entrenamiento que modela la programación de la caché como una evolución suave en el espacio de políticas, inspirado en el Transporte Óptimo (OT). El marco opera en tres etapas distintas:

1. Etapa 1: Adquisición de la Política de Referencia (Presupuesto Alto)
   Bajo un entorno conservador de presupuesto alto (por ejemplo, $B_{ref} = 20$), se utiliza un método de almacenamiento en caché basado en grafos estándar (instanciado como MeanCache) para generar una programación de referencia de alta fidelidad ($\pi_{ref}$). En este régimen, el sustituto de camino más corto aditivo sigue siendo confiable, proporcionando un prior estructural robusto para la trayectoria subyacente de la ODE.

2. Etapa 2: Búsqueda de la Política Ancla (Presupuesto Bajo)
   En el régimen extremo de bajo presupuesto (por ejemplo, $B_{anc} = 8$), donde los sustitutos basados en grafos fallan, OTCache realiza una búsqueda de caja negra ligera para encontrar una programación ancla cercana a la óptima ($\pi_{anc}$).

   • Objetivo: En lugar de minimizar los errores locales de las aristas, la búsqueda minimiza directamente un objetivo perceptual de extremo a extremo (LPIPS) entre la salida almacenada en caché y la verdad de terreno de presupuesto completo.
   • Optimización: La búsqueda utiliza Optuna con CMA-ES, inicializada con un arranque en caliente (warm start) desde la programación de MeanCache. La optimización ocurre en un espacio de "brecha" (diferencia de primer orden) para preservar la monotonicidad y mejorar el acondicionamiento del paisaje de búsqueda.

3. Etapa 3: Predicción de la Ruta Óptima (Presupuesto Objetivo)
   Para predecir las programaciones para presupuestos objetivos arbitrarios ($B \in [B_{anc}, B_{ref}]$), OTCache modela la transición entre las políticas ancla y de referencia como una trayectoria suave en el espacio de medidas de probabilidad.

   • Representación Continua: Las programaciones discretas se elevan a curvas de deformación temporal estrictamente monótonas y continuas utilizando Polinomios de Interpolación de Hermite Cúbica por Tramos (PCHIP).
   • Interpolación de Cuantiles: La programación objetivo se genera mediante una interpolación de geodésica de Wasserstein (interpolación lineal de funciones de cuantiles) entre las curvas ancla y de referencia.
   • Geodésica Ponderada: Los pesos de interpolación se determinan por dos priors: Localidad (distancia al presupuesto objetivo) y Confianza (confianza en la referencia de alto presupuesto).
   • Realización Conservadora: La geodésica continua se discretiza nuevamente en una programación utilizando una deformación de ley de potencia ($\rho \ge 1.0$) para sesgar la densidad de NFE hacia las etapas tempranas de la ODE inversa, donde la volatilidad del campo vectorial es más alta.

Contribuciones Clave

• Replanteamiento de la Programación de Caché: Los autores identifican dos fallos fundamentales en los programadores basados en grafos existentes: (i) el desalineamiento de los sustitutos de camino más corto aditivos bajo la propagación de error no lineal en regímenes de bajo NFE, y (ii) la falla al no aprovechar las relaciones estructurales a través de diferentes presupuestos.
• Evolución de la Programación Condicionada al Presupuesto: OTCache introduce un marco de tres etapas que trata las programaciones de caché como medidas de probabilidad. Al modelar su evolución como una trayectoria suave en el espacio de políticas, el método aprovecha la geometría del Transporte Óptimo para interpolar entre puntos finales confiables, evitando las trampas de la optimización de presupuesto independiente.
• Aceleración sin Entrenamiento: El marco no requiere el reentrenamiento del modelo de difusión, lo que lo hace inmediatamente aplicable a arquitecturas existentes.

Resultados Experimentales

Los autores evaluaron OTCache en tres modelos generativos de vanguardia: FLUX.1 [dev], Qwen-Image y HunyuanVideo.

• FLUX.1 [dev]: Con una aceleración de 4.50× (10 pasos), OTCache logró un LPIPS de 0.254 y un ImageReward de 0.996. Esto superó significativamente a MeanCache (LPIPS 0.272) y otros baselines, que sufrieron inconsistencias de contenido y distorsiones de objetos a velocidades similares.
• Qwen-Image: OTCache logró una aceleración de 4.70× (10 pasos) con un LPIPS de 0.171, demostrando una fidelidad estructural superior (SSIM 0.864, PSNR 21.48) en comparación con MeanCache y LeMiCa, que exhibieron cambios de contenido y reposicionamiento de objetos notables.
• HunyuanVideo: Para la generación de texto a video, OTCache logró una aceleración de 3.66× con un puntaje VBench de 80.37% y LPIPS de 0.252, superando a MeanCache (3.59×) y evitando los artefactos temporales vistos en métodos como DiCache y TeaCache.

Estudios de Ablación:

• Consistencia de Contenido: OTCache mantuvo la semántica de palabras raras y los detalles estructurales (por ejemplo, objetos específicos en una escena) en ratios de aceleración altos donde MeanCache exhibió deriva de contenido.
• Parámetro $\rho$: Se encontró que una asignación no lineal de la densidad de NFE ($\rho = 1.3$) era óptima, equilibrando la estabilidad de la etapa temprana con el refinamiento de la etapa tardía.
• Eficiencia de Búsqueda: Se demostró que la búsqueda de la ancla en la Etapa 2 es altamente eficiente, con el número de ensayos mediano requerido para encontrar el óptimo Top-1 de aproximadamente 50.

Significado y Reivindicaciones

El artículo afirma que OTCache proporciona una nueva perspectiva sobre la aceleración de los modelos de difusión al pasar de una optimización de camino más corto discreta e independiente a un modelado de programación consciente de la geometría. Al interpretar la evolución de las políticas de caché a través de los presupuestos como una trayectoria suave en el espacio de políticas y utilizar el Transporte Óptimo para la interpolación, OTCache recupera las pérdidas de fidelidad que los métodos tradicionales basados en grafos no pueden abordar en regímenes de bajo NFE. El trabajo demuestra que es posible lograr una aceleración sustancial (hasta 4.7×) manteniendo o incluso mejorando la fidelidad de la generación en comparación con los baselines de vanguardia, todo ello sin necesidad de reentrenar el modelo.