🤖 AI

Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations

Kaleido es un codiseño de algoritmo y hardware que acelera los Video Diffusion Transformers al explotar las correlaciones espaciotemporales por canal en el espacio latente para permitir un algoritmo de reutilización ligero y un acelerador de matriz sistólica reconfigurable, logrando hasta 5.9x de aceleración y 16.0x de ahorro de energía manteniendo una alta calidad generativa.

Autores originales: Wenxuan Miao, Haosong Liu, Weiming Hu, Zihan Liu, Aiyue Chen, Jianlin Yu, Yiwu Yao, Yiming Gan, Jieru Zhao, Jingwen Leng, Minyi Guo, Yu Feng

Publicado 2026-07-16

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Wenxuan Miao, Haosong Liu, Weiming Hu, Zihan Liu, Aiyue Chen, Jianlin Yu, Yiwu Yao, Yiming Gan, Jieru Zhao, Jingwen Leng, Minyi Guo, Yu Feng

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras pueden soñar películas enteras a partir de una sola frase, creando escenas tan reales que casi podrías tocarlas. Esta magia es impulsada por los "modelos de difusión de video", un tipo de inteligencia artificial que aprende a crear videos comenzando con una pantalla llena de estática y ruido, y limpiándola lentamente, paso a paso, hasta que emerge una imagen clara. Piensa en ello como un escultor que comienza con un bloque de piedra tosco y va quitando el exceso para revelar una estatua. Sin embargo, este proceso es increíblemente lento y hambriento de energía. La computadora tiene que realizar millones de cálculos diminutos para cada fotograma, una y otra vez, como un chef que prueba una sopa cientos de veces antes de servirla. A medida que estos modelos de IA mejoran en la creación de videos más largos y de mayor calidad, el tiempo y la energía requeridos para ejecutarlos se han convertido en un enorme cuello de botella, ralentizando todo, desde la edición de películas hasta la creación de mundos virtuales. Los científicos e ingenieros compiten por encontrar formas de acelerar esto sin arruinar la calidad de la película final.

Entra Kaleido, un ingenioso nuevo invento de investigadores de la Universidad Jiao Tong de Shanghái y Huawei que actúa como un atajo súper inteligente para estas computadoras creadoras de videos. El equipo descubrió que, mientras la IA está ocupada "limpiando" el video, a menudo repite los mismos cálculos una y otra vez porque los fotogramas del video son muy similares entre sí de ciertas maneras. En lugar de recalcular todo desde cero, el algoritmo de Kaleido actúa como un bibliotecario brillante que recuerda: "¡Oye, ya hice esta parte para el fotograma anterior, así que reutilicemos esa respuesta!". Pero hay un inconveniente: estos atajos crean un patrón de trabajo desordenado e irregular que a los chips de computadora estándar les disgusta, de forma muy parecida a un chef que intenta picar vegetales con un cuchillo desafilado que se resbala constantemente. Para resolver esto, los investigadores no solo escribieron una nueva receta; construyeron una cocina completamente nueva. Diseñaron un chip de hardware personalizado con un "despachador de datos" especial que organiza los atajos desordenados en lotes limpios y eficientes, permitiendo que la computadora se salte el trabajo redundante sin perder ni una sola gota de calidad.

El resultado es un sistema que es significativamente más rápido y eficiente energéticamente que cualquier cosa disponible actualmente. En sus pruebas, Kaleido hizo que la generación de video fuera hasta 5.9 veces más rápida y ahorró 16.0 veces más energía en comparación con los mejores aceleradores existentes y las tarjetas gráficas de alta gama. Quizás lo más impresionante es que los videos que produjo no solo fueron rápidos, sino que también fueron más nítidos y precisos que los realizados por otros métodos de atajos, obteniendo más de 17 dB más altos en las métricas de calidad de imagen. Los investigadores demostraron que al entender exactamente cómo se estructura la información del video —específicamente cómo las diferentes partes de la imagen se relacionan con el tiempo y el espacio— podían construir un sistema que se salta las partes aburridas del trabajo manteniendo las partes creativas perfectas. Esto no es solo un pequeño ajuste; es un cambio fundamental en la forma en que le decimos a las computadoras que hagan películas, demostrando que, a veces, la mejor manera de ir más rápido es saber exactamente qué es lo que no necesitas hacer.

Resumen Técnico: Kaleido

Planteamiento del Problema

Los Transformadores de Difusión de Video (vDiTs) han emergido como la arquitectura de vanguardia para la generación de video de alta fidelidad, pero enfrentan cuellos de botella computacionales severos. El proceso de inferencia implica un desruido iterativo a lo largo de muchos pasos temporales, donde el mecanismo de autoatención domina el tiempo de ejecución, representando aproximadamente el 68% del tiempo de ejecución total. A medida que las resoluciones y duraciones de los videos aumentan, la longitud de la secuencia de tokens crece, causando que la complejidad de la autoatención escale cuadráticamente ( $O(N^2 \times d)$ ).

Las estrategias de aceleración existentes adaptan mayoritariamente las técnicas de atención dispersa de los Modelos de Lenguaje de Gran Escala (LLMs), las cuales dependen de la poda de puntuaciones de atención insignificantes basadas en la escasez semántica. Sin embargo, estos enfoques son fundamentalmente incompatibles con los datos de video. A diferencia del texto, los tokens de video portan semántica visual densa y continua, donde cada token contribuye a la coherencia espacial y la consistencia temporal. La poda ingenua de las correlaciones de atención provoca discontinuidades de movimiento y artefactos de parpadeo (flickering). Además, a medida que los pasos de difusión se reducen mediante destilación, la autoatención se convierte en el único cuello de botella dominante, haciendo que las técnicas de reducción de pasos temporales sean insuficientes.

Metodología

Kaleido aborda estos desafíos mediante un codiseño de algoritmo-hardware que explota las correlaciones espacio-temporales por canal dentro del espacio latente de los vDiTs, en lugar de depender de la escasez a nivel de token.

1. Algoritmo: Reutilización por Canal

La idea central es que los modelos vDiT utilizan el Posicionamiento Rotatorio (RoPE), el cual particiona los canales de los tokens en tres grupos distintos: temporal ( $t$ ), horizontal ( $x$ ) y vertical ( $y$ ). Estos grupos codifican información posicional a diferentes frecuencias, induciendo patrones específicos en las puntuaciones de atención.

Descubrimiento de Correlación: Los autores demuestran que los tokens adyacentes dentro de un grupo de canales específico exhiben una alta similitud a lo largo de dimensiones ortogonales a su dirección de codificación. Por ejemplo, los canales $t$ están altamente correlacionados a través de las dimensiones espaciales ( $x$ e $y$ ), mientras que los canales $x$ están correlacionados a través de la dimensión temporal.
Mecanismo de Reutilización: En lugar de omitir cálculos (como en la atención dispersa), Kaleido reutiliza resultados parciales.
- Verificación de Similitud: Antes del cálculo, el sistema calcula la similitud ( $\Delta$ ) entre tokens adyacentes a lo largo de un eje predefinido.
- Umbralización: Dos umbrales, $\theta_{th1}$ $θ_{t h 1}$ y $\theta_{th2}$ $θ_{t h 2}$ , determinan la estrategia de reutilización:
  - Si $\Delta < \theta_{th1}$ : Reutilización Total. El token reutiliza completamente la puntuación de atención parcial del token anterior.
  - Si $\theta_{th1} \le \Delta < \theta_{th2}$ : Reutilización Parcial. El token reutiliza los bits más significativos (por ejemplo, los 3 bits superiores) del resultado anterior y solo calcula los bits inferiores restantes.
  - Si $\Delta \ge \theta_{th2}$ : Cálculo Total.
- Aplicabilidad: Esta estrategia se aplica a las capas de autoatención, atención cruzada y MLP. Para los MLP, la reutilización se aplica a las activaciones en lugar de a los pesos.

2. Hardware: Acelerador Sistólico Reconfigurable

Los patrones de acceso a datos irregulares introducidos por el algoritmo de reutilización son incompatibles con las matrices sistólicas estándar. Kaleido introduce una arquitectura de hardware personalizada para soportar esto:

Elementos de Procesamiento (PE) Reconfigurables: La matriz de PE se aumenta con registros y multiplexores adicionales para soportar cuatro modos de ejecución. Estos modos permiten que los PE gestionen el cálculo total, la reutilización total y la reutilización parcial (cálculo de medio bit) dinámicamente dentro de un solo bloque (tile). Los PE pueden acumular resultados parciales de fotogramas anteriores sin tener que recargarlos desde la memoria en chip.
Despachador de Datos: Para mitigar la escasez irregular que causa una baja utilización de los PE, se introduce un despachador de datos dedicado. Este consta de:
- Programador (Scheduler): Agrupa tokens con patrones de reutilización similares (representados como cadenas binarias) en clústeres.
- Emparejador (Matcher): Empareja canales de entrada compatibles dentro de un clúster para fusionar flujos de datos, asegurando que las filas adyacentes alimentadas a la matriz de PE puedan procesarse simultáneamente, maximizando así la utilización.

Contribuciones Clave

Caracterización Sistemática de los vDiTs: El artículo es el primero en explicar sistemáticamente las correlaciones espacio-temporales en los espacios latentes de los vDiT, identificando la partición de canales basada en RoPE como la causa raíz de los distintos patrones de atención.
Algoritmo de Reutilización por Canal: Un algoritmo ligero que omite cálculos redundantes mediante la reutilización de resultados parciales a nivel de canal. A diferencia de la fusión a nivel de token, esto preserva la precisión a nivel de píxel, logrando una calidad generativa significativamente mayor (mejora de >17 dB en PSNR sobre otros codiseños previos).
Arquitectura de Acelerador Codiseñada: Una matriz sistólica reconfigurable con PE a medida y un despachador de datos que gestiona la escasez irregular, mejorando la utilización de los PE del ~69% al ~85%.
Evaluación Exhaustiva: Evaluación extensa en cuatro modelos vDiT principales (HunyuanVideo, Wan, CogVideoX, TurboDiffusion) frente a GPUs y aceleradores de última generación.

Resultados

Evaluado en un nodo tecnológico de 16nm con una configuración de matriz de PE de 128x128:

Rendimiento: Kaleido logra hasta un 5.9× de aceleración sobre aceleradores de última generación (ej. AdapTiV, Exion) y un 6.6× de aceleración sobre una GPU Nvidia A100.
Eficiencia Energética: El sistema ofrece hasta 16.0× de ahorro de energía en comparación con la línea base de la A100.
Calidad Generativa: Kaleido mantiene una calidad de video superior, alcanzando puntuaciones PSNR de 29.9 dB (HunyuanVideo) y 24.5 dB (Wan), que son >17 dB superiores a las líneas base basadas en aproximación como Cambricon-D. También supera a los métodos de atención dispersa optimizados por software (ej. MInference, SVG) en métricas de calidad de imagen (PSNR, SSIM, LPIPS).
Escalabilidad: La brecha de rendimiento se amplía a medida que la resolución del video aumenta de 480p a 720p, ya que las resoluciones más altas fortalecen las correlaciones espacio-temporales explotadas por el algoritmo.

Significancia

El artículo posiciona a Kaleido como una evolución necesaria en la aceleración de la generación de video. Argumenta que simplemente transferir las técnicas de atención dispersa de los LLM a los videos es ineficaz debido a la naturaleza continua de los datos visuales. Al cambiar el enfoque de la "poda" a la "reutilización" basada en las únicas correlaciones por canal de los vDiTs, Kaleido ofrece un enfoque con principios que aborda simultáneamente el cuello de botella computacional y preserva los requisitos de alta fidelidad de la IA generativa. El trabajo demuestra que el codiseño de algoritmo-hardware es esencial para desbloquear la eficiencia de los próximos modelos de difusión de video sin comprometer la calidad del resultado.