Resumen Técnico: Atención de Radio de Tokens para la Generación Eficiente de Vídeo

1. Planteamiento del Problema

Los Transformadores de Difusión de Vídeo (VDiTs) se han convertido en la arquitectura dominante para la generación de vídeo de alta fidelidad, apoyándose en la atención propia (self-attention) 3D densa para capturar dependencias espaciales y temporales complejas. Sin embargo, la atención densa incurre en un coste computacional cuadrático ($O(N^2)$) relativo al número de tokens de vídeo $N$, lo que crea un cuello de botella significativo para el escalado y el despliegue.

Los enfoques existentes para mitigar este coste emplean mecanismos de atención dispersa (sparse attention), categorizados principalmente en métodos de nivel de cabezal (head-level) y de nivel de bloque (block-level).

• Los métodos de nivel de cabezal asignan patrones espaciales o temporales estructurados a cabezales de atención individuales.
• Los métodos de nivel de bloque seleccionan pares de bloques de consulta-clave (query–key) importantes.

La Limitación Central: Ambos paradigmas suelen compartir un único presupuesto de computación (por ejemplo, una densidad de retención o radio fijo) para todos los tokens de consulta dentro de un cabezal o bloque. Esta suposición de "asignación compartida" entra en conflicto con la naturaleza intrínseca de la atención propia, donde la normalización Softmax se realiza de forma independiente para cada consulta. En consecuencia, las consultas con distribuciones de atención concentradas (baja entropía) desperdician computación si se ven obligadas a atender a muchas claves, mientras que las consultas con distribuciones difusas (alta entropía) pueden perder interacciones críticas si el presupuesto compartido es demasiado pequeño. Este desajuste degrada la calidad de la generación o no logra alcanzar la eficiencia óptima.

2. Metodología: Atención de Radio de Tokens (TRA)

Los autores proponen la Atención de Radio de Tokens (TRA), un marco de trabajo libre de entrenamiento (training-free) que realiza una dispersión estructurada específica por token sin necesidad de un ranking explícito de claves por consulta. TRA opera sobre dos ideas empíricas clave derivadas del análisis de los patrones de atención de los VDiT.

Idea I: Dispersión de Atención Específica por Token

Los autores observan que la "densidad retenida" (la fracción de claves con mayor rango necesaria para preservar una masa de atención objetivo) varía en órdenes de magnitud entre las consultas dentro de la misma capa y cabezal. Crucialmente, encuentran una fuerte relación log-lineal entre esta densidad retenida y la entropía de la atención.

• Mecanismo: Una alta entropía indica una distribución de atención difusa que requiere un mayor presupuesto de tokens, mientras que una baja entropía indica una distribución concentrada que requiere menos tokens.
• Implementación: TRA utiliza una aproximación analítica para mapear directamente la entropía de la consulta a un presupuesto específico de tokens ($\hat{B} \approx \tau \exp(H_i) / N$), eliminando la necesidad de costosos procesos de ordenación o ranking por consulta.

Idea II: Patrón de Atención de Radio de Token

Los autores observan que las interacciones dominantes para una consulta forman vecindarios circulares centrados en la consulta en el dominio espacial. La probabilidad de atención normalizada decae aproximadamente de forma exponencial con la distancia espacial 2D.

• Mecanismo: En lugar de seleccionar claves arbitrarias top-$k$, TRA convierte el presupuesto de tokens escalar en un radio espacial.
• Decaimiento Temporal: Para manejar secuencias de vídeo, el radio espacial se modula mediante una regla de decaimiento de distancia temporal ($\phi(\delta) = \exp(-\gamma \delta)$), creando una estructura de soporte espacio-temporal regular.

El Pipeline de TRA

1. Entropía-a-Presupuesto: Durante una fase inicial de "calentamiento" (warm-up) densa, TRA computa la entropía de la atención para cada consulta. Esta entropía se mapea a un presupuesto de tokens específico.
2. Presupuesto-a-Radio: El presupuesto se convierte en un radio base específico de la consulta. Este radio se ajusta posteriormente para cada fotograma basado en la distancia temporal para formar una máscara de disco 2D.
3. Ejecución Eficiente:
   • Disposición Tile-Major: Los tokens de vídeo se reordenan en una disposición tile-major para asegurar que los tokens espacialmente vecinos (que caen dentro del radio) sean contiguos en la secuencia.
   • Kernels CUDA Fusionados: Un kernel personalizado fusiona el cálculo de distancia, la comparación de radio, la poda de bloques y el voto de tokens para convertir las máscaras de radio irregulares de nivel de token en máscaras de dispersión de bloques regulares compatibles con FlashInfer.
   • Reutilización entre Pasos: La entropía se computa solo durante la fase de calentamiento y se reutiliza para los pasos dispersos subsiguientes, aprovechando la estabilidad observada de los patrones de entropía a través de los pasos de eliminación de ruido (denoising).

3. Contribuciones Clave

1. Descubrimiento de la Dispersión Específica por Token: El artículo revela que la densidad retenida varía drásticamente entre las consultas pero sigue una relación log-lineal predecible con la entropía de la atención, y que las interacciones dominantes siguen un patrón de radio centrado en la consulta.
2. Atención de Radio de Tokens (TRA): Un marco de trabajo libre de entrenamiento que transforma las demandas de computación específicas de cada token en soportes espacio-temporales regulares mediante un pipeline de entropía-presupuesto-radio, evitando el ranking explícito de claves.
3. Co-diseño de Sistemas: Los autores co-diseñan un kernel de máscara de radio y un kernel de entropía fusionado para minimizar la sobrecarga, permitiendo la ejecución eficiente en backends de dispersión de bloques existentes.
4. Validación Exhaustiva: TRA es validado a través de siete configuraciones de Wan2.1, Wan2.2 y HunyuanVideo (que abarcan de 1.3B a 14B de parámetros) tanto para tareas de Texto-a-Vídeo (T2V) como de Imagen-a-Vídeo (I2V).

4. Resultados Experimentales

TRA fue evaluado frente a la atención densa y tres líneas base de atención dispersa libres de entrenamiento (SVG, SVG2 y Radial) en la suite de benchmarks VBench.

• Eficiencia: TRA retiene solo el 9%–19% de las interacciones de atención. Logra una aceleración de 1.56× a 2.05× respecto a los modelos densos en todas las configuraciones probadas. Por ejemplo, en HunyuanVideo-13B, logra una aceleración de 2.05× para T2V y 2.02× para I2V.
• Calidad: TRA mantiene una calidad de generación competitiva, alcanzando a menudo la mejor puntuación de VBench Overall entre los métodos dispersos. En Wan2.1-14B T2V, casi iguala la puntuación de la atención densa mientras proporciona una aceleración de 1.75×.
• Fidelidad: Los resultados cualitativos muestran que TRA preserva mejor la identidad del sujeto, la integridad estructural y la consistencia temporal en comparación con otros métodos dispersos, con menos artefactos como parpadeos o distorsiones.
• Estudios de Ablación: Eliminar el mapeo de presupuesto guiado por la entropía o la máscara de radio (reemplazándola por distancia 1D) degrada significamente el rendimiento, confirmando la necesidad tanto de la adaptatividad por token como del soporte espacial estructurado.

5. Significación y Reivindicaciones

El artículo afirma que la Atención de Radio de Tokens aborda una ineficiencia fundamental en los paradigmas actuales de atención dispersa: el desajuste entre los presupuestos de asignación compartidos y las demandas de atención específicas de cada token. Al aprovechar la relación intrínseca entre la entropía y la dispersión de la atención, TRA logra un equilibrio favorable entre calidad y eficiencia sin requerir entrenamiento adicional o mecanismos complejos de ranking en línea.

Los autores posicionan a TRA como una técnica complementaria a otros métodos de aceleración (como el almacenamiento en caché o la cuantización) que se enfoca específicamente en reducir el coste cuadrático de interacción consulta–clave dentro de las capas de atención ejecutadas. El trabajo demuestra que la adaptatividad a nivel de token puede realizarse eficientemente mediante el uso de máscaras de radio estructuradas, ofreciendo un camino escalable para el despliegue de modelos de generación de vídeo de alta fidelidad.