Resumen Técnico: SparsePR – Atención Dispersa Libre de Entrenamiento para Generación de Vídeo y Modelos de Mundo

1. Planteamiento del Problema

Los modelos de generación de vídeo (p. ej., DiTs) y los modelos de mundo de vídeo procesan secuencias de tokens espaciotemporales largas, lo que convierte a la autoatención cuadrática en un cuello de botella principal durante la inferencia. Aunque la atención dispersa por bloques (block-sparse attention) libre de entrenamiento ofrece una vía para la aceleración, los enfoques existentes enfrentan dos limitaciones fundamentales cuando se trata la dispersión como una propiedad por fila:

1. Ambigüedad del Soporte de Ruta Compartida: La concentración de la atención por fila no especifica el soporte ejecutable requerido cuando múltiples consultas (queries) comparten una única decisión de enrutamiento. Las consultas dentro de un grupo pueden tener soportes de claves (keys) pobremente superpuestos, lo que causa que el soporte agrupado (la unión de las claves necesarias para el grupo) sea significativamente mayor que la suma de los soportes individuales.
2. Estimación Errónea del Error Post-Softmax: La masa de atención retenida por sí sola no determina el error introducido por las interacciones omitidas. Dos rutas con una masa retenida similar pueden producir errores de salida muy distintos dependiendo de la diferencia entre las salidas inducidas por los soportes omitidos frente a los retenidos.

Los métodos actuales suelen fallar al no contabilizar estas dependencias, lo que conduce a una densidad excesiva (reduciendo la aceleración) o a una degradación significativa de la calidad (aumentando el error de reconstrucción).

2. Metodología: SparsePR

Los autores proponen SparsePR, un marco de trabajo libre de entrenamiento que combina la Partición Acoplada de Respuesta con la Reconstrucción de Residuales Ajustada por Sondas. El método opera enteramente de forma online sin entrenamiento offline.

A. Partición Acoplada de Respuesta (Response-Coupled Partitioning)

A diferencia de otros métodos que agrupan consultas y claves de forma independiente o utilizan refinamiento alterno, SparsePR construye particiones ejecutables en una única pasada asimétrica basada en la geometría de respuesta derivada de la llamada de atención actual:

• Coordenadas de Clave-Respuesta: Las consultas muestreadas ($Q_s$) definen una métrica $M_K = Q_s^\top Q_s / M_s$. Las claves se agrupan basándose en sus perfiles de respuesta bajo estas consultas muestreadas (mediante $k$-means sobre los autovectores de $M_K$). Esto forma grupos emparejados de Clave/Valor (K/V).
• Coordenadas de Consulta-Respuesta: Los centroides de los grupos K/V resultantes definen un nuevo espacio métrico para las consultas. Las consultas se agrupan basándose en la similitud de sus perfiles de logit pre-softmax sobre estos grupos K/V.
• Resultado: Este acoplamiento asegura que las consultas que comparten una ruta tengan requisitos de soporte similares, minimizando la expansión del "soporte agrupado" observada en el agrupamiento semántico.

B. Reconstrucción de Residuales Ajustada por Sondas (Probe-Fitted Residual Reconstruction)

Para abordar el error de las interacciones omitidas, SparsePR no depende de aproximaciones a nivel de bloque o de la reutilización temporal. En su lugar:

• Selección de Sondas: Se selecciona un pequeño conjunto de filas de consulta ($M \ll N_q$) y se evalúan exactamente para calcular el residual denso ($R = O_{dense} - O_{sparse}$).
• Calibración Afín: El método modela el residual como una función afín de la salida dispersa ($R \approx b + xB$). Ajusta un mapa afín específico de la llamada utilizando los residuales de las sondas, regularizado mediante regresión de Ridge.
• Restricción de Subespacio: Para evitar la extrapolación hacia direcciones de salida no observadas, la corrección se proyecta sobre el subespacio generado por los vectores singulares principales de los residuales de las sondas.
• Corrección: El mapa ajustado estima el residual para las filas no sondeadas, el cual se añade a la salida dispersa para recuperar la aproximación densa.

C. Ejecución Dispersa (Sparse Execution)

El marco de trabajo permuta los tokens en diseños contiguos de orden de grupo y utiliza la primitiva de atención dispersa de bloques variables de FlashInfer. La densidad total de pares ejecutados ($\rho_{exec}$) incluye tanto las celdas dispersas enrutadas como las filas de sonda exactas.

3. Contribuciones Clave

1. Análisis Estructural: El artículo identifica tres dependencias críticas en la atención dispersa por bloques ejecutable:
   • La dispersión por consulta no determina el soporte de la ruta compartida (el soporte agrupado puede ser de 3 a 4 veces mayor).
   • La masa de atención retenida no garantiza un bajo error post-softmax.
   • La geometría de la partición afecta significativamente la fracción "explicable por afinidad" del residual.
2. Marco de Trabajo SparsePR: Introducción de un método libre de entrenamiento que combina la partición acoplada de respuesta (para minimizar la expansión del soporte) y la reconstrucción de residuales ajustada por sondas (para corregir las interacciones omitidas).
3. Evaluación Exhaustiva: Evaluación en cuatro modelos heterogéneos (HunyuanVideo, Wan2.2, Cosmos-Predict2.5, Cosmos3-Nano) utilizando el conteo de pares exactos y tiempos de extremo a extremo, demostrando una reducción de error y aceleraciones consistentes.

4. Resultados Experimentales

Los autores evaluaron SparsePR en tareas de texto-a-vídeo, imagen-a-vídeo y predicción de mundo físico.

• Preservación de la Calidad: SparsePR iguala estrechamente la calidad del benchmark denso. Por ejemplo, en HunyuanVideo-13B, logra un PSNR de 31.844 (frente al baseline denso) con un LPIPS de 0.087, superando a métodos dispersos previos como SVG2 y SpargeAttn.
• Eficiencia: El método logra aceleraciones de extremo a extremo de 1.48$\times$ a 2.61$\times$ manteniendo una densidad de pares ejecutados realizada de solo 22.0%–26.0%.
• Perspectivas de Ablación:
  • Ajuste de Sondas (Probe Fitting): Representa la mayor parte de la reducción de error.
  • Partición Acoplada de Respuesta: Reduce significativamente el error de "caída dura" (hard-drop) y mejora la reconstrucción bajo presupuestos de sonda finitos al reducir la energía del residual ortogonal.
  • Sobrecarga (Overhead): La reconstrucción ajustada por sondas añade una sobrecarga insignificante (aprox. 1.1% de la latencia total), ya que el ahorro de costo principal proviene de la enrutación dispersa.

5. Significación y Reivindicaciones

El artículo afirma que la ejecución dispersa efectiva para modelos de vídeo depende de dos factores que a menudo se tratan por separado: la geometría de la partición (que dicta el soporte requerido para el enrutamiento compartido) y la reconstrucción de las interacciones omitidas (que dicta el error de salida).

SparsePR demuestra que, al acoplar el proceso de partición a la geometría de respuesta de la llamada actual y calibrar la reconstrucción del residual con un pequeño conjunto de sondas exactas, es posible lograr una fidelidad cercana a la densa con ahorros computacionales sustanciales. Los autores enfatizan que este enfoque es libre de entrenamiento, lo que lo hace aplicable a los modelos de video DiT preentrenados existentes sin necesidad de reentrenamiento o destilación. Los resultados sugieren que la simple dispersión por fila es insuficiente para la generación de vídeo, y que una partición estructurada y consciente de la respuesta, combinada con una corrección de residual precisa, es necesaria para una aceleración de alta calidad.