Resumen Técnico: CineMobile

Planteamiento del Problema

El rápido avance de los Transformadores de Difusión (DiTs) ha permitido la generación de vídeo de alta calidad, pero su despliegue en dispositivos móviles sigue siendo un desafío significativo. Los modelos de vanguardia, como Wan2.1-14B, requieren recursos computacionales sustanciales, un gran número de parámetros y procesos de eliminación de ruido iterativos de múltiples pasos (por ejemplo, 40 pasos), lo que resulta en tiempos de inferencia de minutos incluso en GPUs de alto rendimiento. Esto hace que la generación de imagen a vídeo (I2V) en tiempo real y en el dispositivo sea inviable. Además, las técnicas de aceleración móvil existentes se centran principalmente en arquitecturas U-Net, dejando los modelos DiT prácticamente inexplorados. Una restricción crítica en la I2V móvil es la necesidad de preservar la semántica de los prompts y los detalles finos (como la identidad de un retrato) mientras se logra una aceleración agresiva, un equilibrio difícil de alcanzar con los métodos estándar de poda o cuantización.

Metodología

CineMobile aborda estos desafíos mediante una estrategia de optimización de tres niveles diseñada para comprimir un modelo I2V basado en DiT manteniendo la calidad de movimiento cinematográfico. El marco se centra en tres efectos cinematográficos específicos: bullet time, dolly zoom y cámara lenta (slow motion).

1. Poda de Profundidad Estructurada

Para reducir el tamaño del modelo sin alterar el modelado temporal o la preservación de la identidad, CineMobile adapta el método de Poda de Conectividad con Destilación de Capas Contiguas (PPCL).

• Profundidad vs. Anchura: A diferencia de la poda de anchura, que altera las dimensiones ocultas y puede perturbar las representaciones temporales preentrenadas, CineMobile emplea una poda de profundidad estructurada. Identifica y elimina capas contiguas redundantes manteniendo sin cambios la dimensionalidad oculta del backbone.
• Proceso: El método utiliza sondas lineales residuales y similitud CKA para detectar intervalos de capas redundantes en secuencias de vídeo latentes. Los intervalos seleccionados se reemplazan por un único bloque sustituto entrenable, inicializado desde el medio del intervalo eliminado.
• Destilación: Los bloques sustitutos se entrenan para reproducir los estados ocultos del modelo profesor en la salida del intervalo, utilizando datos de retratos y de movimiento para asegurar la retención de la consistencia de identidad y la controlabilidad del movimiento.

2. Destilación de Pasos mediante Aprendizaje por Refuerzo Adversario

Para reducir el número de pasos de inferencia de más de 20 a solo 4, CineMobile utiliza un flujo de trabajo de destilación y ajuste fino de dos etapas:

• Precalentamiento de Ajuste Fino Supervisado (SFT): Antes de la destilación, el modelo estudiante podado se somete a una etapa de precalentamiento utilizando objetivos de concordancia de flujo (flow-matching). Primero se ajusta finamente con vídeos del modelo denso original para restaurar las capacidades generativas, y luego se adapta a las distribuciones de movimiento cinematográfico objetivo utilizando vídeos generados por el profesor.
• Destilación Adversaria: Basándose en AdvDMD, el modelo se destila en un generador de 4 pasos. Esta etapa integra Aprendizaje por Refuerzo (RL) mediante GRPO (Optimización de Política Relativa de Grupo).
  • Un estimador de puntuación "real" congelado (profesor) y un estimador de puntuación "falso" en línea (estudiante) proporcionan señales de concordancia de distribución.
  • Un discriminador ligero acoplado al modelo falso proporciona retroalimentación de realismo adversario.
  • Las puntuaciones del discriminador sobre los latentes intermedios sirven como recompensas para GRPO, refinando la trayectoria de eliminación de ruido de 4 pasos para maximizar la calidad visual y la consistencia temporal.

3. Cuantización Híbrida Post-Entrenamiento (PTQ)

Para cumplir con las estrictas restricciones de memoria de los dispositivos móviles, CineMobile aplica una estrategia de cuantización de precisión híbrida:

• Activación: Se mantiene en precisión de 16 bits para la estabilidad numérica.
• Pesos: La mayoría de las capas lineales (atención, incrustaciones de texto/tiempo) se cuantizan a 8 bits (FP8).
• Redes de Alimentación hacia Adelante (FFN): Dado que las FFN constituyen una gran fracción de los parámetros, sus proyecciones lineales se cuantizan a 4 bits.
• Resultado: Esta estrategia comprime la huella del modelo a menos de 1 GB.

Resultados Clave

CineMobile fue evaluado en la plataforma MediaTek Dimensity 8400 Ultimate 5G y comparado con el modelo profesor Wan2.1-14B y otros sistemas comerciales.

• Eficiencia:

  • Aceleración: CineMobile logra una aceleración de 40× en el tiempo de generación en comparación con el modelo profesor.
  • Latencia: En el MediaTek Dimensity 8400, genera vídeos de 480p con 49 fotogramas con una latencia de eliminación de ruido por paso de 20 segundos (el tiempo de generación total se reduce significativamente en comparación con los 240s del H200 del profesor).
  • Cómputo: Reduce los DiT-FLOPs en 71.89× en comparación con el profesor.
  • Memoria: El uso de memoria pico en el dispositivo móvil es de 1.8 GB, con una huella de modelo inferior a 1 GB.

• Calidad:

  • Puntuaciones VBench: CineMobile logra puntuaciones comparables al modelo profesor de 14B en tres escenarios cinematográficos (Bullet Time: 88.35 vs 89.27; Dolly Zoom: 89.30 vs 89.96; Slow Motion: 88.05 vs 88.51).
  • Evaluación Humana: En comparaciones con modelos comerciales (Kling, Hailuo, Vidu), CineMobile demostró una calidad perceptual general competitiva y logró el mejor rendimiento en el control de cámara, específicamente en el mantenimiento de un movimiento orbital suave y la consistencia entre el sujeto y el fondo.
  • Ablación: La inclusión del refinamiento GRPO mejoró las puntuaciones totales en aproximadamente 0.5 puntos, mejorando principalmente la calidad estética e imaginería.

Significado y Reivindicaciones

El artículo afirma que CineMobile cierra la brecha entre la generación de vídeo de alta fidelidad basada en DiT y el despliegue práctico en dispositivos móviles. Su principal importancia radica en demostrar que:

1. La poda estructurada combinada con la destilación de pasos adversaria puede reducir drásticamente los pasos de inferencia y el tamaño del modelo sin sacrificar la compleja dinámica temporal requerida para efectos cinematográficos.
2. La cuantización híbrida (4-bit/8-bit) permite la ejecución de modelos de generación de vídeo a gran escala en hardware móvil de consumo con huellas de memoria inferiores a 1 GB.
3. La generación cinematográfica en el dispositivo es factible, ofreciendo una solución práctica para crear vídeos de bullet time, dolly zoom y cámara lenta directamente en smartphones, preservando la identidad del sujeto y la consistencia de la escena mejor que los métodos actuales enfocados en la movilidad.

Los autores posicionan a CineMobile no como un reemplazo para la generación a escala de la nube, sino como una alternativa eficiente y viable para la creación en el dispositivo, optimizada específicamente para el movimiento de cámara controlable en lugar de solo la calidad de imagen estática.