⚡ electrical engineering

ScalablePromptus: Scalable and High-Fidelity Prompt-Based Video Streaming

ScalablePromptus es un robusto marco de transmisión de video que supera la vulnerabilidad de los métodos basados en prompts existentes ante las fluctuaciones de la red mediante el empleo de una estrategia de entrenamiento por dropout y técnicas avanzadas de interpolación, permitiendo la reconstrucción de video de alta fidelidad a partir de prompts arbitrariamente truncados y reduciendo la degradación del rendimiento entre un 82% y un 95% bajo condiciones de pérdida.

Autores originales: Zehao Cao, Bowei Xu, Xun Cao, Zhan Ma, Hao Chen

Publicado 2026-07-30

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zehao Cao, Bowei Xu, Xun Cao, Zhan Ma, Hao Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enviar un mensaje secreto a un amigo a través de un océano tormentoso. En los viejos tiempos, intentarías enviar un cajón gigante y pesado lleno de una fotografía perfecta, píxel por píxel, de un atardecer. Pero las olas son fuertes, el cajón es demasiado pesado y, si incluso se rompe un solo tablón, la foto entera se arruina. Así es como funciona la transmisión de video tradicional: intenta comprimir cada pequeño detalle de una imagen en un archivo, pero cuando la conexión a internet tambalea, la imagen se convierte en un desastre borroso y pixelado.

Ahora, imagina una forma más inteligente. En lugar de enviar el pesado cajón de píxeles, envías una pequeña nota mágica que dice: "Dibuja un atardecer con nubes naranjas y un cielo púrpura". Tu amigo, que tiene un robot artista superinteligente en casa, lee la nota y pinta la imagen instantáneamente. Esta es la idea detrás del "video streaming basado en prompts". Es una nueva frontera en la informática donde dejamos de enviar la imagen misma y empezamos a enviar las instrucciones para crear la imagen. El objetivo es hacer que el video sea tan pequeño que pueda volar a través de las conexiones de internet más delgadas sin perderse. Pero hay un inconveniente: si el océano se vuelve demasiado tormentoso y la nota se rompe por la mitad, el robot podría dibujar un sol púrpura o un cielo hecho de sopa. Ese es el problema que este artículo busca resolver.

El Problema: Cuando la Nota se Rompe

Los investigadores partieron de un sistema genial llamado "Promptus", que ya era bastante bueno enviando esas notas mágicas de "dibuja esto" en lugar de pesados archivos de imagen. Pero Promptus tenía una debilidad importante: era frágil. Si la conexión a internet sufría un hipo y la nota llegaba solo a la mitad, el robot al otro lado entraría en pánico. Intentaría dibujar con una instrucción rota, y el resultado sería un desastre catastrófico: un colapso total de la calidad donde el video se vuelve irreconocible.

Piensa en ello como una receta. Si envías una receta para un pastel que dice "Añadir 2 tazas de harina, 1 taza de azúcar y 3 huevos", pero el cartero deja caer la bolsa y solo llega la parte de "2 tazas de harina", tu amigo no puede simplemente hacer medio pastel. Podría intentar hornear solo con harina y terminar con un ladrillo. El sistema antiguo (Prompsus) era como esa receta; necesitaba la lista completa para funcionar, y si perdías el final, todo fallaba.

La Solución: Una Receta "Ordenada por Rango"

El equipo de la Universidad de Nanjing, liderado por Zehao Cao y Hao Chen, construyó un nuevo sistema llamado ScalablePromptus. Su gran idea fue hacer que las instrucciones estuvieran "ordenadas por rango".

Imagina que estás escribiendo una receta, pero la escribes de una manera especial. Las primeras líneas son las más importantes: "Harina, Azúcar, Huevos". Las siguientes líneas son detalles: "Una pizca de sal, un toque de vainilla". Las últimas líneas son adornos elegantes: "Chispas de polvo de oro". En el sistema antiguo, si perdías la última línea, estabas bien, pero si perdías la primera línea, estabas perdido. En ScalablePromptus, el sistema está entrenado para que, sin importar cuánto de la nota se rompa, la parte restante siga teniendo sentido.

Si el océano tormentoso solo entrega las dos primeras líneas ("Harina, Azúcar"), tu amigo aún puede hornear un pastel decente. Si entrega las primeras cinco líneas, el pastel mejora aún más. Si entrega todo, es una obra maestra. Esto se llama una "representación ordenada por rango". El sistema fuerza a que la información más crítica esté al puro principio de la nota, de modo que incluso una nota diminuta y truncada pueda producir un video reconocible.

Cómo lo Hicieron: Tres Trucos Mágicos

Para que esto funcionara, el equipo utilizó tres técnicas ingeniosas:

El "Entrenamiento del Artista Inteligente" (Dropout): Entrenaron a su robot de IA mediante un juego de "escondite y busca". Durante el entrenamiento, ocultaban partes de las instrucciones al azar (como tapar las últimas palabras de la receta) y obligaban al robot a aprender cómo dibujar una buena imagen con lo que quedaba. Esto enseñó al robot a poner los detalles más importantes al frente de la nota. Este es el núcleo de su "estrategia de entrenamiento por dropout".
La "Verificación de Color" (Pérdida Semántica y de Color): A veces, el robot dibujaba un atardecer que se veía bien pero se sentía extraño; tal vez el cielo era demasiado gris o los colores eran apagados. Para solucionar esto, añadieron una "verificación de color" y una "verificación de significado". Se aseguraron de que el robot no solo copiara píxeles, sino que realmente entendiera la vibra y los colores de la escena. También arreglaron un problema matemático donde las instrucciones del robot se "aplastaban" al moverse entre fotogramas, haciendo que el video se viera lavado. Reemplazaron un truco matemático de línea recta por uno curvo y "esférico" (llamado Slerp) que mantiene los colores ricos y las formas nítidas.
La Mejora de "Sin Reinicio": En el sistema antiguo, si tu internet se aceleraba en medio de un video, el sistema tenía que desechar las instrucciones de baja calidad que ya había enviado y empezar de nuevo con un conjunto más grande. Eso era un desperdicio. Con ScalablePromptus, si la conexión mejora, el emisor simplemente envía el resto de la nota (el "polvo de oro" y la "vainilla") para añadirlo a lo que ya estaba allí. Sin reiniciar, sin desperdiciar.

Los Resultados: Fuertes como la Piedra

Los investigadores probaron su nuevo sistema en varios videos, desde paisajes naturales hasta personas moviéndose. Simularon condiciones de internet tormentosas donde se perdían paquetes de datos o se cortaban.

Los resultados fueron impresionantes. Cuando la conexión a internet era perfecta, su sistema generaba videos ligeramente mejores que el anterior. Pero cuando la conexión era mala y las notas estaban recortadas, la diferencia era enorme. Mientras que la calidad del video del sistema antiguo colapsaba y se hundía, ScalablePromptus seguía avanzando con paso firme. El artículo reporta que su método redujo la caída de rendimiento causada por estos cortes entre un 82% y un 95%.

En términos simples: si el sistema antiguo perdía el 100% de su calidad cuando la nota se rompía, el nuevo sistema solo perdía una fracción mínima. Demostró que se puede transmitir video a través de una conexión inestable e impredecible sin que la imagen se convierta en sopa.

Por Qué Importa

Esto no es solo un experimento de laboratorio; es un paso hacia hacer que la transmisión de video funcione en el mundo real, donde las conexiones a internet nunca son perfectas. Ya sea que estés en un estadio lleno, en un tren en movimiento o en una zona remota con un Wi-Fi intermitente, ScalablePromptus sugiere que finalmente podemos transmitir video de alta calidad sin que se congele o se pixele, simplemente enviando instrucciones más inteligentes y resilientes en lugar de pesados archivos de imagen. Convierte un sistema frágil en uno robusto, listo para la realidad desordenada de internet.

Resumen Técnico: ScalablePromptus

Planteamiento del Problema

La transmisión de video basada en prompts representa un cambio de paradigma respecto a la compresión de píxeles tradicional (p. ej., H.264/H.265) hacia la transmisión de prompts semánticos compactos para la reconstrucción generativa. Aunque el marco de trabajo de vanguardia, Promptus, logra una reducción significativa del ancho de banda al invertir los fotogramas de video en embeddings de prompts de bajo rango y utilizar Stable Diffusion para la regeneración, sufre dos limitaciones críticas que dificultan su despliegue en el mundo real:

Calidad Subóptima: Promptus depende únicamente de pérdidas a nivel de píxel (MSE y LPIPS), fallando al no explotar plenamente la capacidad semántica del espacio de prompts. Además, su uso de la interpolación lineal (Lerp) para los fotogramas intermedios provoca un "colapso de la norma" dentro del espacio de embedding hiperesférico, lo que deriva en colores desaturados y pérdida de detalle.
Vulnerabilidad a las Fluctuaciones de la Red: Promptus carece de mecanismos para manejar la pérdida de paquetes o las variaciones de ancho de banda. Requiere el ajuste previo de múltiples prompts en diferentes rangos, lo cual es intensivo en términos de almacenamiento. Crucialmente, si un prompt transmitido se trunca debido a una pérdida de red, el receptor no puede reconstruir un video con sentido, lo que resulta en un colapso de calidad catastrófico. Por el contrario, si el ancho de banda aumenta a mitad de la transmisión, el sistema no puede mejorar la calidad de forma incremental sin descartar los datos recibidos y volver a descargarlos.

Metodología

Los autores proponen ScalablePromptus, un marco mejorado diseñado para mejorar la fidelidad y asegurar la robustez contra la truncación. El flujo de trabajo consiste en la inversión de prompts en el lado del emisor, la transmisión y la generación en el lado del receptor.

1. Mejora Geométrica y Semántica de los Prompts

Para abordar los problemas de calidad, los autores introducen una función de pérdida compuesta y una estrategia de interpolación geométrica:

Pérdida de Similitud Semántica: Se añade una pérdida de similitud de coseno entre los embeddings semánticos del fotograma generado y el fotograma de referencia (ground truth), extraídos mediante un codificador CLIP ViT-B/32 congelado. Esto asegura la alineación semántica más allá de las discrepancias a nivel de píxel.
Pérdida de Alineación de Estadísticas de Color: Para corregir los cambios globales de color (p. ej., el efecto grisáceo), una función de pérdida iguala las medias y desviaciones estándar por canal (RGB) entre los fotogramas generados y los de referencia.
Interpolación Lineal Esférica (Slerp): Reemplazando la interpolación lineal, se utiliza Slerp tanto en el entrenamiento como en la inferencia para generar fotogramas intermedios. Dado que los embeddings de los prompts residen en un manifold hiperesférico, Slerp viaja a lo largo de la geodésica, preservando la norma del embedding. Esto evita el "colapso de la norma" asociado con Lerp, manteniendo la fuerza del condicionamiento y evitando la desaturación del color.

2. Entrenamiento con Dropout para Streaming Escalable

La contribución central es una estrategia de entrenamiento inspirada en el Nested Dropout para producir representaciones ordenadas por rango:

Mecanismo: Durante el entrenamiento, en cada iteración se descarta un subconjunto aleatorio de las dimensiones del prompt (rango $k$ ). El modelo se ve obligado a codificar la información visual más crítica en las dimensiones principales ( $1 \dots k$ ) y los detalles progresivamente más finos en las dimensiones restantes.
Representación Ordenada por Rango: Esto obliga a que los factores del prompt estén ordenados por importancia. Las primeras dimensiones contienen el contenido esencial y grueso, mientras que las dimensiones posteriores refinan los detalles.
Técnicas de Entrenamiento:
- Warmup (Calentamiento): Inicialmente se realiza un entrenamiento de rango completo para asegurar que todas las dimensiones se inicialicen de manera significativa antes de que comience la truncación aleatoria.
- Regularización Auxiliar: Se aplica una pequeña penalización a las magnitudes de las dimensiones no seleccionadas (posteriores) para evitar que se desvíen o introduzcan ruido cuando no están en uso.
- Selección de Peor Paso Suavizado (Smoothed Worst-Step Selection): Se utiliza una media móvil exponencial (EMA) de la pérdida para seleccionar los fotogramas para el entrenamiento, mitigando el sesgo causado por la varianza de la truncación aleatoria.
Inferencia: El receptor puede reconstruir el video a partir de cualquier prefijo truncado del prompt (las primeras $k$ dimensiones) sin necesidad de reentrenamiento o adaptación. Si el ancho de banda aumenta, las dimensiones posteriores pueden añadirse incrementalmente sin descartar los datos previamente recibidos.

Resultados Clave

Los autores evalúan ScalablePromptus en los conjuntos de datos QST y UVG (resolución 512×512, 30 fps) frente a H.265, H.266, compresión basada en VAE y el Promptus original.

Redes Estables: Bajo una transmisión ideal, las mejoras semánticas y geométricas ofrecen mejoras de calidad modestas pero consistentes sobre el baseline Promptus.
Resiliencia a la Truncación: Cuando los prompts se truncan (simulando caídas de ancho de banda), ScalablePromptus se degrada de forma gradual. Los resultados cuantitativos muestran que el método reduce la degradación del rendimiento (medida por el aumento de LPIPS) en un 82%–95% en comparación con el baseline. Mientras que el baseline sufre un fallo catastrófico cuando el rango efectivo cae por debajo del rango entrenado, ScalablePromptus mantiene una salida estructuralmente significativa incluso en rangos bajos (p. ej., $k=4$ ).
Resiliencia a la Pérdida de Paquetes: Bajo modelos de pérdida por ráfagas Gilbert-Elliott (simulando una pérdida de paquetes del 5% al 20%), ScalablePrompus mantiene puntuaciones LPIPS significativamente más bajas que Promptus. Por ejemplo, con un 20% de pérdida, el LPIPS del baseline sube a 0.4491, mientras que ScalablePromptus se mantiene en 0.3417.
Actualización Incremental: El sistema permite actualizaciones de calidad ligeras e incrementales. A medida que el ancho de banda está disponible, el emisor transmite únicamente las dimensiones posteriores faltantes, las cuales el receptor añade al prompt existente, evitando la necesidad de volver a descargar todo el prompt.

Significación y Reivindicaciones

El artículo afirma que ScalablePromptus hace que la transmisión de video basada en prompts sea lo suficientemente robusta para un despliegue en el mundo real en entornos de red volátiles.

Practicidad: Al eliminar la necesidad de ajustar previamente múltiples prompts específicos de cada rango y permitir una degradación gradual bajo truncación, el sistema supera la principal barrera para la adopción de la transmisión generativa en redes con pérdida.
Eficiencia: El marco requiere solo un modelo entrenado por fotograma clave para soportar la truncación de rango arbitraria bajo demanda, reduciendo la sobrecarga de almacenamiento y entrenamiento en comparación con los enfoques de codificación escalable de múltiples tasas de bits.
Rendimiento: La combinación de inversión consciente de la semántica/color e interpolación esférica aborda las limitaciones geométricas y semánticas inherentes de los métodos anteriores basados en prompts, mientras que la estrategia de dropout proporciona una solución novedosa para la transmisión resiliente sin requerir protocolos complejos de corrección de errores o retransmisión.

Los autores concluyen que ScalablePromptus demuestra que el streaming de prompts escalable es tanto práctico como robusto, logrando un equilibrio entre la comunicación de ultra bajo ancho de banda y la reconstrucción de alta fidelidad, incluso bajo condiciones de red adversas.