💻 computer science

Versatile Video Representation via Feed-Forward 2D Gaussian Splatting Tokenization

El artículo presenta el Gaussian Video Transformer (GVT), un marco de representación de video versátil que utiliza una tokenización de Gaussian Splatting 2D de alimentación hacia adelante con adaptabilidad espacio-temporal y separación explícita de estático-dinámico para lograr un rendimiento de vanguardia en la reconstrucción, compresión, reconocimiento de acciones y generación de video.

Autores originales: Zhenghao Chen, Zicong Chen, Lei Liu, Yiming Wu, Dong Xu

Publicado 2026-08-07

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhenghao Chen, Zicong Chen, Lei Liu, Yiming Wu, Dong Xu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enviar una película a un amigo a través de una conexión a internet lenta. No puedes simplemente enviar todo el contenido; tienes que dividirlo en piezas diminutas, comprimirlas y enviarlas como "tokens" (pequeños paquetes de información digital). Este es el mundo de la tokenización de video, un truco clave en la visión por computadora que ayuda a las computadoras a entender, almacenar y crear videos. Durante mucho tiempo, la forma estándar de hacer esto fue como tomar una foto y cortarla en una cuadrícula rígida de cuadrados de igual tamaño, sin importar lo que hubiera en ellos. Si tenías un cuadrado que mostraba una pared aburrida y vacía y otro que mostraba una explosión rápida, la computadora los trataba exactamente igual, dándoles la misma cantidad de datos. Esto era un desperdicio y a menudo perdía los detalles importantes.

Ahora, imagina que en lugar de una cuadrícula rígida, pudieras usar un pincel mágico que cambia de forma y que sabe exactamente dónde poner más pintura para la explosión y menos para la pared. Esta es la idea detrás del Gaussian Splatting. Originalmente utilizado para hacer que las escenas 3D se vean reales, utiliza pequeños "bloques" (Gaussians) que pueden estirarse, encogerse y rotar para adaptarse perfectamente a la forma de un objeto. El gran interrogante que los investigadores se han estado planteando es: ¿Podemos usar este estilo de pintura flexible basado en bloques para representar videos enteros, no solo imágenes individuales? Si pudiéramos, podríamos almacenar videos de manera mucho más eficiente y hacer que se vean mejor, todo mientras enseñamos a las computadoras a entender qué se mueve y qué se queda quieto.

El Nuevo Creador de Videos de "Bloques"

En este artículo, los autores presentan un nuevo sistema llamado Gaussian Video Transformer (GVT). Piensa en él como un editor de video inteligente que no solo corta un video en una cuadrícula de cuadrados. En su lugar, convierte el video en una colección de "bloques" (Gaussians) bidimensionales y flexibles que pueden estirarse y moverse exactamente donde está ocurriendo la acción.

Así es como lo hicieron funcionar, utilizando algunos trucos ingeniosos:

1. El Generador de "Bloques Inteligentes" (STGE)
La mayoría de los sistemas de video antiguos son rígidos. Miran un video y dicen: "Bien, necesito 1,000 tokens para esta escena", independientemente de si la escena es una biblioteca tranquila o un partido de fútbol caótico. El nuevo sistema de los autores, llamado Spatio-Temporal Gaussian Embedding (STGE), es diferente. Mira el video y dice: "Oye, esta parte es aburrida, usemos menos bloques. ¡Esta parte es una locura, usemos más!". Genera estos bloques en una sola pasada rápida (llamada "feed-forward"), lo que significa que no necesita pasar horas ajustando el video para que se vea bien. Simplemente crea el conjunto perfecto de bloques sobre la marcha.

2. La División de "Estático vs. Móvil" (GSP)
Aquí es donde el sistema se vuelve realmente ingenioso. En un video, algunas cosas nunca se mueven (como la pared del fondo), mientras que otras cosas se desplazan rápidamente (como un perro corriendo). Los sistemas antiguos volverían a dibujar la pared en cada uno de los fotogramas, desperdiciando una enorme cantidad de datos. Los autores introdujeron una estrategia llamada Gaussian Set Partitioning (GSP). Esto actúa como un clasificador inteligente que separa el video en dos montones:

El Montón Estático: Los bloques del fondo que permanecen iguales. El sistema dibuja estos una vez y dice: "Copia esto para el resto del video".
El Montón Dinámico: Los bloques que se mueven y cambian cada segundo.

Al actualizar solo las partes móviles y reutilizar las estáticas, el sistema ahorra una cantidad masiva de espacio y tiempo. Es como dibujar una imagen de una habitación una vez, y luego simplemente animar a los personajes caminando a través de ella, en lugar de redibujar toda la habitación para cada fotograma.

3. Los Resultados: Mejor, Más Pequeño y Más Rápido
El equipo probó su nuevo sistema GVT en varios conjuntos de datos de video famosos (como UCF101 y Kinetics) y lo comparó con los mejores métodos actuales.

Reconstrucción: Cuando intentaron reconstruir los videos a partir de estos bloques, el GVT hizo un mejor trabajo que los campeones anteriores, creando imágenes más claras con menos errores.
Compresión: Debido a que el sistema es tan bueno detectando qué es estático y qué es móvil, puede reducir significamente los archivos de video. Descubrieron que podía reducir el tamaño del archivo aproximadamente un 54.8% en comparación con el estándar más reciente de compresión de video (H.266/VVC) manteniendo una alta calidad de imagen.
Comprensión y Creación: El sistema no solo fue bueno para almacenar videos; también fue mejor para ayudar a las computadoras a reconocer acciones (como "tocar el violonchelo") e incluso para crear nuevos videos inventados desde cero.

Lo que No Hicieron (y Por Qué)
Los autores fueron cuidadosos al señalar lo que su sistema no puede hacer todavía. Aunque puede crear videos a partir de la nada (generación incondicional), no es tan bueno como los mejores generadores de video por IA que existen actualmente. Explican que esto se debe a que están utilizando un nuevo tipo de representación de "bloques" que aún no ha sido entrenado en conjuntos de datos masivos preexistentes. No están afirmando haber resuelto la generación de video por completo, sino más bien mostrando que este enfoque de "bloques" es una dirección muy prometedora que funciona sorprendentemente bien para el almacenamiento y la comprensión.

La Conclusión
El artículo sugiere que, al cambiar las cuadrículas rígidas por "bloques" flexibles e inteligentes que saben separar los objetos en movimiento de los fondos estáticos, podemos hacer que la representación de video sea mucho más versátil. Es un poco como cambiar de un videojuego pixelado y cuadriculado a una animación suave y fluida donde cada parte de la pantalla sabe exactamente cuánta atención necesita. Los resultados muestran que este enfoque conduce a videos más nítidos, archivos de tamaño más pequeño y una forma más inteligente para que las computadoras vean el mundo.

Resumen Técnico: Representación de Video Versátil mediante la Tokenización de Gaussian Splatting 2D Feed-Forward

Declaración del Problema

Los métodos de representación de video existentes, particularmente aquellos que dependen de una tokenización de parches en rejillas fijas (por ejemplo, MAGVIT-v2), sufren de una versatilidad limitada tanto en los dominios espacial como temporal.

Limitaciones Espaciales: La asignación uniforme de un número fijo de tokens conduce a una sobrecodificación en regiones de baja información (por ejemplo, fondos suaves) mientras que, potencialmente, subrepresenta áreas de alto detalle.
Limitaciones Temporales: Los enfoques actuales procesan los pasos de tiempo de manera uniforme sin distinguir explícitamente entre contenido estático (por ejemplo, fondos) y contenido dinámico (por ejemplo, objetos en movimiento). Esto resulta en presupuestos de tokens redundantes para segmentos invariantes, inflando el recuento total de tokens y el costo computacional.
Problemas de Generalización: Aunque los métodos recientes de Gaussian Splatting (GS) muestran potencial, a menudo dependen de la optimización por cada video, lo cual es computacionalmente costoso y limita la capacidad de generalización a videos no vistos.

Metodología: Gaussian Video Transformer (GVT)

Los autores proponen el Gaussian Video Transformer (GVT), un marco que reemplaza la rígida tokenización por parches con un esquema de 2D Gaussian Splatting (2DGS) de tipo feed-forward. La arquitectura central consta de tres etapas principales:

1. Incrustación Espacio-Temporal de Gaussian (STGE)

En lugar de cuantizar vectores latentes rígidos directamente, GVT proyecta las características de video latentes en un conjunto de 2D Gaussians de manera feed-forward.

Entrada: Un clip de video se codifica primero en una secuencia de tensores latentes $Z$ utilizando un extractor de características de parches estándar (CNN 3D causal).
Mecanismo: El módulo STGE utiliza dos submódulos clave:
- Atención Espacio-Temporal (STA): Agrega características para capturar correlaciones globales.
- Fusión Espacio-Temporal Deformable (DSTF): Utiliza consultas aprendibles para proyectar la información de los vectores latentes hacia parámetros específicos de la 2D Gaussian (posición $\mu$ , covarianza $\Sigma$ y coeficientes de característica $\varsigma$ ).
Salida: Un conjunto de 2D Gaussians $G = \{G_t\}$ para cada paso de tiempo, donde cada Gaussian modela explícitamente la estructura espacial local y niveles variables de detalle.

2. Partición de Conjuntos de Gaussian (GSP)

Para abordar la redundancia temporal, GVT introduce una estrategia para desenredar el contenido estático y dinámico.

Partición: Se genera una máscara binaria aprendible para clasificar las Gaussians en dos conjuntos:
- Gaussians Estáticas ( $G_{static}$ ): Representan regiones estacionarias (por ejemplo, fondos) compartidas en todos los pasos de tiempo. Estas se computan una vez (en $t=1$ ) y se reutilizan para los fotogramas subsiguientes.
- Gaussians Dinámicas ( $G_{dynamic}$ ): Representan el contenido que varía temporalmente (por ejemplo, objetos en movimiento) y se actualizan para cada paso de tiempo.
Optimización: Una pérdida de restricción ( $L_{GSP}$ ) regulariza la proporción de Gaussians dinámicas, fomentando que el modelo minimice la redundancia mientras mantiene un recuento de tokens aprendible.

3. Cuantización de Vectores y Reconstrucción

Cuantización: Los coeficientes de característica ( $\varsigma$ ) de las 2D Gaussians se cuantizan utilizando una estrategia de Cuantización de Vectores (VQ) con un libro de códigos (codebook) aprendible, convirtiendo los parámetros continuos en tokens discretos.
Renderizado: Durante la reconstrucción, las cuantizadas Gaussians son rasterizadas. Las Gaussians estáticas se duplican a través de todos los pasos de tiempo, mientras que las dinámicas se renderizan por fotograma. El video final se reconstruye decodificando los pesos de radiancia y coeficientes agregados de vuelta al espacio de píxeles.

Contribuciones Clave

STGE (Spatio-Temporal Gaussian Embedding): Un nuevo módulo de proyección que mapea representaciones de video latentes compactas a 2D Gaussian Splatting de manera feed-forward, permitiendo una tokenización versátil sin optimización por video.
GSP (Gaussian Set Partitioning): Una estrategia aprendible que particiona explícitamente las Gaussians en conjuntos estáticos y dinámicos. Esto reduce la redundancia temporal al reutilizar el contenido estático, mejorando tanto la versatilidad temporal como la compacidad de la representación.
Marco GVT: Un marco de tokenización de video de extremo a extremo que integra STGE y GSP. Es el primer trabajo que incorpora Gaussian Splatting en la investigación de tokenización de video, logrando un rendimiento de vanguardia (SOTA) en reconstrucción y compresión.

Resultados Experimentales

Los autores evaluaron GVT en cuatro tareas: reconstrucción de video, reconocimiento de acciones, compresión y generación, utilizando conjuntos de datos que incluyen UCF101, Kinetics (K600/K400) y DAVIS.

Reconstrucción de Video:
- En UCF101 y Kinetics-600, GVT alcanzó el rendimiento SOTA en términos de FVD de video reconstruido (rFVD), superando a MAGVIT-v2 y otros tokenizadores (por ejemplo, 12.6 rFVD en UCF101 frente a 16.7 para MAGVIT-v2).
- En DAVIS-2017-480P, GVT demostró una fidelidad a nivel de instancia superior (mejor LPIPS, tercer mejor SSIM) entre los métodos basados en Campos de Radiancia. Crucialmente, es el único método feed-forward en esta comparación, evitando los tiempos de ajuste de horas por video requeridos por los enfoques basados en NeRF o 4DGS.
Reconocimiento de Acciones en Video:
- Utilizando los videos reconstruidos como entrada para VideoMAE, GVT logró una mayor precisión Top-1 y Top-5 en UCF101 y K400 en comparación con MAGVIT-v2, lo que indica una mejor preservación de la información semántica.
Compresión de Video:
- GVT demostró un rendimiento de Tasa-Distorsión (RD) superior. Comparado con el estándar H.266/VVC, GVT logró reducciones promedio de tasa de bits del 54.8% (basado en DISTS) y del 2.1% (basado en LPIPS).
Generación de Video:
- En tareas de generación de video incondicional en UCF101, GVT logró un FVD de 1240, superando la línea base de MAGVIT-v2 equipada con el mismo paradigma de flujo de emparejamiento (FVD 3772) y compitiendo competitivamente con otros métodos como MCVD y TGAN-v2.

Significado y Reivindicaciones

El artículo afirma que GVT representa un cambio significativo en la representación de video al aprovechar la naturaleza explícita y adaptativa de Gaussian Splatting.

Versatilidad: Al alejarse de las rejillas fijas, GVT adapta la densidad de tokens al contenido de información (espacial) y distingue entre elementos estáticos y dinámicos (temporal).
Eficiencia: El diseño feed-forward elimina la necesidad de una costosa optimización por video, haciendo que el enfoque sea escalable y generalizable a videos no vistos.
Rendimiento: El método establece nuevos referentes en calidad de reconstrucción y eficiencia de compresión, manteniendo un rendimiento competitivo en tareas posteriores como el reconocimiento de acciones y la generación.

Los autores reconocen limitaciones, señalando que las capacidades de generación actuales están restringidas a entornos incondicionales debido a la falta de modelos de alineación multimodal pre-entrenados para 2DGS. Consideran los resultados de generación actuales como evidencia preliminar del potencial del marco, con planes de trabajo futuro para explorar la generación condicional (por ejemplo, texto-a-video).