Data-driven Video Codec with Implicit Neural Representations

Imagina que estás intentando enviar una película masiva en alta definición a un amigo. En el mundo de los medios digitales, solemos tratar el vídeo y el audio como un gigantesco mosaico hecho de diminutos azulejos de colores (píxeles) y una corriente separada de ondas sonoras. Los códecs de vídeo tradicionales son como archiveros maestros que observan este mosaico, encuentran todos los patrones aburridos y repetitivos, y escriben un conjunto de instrucciones muy ingeniosas sobre cómo reconstruirlo utilizando menos azulejos. Son increíblemente eficientes, pero dependen de una cuadrícula fija de píxeles.

Ahora, imagina un enfoque diferente. En lugar de almacenar los propios azulejos, ¿qué pasaría si almacenaras una única receta súper inteligente? Esta receta es una función matemática que, cuando le preguntas "¿De qué color es el píxel en este punto específico en este momento específico?", responde instantáneamente con el color y el sonido exactos. Este es el mundo de las Representaciones Neurales Implícitas (INR, por sus siglas en inglés). Piensa en esto como enseñar a un robot a memorizar una pintura aprendiendo los trazos de la brocha en lugar de tomar una foto del lienzo. Si el robot conoce la receta perfectamente, solo necesitas guardar la receta (el "cerebro" del robot o sus pesos) para recrear toda la película más tarde. Este artículo explora si podemos usar este método de "receta" para almacenar tanto vídeo como audio juntos en un solo cerebro, y si podemos encoger ese cerebro lo suficiente como para que sea útil.

El Códec de Vídeo de "Un Solo Cerebro"

Los investigadores de la Universidad de Tribhuvan en Nepal se hicieron una pregunta audaz: ¿Podemos construir una única red neuronal —un cerebro digital— que aprenda a ser tanto un reproductor de vídeo como un sistema de sonido al mismo tiempo? Normalmente, el vídeo y el audio son gestionados por sistemas separados. Aquí, construyeron una red unificada llamada SIREN (Red de Representación Sinusoidal).

Piensa en esta red como un traductor mágico. Le proporcionas un conjunto de coordenadas: dónde estás en la imagen (x, y), qué fotograma es en la película (t), y el momento exacto en el tiempo para el sonido (T). A cambio, la red escupe el color de ese píxel y el volumen del sonido en ese instante exacto. En lugar de guardar un archivo lleno de millones de píxeles, guardan los "pesos" de la red: esencialmente, los ajustes matemáticos que hacen que el traductor funcione.

Sin embargo, había un inconveniente. El vídeo y el audio son bestias muy diferentes. El vídeo cambia lentamente (una persona caminando), mientras que el audio cambia increíblemente rápido (la cuerda de un violín vibrando). Los investigadores descubrieron que una única "primera capa" de la red no podía manejar ambos bien. Era como intentar usar un par de gafas para leer un libro y escuchar una sinfonía; ninguna de las dos funcionaba con claridad. Por ello, le dieron a la red dos "gafas" separadas (capas de inicialización) al principio —una ajustada para el vídeo de movimiento lento y otra para el audio de movimiento rápido— antes de fusionarlas en un cerebro compartido.

El Truco de Magia de la Compresión

El mayor problema de esta idea es que la "receta" (la red entrenada) suele ser enorme. De hecho, para un vídeo corto, ¡la receta puede ser más grande que el propio archivo de vídeo! Para solucionar esto, el equipo utilizó un proceso de compresión de tres pasos:

1. El Maestro y el Estudiante: Primero, entrenaron una red "Maestra" grande y compleja para memorizar el vídeo perfectamente. Este maestro era enorme (unos 9.05 MiB). Luego, utilizaron una técnica llamada Destilación de Conocimiento. Imagina que el Maestro le explica el vídeo a una red "Estudiante" más pequeña y simple. El Estudiante no solo aprende el vídeo bruto; aprende a imitar las respuestas del Maestro. Esto redujo el modelo significamente.
2. Cuantización (El Juego del Redondeo): Los pesos de la red se almacenan normalmente con alta precisión (como números de 32 bits). Los investigadores probaron a redondear estos números hacia abajo a menos bits, como enteros de 16 bits. Es como tomar una receta muy precisa que dice "añadir 1.000001 gramos de sal" y simplificarla a "añadir 1 gramo". Probaron todo, desde 1 bit (muy tosco) hasta 32 bits (muy preciso). Descubrieron que una vez que llegaban a los 16 bits, la calidad dejaba de mejorar. Seguir subiendo no hacía que el vídeo se viera mejor, pero bajar de ahí hacía que se viera terriblemente mal.
3. Empaquetado sin Pérdida: Finalmente, utilizaron una herramienta de compresión estándar llamada LZMA2 (la misma que se usa en los archivos .xz) para comprimir el resto de los datos sin perder información.

Los Resultados: Un Tal Vez Mixto

El equipo probó esto en varios vídeos cortos. Esto es lo que encontraron:

• La Victoria del Tamaño: Para un vídeo de prueba de 6.08 MiB, su modelo final comprimido fue de 2.33 MiB. Esa es una relación de compresión de 2.61. Lograron comprimir el vídeo y el audio en un archivo menos de la mitad de su tamaño original.
• El Intercambio de Calidad: La calidad del vídeo era decente pero no asombrosa. El mejor vídeo que probaron obtuvo un PSNR de 28.72 dB (una medida de calidad donde cuanto mayor, mejor) y un SSIM de 0.75. El audio estaba bien, con un PSNR de 24.18 dB.
• El Problema del "Vídeo Corto": Este es el hallazgo más importante. Debido a que la red tiene un tamaño fijo (necesita cierta cantidad de "cerebro" para funcionar), los vídeos cortos en realidad se vuelven más grandes cuando se comprimen. Para un clip diminuto de 5 segundos, el archivo comprimido era más grande que el original. El método solo empieza a ahorrar espacio cuando el vídeo es lo suficientemente largo como para justificar el coste fijo de la red.
• Comparación con los Gigantes: Cuando compararon su método con los estándares de la industria H.264 y HEVC (los códecs utilizados por YouTube y Netflix), su método perdió. Los códecs tradicionales eran mucho mejores comprimiendo vídeo, a menudo por un factor de 10 o más. El nuevo método solo igualaba la calidad de los códecs tradicionales cuando estos se configuraban en sus ajustes de calidad más bajos o más "granulados".

Por Qué Esto Importa (Incluso si No es Perfecto)

Los autores son muy honestos sobre las limitaciones. Admiten que, por ahora, este método no está listo para reemplazar a YouTube o Netflix. Es demasiado lento de entrenar (toma miles de horas de tiempo de computación para "enseñar" a la red un solo vídeo) y tiene dificultades con las escenas de movimiento rápido.

Sin embargo, descubrieron algo único: el tamaño del archivo es constante. En el vídeo tradicional, si duplicas la duración de la película, el tamaño del archivo se duplica. Con este método, el tamaño del archivo se mantiene aproximadamente igual ya sea que el vídeo dure 1 minuto o 1 hora (una vez que supera cierto mínimo). Esto sugiere que para contenidos de muy larga duración y alta resolución, este enfoque podría ser muy eficiente en el futuro.

También construyeron un prototipo funcional que se ejecuta en un navegador web, demostando que es posible entrenar, enviar y reproducir estas "recetas de vídeo neurales" a través de Internet utilizando tecnologías web estándar.

En resumen, este artículo no inventó un nuevo formato de vídeo que supere a los actuales campeones. En su lugar, demostró que puedes almacenar un vídeo y su banda sonora dentro de un único cerebro matemático, y que puedes encoger ese cerebro hasta un tamaño utilizable sin destruir la imagen. Es un paso prometedor hacia un futuro donde no solo enviamos píxeles, sino que enviamos las instrucciones para imaginarlos.