TVRN: Invertible Neural Networks for Compression-Aware Temporal Video Rescaling

Resumen Técnico: TVRN: Redes Neuronales Invertibles para Redimensionamiento Temporal de Video Consciente de la Compresión

Planteamiento del Problema
El rápido crecimiento del contenido de video de alta tasa de cuadros (HFR) crea un cuello de botella para la transmisión en redes con ancho de banda limitado. Una solución común implica reducir temporalmente los videos HFR a formatos de baja tasa de cuadros (LFR) para su transmisión, seguida de una ampliación (interpolación de cuadros) en el lado del cliente. Los métodos existentes suelen tratar la reducción y la ampliación como tareas separadas o las vinculan únicamente a través de objetivos de entrenamiento, sin explotar plenamente su naturaleza recíproca. Esto a menudo conduce a la pérdida de información de alta frecuencia. Además, los enfoques actuales frecuentemente pasan por alto el impacto de los códecs de video con pérdida (por ejemplo, HEVC, VVC, AV1) en los videos LFR. La mayoría de los métodos aprendidos dependen de operaciones de redondeo que limitan la compatibilidad con códecs con pérdida estándar, y las redes sustitutas existentes luchan por modelar con precisión los artefactos de compresión intercuadro, particularmente aquellos que surgen de la compensación de movimiento. En consecuencia, lograr un redimensionamiento de tasa de cuadros efectivo y de alta calidad bajo compresión con pérdida no diferenciable sigue siendo un desafío significativo.

Metodología
Los autores proponen TVRN (Red de Redimensionamiento Temporal de Video), un marco de extremo a extremo diseñado para el redimensionamiento de tasa de cuadros consciente de la compresión. La arquitectura central y sus componentes incluyen:

1. Arquitectura Invertible con MIMO-TWT: Para regularizar la pérdida de información durante la reducción, TVRN adopta una estructura de red neuronal invertible (INN). Introduce una Transformada de Ondículas Temporal de Múltiples Entradas y Múltiples Salidas (MIMO-TWT). A diferencia de las ondículas temporales tradicionales que requieren señales de movimiento adicionales, MIMO-TWT emplea un esquema de levantamiento de predicción primero utilizando una red ligera de interpolación de cuadros de video para la predicción y bloques Dense3D-T para las actualizaciones. Esto descompone los videos HFR en cuadros de baja frecuencia temporal (LFR) y residuos de alta frecuencia (HF) sin necesidad de transmitir información de movimiento adicional.
2. Reconstrucción de Alta Frecuencia: Para recuperar los componentes HF descartados durante la ampliación, el marco utiliza un módulo de reconstrucción guiado por flujo óptico bidireccional. Este módulo alinea las características contextuales de cuadros LFR vecinos utilizando flujo óptico bidireccional para abordar el desalineamiento espacial causado por el movimiento, refinando las estimaciones iniciales de HF mediante una U-Net consciente del contexto.
3. Red Sustituta para Códecs con Pérdida: Para permitir el entrenamiento de extremo a extremo a través de códecs con pérdida no diferenciables, los autores diseñan una red sustituta ($G$). Esta red imita las distorsiones de compresión degradando los componentes HF. Incorpora Bloques Q-Invertibles, que son capas de acoplamiento invertibles conscientes de la compresión que condicionan sus funciones de transformación en parámetros de cuantificación (QP) derivados del códec. Esto permite que la red simule artefactos de predicción intercuadro y pérdida de codificación de residuos con mayor precisión que las sustitutas anteriores basadas en Dense3D-T.
4. Arquitectura Asimétrica con Características Conscientes de la Compresión: Reconociendo que las arquitecturas invertibles simétricas son sensibles a los desplazamientos de distribución causados por niveles variables de compresión, TVRN se extiende a un diseño asimétrico. Integra módulos de Mejora de Calidad de Video (VQE). Crucialmente, en lugar de aplicar VQE directamente para eliminar artefactos (lo que puede distorsionar la información HF incrustada), el marco trata la ampliación como un proceso de desacoplamiento. Incorpora características conscientes de la compresión aprendidas mediante una estrategia de aprendizaje para el ranking (learning-to-rank) por pares. Estas características permiten que un solo modelo controle adaptativamente la fuerza de mejora a través de diferentes QP, mejorando la robustez sin requerir modelos específicos de QP.
5. Estrategia de Entrenamiento Alterno: El marco emplea una estrategia de optimización alterna donde la red sustituta y la red de redimensionamiento se entrenan en pasos alternos para garantizar una convergencia estable.

Contribuciones Clave

• Marco Invertible: El diseño de MIMO-TWT y un módulo de reconstrucción HF guiado por flujo óptico bidireccional, que regulariza y reconstruye eficazmente la información de alta frecuencia perdida durante la reducción dentro de una arquitectura invertible.
• Sustituta Consciente de la Compresión: La introducción de una red sustituta con bloques invertibles conscientes de la compresión para estimar gradientes de códecs con pérdida no diferenciables, permitiendo la optimización de extremo a extremo bajo configuraciones de compresión realistas.
• Extensión Asimétrica: La identificación de desafíos en la integración de métodos VQE y la propuesta de una arquitectura asimétrica que utiliza características conscientes de la compresión derivadas del aprendizaje para el ranking para mejorar la robustez a través de niveles variables de compresión.
• Rendimiento: La demostración de que TVRN supera a los métodos existentes de salto de cuadros y basados en aprendizaje en la calidad de reconstrucción bajo configuraciones de compresión de video industrial.

Resultados Experimentales
Se realizaron experimentos extensos en benchmarks estándar (UCF-101, Vimeo90K, SNU-FILM) utilizando códecs H.265, VVC y AV1.

• Calidad de Reconstrucción: TVRN logra un rendimiento de vanguardia en la reconstrucción HFR, superando a los mejores métodos VFI existentes (por ejemplo, GIMM-VFI) por márgenes significativos en PSNR y SSIM. Por ejemplo, en el conjunto de pruebas Vimeo90K, alcanza 35.65 dB de PSNR en comparación con 35.23 dB para GIMM-VFI.
• Rendimiento Tasa-Distorsión (RD): TVRN es el primer método de redimensionamiento de tasa de cuadros aprendible que supera a los métodos VFI de vanguardia en rendimiento RD. Logra mejoras de BD-rate de -7.22% (PSNR) y -16.40% (SSIM) en UCF-101 en comparación con GIMM-VFI.
• Efectividad de la Sustituta: Los estudios de ablación muestran que reemplazar el estimador de gradientes de un método competidor (CSTVR) con la red sustituta propuesta mejora significativamente su rendimiento, validando la capacidad de la sustituta para modelar distorsiones del códec.
• Eficiencia: Una variante ligera, TVRN-S, reduce los FLOPs al 6.54% y el tiempo de ampliación al 35.75% de GIMM-VFI mientras mantiene una calidad competitiva.
• Calidad Subjetiva: Un estudio de Puntuación de Opinión Media (MOS) con 25 participantes indica una preferencia clara por TVRN (4.02) sobre el segundo mejor método (3.69).

Significado y Afirmaciones
El artículo afirma que TVRN representa un avance significativo al integrar exitosamente redes neuronales invertibles con mecanismos conscientes de la compresión para el redimensionamiento temporal de video. Los autores declaran que este es el primer método de redimensionamiento de tasa de cuadros aprendible que supera a los métodos VFI de vanguardia bajo códecs modernos con pérdida. Al modelar la naturaleza recíproca de la reducción y la ampliación y simular con precisión la compresión con pérdida, TVRN aborda la brecha crítica entre el redimensionamiento de tasa de cuadros teórico y la implementación práctica en entornos de transmisión con ancho de banda limitado. El trabajo destaca que la optimización conjunta de estos procesos, en lugar de tratarlos por separado, es esencial para preservar la información de movimiento de alta frecuencia y lograr una reconstrucción de alta fidelidad.