Trajectory-aware Shifted State Space Models for Online Video Super-Resolution

Este artículo presenta TS-Mamba, un nuevo método de superresolución de video en línea que utiliza modelos de espacio de estado desplazados con conciencia de trayectoria para lograr una agregación espaciotemporal eficiente y de alto rendimiento, superando a los modelos existentes con una reducción significativa de la complejidad computacional.

Lo esencial

¡Hola! Imagina que estás viendo una transmisión en vivo de un concierto o una videoconferencia importante. De repente, la imagen se ve borrosa y pixelada porque tu internet no es tan rápido. Lo que necesitas es un "superpoder" que tome esa imagen pequeña y borrosa y la convierta en una imagen nítida y gigante, todo en tiempo real, sin que la transmisión se congele.

Ese es el problema que resuelve este paper: cómo mejorar la calidad de los videos en vivo de forma rápida y eficiente.

Aquí te explico cómo funciona su nueva tecnología, llamada TS-Mamba, usando analogías sencillas:

1. El Problema: "Mirar solo el pasado inmediato"

La mayoría de los métodos actuales para arreglar videos en vivo son como un conductor que solo mira el espejo retrovisor de un segundo.

• Si el coche (el video) se mueve rápido, el conductor solo ve lo que pasó hace un instante.
• Esto limita su capacidad para predecir hacia dónde va el coche o reconstruir detalles que se perdieron hace un momento.
• Los métodos antiguos intentan mirar más atrás, pero se vuelven tan lentos y pesados que el video se "traba" (se vuelve lento).

2. La Solución: TS-Mamba (El "Detective de Trayectorias")

Los autores crearon un nuevo sistema llamado TS-Mamba. Imagina que en lugar de un conductor, tienes un detective muy inteligente que tiene dos superpoderes:

A. El Mapa de Trayectorias (No solo mira, rastrea)

En lugar de mirar solo la imagen anterior, el sistema dibuja líneas invisibles (trayectorias) a través de todo el video.

• La analogía: Imagina que estás en una fiesta y quieres encontrar a tu amigo que se movió por la sala. Los métodos antiguos solo miran quién estaba justo a tu lado hace un segundo. TS-Mamba, en cambio, recuerda el camino completo que tomó tu amigo desde que entró.
• Qué hace: Usa estas "trayectorias" para buscar en los frames anteriores (imágenes pasadas) exactamente qué pedacitos de imagen (llamados "tokens") son más similares a lo que estamos viendo ahora. Es como buscar la pieza exacta del rompecabezas en una caja gigante, pero sabiendo exactamente dónde está.

B. El Escáner Mágico (Mamba y los "Shifts")

Una vez que tiene las piezas correctas, necesita unirlas. Aquí entra la tecnología Mamba, que es como un lector de libros super rápido que puede leer todo un libro en una línea recta sin cansarse (es muy eficiente).

• El problema: Cuando lees una imagen en una sola línea recta, a veces pierdes la conexión entre los píxeles vecinos (como si al leer un mapa, saltaras de un pueblo a otro sin ver el camino intermedio).
• La solución (Shifted SSMs): Los autores inventaron un truco llamado "Desplazamiento" (Shift).
  • Imagina que estás barriendo el suelo con una escoba. Si solo barras en línea recta, te saltas las esquinas.
  • TS-Mamba barre en línea recta, luego desliza la escoba un poco hacia un lado y barre de nuevo, y luego hacia otro lado.
  • Esto asegura que ningún rincón se quede sucio y que la imagen mantenga su continuidad y suavidad, sin perder detalles.

3. ¿Por qué es tan bueno? (El resultado)

Este sistema es como tener un chef que cocina una cena de lujo usando solo una tostadora.

• Calidad: Logra una imagen tan nítida como los métodos más complejos y pesados (que tardan mucho en procesar).
• Velocidad: Es extremadamente rápido y consume mucha menos energía (un 22.7% menos de trabajo computacional).
• Eficiencia: Al elegir solo las piezas de información más relevantes (gracias a las trayectorias) y usar el escaneo inteligente, no desperdicia tiempo procesando cosas que no importan.

En resumen

TS-Mamba es como un editor de video futurista que:

1. Rastrea el movimiento de los objetos a lo largo del tiempo (como un GPS).
2. Selecciona solo la información más útil de los segundos pasados.
3. Reconstruye la imagen actual con una técnica de "barrido inteligente" que evita perder detalles.

El resultado es que puedes ver tus videos en vivo en alta definición, sin que tu computadora se ponga lenta y sin que la imagen se vea borrosa, incluso si tu conexión a internet no es perfecta. ¡Es magia matemática aplicada a tu pantalla!

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Trajectory-Aware Shifted State Space Models for Online Video Super-Resolution" (TS-Mamba), publicado en la conferencia ICLR 2026.

1. El Problema

La Super-Resolución de Video en Línea (VSR) es crucial para aplicaciones en tiempo real como videoconferencias y transmisiones en vivo. Su objetivo es restaurar un frame de alta resolución (HR) actual utilizando solo su versión de baja resolución (LR) y frames anteriores.

Los desafíos principales identificados en el estado del arte son:

• Limitación Temporal: La mayoría de los métodos en línea existentes dependen únicamente de un frame anterior inmediato para la alineación temporal. Esto restringe el modelado de dependencias a largo plazo, limitando la calidad de reconstrucción.
• Complejidad Computacional: Los métodos que incorporan información temporal a largo plazo (como Transformers o modelos de difusión) suelen tener una complejidad computacional muy alta, lo que los hace inviables para aplicaciones en tiempo real con recursos limitados.
• Pérdida de Continuidad Espacial en SSMs: Los recientes Modelos de Espacio de Estados (SSMs), como Mamba, ofrecen complejidad lineal y un campo receptivo global, ideal para VSR. Sin embargo, al convertir imágenes 2D en secuencias 1D mediante escaneos (scanning), sufren de pérdida de continuidad espacial, especialmente con escaneos tipo Hilbert, lo que degrada la calidad de la imagen.

2. Metodología Propuesta: TS-Mamba

El artículo propone TS-Mamba, un modelo basado en SSMs que integra modelado de trayectorias y bloques SSMs desplazados (Shifted SSMs) para lograr una agregación eficiente de información espacio-temporal.

A. Selección de Tokens Basada en Trayectorias

En lugar de usar solo el frame anterior inmediato, TS-Mamba construye trayectorias dentro del video para seleccionar los tokens (parches de características) más similares de los frames anteriores ($T$ frames).

• Se generan trayectorias que conectan coordenadas a lo largo del tiempo.
• Se calcula la similitud coseno entre los tokens del frame actual y los tokens a lo largo de estas trayectorias.
• Se seleccionan los $s$ tokens más similares para la agregación, permitiendo un modelado a largo plazo sin procesar todos los tokens de todos los frames anteriores.

B. Módulo de Agregación Mamba Desplazado con Conciencia de Trayectoria (TSMA)

Este es el núcleo de la arquitectura, diseñado para mitigar las pérdidas de continuidad espacial inherentes a los escaneos de Mamba.

• Estructura "Scan-Shift-Scan": El módulo combina un bloque SSM estándar con dos bloques SSMs Desplazados (S-SSMs) en paralelo.
• Escaneos de Hilbert y Operaciones de Desplazamiento: Se utilizan cuatro tipos de escaneos de Hilbert combinados con operaciones de desplazamiento de ventanas (ej. subir 1 posición, subir-izquierda 1 posición, etc.).
• Compensación de Discontinuidad: El desplazamiento de ventanas está diseñado para eliminar las discontinuidades intra-ventana e inter-ventana que ocurren en los escaneos de Hilbert. Se definen valores de eliminación ($\delta$) para cuantificar qué combinaciones de escaneo y desplazamiento restauran mejor la continuidad espacial.
• Escaneo Selectivo 3D (SS3D): Los tokens seleccionados y el token actual se escanean a lo largo de la dimensión temporal utilizando escaneos de Hilbert selectivos, capturando características espacio-temporales a largo plazo.

C. Función de Pérdida Consciente de Trayectoria

Además de la pérdida espacial estándar (Charbonnier), se propone una pérdida consciente de trayectoria ($L_{trj}$). Esta función supervisa la generación de trayectorias durante el entrenamiento, asegurando que la selección de tokens basada en la trayectoria sea precisa y coherente con la realidad del movimiento del video.

3. Contribuciones Clave

1. Primer Modelo VSR en Línea Basado en SSMs: TS-Mamba es el primer enfoque que utiliza SSMs (Mamba) para VSR en línea, agregando información espacio-temporal a largo plazo a nivel de tokens, superando la limitación de usar solo un frame anterior típica de los métodos basados en CNN.
2. Introducción de Trayectorias en Mamba: Es la primera vez que se introducen trayectorias de video dentro de la arquitectura Mamba para seleccionar tokens similares y construir un modelo de agregación eficiente.
3. Bloques SSMs Desplazados Innovadores: Se diseñan bloques basados en cuatro operaciones de desplazamiento y escaneos de Hilbert para compensar específicamente las pérdidas de escaneo y fortalecer la continuidad espacial local, algo que otros trabajos basados en Mamba ignoran.
4. Eficiencia y Rendimiento: Logra un equilibrio superior entre calidad de reconstrucción y complejidad computacional.

4. Resultados Experimentales

El modelo fue evaluado en tres conjuntos de datos estándar: REDS4, Vid4 y Vimeo-90K-T, bajo degradaciones por bicúbica (BI) y borrosidad (BD).

• Rendimiento (PSNR/SSIM): TS-Mamba alcanza un estado del arte (SOTA) en la mayoría de los casos, superando a seis modelos de referencia en línea (como BasicVSR++, DAP, FDAN, KSNet, TMP).
• Reducción de Complejidad: Logra una reducción de complejidad superior al 22.7% en MACs (Multiplicaciones-Acumulaciones) en comparación con los métodos SOTA, manteniendo o mejorando la calidad de imagen.
• Velocidad: Es el segundo método más rápido en inferencia entre los métodos en línea probados, siendo capaz de procesar video 720p a más de 33 FPS (en GPU RTX 3090), cumpliendo con los requisitos de tiempo real.
• Análisis de Ablación: Las pruebas confirman que cada componente (generación de trayectorias, pérdida de trayectoria, ramas de compensación intra/inter-ventana y operaciones de desplazamiento) es esencial para el rendimiento final.

5. Significado e Impacto

Este trabajo es significativo porque:

• Puentea la brecha entre eficiencia y calidad: Demuestra que es posible lograr modelado de dependencias a largo plazo en video sin incurrir en el costo computacional prohibitivo de los Transformers o modelos de difusión.
• Soluciona un problema fundamental de Mamba: Aborda la crítica limitación de la continuidad espacial en los modelos SSMs visuales mediante un diseño ingenioso de desplazamiento de ventanas, lo que podría influir en futuras aplicaciones de Mamba en visión por computadora.
• Viabilidad para aplicaciones reales: Al reducir drásticamente la complejidad y mantener un alto rendimiento, TS-Mamba se posiciona como una solución viable para la implementación en dispositivos con recursos limitados o en servicios de streaming en vivo donde la latencia es crítica.

En resumen, TS-Mamba representa un avance importante en la super-resolución de video en línea, combinando la eficiencia de los modelos de espacio de estados con una estrategia inteligente de selección de información basada en trayectorias para superar las limitaciones de los métodos actuales.