Resumen Técnico: ANCHOR – Corrección de la Salida de Red Guiada por Rastros Físicos para la Restauración de Vídeo

Declaración del Problema

Los métodos de restauración de vídeo suelen explotar la información temporal de los fotogramas de referencia para recuperar el contenido faltante o degradado en un fotograma objetivo. Sin embargo, los enfoques actuales suelen enfrentar problemas de fiabilidad donde los fotogramas de referencia introducen degradaciones inconsistentes, discrepancias de contenido o errores de reconstrucción debido a variaciones físicas en la formación de la imagen (por ejemplo, integración de exposición, oclusión dinámica, reflejos) y una agregación temporal imperfecta.

Si bien los métodos actuales se centran en mejorar las redes de restauración mismas o en aplicar post-procesamiento específico para la tarea (por ejemplo, para el efecto de estela o parpadeo), pasan por alto en gran medida la fiabilidad de las salidas generadas en ubicaciones espaciales específicas. Crucialmente, el fotograma de baja calidad actual, aunque degradado, está inherentemente alineado temporalmente con el instante objetivo y puede preservar información radiométrica y estructural más fiel en regiones levemente degradadas en comparación con las propuestas temporales agregadas. El desafío central abordado es determinar dónde se debe confiar en la reconstrucción temporal y dónde debe corregirse utilizando la observación del fotograma actual.

Metodología: El Marco de Trabajo ANCHOR

Los autores proponen ANCHOR (Adaptive Network-output Correction framework based on Heterogeneous Observation Reliability), un marco de post-procesamiento agnóstico al modelo diseñado para refinar las salidas de arbitrarias redes de restauración de vídeo preentrenadas.

Concepto Central

ANCHOR trata la salida de una red de restauración ($Y_t$) como una "propuesta temporal" y el fotograma de baja calidad original ($X_t$) como un "ancla de observación". En lugar de reconstruir el fotograma objetivo de forma independiente, ANCHOR predice un campo de corrección espacialmente adaptativo ($M_t$) para refinar la propuesta a lo largo de la dirección de la discrepancia entre el ancla y la propuesta:
$$\hat{Y}_t = X_t + M_t \odot (Y_t - X_t)$$
donde $\odot$ denota la multiplicación elemento a elemento. Esta formulación permite que el sistema desplace adaptativamente la propuesta hacia el ancla en regiones donde las observaciones directas son confiables, mientras preserva la restauración temporal en regiones donde el ancla carece de evidencia suficiente.

Componentes Clave

El marco consta de tres módulos primarios:

1. Observación de Rastro Físico Heterogéneo (HPTO):
   HPTO extrae evidencia de fiabilidad complementaria de tres familias de "rastros" distintos utilizando el ancla, la propuesta y su discrepancia:

   • Rastro Radiométrico: Evalúa la respuesta radiométrica, las variaciones de iluminación local y el contraste para evaluar la preservación de la información.
   • Rastro Estructural: Captura variaciones estructurales y de textura utilizando respuestas de alta frecuencia y de Laplaciano a múltiples escalas para detectar modificaciones inducidas por la restauración.
   • Rastro de Consistencia Temporal: Mide la consistencia entre fotogramas mediante diferencias de fotogramas bidireccionales y varianza temporal.
     Estos rastros son calibrados mediante una red de calibración ligera y acotada para asegurar la adaptabilidad en diversas escenas preservando la interpretabilidad. HPTO además realiza una selección de medición adaptativa para ponderar la importancia de diferentes rastros basándose en estadísticas globales de la escena y respuestas espaciales locales.

2. Consenso Denso de Preservación de Evidencia (EPDC):
   Para evitar la pérdida prematura de evidencia valiosa durante la compresión, EPDC realiza un enrutamiento a nivel de observador. Modela conjuntamente la relación ancla-propuesta y las respuestas del observador para calcular los pesos de enrutamiento ($\rho^e_t$) entre las familias de rastros. Crucialmente, EPDC retiene los rastros densos completos como evidencia de decisión en lugar de depender únicamente de resúmenes comprimidos. Integra estos rastros enrutados con las características de relación mediante modulación residual adaptativa para generar una representación mejorada ($H_t$).

3. Decodificador de Riesgo Relativo (RRD):
   Condicionado a la representación mejorada $H_t$, el RRD estima un campo de confianza espacial. Aprende la confianza relativa entre la propuesta y el ancla sin requerir anotaciones de error explícitas. El decodificador produce el campo de fuerza de corrección $M_t$, el cual es recortado al rango $[0, 1]$.

Variantes

El artículo introduce dos variantes de ANCHOR:

• ANCHOR-Correct: Un módulo de post-procesamiento que toma el vídeo de baja calidad y la propuesta de restauración ($Y_t$) como entrada para generar la salida corregida.
• ANCHOR-Guide: Un módulo de tiempo de entrenamiento que utiliza únicamente el vídeo de baja calidad para predecir un campo de corrección. Este campo guía el ajuste fino (fine-tuning) de la propia red de restauración, enfatizando las regiones con anclas poco fiables y ponderando a la baja las regiones bien preservadas.

Contribuciones Clave

1. Cambio de Paradigma: El trabajo revisita el fotograma actual no meramente como una entrada, sino como un "ancla de observación" espacialmente alineada para corregir las salidas de arbitrarias redes de restauración preentrenadas.
2. Guía de Rastro Físico: La propuesta de un marco que extrae evidencia de fiabilidad heterogénea (radiométrica, estructural, temporal) y realiza un razonamiento de consenso de preservación de evidencia para estimar la confianza espacial.
3. Agnosticismo de Modelo: El marco opera sin modificar la arquitectura de la red de restauración subyacente, lo que lo hace aplicable a varios modelos de estado del arte (SOTA).
4. Validación: Validación extensiva en cinco conjuntos de datos a través de dos tareas distintas de degradación física: reconstrucción de vídeo HDR y eliminación de lluvia de vídeo (video deraining).

Resultados Experimentales

Los autores evaluaron ANCHOR en Eliminación de Lluvia de Vídeo (usando RainSynLight, RainSynComplex y NTURain) y Reconstrucción de Vídeo HDR (usando DeepHDRVideo y Cinematic).

• Ganancias de Rendimiento: ANCHOR-Correct demostró mejoras consistentes en varios modelos SOTA (por ejemplo, DeLiVR, VDMamba, HDRFlow, NECHDR). Por ejemplo, en el conjunto de datos RainSynLight, aplicar ANCHOR-Correct a VDMamba aumentó el PSNR de 38.67 a 39.20. Del mismo modo, en DeepHDRVideo, el PSNR de NECHDR mejoró de 43.44 a 43.84.
• Guía de Entrenamiento: ANCHOR-Guide mejoró aún más el rendimiento al guiar el ajuste fino de las redes de restauración, obteniendo ganancias sustanciales particularmente en el conjunto de datos DeepHDRVideo.
• Mejoras Cualitativas: Las comparaciones visuales mostraron que ANCHOR mitiga eficazmente el sobre-suavizado, recupera estructuras finas perdidas durante la agregación temporal y reduce artefactos como el efecto de estela (ghosting) y errores de brillo causados por fotogramas de referencia inconsistentes.
• Eficiencia: El módulo ANCHOR es computacionalmente ligero (2.02M de parámetros, 0.14 TFLOPs), ejecutándose significativamente más rápido que las redes de restauración. Si bien ANCHOR-Correct causa una reducción modesta en los FPS debido al procesamiento secuencial, ANCHOR-Guide se ejecuta en paralelo con un impacto insignificante en la velocidad de inferencia.

Significado y Reivindicaciones

El artículo afirma que ANCHOR aborda una brecha fundamental en la restauración de vídeo: la falta de corrección de salida consciente de la fiabilidad. Al tratar el fotograma actual como un ancla de confianza y utilizar la evidencia del rastro físico para guiar las correcciones, ANCHOR proporciona un mecanismo de refinamiento condicionado a la observación y de bajo coste.

Los autores enfatizan que su enfoque no requiere rediseñar las redes de restauración existentes ni sus procesos de supervisión. En su lugar, ofrece una estrategia generalizable para mejorar los sistemas preentrenados mediante la corrección selectiva de las modificaciones que no están respaldadas por observaciones alineadas. Los resultados validan que el post-procesamiento consciente de la fiabilidad es una estrategia efectiva para mejorar diversos sistemas de restauración de vídeo de estado del arte bajo distintas degradaciones físicas de formación de imagen.