Rate-Distortion Analysis of Optically Passive Vision Compression

Resumen Técnico: Análisis de Tasa-Distorsión de la Compresión de Visión Ópticamente Pasiva

Planteamiento del Problema
Los sistemas autónomos que dependen de sensores de visión remota enfrentan desafíos significativos al transmitir datos visuales de alto volumen y alta dimensionalidad a través de canales con recursos limitados en tiempo real. Este problema se ve exacerbado en aplicaciones de robótica y control (por ejemplo, maniobras acrobáticas o evasión de colisiones a alta velocidad) donde los estrictos requisitos de latencia exigen altas frecuencias de muestreo. Si bien los códecs de video estándar (por ejemplo, H.264) y los autoencoders basados en aprendizaje profundo ofrecen soluciones de compresión, estos introducen una complejidad computacional sustancial debido a la intrincada compensación de movimiento, las transformadas de coseno discreto (DCT) y las capas convolucionales. Los autores proponen un nuevo paradigma de detección para abordar el compromiso entre la eficiencia de transmisión y la carga computacional mediante la habilitación de una compresión de video de alta velocidad y libre de computación.

Metodología
El artículo introduce la Compresión de Visión Ópticamente Pasiva (OPVC, por sus siglas en inglés), un esquema donde una cámara de eventos observa la transformada de coseno generada ópticamente de una escena visual. La metodología se basa en dos componentes primarios:

1. Transformada de Coseno Óptica: Utilizando óptica de Fourier, el sistema coloca una transparencia planar frente a una lente convergente. Al iluminar la escena con una onda plana coherente y utilizar un sistema de espejos y divisores de haz para crear una extensión par de la imagen, el campo óptico en el plano focal posterior corresponde a la transformada de Fourier de la escena. Para funciones reales y pares, esta transformada es equivalente a la transformada de coseno. El sistema superpone una onda plana de referencia para facilitar la recuperación de fase binaria, lo que permite que la medición de intensidad recupere la transformada sin computación activa.
2. Codificación de Cámara de Eventos: Una cámara de eventos registra de forma asíncrona los cambios en el logaritmo de la intensidad en lugar de fotogramas completos. Los píxeles se activan solo cuando la desviación en el logaritmo de la intensidad supera un umbral $\delta$, generando paquetes de Representación de Eventos por Dirección (AER) que contienen la posición del píxel, la marca de tiempo y la polaridad.
3. Marco de Simulación: Para evaluar el sistema, los autores desarrollaron un simulador de cámara de eventos sin ruido. El proceso consiste en:
   • Convertir el video basado en fotogramas de escala de grises a un espacio de logaritmo de intensidad.
   • Para el esquema OPV, aplicar una Transformada de Coseno Discreta (DCT) 2D para simular la transformada óptica, desplazando el resultado para asegurar la positividad (imitando la onda de referencia) y pasándolo al simulador de la cámara de eventos. El decodificador resta el desplazamiento y aplica una DCT inversa.
   • Para la Cámara de Eventos Independiente (SAEC), pasar directamente el video de logaritmo de intensidad al simulador de la cámara de eventos.
   • Reconstrucción: El decodificador integra el flujo de eventos utilizando el logaritmo de la intensidad inicial (asumido como conocido) y las polaridades de los eventos para reconstruir la escena.
   • Evaluación: Los autores computan curvas de tasa-distorsión utilizando el conjunto de datos Ultra Video Group (UVG) a través de múltiples resoluciones espaciales. La "tasa" se define como la tasa de muestreo (eventos por píxel por segundo), y la "distorsión" se mide mediante la Similitud Estructural Multiescala (MS-SSIM).

Contribuciones Clave

• Nuevo Paradigma de Detección: La propuesta de un esquema de compresión a nivel de hardware que realiza la transformada de coseno ópticamente, eliminando la complejidad computacional asociada con los códecs de video digitales y el procesamiento estándar de cámaras de eventos.
• Análisis de Tasa-Distorsión: Un estudio comparativo que demuestra que el esquema OPVC logra un rendimiento de tasa-distorsión superior en comparación con una cámara de eventos independiente (SAEC).
• Escalamiento de Resolución: El hallazgo de que la brecha de rendimiento entre OPVC y SAEC se amplía a medida que aumenta la resolución espacial de la cámara de eventos. Esto se atribuye a la capacidad de la transformada de coseno óptica para concentrar la energía de la imagen en el dominio de baja frecuencia, filtrando efectivamente la información de alta frecuencia que de otro modo generaría eventos excesivos en una SAEC estándar.

Resultos
Los resultados de la simulación en el conjunto de datos UVG indican que, en cualquier restricción de distorsión dada, el esquema OPVC requiere una tasa de muestreo por píxel más baja que la SAEC.

• Brecha de Rendimiento: La ventaja de OPVC sobre SAEC no es estática; aumenta a medida que aumenta la resolución espacial del sensor. En resoluciones más bajas, el submuestreo espacial filtra inherentemente la información de alta frecuencia, disminuyendo el beneficio relativo del filtrado óptico.
• Diferencias Cualitativas: Mientras que las reconstrucciones de SAEC tienden a retener bordes nítidos pero sufren de artefactos de movimiento debido al movimiento de bordes de alto contraste, las reconstrucciones de OPV exhiben menos artefactos de movimiento pero parecen tener ruido de alta frecuencia y bordes nítidos difuminados. Este difuminado ocurre porque la transformada óptica concentra la energía en el dominio de baja frecuencia, causando que la cámara de eventos filtre los detalles de alta frecuencia.
• Robustez: Los autores señalan que, aunque asumieron un entorno sin ruido y conocimiento de los fotogramas iniciales para este estudio, la inclusión de ruido del sensor y fotogramas de referencia periódicos en trabajos futuros sería necesaria para evaluar la robustez en el mundo real.

Significancia y Reivindicaciones
El artículo afirma que el esquema OPVC propuesto ofrece una alternativa de alta velocidad y computacionalmente mínima para la compresión de visión, particularmente adecuada para el control de bucle cerrado de sistemas de alta velocidad donde la latencia y los recursos computacionales son críticos. Los autores enfatizan que sus resultados representan un escenario ideal (sin ruido, conocimiento perfecto del fotograma inicial). Encuadran modestamente su trabajo como una prueba de concepto, sugiriendo que estudios futuros deberán abordar el ruido del sensor, la conversión de mayor fidelidad de videos basados en fotogramas a datos de eventos, y los compromisos específicos de tasa-distorsión introducidos por la necesidad de fotogramas de inicialización periódicos. El trabajo se posiciona como un paso hacia la habilitación de una compresión basada en hardware eficiente que aprovecha las propiedades físicas de la luz para reducir la carga de datos en los canales de comunicación.