Deep Learning-based Event Data Coding: A Joint Spatiotemporal and Polarity Solution

Resumen Técnico: Codificación Conjunta de Datos de Eventos Basada en Aprendizaje Profundo (DL-JEC)

1. Planteamiento del Problema

Las cámaras de eventos (sensores neuromórficos) capturan cambios de intensidad en píxeles individuales de forma asíncrona, generando flujos masivos de datos en formato de tuplas 4D $(x, y, t, p)$, donde $p$ representa la polaridad (aumento o disminución de brillo).

• Desafío: La alta resolución temporal y espacial genera un volumen de datos enorme, lo que exige soluciones de codificación eficientes para almacenamiento y transmisión.
• Limitación del estado del arte: Las soluciones actuales se centran casi exclusivamente en la codificación sin pérdidas (lossless), asumiendo que cualquier distorsión es inaceptable para tareas de visión por computadora. Además, la mayoría de los enfoques basados en nubes de puntos (Point Clouds - PC) representan los datos de eventos como dos nubes de puntos separadas (una para cada polaridad), ignorando la correlación entre la geometría/espacio-tiempo y la polaridad.
• Oportunidad: No se ha explorado suficientemente la codificación con pérdidas (lossy) controlada, que podría ofrecer reducciones significativas en la tasa de bits sin comprometer el rendimiento de las tareas de visión por computadora (como la clasificación).

2. Metodología Propuesta: DL-JEC

El artículo propone DL-JEC (Deep Learning-based Joint Event data Coding), una solución novedosa que codifica los datos de eventos como una única nube de puntos en lugar de dos.

• Representación Unificada:

  • Geometría: Las coordenadas espaciales $(x, y)$ y el tiempo $(t)$ forman la geometría 3D de la nube de puntos ($z = t \times TSF$, donde $TSF$ es un factor de escala temporal).
  • Atributo: La polaridad $(p)$ se trata como un atributo de la nube de puntos (canal binario), en lugar de separar los datos.
  • Ventaja: Esto permite explotar la correlación entre la información geométrica/espacio-temporal y la polaridad, algo que no es posible con la representación de dos nubes de puntos independientes.

• Arquitectura de Codificación:

  • Se basa en una extensión del estándar JPEG Pleno PCC (Point Cloud Coding).
  • Utiliza un modelo de Autoencoder Variacional (VAE) con un hiperprior variacional para comprimir bloques de voxels.
  • Entrada: Un tensor disperso con dos canales: uno para la ocupación del voxel (geometría) y otro para la polaridad.
  • Salida: Probabilidades de ocupación y probabilidad de polaridad positiva para cada voxel.

• Función de Pérdida (Loss Function):

  • Se define una distorsión total ($D_{Total}$) que combina la distorsión geométrica y la distorsión de polaridad, ponderadas equitativamente ($\omega = 0.5$).
  • Se utiliza Focal Loss para ambas componentes, tratando el problema como una clasificación binaria. Para la polaridad en voxels reconstruidos en ubicaciones vacías, se utiliza la polaridad del vecino más cercano como referencia.

• Estrategias de Binarización Adaptativa:
  Dado que el decodificador devuelve probabilidades, se proponen tres estrategias para determinar el umbral de reconstrucción (valor $k$ en el método Top-k):

  1. CoB (Count-optimized): Mantiene el número exacto de eventos originales.
  2. QuB (Quality-optimized): Maximiza la fidelidad de la reconstrucción (métrica PSNR E2E).
  3. ClB (Classification-optimized): Optimiza el valor $k$ directamente para maximizar la precisión de la clasificación de eventos. Esta estrategia actúa como un filtro de ruido, eliminando eventos irrelevantes para la tarea.

• Nueva Métrica de Calidad:
  Se introduce el PSNR E2E (Peak Signal-to-Noise Ratio Event-to-Event Distance), una métrica adaptada de PSNR D1 que considera explícitamente la polaridad y la distancia euclidiana entre eventos de la misma polaridad en el espacio 3D.

3. Contribuciones Clave

1. Primera Codificación Conjunta: Es la primera solución basada en aprendizaje profundo que codifica datos de eventos completos (geometría + polaridad) en una única nube de puntos, eliminando la necesidad de componentes escalables independientes.
2. Estrategias de Binarización Adaptativas: Propone métodos de reconstrucción (CoB, QuB, ClB) que permiten adaptar el códec al objetivo final: alta fidelidad de datos o máximo rendimiento en una tarea de visión por computadora específica.
3. Validación de Codificación con Pérdidas: Demuestra que la codificación con pérdidas es viable y beneficiosa para tareas de visión por computadora, logrando tasas de bits mucho menores que la codificación sin pérdidas sin degradar (e incluso mejorando) el rendimiento de la clasificación.
4. Métrica PSNR E2E: Propone una nueva métrica de calidad específica para datos de eventos reconstruidos.

4. Resultados Experimentales

Los experimentos se realizaron utilizando los conjuntos de datos N-Caltech101 (clasificación) y IBM DVS Gesture (reconocimiento de gestos), comparando DL-JEC con G-PCC (estándar MPEG) y JPEG PCC (estándar DL).

• Rendimiento de Compresión (Rate-Distortion):

  • DL-JEC QuB supera significativamente a G-PCC (pérdidas y sin pérdidas) y a JPEG PCC en términos de relación tasa-distorsión (PSNR E2E).
  • Logra alta calidad de reconstrucción a tasas de bits muy inferiores a las requeridas por la codificación sin pérdidas de G-PCC.
  • Muestra una menor complejidad computacional (tiempos de codificación/decodificación) en comparación con JPEG PCC.

• Rendimiento en Clasificación:

  • La estrategia ClB logra la mejor precisión de clasificación (Top-1 y Top-5), superando incluso a los datos originales y a la codificación sin pérdidas en ciertos rangos de tasa.
  • Efecto de Denoising: Se observó que la binarización optimizada para clasificación elimina el ruido de los datos, facilitando la tarea al clasificador (EST).
  • DL-JEC mantiene un rendimiento de clasificación comparable al de los datos originales con tasas de bits drásticamente reducidas (hasta 8 veces menores que G-PCC lossless).

• Generalización:

  • Los modelos entrenados en N-Caltech101 generalizaron bien al conjunto de datos IBM DVS Gesture, manteniendo ventajas competitivas sobre los benchmarks, aunque con una ligera brecha debido a diferencias en la densidad de los datos de entrenamiento.

5. Significado e Impacto

• Cambio de Paradigma: El trabajo desafía la premisa actual de que los datos de eventos deben codificarse exclusivamente sin pérdidas. Demuestra que el control de la distorsión mediante codificación con pérdidas puede ser altamente beneficioso para aplicaciones de visión por computadora.
• Eficiencia: Al codificar geometría y polaridad conjuntamente, se explotan redundancias que antes se ignoraban, logrando una compresión superior.
• Relevancia para la Estandarización: Los resultados son altamente relevantes para el proyecto de estandarización JPEG XE (Event Coding), que está considerando la codificación con pérdidas en su segunda fase. DL-JEC ofrece una base sólida para futuros códecs estandarizados que prioricen el rendimiento de la máquina sobre la fidelidad visual humana.
• Futuro: Abre la puerta a la clasificación en el dominio comprimido (sin necesidad de decodificar completamente los datos), reduciendo la latencia y el consumo de recursos en sistemas de visión neuromórfica.