Resumen Técnico: Evita – Aprendizaje de Representación Armónico-Geométrica Unificada para el Análisis Denso de RGB-Eventos

1. Planteamiento del Problema

La integración de fotogramas RGB estándar con flujos de eventos asíncronos se ha convertido en un paradigma crítico para la percepción robusta en entornos degradados (p. ej., alto movimiento, iluminación extrema). Sin embargo, los enfoques actuales enfrentan tres cuellos de botella fundamentales:

1. Redundancia Computacional: Los métodos predominantes dependen de arquitecturas de doble codificador desacopladas, lo que duplica efectivamente la sobrecarga computacional y el recuento de parámetros.
2. Desalineación Geométrica: Los retrasos sensoriales asíncronos y la paralaje espacial causan desalineaciones geométricas implícitas entre los datos RGB y de eventos, las cuales los modelos de flujo dual suelen ignorar durante la agregación de características.
3. Aliasing Cross-Espectral: La división representacional entre las rejillas de intensidad absoluta densas (RGB) y los picos cinemáticos dispersos (eventos) conduce a un severo aliasing semántico y ruido de alta frecuencia cuando se aplica una agregación espacial simple.

Si bien las arquitecturas unificadas han tenido éxito en los dominios RGB-Profundidad y RGB-Térmico, fallan en el dominio RGB-Evento porque tratan las modalidades heterogéneas como tokens homogéneos, pasando por alto la extrema dispersión y asincronía de los datos de eventos.

2. Metodología: El Marco de Trabajo Evita

Los autores proponen Evita, el primer backbone unificado diseñado específicamente para el análisis denso de RGB-Eventos. A diferencia de trabajos previos que fusionan características en etapas tempranas o tardías, Evita integra interacciones cross-modales directamente en cada capa del codificador mediante una arquitectura jerárquica simétrica e entrelazada.

2.1 Componentes Arquitectónicos Centrales

Cada bloque de Evita integra tres módulos de co-aprendizaje fundamentales:

• Rectificación de Paralaje Geométrico: Para abordar las discrepancias espaciales sin una calibración de profundidad explícita, los autores introducen un operador de alineación deformable cross-modal no paramétrico. Este módulo genera dinámicamente desplazamientos espaciales y máscaras de modulación basadas en la concatenación de las características RGB y de eventos, asegurando que los bordes cinemáticos se anclen con precisión a los límites fotométricos.
• Resonancia Espectral Armónica: Para superar la heterogeneidad de la modalidad y evitar artefactos de ruido espacial, la transferencia de textura se ejecuta exclusivamente en el dominio de la frecuencia compleja. Utilizando Transformadas de Fourier Discretas (DFT), el método desacopla la amplitud y la fase. Modula el espectro de amplitud RGB con las amplitudes derivadas de los eventos (reguladas por un mecanismo aprendido) mientras preserva la estructura de fase RGB, inyectando eficazmente matrices de cambio de alta frecuencia sin introducir aliasing espacial.
• Enrutamiento Global Transitorio: Este módulo formula un mecanismo de atención cross-modal asimétrico. Las características de eventos cinemáticos actúan como consultas (queries) dinámicas, mientras que las características RGB proporcionan claves (keys) y valores (values). Crucialmente, se añade un "prior transitorio" explícito derivado del flujo de eventos a los logits de atención, lo que permite a la red enrutar activamente el contexto fotométrico macroscópico hacia los bordes de movimiento, filtrando simultáneamente el ruido de fondo estático.

2.2 Estrategia de Preentrenamiento y N-ImageNetV2

Para asegurar una extracción de características robusta y desacoplar las representaciones de codificaciones de eventos específicas, los autores introducen N-ImageNetV2, un conjunto de datos a gran escala de más de 1.2 millones de pares RGB-evento estrictamente alineados.

• Pipeline de Alineación: Un pipeline de registro guiado semánticamente (Algoritmo 1) mapea eventos dispersos a Superficies de Eventos Activos (SAE), extrae puntos clave vía SuperPoint y los empareja con LightGlue. Una estrategia de relajación adaptativa iterativa estima matrices de homografía robustas para deformar los flujos de eventos al espacio de coordenadas RGB.
• Preentrenamiento Estocástico: Durante el preentrenamiento, la red se expone a un objetivo de entrenamiento híbrido donde el 60% de los pares están estrictamente alineados y el 40% están intencionalmente desalineados mediante jitter espacial estocástico. Esto obliga a la red a aprender características estructurales invariantes robustas en lugar de sobreajustarse a correspondencias estáticas.
• Mezcla de Representación: La arquitectura acepta representaciones de eventos muestreadas aleatoriamente (p. ej., Binario, Vóxel, SAE) desde un repositorio durante el preentrenamiento, permitiendo la acomodación fluida de formatos de eventos arbitrarios durante el ajuste fino (fine-tuning) posterior.

3. Contribuciones Clave

1. Backbone Unificado (Evita): La primera arquitectura unificada para el análisis denso de RGB-Evento que elimina la inflación de parámetros de los paradigmas desacoplados mediante la inserción de interacciones cross-modales en cada capa del codificador.
2. Nuevos Módulos de Co-Aprendizaje: La introducción de la Rectificación de Paralaje Geométrico, la Resonancia Espectral Armónica y el Enrutamiento Global Transitorio para abordar el paralaje geométrico, el aliasing cross-espectral y el enrutamiento de contexto dinámico, respectivamente.
3. N-ImageNetV2 y Protocolo de Preentrenamiento: Un nuevo conjunto de datos con pares estrictamente alineados y un protocolo de mezcla estocástica que cierra la brecha de distribución entre la intensidad absoluta y el contraste relativo, permitiendo un rendimiento agnóstico al formato.
4. Rendimiento de Vanguardia (SOTA): Establecimiento de nuevos métricas en múltiples benchmarks con un equilibrio superior entre precisión y latencia.

4. Resultados Experimentales

Las evaluaciones se realizaron en los benchmarks DELIVER, DDD17 y DSEC.

• Benchmark DELIVER: El modelo insignia Evita-L alcanzó un nuevo estado del arte de 59.57% mIoU. Notablemente, superó al fuerte baseline CMNeXt-B4 (58.87%) utilizando solo el 38% de sus parámetros y aproximadamente la mitad de los FLOPs. El modelo ligero Evita-S logró un 56.79% mIoU con solo 21.9M de parámetros.
• Benchmarks DDD17 y DSEC: Evita-L estableció récords con 80.12% mIoU en DDD17 y 76.80% mIoU en DSEC. En DSEC, Evita-L requirió solo 82.7 GFLOPs, casi la mitad de la carga computacional de MambaSeg (159.5 GFLOPs), entregando una mejora de precisión absoluta del 2.0%.
• Eficiencia: Evita-S opera a una latencia de 22.4ms en una RTX 3090, superando significativamente a modelos más pesados como OmniSegmentor y CMNeXt en escenarios de despliegue de borde en tiempo real.
• Robustez: Bajo desalineaciones espaciales simuladas (hasta 48 píxeles), Evita-L demostró una resiliencia excepcional con una degradación de solo 0.18% mIoU, comparado con caídas de >1.0% en modelos competidores, tanto unificados como desacoplados.
• Generalización: El protocolo de preentrenamiento se transfirió con éxito a tareas de RGB-Térmico (MFNet) y RGB-LiDAR (KITTI-360), produciendo ganancias de rendimiento sobre la inicialización solo con RGB, lo que sugiere que los priors aprendidos son fundamentales para la fusión cross-modal.

5. Significado y Reivindicaciones

El artículo afirma que Evita cierra fundamentalmente la "extrema brecha representacional" entre las rejillas de intensidad densas y los picos cinemáticos dispersos. Al rectificar explícitamente el paralaje geométrico e integrar armónicos cross-espectrales, el marco establece una base estructural robusta para la percepción multimodal.

Los autores aseguran que su enfoque:

• Elimina la Redundancia Computacional: Al alejarse de la inferencia de doble flujo, Evita logra un equilibrio óptimo entre precisión y latencia.
• Garantiza la Agnosticidad de Formato: A través de la mezcla de representación estocástica, la red puede manejar codificaciones de eventos arbitrarias sin necesidad de reentrenamiento.
• Provee Percepción Resiliente: Los priors armónico-geométricos aprendidos permiten una comprensión de la escena robusta en entornos no restringidos, particularmente bajo condiciones climáticas adversas y desenfoque de movimiento donde los sensores RGB estándar fallan.

El trabajo posiciona a Evita no solo como un modelo de segmentación, sino como un paso fundacional hacia una arquitectura multimodal universalmente agnóstica capaz de manejar diversas modalidades de sensores mediante un aprendizaje geométrico y espectral unificado.