Benchmarking Recurrent Event-Based Object Detection for Industrial Multi-Class Recognition on MTevent

Resumen Técnico: Evaluación Comparativa de la Detección de Objetos Basada en Eventos Recurrentes para el Reconocimiento Multiclase Industrial en MTevent

Enunciado del Problema
Las cámaras de eventos ofrecen alta resolución temporal, alto rango dinámico y reducción del desenfoque por movimiento, lo que las hace teóricamente ideales para la robótica industrial que opera bajo movimiento rápido, iluminación desafiante y oclusión parcial. Sin embargo, la investigación existente sobre detección de objetos basada en eventos está fuertemente sesgada hacia escenarios de conducción autónoma (por ejemplo, GEN1) o tareas de robótica de una sola categoría (por ejemplo, detección de personas en PEDRo). Existe una brecha significativa en la comprensión de cómo funcionan los detectores actuales en entornos industriales multiclase, los cuales se caracterizan por categorías de objetos diversas, disposiciones desordenadas, estructuras repetidas e interacciones frecuentes entre humanos y objetos. Además, sigue sin estar claro si el modelado temporal recurrente—que acumula evidencia de eventos dispersos a lo largo del tiempo—proporciona un beneficio tangible sobre los enfoques no recurrentes en estos entornos industriales complejos y de cola larga.

Metodología
Los autores presentan un estudio de evaluación comparativa controlado utilizando el conjunto de datos MTevent, un referente de cámaras de eventos industriales grabado en escenas similares a almacenes y fábricas. El estudio se centra en 17 clases de detección (16 objetos rígidos más humanos) derivadas de las anotaciones del conjunto de datos.

• Modelos: El estudio compara una línea base no recurrente YOLOv8s contra una variante recurrente, ReYOLOv8s, que aumenta la arquitectura base de YOLOv8s con módulos ConvLSTM para agregar características temporales.
• Entrada: Los modelos utilizan entradas de tensor de eventos temporalmente agrupadas de 5 canales (5 intervalos temporales, ventanas de 50 ms, resolución 256×320).
• Variables: La evaluación analiza tres factores principales:
  1. Recurrencia: Comparación entre modelos no recurrentes (longitud de clip 1) y modelos recurrentes.
  2. Longitud del Clip Temporal: Prueba de modelos recurrentes con longitudes de clip de {3, 7, 11, 21} utilizando muestreo temporal basado en desplazamiento.
  3. Preentrenamiento/Transferencia: Evaluación de la inicialización desde dos dominios externos de eventos: GEN1 (orientado a la conducción) y PEDRo (detección de personas orientada a la robótica), junto con el entrenamiento desde cero.
• Protocolo de Entrenamiento: Todos los experimentos utilizan hiperparámetros consistentes (AdamW, tasa de aprendizaje específica, tamaño de lote 16) y métricas de evaluación (mAP50, mAP50–95) en una división personalizada de escenas 60/13/2 para entrenamiento/validación/prueba para garantizar una comparación controlada.

Resultados Clave

• Recurrencia frente a No Recurrencia: En la división de validación de MTevent, el mejor modelo recurrente entrenado desde cero (longitud de clip 21) logró 0.285 mAP50, una mejora relativa del 9.6% sobre la línea base no recurrente YOLOv8s (0.260 mAP50). Esto confirma que el contexto temporal es beneficioso para la detección industrial basada en eventos.
• Dinámica de la Longitud del Clip: El rendimiento de los modelos entrenados desde cero no aumentó de forma monótona con la longitud del clip; el rendimiento disminuyó en la longitud de clip 11 antes de aumentar en 21. En contraste, los modelos preentrenados con GEN1 mostraron una mejora consistente a medida que aumentaba la longitud del clip (de 0.293 en longitud 3 a 0.329 en longitud 21), lo que sugiere que el preentrenamiento estabiliza la optimización temporal.
• Impacto del Preentrenamiento:
  • Inicialización con GEN1: Produjo el mejor resultado general (0.329 mAP50), superando significativamente al entrenamiento desde cero.
  • Inicialización con PEDRo: Rindió mal (0.251 mAP50 en clip 11), quedando por debajo tanto del mejor modelo recurrente entrenado desde cero como de la línea base no recurrente. Esto indica que el preentrenamiento con un dominio fuente desalineado (por ejemplo, datos solo de personas aplicados a escenas industriales multiclase) puede ser perjudicial.
• Transferencia Zero-Shot: Antes del ajuste fino, los modelos preentrenados con GEN1 no lograron detectar humanos en MTevent (AP50 = 0.000), mientras que los modelos preentrenados con PEDRo lograron un éxito limitado (AP50 = 0.136). Esto destaca que la transferencia zero-shot depende en gran medida de la similitud entre origen y destino en la estructura de la escena y los patrones de movimiento, no solo en la superposición de etiquetas.
• Modos de Fallo: Los errores persistentes estuvieron dominados por el desequilibrio de clases (clases raras) y las interacciones humano-objeto, donde los escenarios de transporte crean agrupaciones de eventos fusionadas que reducen la separabilidad de clases.

Contribuciones y Significado
Los autores declaran explícitamente que su contribución no es una nueva arquitectura ni un nuevo conjunto de datos. En cambio, la obra sirve como un estudio enfocado de evaluación comparativa y análisis de la detección basada en eventos recurrentes en entornos industriales.

• Significado: El artículo se posiciona como una prueba de estrés necesaria para las familias de modelos actuales en entornos industriales complejos y multiclase, un área que sigue siendo comparativamente poco explorada.
• Conclusiones Principales:
  1. La recurrencia mejora el rendimiento, pero el preentrenamiento en el dominio de eventos (específicamente desde una fuente bien alineada como GEN1) tiene un impacto más fuerte que la recurrencia por sí sola.
  2. La alineación del dominio fuente es crítica; un preentrenamiento desalineado puede degradar el rendimiento por debajo de los niveles de entrenamiento desde cero.
  3. En el escenario actual, las ganancias pueden ser más alcanzables mediante una mejora en la cobertura de datos y los protocolos de transferencia en lugar de un aumento en la complejidad arquitectónica.
  4. El estudio proporciona un punto de referencia reproducible (código y resultados disponibles) para futuras investigaciones sobre cámaras de eventos industriales, destacando cuellos de botella específicos como la escasez de clases de cola larga y la interacción humano-objeto.