Multi-modal video data-pipelines for machine learning with minimal human supervision

Resumen Técnico: Pipelines de Datos de Video Multimodal para Aprendizaje Automático con Supervisión Humana Mínima

Enunciado del Problema
Los flujos de trabajo tradicionales de aprendizaje automático a menudo dependen de datos unimodales (por ejemplo, imágenes RGB para segmentación o texto para análisis de sentimientos) y benchmarks fijos, lo que puede conducir a sobreajuste y mala generalización. Si bien el mundo real es inherentemente multimodal, capturar y correlacionar estas modalidades a partir de video crudo sin una anotación manual extensa presenta un desafío de ingeniería significativo. Los conjuntos de datos existentes, como Dronescapes, a menudo dependen de la curación manual o de scripts rígidos para generar modalidades auxiliares (como profundidad o normales de cámara), creando un cuello de botella para escalar los datos de entrenamiento multimodal. Además, el despliegue de inferencia en tiempo real en hardware de consumo sigue siendo un complejo compromiso entre latencia, potencia de cómputo y fiabilidad de la red.

Metodología: El Extractor de Representaciones de Video (VRE)
Para abordar estos desafíos, los autores introducen el Extractor de Representaciones de Video (VRE), un pipeline de datos de código abierto, modular y configurable diseñado para generar conjuntos de datos multimodales con supervisión humana mínima.

• Arquitectura y Bucle Principal: VRE opera sobre un Grafo Acíclico Dirigido (DAG) de representaciones. Una "representación" se define como un bloque básico equivalente a una modalidad, que consiste en un nombre único, parámetros y dependencias de otras representaciones. El pipeline ejecuta una ordenación topológica de estas representaciones, procesando fotogramas por lotos. Soporta dos modos principales:

  • Modo por Lotos: Optimizado para fiabilidad y procesamiento fuera de línea. Divide los videos en fragmentos, calcula las representaciones y las almacena en disco (utilizando formatos como .npz y .jpg) para su posterior entrenamiento. Incluye mecanismos de reentrada (saltando fotogramas ya calculados) y escrituras atómicas para manejar interrupciones.
  • Modo de Streaming: Optimizado para baja latencia. Procesa fotogramas secuencialmente desde fuentes en vivo (webcams, cámaras de teléfonos) sin sobrecarga de E/S en disco, adecuado para inferencia en tiempo real.

• Estrategias de Escalabilidad:

  • Lotes Multi-GPU: El artículo describe dos estrategias para paralelizar el trabajo a través de múltiples aceleradores. Estrategia 1 divide la línea de tiempo del video en fragmentos independientes, asignando cada uno a un proceso de GPU separado. Estrategia 2 divide las representaciones mismas en grupos independientes (basados en el DAG), permitiendo que diferentes GPUs calculen diferentes modalidades del mismo fragmento de video simultáneamente.
  • Agnosticismo de Hardware: VRE está diseñado para funcionar en CPUs, GPUs y potencialmente otros aceleradores (TPUs, NPUs), tratándolos como "aceleradores" genéricos.

• Detalles de Implementación: El pipeline se configura mediante archivos YAML, permitiendo a los usuarios definir cadenas de dependencias complejas (por ejemplo, derivar normales de cámara a partir de mapas de profundidad, que a su vez se derivan de RGB). Incluye un repositorio de representaciones preimplementadas, que incluye espacios de color, detección de bordes, flujo óptico, estimación de profundidad (DPT, Marigold) y segmentación semántica (Mask2Former, PHG-MAE).

Contribuciones Clave

1. Marco VRE: La introducción de un pipeline modular que automatiza la generación de conjuntos de datos multimodales a partir de video crudo utilizando redes neuronales preentrenadas y algoritmos procedimentales.
2. Arquitectura de Ingeniería: Estrategias detalladas para la escalabilidad, incluyendo lotes multi-GPU (división tanto temporal como de representaciones) y arquitecturas de streaming en tiempo real.
3. Extensión de Conjunto de Datos: Un estudio de caso que demuestra la extensión del conjunto de datos Dronescapes. Utilizando VRE, los autores (y colaboradores en la referencia [32]) expandieron el conjunto de datos de ~23K a ~148K fotogramas, añadiendo hasta 13 nuevas modalidades y 16 nuevos videos de UAV con intervención humana mínima.
4. Análisis de Despliegue: Validación empírica del despliegue de modelos de segmentación semántica y estimación de profundidad en tiempo real en hardware de consumo (GPU portátil NVIDIA RTX 4050) y servidores remotos en la nube.

Resultados Experimentales

• Eficiencia de Procesamiento por Lotos: En experimentos utilizando la configuración Dronescapes (17 representaciones), una sola GPU procesó un fotograma en aproximadamente 15.2 segundos. Utilizando una configuración de 8 GPUs, esto disminuyó a un promedio de 2.6 segundos por fotograma, representando un aumento en el rendimiento de 30–350× en comparación con las estimaciones de anotación manual.
• Rendimiento de Hardware: La aceleración por GPU superó consistentemente al procesamiento por CPU, mostrando aceleraciones de 2.5x a 5x para representaciones de redes neuronales. El aumento de los tamaños de lote mejoró la utilización, aunque las restricciones de memoria limitaron el tamaño de lote máximo.
• Eficiencia de Escalado: El escalado multi-GPU mostró mejoras casi lineales hasta 4 GPUs, pero se estancó en 8 GPUs (72% de eficiencia), atribuido a cuellos de botella en E/S, RAM o recursos de CPU.
• Streaming y Latencia: La inferencia en tiempo real en una GPU local de consumo logró tasas de fotogramas fiables para modelos como PHG-MAE-Distil y Depth DPT. Sin embargo, el procesamiento remoto a través de una red introdujo una latencia significativa, limitando las tasas de fotogramas a 2–3 FPS, lo que llevó a los autores a concluir que el cómputo local es preferible para aplicaciones en tiempo real.

Significado y Afirmaciones
El artículo afirma que VRE cierra exitosamente "el ciclo" entre los datos y el diseño del modelo al proporcionar una herramienta para optimizar la relación entre la arquitectura del modelo y los conjuntos de datos de entrenamiento ricos en señales. Al automatizar la gestión de dependencias de las modalidades, VRE permite la creación de conjuntos de datos multimodales a gran escala que previamente eran inviables de curar manualmente.

Los autores enfatizan que, aunque se centran en conjuntos de datos de UAV, el procedimiento es aplicable a cualquier dominio de video, incluida la conducción autónoma y la robótica de interiores. Posicionan a VRE no solo como un generador de datos, sino como un componente de infraestructura crítica para el paradigma emergente de "Software 2.0", donde las redes neuronales se integran en sistemas más grandes para permitir acciones inteligentes y autónomas. El trabajo destaca los compromisos entre la inferencia local y remota, sugiriendo que, aunque es posible la descarga a la nube, el procesamiento local sigue siendo superior para tareas en tiempo real sensibles a la latencia.