Multi-modal video data-pipelines for machine learning with minimal human supervision

Resumo Técnico: Pipelines de Dados de Vídeo Multimodais para Aprendizado de Máquina com Supervisão Humana Mínima

Declaração do Problema
Os fluxos de trabalho tradicionais de aprendizado de máquina frequentemente dependem de dados unimodais (por exemplo, imagens RGB para segmentação ou texto para análise de sentimentos) e benchmarks fixos, o que pode levar ao sobreajuste e à baixa generalização. Embora o mundo real seja inerentemente multimodal, capturar e correlacionar essas modalidades a partir de vídeo bruto sem anotação manual extensa apresenta um desafio de engenharia significativo. Conjuntos de dados existentes, como o Dronescapes, frequentemente dependem de curadoria manual ou scripts rígidos para gerar modalidades auxiliares (como profundidade ou normais de câmera), criando um gargalo para a escalabilidade de dados de treinamento multimodais. Além disso, a implantação de inferência em tempo real em hardware de consumo permanece uma complexa compensação entre latência, poder de computação e confiabilidade da rede.

Metodologia: O Extrator de Representações de Vídeo (VRE)
Para abordar esses desafios, os autores introduzem o Extrator de Representações de Vídeo (VRE), um pipeline de dados de código aberto, modular e configurável projetado para gerar conjuntos de dados multimodais com supervisão humana mínima.

• Arquitetura e Loop Principal: O VRE opera em um Grafo Acíclico Direcionado (DAG) de representações. Uma "representação" é definida como um bloco básico equivalente a uma modalidade, consistindo em um nome único, parâmetros e dependências de outras representações. O pipeline executa uma ordenação topológica dessas representações, processando quadros em lotes. Ele suporta dois modos principais:

  • Modo em Lote: Otimizado para confiabilidade e processamento offline. Ele divide vídeos em fragmentos, calcula representações e as armazena em disco (usando formatos como .npz e .jpg) para treinamento posterior. Inclui mecanismos de reentrada (ignorando quadros já calculados) e gravações atômicas para lidar com interrupções.
  • Modo de Streaming: Otimizado para baixa latência. Processa quadros sequencialmente a partir de fontes ao vivo (webcams, câmeras de telefone) sem sobrecarga de E/S em disco, adequado para inferência em tempo real.

• Estratégias de Escalabilidade:

  • Processamento em Lote Multi-GPU: O artigo descreve duas estratégias para paralelizar o trabalho entre múltiplos aceleradores. Estratégia 1 divide a linha do tempo do vídeo em fragmentos independentes, atribuindo cada um a um processo de GPU separado. Estratégia 2 divide as próprias representações em grupos independentes (com base no DAG), permitindo que diferentes GPUs calculem modalidades diferentes do mesmo fragmento de vídeo simultaneamente.
  • Agnosticismo de Hardware: O VRE é projetado para funcionar em CPUs, GPUs e potencialmente outros aceleradores (TPUs, NPUs), tratando-os como "aceleradores" genéricos.

• Detalhes de Implementação: O pipeline é configurado via arquivos YAML, permitindo que os usuários definam cadeias complexas de dependências (por exemplo, derivar normais de câmera a partir de mapas de profundidade, que são derivados de RGB). Inclui um repositório de representações pré-implementadas, incluindo espaços de cor, detecção de bordas, fluxo óptico, estimativa de profundidade (DPT, Marigold) e segmentação semântica (Mask2Former, PHG-MAE).

Principais Contribuições

1. Framework VRE: A introdução de um pipeline modular que automatiza a geração de conjuntos de dados multimodais a partir de vídeo bruto usando redes neurais pré-treinadas e algoritmos procedurais.
2. Arquitetura de Engenharia: Estratégias detalhadas para escalabilidade, incluindo processamento em lote multi-GPU (divisão temporal e de representações) e arquiteturas de streaming em tempo real.
3. Extensão de Conjunto de Dados: Um estudo de caso demonstrando a extensão do conjunto de dados Dronescapes. Usando o VRE, os autores (e colaboradores na referência [32]) expandiram o conjunto de dados de ~23 mil para ~148 mil quadros, adicionando até 13 novas modalidades e 16 novos vídeos de UAV com intervenção humana mínima.
4. Análise de Implantação: Validação empírica da implantação de modelos de segmentação semântica e estimativa de profundidade em tempo real em hardware comercial (GPU de laptop NVIDIA RTX 4050) e servidores remotos em nuvem.

Resultados Experimentais

• Eficiência de Processamento em Lote: Em experimentos usando a configuração Dronescapes (17 representações), uma única GPU processou um quadro em aproximadamente 15,2 segundos. Usando uma configuração de 8 GPUs, isso caiu para uma média de 2,6 segundos por quadro, representando um aumento de vazão de 30–350× em comparação com estimativas de anotação manual.
• Desempenho de Hardware: A aceleração por GPU consistentemente superou o processamento por CPU, mostrando acelerações de 2,5x a 5x para representações de redes neurais. O aumento dos tamanhos de lote melhorou a utilização, embora restrições de memória tenham limitado o tamanho máximo do lote.
• Eficiência de Escalonamento: O escalonamento multi-GPU mostrou melhorias quase lineares até 4 GPUs, mas estabilizou em 8 GPUs (72% de eficiência), atribuído a gargalos em E/S, RAM ou recursos de CPU.
• Streaming e Latência: A inferência em tempo real em uma GPU de consumidor local alcançou taxas de quadros confiáveis para modelos como PHG-MAE-Distil e Depth DPT. No entanto, o processamento remoto via rede introduziu latência significativa, limitando as taxas de quadros a 2–3 FPS, levando os autores a concluir que o cálculo local é preferível para aplicações em tempo real.

Significado e Alegações
O artigo afirma que o VRE "fecha o ciclo" entre dados e design de modelo, fornecendo uma ferramenta para otimizar a relação entre a arquitetura do modelo e conjuntos de dados de treinamento ricos em sinais. Ao automatizar o gerenciamento de dependências de modalidades, o VRE permite a criação de conjuntos de dados multimodais em grande escala que anteriormente eram inviáveis de curar manualmente.

Os autores enfatizam que, embora foquem em conjuntos de dados de UAV, o procedimento é aplicável a qualquer domínio de vídeo, incluindo direção autônoma e robótica interna. Eles posicionam o VRE não apenas como um gerador de dados, mas como um componente crítico de infraestrutura para o paradigma emergente "Software 2.0", onde redes neurais são integradas a sistemas maiores para permitir ações inteligentes e autônomas. O trabalho destaca as compensações entre inferência local e remota, sugerindo que, embora o descarregamento para a nuvem seja possível, o processamento local permanece superior para tarefas em tempo real sensíveis à latência.