Mobile-VideoGPT: Fast and Accurate Model for Mobile Video Understanding

1. O Problema

Os modelos de compreensão de vídeo baseados em Multimodal Large Language Models (MLLMs) atuais, como GPT-4o, Gemini-1.5-Pro e variantes de código aberto (ex: Video-LLaVA), enfrentam desafios significativos para implantação em dispositivos de borda (edge devices).

• Requisitos Computacionais: Eles possuem um número massivo de parâmetros (frequentemente >7B) e exigem grandes quantidades de memória e poder de processamento.
• Ineficiência em Tempo Real: A latência de inferência é alta, tornando-os impraticáveis para aplicações em tempo real em dispositivos com recursos limitados, como smartphones, veículos autônomos e sistemas de IA incorporada.
• Limitações de Arquitetura: Estratégias existentes de compressão (podagem, quantização) ou modelos menores muitas vezes resultam em perda significativa de desempenho ou ainda dependem de aceleradores de hardware especializados.

2. Metodologia: Mobile-VideoGPT

O Mobile-VideoGPT é uma estrutura multimodal eficiente projetada para operar com menos de 1 bilhão de parâmetros, focada em inferência em tempo real. A arquitetura combina três componentes principais:

A. Arquitetura de Codificadores Duplos (Dual-Encoder)

Diferente de modelos que usam apenas um codificador de imagem ou vídeo, o Mobile-VideoGPT utiliza:

1. Codificador de Imagem Leve: Baseado no CLIP (CLIP-B/16), otimizado para capturar detalhes espaciais e semânticos de cada quadro.
2. Codificador de Vídeo Leve: Baseado no VideoMamba-M, projetado para extrair informações temporais e dinâmicas.

• Vantagem: Permite capturar tanto a fidelidade espacial quanto as dependências temporais sem o custo computacional de codificadores pesados.

B. Mecanismo de Pontuação de Quadros Baseado em Atenção (Attention-Based Frame-Scoring)

Para reduzir a redundância computacional:

• O modelo extrai características espaciais de todos os quadros amostrados ($T$) usando o codificador de imagem.
• Um mecanismo de atenção calcula uma matriz de importância para cada quadro.
• Seleciona-se apenas os $K$ quadros-chave (onde $K < T$, tipicamente $K = T/2$, ou seja, 8 quadros de 16) que contêm as informações mais salientes.
• Apenas esses quadros selecionados são processados pelo codificador de vídeo para análise temporal, reduzindo drasticamente a carga computacional.

C. Projetor de Tokens Eficiente (Efficient Token Projector - ET-Proj)

Este módulo comprime e re-codifica as características visuais antes de enviá-las ao Modelo de Linguagem:

• Utiliza uma Rede Feed-Forward (FFN) para transformar embeddings.
• Aplica Redução de Tokens via Adaptive Pooling para diminuir o tamanho espacial ($H, W$).
• Inclui um codificador de posição baseado em convolução com conexões residuais (skip connections) para preservar dependências espaciais e temporais críticas.
• O resultado é uma projeção eficiente para o espaço de linguagem, reduzindo o overhead computacional.

D. Modelo de Linguagem Pequeno (SLM)

O sistema utiliza um SLM (Small Language Model), especificamente variantes do Qwen-2.5 (0.5B ou 1.5B parâmetros), que consome os tokens projetados para gerar respostas textuais.

3. Contribuições Principais

1. Modelo Leve para Dispositivos de Borda: Um modelo multimodal otimizado especificamente para inferência em tempo real em hardware restrito (ex: Jetson Orin Nano), com apenas 0.6B a 1.6B de parâmetros e tamanho de modelo de ~1GB (FP16).
2. Estratégia de Seleção de Quadros: Uma abordagem inovadora de pontuação baseada em atenção que seleciona quadros representativos, mantendo a fidelidade visual enquanto reduz o custo computacional.
3. Projetor de Tokens Otimizado: Um mecanismo que elimina tokens redundantes e preserva contextos essenciais, permitindo alta eficiência sem sacrificar a qualidade da compreensão.
4. Desempenho Superior em Borda: O modelo atinge 7.3 tokens/segundo em dispositivos Jetson Orin Nano e 45.9 tokens/segundo em GPUs desktop (RTX A6000), superando modelos existentes de tamanho similar em velocidade e precisão.

4. Resultados Experimentais

O modelo foi avaliado em seis benchmarks estabelecidos de compreensão de vídeo: MVBench, EgoSchema, NextQA, PerceptionTest, ActivityNet-QA e MLVU.

• Precisão vs. Eficiência:
  • A versão Mobile-VideoGPT-0.5B supera modelos de 0.5B parâmetros (como LLaVA-OneVision-0.5B) em uma média de 6 pontos de precisão nos benchmarks.
  • A versão 1.5B compete com modelos de 8B parâmetros (como LLaVA-Mini-8B), superando-os em tarefas de raciocínio temporal e ação.
• Throughput (Vazão):
  • É 2x mais rápido que o LLaVA-OneVision-0.5B e até 9x mais rápido que o LLaVA-Mini-8B em GPUs desktop.
  • Em dispositivos de borda (Jetson Orin), mantém uma vazão viável para aplicações em tempo real, algo impossível para modelos maiores.
• Qualidade Qualitativa:
  • Demonstra melhor capacidade de raciocínio temporal e compreensão de cenas complexas em comparação com baselines, fornecendo respostas mais precisas e contextualizadas com menor latência.

5. Significado e Impacto

O Mobile-VideoGPT representa um avanço significativo na democratização da IA multimodal para dispositivos de borda.

• Viabilidade Prática: Demonstra que é possível realizar compreensão de vídeo complexa em tempo real sem depender de servidores na nuvem ou GPUs de alto desempenho, reduzindo custos de energia e latência.
• Equilíbrio Arquitetural: O trabalho prova que a combinação de codificadores duplos especializados, seleção inteligente de quadros e projeção eficiente de tokens pode superar a simples redução de tamanho de modelos, oferecendo um melhor compromisso entre precisão e eficiência.
• Aplicações Futuras: Habilita novas aplicações em robótica móvel, assistentes pessoais em tempo real, monitoramento de segurança autônomo e análise de vídeo em dispositivos IoT, onde a privacidade e a baixa latência são críticas.

Em resumo, o Mobile-VideoGPT redefine o estado da arte para modelos de vídeo leves, provando que a eficiência não precisa vir às custas da capacidade de compreensão.