Resumo Técnico: Modelos de Visão-Linguagem na Borda para Percepção Robótica em Tempo Real

Declaração do Problema

Os Modelos de Visão-Linguagem (VLMs) oferecem um potencial significativo para a percepção e interação robótica ao permitir o raciocínio multimodal, como inferir intenções humanas e decompor ambientes complexos. No entanto, sua implantação em sistemas robóticos do mundo real enfrenta três restrições primárias:

1. Latência: A inferência baseada em nuvem introduz uma latência de ampla área excessiva, conflitando com os tempos de resposta de milissegundos a segundos exigidos para navegação e interação seguras.
2. Restrições de Recursos: Robôs móveis e humanoides possuem orçamentos rigorosos de tamanho, peso e potência, limitando o acesso embarcado a GPUs de alto desempenho e à grande memória necessária para modelos de última geração.
3. Privacidade e Largura de Banda: O envio de fluxos multimodais brutos (vídeo, áudio, LiDAR) para servidores remotos consome largura de banda significativa e levanta riscos de privacidade, além de depender de conectividade estável que pode não estar disponível em ambientes dinâmicos.

Embora a inteligência de borda habilitada por 6G, especificamente ORAN (Open RAN) e MEC (Multi-access Edge Computing), ofereça um caminho para trazer a computação para mais perto da fonte de dados, há uma falta de evidências empíricas sobre o desempenho de grandes VLMs em tal infraestrutura em sistemas robóticos reais. Estudos existentes frequentemente dependem de simulações ou nós virtualizados, deixando questões críticas sobre as trocas entre latência e precisão sem resolução.

Metodologia

Os autores propõem e avaliam um pipeline de percepção robótica em tempo real implantado em um nó de borda ORAN/MEC usando o robô humanoide Unitree G1 como um banco de testes incorporado.

Arquitetura do Sistema

O sistema integra três componentes principais:

• Plataforma Incorporada (Unitree G1): Funciona como o Equipamento de Usuário (UE) e fonte primária de dados. Utiliza um arranjo de quatro microfones para entrada de voz (processada via ASR) e uma câmera Intel RealSense D435i para fluxos sincronizados de RGB e profundidade.
• Camada de Comunicação: Um pipeline baseado em WebRTC facilita a comunicação de baixa latência e ponto a ponto. Os fluxos de vídeo são transmitidos via SRTP, enquanto consultas de texto e metadados de controle são trocados via canais de dados WebRTC criptografados. Um servidor de sinalização gerencia o aperto de mão da sessão (SDP/ICE).
• Nó de Computação de Borda: Hospeda o serviço de inferência VLM usando FastAPI. A configuração de hardware inclui uma NVIDIA L4 GPU (24 GB de VRAM), refletindo um perfil realista de um nó ORAN/MEC.

Configuração do Modelo

Dois modelos foram avaliados para analisar a troca entre capacidade de raciocínio e responsividade:

1. LLaMA-3.2-11B-Vision-Instruct: Um modelo de grande escala implantado com quantização 4-bit NF4 (quantização dupla) para caber nas restrições de memória da borda. A inferência é otimizada com decodificação gulosa (greedy decoding), um limite de 50 tokens e parada antecipada.
2. Qwen2-VL-2B-Instruct: Um modelo compacto de 2 bilhões de parâmetros otimizado para ambientes com restrição de recursos, implantado no mesmo nó de borda para servir como uma linha de base leve.

Configuração Experimental

A avaliação comparou três cenários de implantação:

• Borda (Local): Ambos os modelos rodando no nó ORAN/MEC.
• Linha de Base na Nuvem (Cloud Baseline): LLaMA-3.2 implantado via API de nuvem NVIDIA NIM, utilizando prompts e pré-processamento idênticos.
• Datasets:
  • Benchmark Robo2VLM: Um dataset de larga escala para VQA (Visual Question Answering) em manipulação robótica.
  • Dataset Coletado pelo Robô: 200 pares de perguntas e respostas coletados em um ambiente de laboratório cobrindo cinco domínios: navegação, fundamentação de instrução, reconhecimento de gestos, presença/atividade humana e interação humano-robô.

O desempenho foi medido usando Latência de Ponta a Ponta (E2E) (do captura de quadro até o recebimento da resposta) e Precisão (correspondência exata para binários/múltipla escolha; correspondência de string normalizada para texto livre).

Principais Contribuições

1. Integração de Sistema: Os autores projetaram e implementaram um pipeline em tempo real implantando um VLM de grande escala em um nó de borda ORAN/MEC, demonstrando a viabilidade da inferência multimodal em um cenário robótico realista.
2. Avaliação Empírica: Uma comparação sistemática entre a implantação na borda versus na nuvem para o LLaMA-3.2 foi conduzida usando tanto benchmarks padronizados quanto dados robóticos do mundo real, quantificando os impactos específicos da localização de implantação na latência e precisão.
3. Análise de Troca Latência–Precisão: O estudo avaliou um modelo compacto (Qwen2) na borda, destacando como arquiteturas leves alcançam responsividade de sub-segundo ao custo da profundidade de raciocínio, ilustrando assim as trocas de design para interações críticas de latência.

Resultados

• Borda vs. Nuvem (LLaMA-3.2): A implantação na borda preservou uma precisão próxima à da nuvem, reduzindo a latência E2E em 5% (1600,03 ms na borda vs. 1685,20 ms na nuvem). Embora o ganho absoluto de latência tenha sido modesto, a melhoria relativa contribuiu para uma maior razão de precisão-por-milissegundo, aproximando a responsividade dos limiares de sub-segundo.
• Comparação de Modelos:
  • LLaMA-3.2: Alcançou 41% de precisão no benchmark Robo2VLM e demonstrou desempenho equilibrado em todos os domínios de interação humano-robô no dataset coletado pelo robô.
  • Qwen2-VL-2B: Alcançou 28,02% de precisão no benchmark (aproximadamente 13% inferior ao LLaMA) mas reduziu a latência para menos da metade da linha de base da nuvem, atingindo responsividade de sub-segundo. Teve desempenho competitivo em tarefas de percepção (ex: detecção de presença humana), mas ficou atrás em domínios intensivos em raciocínio (ex: relações espaciais).
• Detalhamento da Latência: A análise da implantação local do LLaMA revelou que a geração de texto (decodificação autorregressiva) representou mais de 85% da latência E2E total, enquanto a decodificação de imagem e o pré-processamento foram negligenciáveis. Isso identifica a etapa de geração como o principal gargalo.

Significância e Alegações

O artigo afirma que a implantação de VLMs em infraestrutura ORAN/MEC é uma plataforma viável para IA multimodal em robótica. A significância do trabalho reside em:

• Demonstração de Viabilidade: Provar que VLMs de grande escala podem manter o desempenho de raciocínio ao serem migrados de servidores na nuvem para hardware de borda com restrição de recursos.
• Clareza de Trocas (Trade-offs): Estabelecer uma fronteira de Pareto clara onde modelos grandes (LLaMA) oferecem otimalidade de desempenho e modelos compactos (Qwen2) oferecem otimalidade de eficiência.
• Benefícios de Nível de Sistema: Além da latência, a implantação na borda mitiga riscos de privacidade e reduz o consumo de largura de banda ao evitar o envio de dados sensoriais brutos.
• Direção Futura: Os autores sugerem que trabalhos futuros devem focar no co-design modelo-sistema para abordar o gargalo da decodificação autorregressiva e no desenvolvimento de estratégias híbridas adaptativas, onde modelos leves lidam com a fundamentação perceptiva rápida enquanto modelos maiores são invocados seletivamente para raciocínios complexos.