Resumo Técnico: INAR-VL

Declaração do Problema

A implantação de Modelos Visão-Linguagem (VLMs) em ambientes de borda (por exemplo, dispositivos móveis, robôs, câmeras embutidas) enfrenta um compromisso fundamental entre latência/eficiência energética e precisão de previsão. A execução na nuvem oferece alta precisão, mas incorre em atrasos de comunicação significativos e custos energéticos, enquanto a execução apenas na borda é mais rápida e energeticamente eficiente, mas sofre com capacidade de modelo limitada e precisão reduzida, particularmente em entradas visualmente degradadas ou tarefas de raciocínio complexo.

As abordagens de roteamento existentes frequentemente dependem de decisões de posicionamento estáticas ou de estimativa de dificuldade baseada apenas em texto, falhando em levar em conta a heterogeneidade das entradas multimodais. Especificamente, elas não capturam adequadamente os efeitos de degradação visual (por exemplo, desfoque, iluminação, artefatos de compressão), que impactam significativamente o desempenho do modelo. Além disso, diferentes arquiteturas de VLM exibem pontos fortes complementares (por exemplo, algumas se destacam em OCR/reconhecimento de detalhes finos, outras em raciocínio), mas sistemas estáticos não conseguem aproveitar essa diversidade dinamicamente. O desafio é projetar um sistema de roteamento que tome decisões pré-inferência com base em sinais de entrada leves para otimizar a seleção do modelo, a resolução de entrada e o posicionamento de execução (borda vs. nuvem) sem incorrer na sobrecarga de executar VLMs caros para caracterização.

Metodologia: INAR-VL

O INAR-VL é um sistema de roteamento leve e consciente da entrada, projetado para uma implantação de dois níveis em borda-nuvem. Ele opera caracterizando solicitações de entrada antes de invocar qualquer inferência pesada de VLM.

1. Arquitetura do Sistema

O sistema mantém um pool heterogêneo de quatro VLMs: dois modelos compactos (Qwen3-VL-2B, SmolVLM-2B) implantados na borda (8 GB de VRAM, precisão INT8) e dois modelos maiores (LLaVA-OV-8B, Qwen3-VL-8B) na nuvem (precisão FP16).

O pipeline de roteamento consiste em:

• Extração de Recursos: Ao receber um par (imagem, pergunta), o sistema extrai um vetor de características de 10 dimensões antes da inferência:
  • Recursos Visuais (4): Desfoque, exposição, artefatos JPEG e sinais de detalhe.
  • Recursos de Texto (6): Comprimento, densidade de entidades/números, tipo de pergunta, complexidade de vocabulário, marcadores de raciocínio e marcadores de dependência de contexto.
• Fusão de Recursos: Esses sinais são normalizados e mesclados em um descritor de solicitação.
• Roteamento Baseado em Pareto: O roteador avalia configurações válidas (modelo, precisão, resolução, posicionamento) para construir uma fronteira de Pareto por solicitação. Ele prevê a qualidade da resposta e o custo estimado (latência, energia, sobrecarga de rede) para cada candidato.
• Lógica de Decisão: O sistema prioriza a execução na borda se a qualidade prevista for suficiente. O descarregamento para a nuvem ocorre apenas se o ganho de qualidade esperado exceder um limiar calibrado ($\delta_{min} = 0,03$) e justificar o custo adicional.

2. Previsão de Qualidade e Custo

O sistema utiliza um preditor de qualidade calibrado ($\hat{q}$) e um estimador de custo ($\hat{c}$).

• Previsão de Qualidade: A qualidade prevista leva em conta a precisão base do modelo, ajustes de precisão, escalonamento de resolução e penalidades por incompatibilidades entre as necessidades de entrada (por exemplo, alto desfoque, alto detalhe) e os pontos fortes do modelo (robustez ao desfoque, capacidade de detalhe/OCR, habilidade de raciocínio).
• Estimativa de Custo: Combina latência (proporcional ao tamanho do modelo e resolução), energia (baseada na potência da GPU e nível de execução) e termos de rede (sobrecarga de transferência de imagem).
• Calibração: Os parâmetros são calibrados offline usando um conjunto de dados retido (1.000 amostras por benchmark) para ajustar coeficientes para escalonamento de resolução, penalidades de incompatibilidade e pesos de custo. Essa calibração é consciente do hardware, mas realizada apenas uma vez por configuração de implantação.

Principais Contribuições

1. Roteamento Multimodal Consciente da Entrada: O INAR-VL introduz um mecanismo de roteamento que utiliza sinais leves tanto da qualidade da imagem quanto da complexidade do texto para guiar decisões, abordando a heterogeneidade das cargas de trabalho multimodais que abordagens baseadas apenas em texto ou estáticas ignoram.
2. Otimização Conjunta: Diferentemente de trabalhos anteriores que otimizam uma única dimensão, o INAR-VL otimiza conjuntamente a arquitetura do modelo, a resolução de entrada e o posicionamento de execução (borda vs. nuvem) sob restrições práticas (memória, energia, variabilidade de rede).
3. Política Consciente da Implantação: O sistema emprega uma regra de preferência por borda que equilibra explicitamente a recuperação de precisão contra custos de latência e energia, garantindo que o descarregamento ocorra apenas quando benéfico.
4. Implementação Prática: O sistema é implementado e avaliado em hardware real (RTX 4060 NVIDIA na borda, RTX PRO 6000 na nuvem) com uma sobrecarga de roteamento de apenas 10–30 ms.

Resultados Experimentais

O sistema foi avaliado em três benchmarks de Resposta a Perguntas Visuais (VQA): VQAv2, TextVQA e GQA, usando 2.000 amostras por conjunto de dados.

• Precisão vs. Eficiência: O INAR-VL alcançou uma precisão média de 72,1%, recuperando 71% da lacuna de precisão entre a execução apenas na borda (66,5%) e apenas na nuvem (74,4%).
• Distribuição de Roteamento: O sistema executou 36% das solicitações na borda, filtrando efetivamente consultas de baixa complexidade localmente.
• Ganhos de Desempenho: Comparado à execução apenas na nuvem, o INAR-VL reduziu a latência média em 24% (de 2408 ms para 1826 ms) e o consumo de energia em 26% (de 26,0 J para 19,2 J).
• Estudos de Ablação:
  • Importância do Sinal: Os recursos de texto foram encontrados como o sinal dominante; um roteador apenas de texto alcançou 71,4% de precisão, enquanto um roteador apenas de imagem caiu para 68,6%.
  • Diversidade de Modelos: O uso de um pool diversificado de modelos (arquiteturas Qwen e LLaVA) melhorou a precisão média em 0,9 pontos percentuais em comparação com uma estratégia de roteamento estático usando apenas modelos Qwen.
• Robustez: O sistema demonstrou estabilidade em várias larguras de banda de rede (10–1000 Mbps). Um guarda de largura de banda (15 Mbps) garante execução apenas na borda quando a conectividade é ruim, mantendo a precisão consistente enquanto a latência escala com a largura de banda.

Significado e Alegações

O artigo afirma que o INAR-VL fornece uma solução prática para implantar VLMs em ambientes de borda com recursos limitados. Ao modelar explicitamente os compromissos entre heterogeneidade de entrada, capacidades do modelo e restrições de implantação, o sistema alcança um compromisso superior entre latência, precisão e energia em comparação com bases estáticas.

Os autores enfatizam que, embora o sistema não atinja o desempenho "Oráculo" (90,6% de precisão, que seleciona o melhor modelo a posteriori), ele recupera a maioria da vantagem de precisão da nuvem enquanto reduz significativamente os custos operacionais. A abordagem é apresentada como agnóstica ao hardware e generalizável; novos níveis de hardware ou modelos podem ser integrados recalibrando os limiares de roteamento sem alterar a metodologia central. O trabalho destaca que o roteamento consciente da entrada é essencial para cargas de trabalho multimodais onde o posicionamento estático falha em se adaptar à variabilidade da complexidade visual e textual.