Multi-DNN Inference of Sparse Models on Edge SoCs

O artigo apresenta o SparseLoom, um sistema demonstrador que utiliza a técnica de "model stitching" para recombinação de subgrafos de modelos esparsos sem retreinamento, permitindo a execução eficiente de múltiplas DNNs em SoCs de borda e reduzindo significativamente as violações de objetivos de nível de serviço (SLO), aumentando o throughput e diminuindo a sobrecarga de memória em comparação com sistemas existentes.

O essencial

Imagine que você tem uma cozinha de restaurante muito movimentada (o seu Edge SoC, o chip do seu celular ou dispositivo inteligente). Nessa cozinha, você precisa preparar vários pratos diferentes ao mesmo tempo: um suco de laranja, um sanduíche, uma sopa e um café.

Cada prato exige equipamentos diferentes:

• O suco precisa de um liquidificador potente (GPU).
• A sopa precisa de um fogão (CPU).
• O café precisa de uma máquina de espresso especializada (NPU).

O problema é que, na cozinha atual, os chefs só têm uma receita fixa para cada prato. Se o cliente pedir o sanduíche "rápido", eles usam a receita padrão, que pode demorar. Se o cliente pedir "sem glúten" (uma versão diferente), eles não têm essa receita pronta e o cliente fica esperando, ou o sanduíche chega atrasado (isso é uma violação de SLO, ou seja, o serviço não atendeu ao combinado).

Além disso, a cozinha tem um espaço limitado na geladeira. Se tentarem guardar todas as variações possíveis de sanduíches (com pão francês, integral, sem glúten, sem lactose, com queijo, sem queijo...), a geladeira explode e o restaurante para.

A Solução: O "Sistema SparseLoom"

Os autores deste paper criaram um novo sistema chamado SparseLoom. Pense nele como um chef genial e um organizador de cozinha que faz três coisas mágicas:

1. O "Costurador de Receitas" (Model Stitching)

Em vez de ter apenas uma receita fixa ou ter que escrever uma nova do zero (o que demoraria horas), o SparseLoom usa uma técnica chamada "Costura de Modelos".

Imagine que você tem três receitas de sanduíche:

• Receita A: Pão branco, muito recheio (lenta, mas deliciosa).
• Receita B: Pão integral, recheio médio (rápida, média).
• Receita C: Pão sem glúten, pouco recheio (muito rápida, mas simples).

O SparseLoom olha para essas receitas e diz: "E se eu pegar o pão da Receita B, o recheio da Receita A e a montagem da Receita C?"
Ele cria uma nova receita híbrida instantaneamente, sem precisar cozinhar de novo (sem re-treinamento). Isso gera milhares de combinações novas de sanduíches que se encaixam perfeitamente no pedido do cliente (seja rápido, seja saboroso, seja leve).

2. O "Oráculo de Previsão" (Estimadores de Desempenho)

Com tantas combinações novas, como saber qual é a melhor? Testar todas na cozinha real levaria dias.
O SparseLoom usa um oráculo (uma IA de previsão). Em vez de cozinhar o sanduíche para ver quanto tempo leva, ele olha para os ingredientes e diz: "Ah, esse pão leva 2 minutos, esse recheio 3 minutos. O total será 5 minutos."
Isso economiza um tempo enorme, permitindo que o sistema escolha a melhor opção em segundos, não em horas.

3. O "Gerente de Geladeira Inteligente" (Pré-carregamento de Subgrafos)

A geladeira (memória) é pequena. Não dá para guardar todas as combinações possíveis de sanduíches.
O sistema usa um truque: ele analisa o que os clientes mais pedem. Se 80% dos pedidos usam "pão integral", ele guarda apenas o pão integral na geladeira. Se um pedido especial chegar que precisa de "pão sem glúten", ele sabe que precisa trocar, mas como ele guarda apenas os ingredientes "quentes" (os mais usados), ele ocupa menos espaço e ainda atende a maioria dos pedidos sem precisar de uma geladeira gigante.

Por que isso é incrível?

O paper mostra que, ao usar esse sistema:

1. Menos clientes insatisfeitos: O número de pedidos atrasados caiu em até 74%. O sistema encontra a receita perfeita para o pedido do cliente muito mais rápido.
2. Mais comida servida: A cozinha consegue produzir 2,3 vezes mais sanduíches no mesmo tempo, porque está usando os equipamentos certos para cada parte da receita.
3. Geladeira menor: Eles conseguem fazer tudo isso usando 28% menos espaço na geladeira, economizando recursos caros.

Resumo em uma frase

O SparseLoom é como um chef que não apenas tem várias receitas, mas sabe costurar partes de receitas diferentes para criar o prato perfeito na hora, prevendo o tempo de preparo sem cozinhar e guardando na geladeira apenas o que é mais importante, garantindo que seu pedido chegue rápido e perfeito, mesmo em uma cozinha pequena e cheia.

Resumo técnico

Título: Inferência Multi-DNN de Modelos Esparsos em Edge SoCs

Autores: Jiawei Luo, Di Wu, Simon Dobson, Blesson Varghese (Universidade de St Andrews, Escócia)

1. Problema e Motivação

As aplicações modernas na borda (edge), como Realidade Aumentada (AR), exigem a execução paralela de múltiplas tarefas de Deep Learning (ex: reconhecimento de fala, classificação de imagens, reconhecimento de atividades). Essas tarefas operam em Sistemas em Chip (SoCs) heterogêneos, que combinam CPUs, GPUs e NPUs.

O desafio central reside em atender a múltiplos Objetivos de Nível de Serviço (SLOs) que variam dinamicamente em termos de latência e precisão.

• Limitação dos Sistemas Atuais: A maioria dos sistemas de inferência Multi-DNN existentes suporta apenas um modelo base (ou poucas variantes esparsas pré-definidas) por tarefa. Eles não conseguem adaptar-se dinamicamente a SLOs rigorosos, resultando em altas taxas de violação de SLO (quando a latência ou precisão exigida não é atendida).
• Ineficiência de Seleção: Selecionar apenas entre variantes esparsas originais (pruned ou quantizadas) limita o espaço de busca, muitas vezes não oferecendo uma combinação ideal de precisão-latência para cenários específicos.
• Desafios de Implementação: A simples criação de mais variantes enfrenta três barreiras principais:
  1. Custo de Perfilagem Exponencial: Avaliar a precisão e latência de todas as combinações possíveis de variantes é computacionalmente proibitivo.
  2. Subotimização de Colocação: A ordem de execução dos subgrafos em processadores heterogêneos (ex: NPU -> GPU -> CPU) é frequentemente fixa e não otimizada para o tipo específico de esparsidade de cada variante, degradando o throughput.
  3. Sobrecarga de Memória: Pré-carregar todas as variantes para evitar latência de troca em tempo de execução consome memória excessiva, um recurso escasso em dispositivos de borda.

2. Metodologia: O Sistema SparseLoom

Os autores propõem o SparseLoom, um sistema holístico de inferência Multi-DNN que introduz uma técnica chamada "Model Stitching" (Costura de Modelos) e três módulos otimizados para superar os desafios acima.

A. Model Stitching (Costura de Modelos)

• Conceito: Em vez de depender apenas de variantes pré-treinadas, o sistema gera novas variantes combinando subgrafos (blocos de camadas consecutivas) de diferentes modelos esparsos do mesmo "zoológico" (ex: misturar a primeira parte de um modelo pruned com a segunda parte de um modelo quantizado).
• Vantagem: É uma técnica sem re-treinamento (training-free). Baseia-se na observação de que subgrafos de modelos com a mesma base mantêm distribuições de saída similares, permitindo a recombinação sem perda significativa de precisão.
• Resultado: Expande exponencialmente o espaço de variantes disponíveis, criando um "fronte de Pareto" melhor (maior precisão para a mesma latência, ou menor latência para a mesma precisão).

B. Módulos do SparseLoom

Para tornar o stitching viável em tempo real, o sistema utiliza três módulos:

1. Perfilador de Desempenho (Performance Profiler):

   • Desafio Resolvido: O custo de perfilagem.
   • Solução: Utiliza estimadores de precisão e latência.
     • Estimador de Precisão: Um modelo de regressão supervisionada (XGBoost) que prevê a precisão de uma variante costurada baseada nas precisões dos subgrafos originais que a compõem.
     • Estimador de Latência: Calcula a latência total somando as latências medidas dos subgrafos individuais nos processadores específicos, ignorando custos de comunicação (negligenciáveis em SoCs com memória unificada).
   • Benefício: Reduz o custo de perfilagem em até 99%, tornando viável a avaliação de milhares de combinações.

2. Otimizador Consciente de Esparsidade (Sparsity-Aware Optimizer):

   • Desafio Resolvido: A ordem de colocação dos processadores.
   • Solução: Realiza uma otimização conjunta da seleção de variantes e da ordem de execução dos processadores. O sistema avalia todas as permutações possíveis de ordem de processadores (ex: CPU-GPU-NPU vs. NPU-GPU-CPU) para encontrar a configuração que minimiza a latência média global para todas as tarefas simultâneas.
   • Benefício: Aumenta significativamente o throughput ao adaptar a ordem de execução à natureza específica das variantes costuradas selecionadas.

3. Pré-carregador de Subgrafos Quentes (Hot-Subgraph Preloader):

   • Desafio Resolvido: Sobrecarga de memória.
   • Solução: Em vez de pré-carregar todas as variantes, o sistema calcula uma métrica de "quenteza" (hotness) para cada subgrafo. A hotness considera a frequência de uso e a unicidade do subgrafo em configurações de SLO viáveis.
   • Estratégia: Sob um orçamento de memória limitado, o sistema carrega apenas os subgrafos com maior pontuação de hotness.
   • Benefício: Reduz o uso de memória em média 28% mantendo taxas de violação de SLO comparáveis ao pré-carregamento total.

3. Principais Contribuições

1. Técnica de Costura de Modelos: Introdução de um método para gerar variantes de modelos esparsos sem re-treinamento, expandindo drasticamente o espaço de soluções para atender a SLOs dinâmicos.
2. Sistema SparseLoom: A primeira implementação completa de inferência Multi-DNN que integra costura de modelos, estimativa de desempenho e otimização de colocação em SoCs heterogêneos.
3. Otimização Conjunta: Um algoritmo que decide simultaneamente qual variante usar e em qual ordem executar os subgrafos nos processadores disponíveis.
4. Eficiência de Recursos: Mecanismos de estimativa e pré-carregamento seletivo que tornam a técnica viável em hardware com recursos limitados.

4. Resultados Experimentais

O sistema foi avaliado em três plataformas de borda (Desktop Intel, Laptop Intel e NVIDIA Jetson Orin) com quatro tarefas distintas (Classificação de Imagem, Análise de Sentimento, Reconhecimento de Atividade e Reconhecimento de Fala).

• Redução de Violação de SLO: O SparseLoom reduziu as taxas de violação de SLO em até 74% em comparação com os sistemas mais avançados (baselines) que não utilizam costura de modelos.
• Aumento de Throughput: O sistema melhorou o throughput de inferência em até 2,31x (no laptop) e 1,98x (no Jetson Orin) em relação aos melhores baselines.
• Redução de Sobrecarga de Memória: O pré-carregador de subgrafos reduziu o uso de memória em média 28% sem comprometer o cumprimento dos SLOs.
• Eficiência de Perfilagem: O uso de estimadores reduziu o tempo de perfilagem em até 99% (ex: de 468 minutos para 5 minutos em cenários com 10 variantes).

5. Significado e Impacto

Este trabalho é significativo porque resolve o dilema fundamental entre a flexibilidade necessária para atender a SLOs dinâmicos e as restrições de recursos de hardware na borda.

• Viabilidade Prática: Demonstra que é possível criar um "zoológico de modelos" virtualmente infinito através da costura de subgrafos, sem o custo proibitivo de re-treinamento ou armazenamento.
• Otimização de Hardware Heterogêneo: Mostra que a simples alocação de tarefas não é suficiente; a otimização conjunta da seleção de modelo e da ordem de execução em CPUs/GPUs/NPUs é crucial para o desempenho.
• Futuro da IA na Borda: O SparseLoom oferece um caminho para executar aplicações de IA complexas e multitarefa em dispositivos móveis e de borda com maior eficiência energética e de memória, permitindo experiências de usuário mais ricas (como AR avançado) sem violar restrições de tempo real.

Em resumo, o SparseLoom transforma a limitação de modelos esparsos fixos em uma vantagem dinâmica, utilizando costura inteligente e otimização de sistema para maximizar o desempenho em ambientes de borda heterogêneos.