🤖 machine learning

Split CNN Inference on Networked Microcontrollers

Este artigo apresenta um sistema de inferência dividida de alta granularidade para microcontroladores em rede que supera as restrições de memória ao particionar modelos de CNN no nível do kernel e do neurônio em múltiplos dispositivos, permitindo a execução de modelos que seriam inviáveis, mantendo ao mesmo tempo uma latência prática.

Autores originais: Junyu Lu, Shashwath Suresh, Hao Liu, Qi Hong, Qing Wang

Publicado 2026-05-12

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Junyu Lu, Shashwath Suresh, Hao Liu, Qi Hong, Qing Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um quebra-cabeça muito difícil de resolver, mas só tem uma mesa minúscula para trabalhar. O quebra-cabeça é uma "Rede Neural Profunda" (um cérebro de IA complexo), e sua mesa é um Microcontrolador (MCU) — um pequeno e barato chip de computador encontrado em tudo, desde torradeiras até sensores inteligentes.

O problema é que o quebra-cabeça é grande demais para sua mesa minúscula. Mesmo que as peças do quebra-cabeça (os "pesos" do modelo) caibam no seu bolso, o ato de resolvê-lo exige que você espalhe uma quantidade massiva de anotações temporárias (chamadas "ativações intermediárias") sobre a mesa. Sua mesa é pequena demais; as anotações transbordam e a tarefa falha.

Este artigo propõe uma solução inteligente: Não tente resolver o quebra-cabeça inteiro em uma única mesa. Em vez disso, forme uma equipe de amigos, cada um com sua própria mesa minúscula, e resolvam juntos.

Veja como os autores fizeram isso funcionar, explicado de forma simples:

1. O Jeito Antigo vs. O Jeito Novo

O Jeito Antigo (Divisão Grossa): Imagine tentar dividir o quebra-cabeça dando a um amigo a metade superior e a outro a metade inferior. Mas mesmo a "metade superior" ainda é grande demais para uma única mesa minúscula. Essa abordagem falha porque as peças ainda são grandes demais.
O Jeito Novo (Divisão de Alta Granularidade): Os autores perceberam que precisavam cortar o quebra-cabeça em pedaços muito menores e de tamanho adequado. Em vez de dividir por "camadas" (seções grandes), eles dividiram por neurônios individuais (os pontinhos dentro da rede).
- Analogia: Imagine um mural massivo. Em vez de dar a um artista uma parede inteira para pintar, você dá a ele apenas um quadrado de uma polegada da parede. Você dá a outro artista um quadrado diferente. Juntos, eles pintam o mural inteiro, mas nenhum artista individual precisa segurar a pintura inteira de uma só vez.

2. O "Capitão da Equipe" (O Coordenador)

Como os amigos (MCUs) estão trabalhando em fragmentos minúsculos, eles precisam de um gerente para manter as coisas organizadas.

O Coordenador: Este é um dispositivo central (como um PC ou um chip dedicado) que atua como o capitão da equipe.
O que ele faz: Ele não faz o trabalho pesado. Em vez disso, ele segura o mapa. Ele diz ao Amigo A: "Você trabalha nestes pixels específicos" e "Envie seu resultado para o Amigo B". Ele roteia as anotações temporárias entre os amigos para que todos tenham exatamente o que precisam para fazer sua pequena parte do trabalho.

3. A "Atribuição Inteligente" (Consciente de Recursos)

Nem todos os amigos são iguais. Alguns têm mesas mais rápidas (processadores mais rápidos), alguns têm bolsos maiores (mais memória) e alguns são mais lentos para passar anotações (rede mais lenta).

O Problema: Se você der a mesma quantidade de trabalho a um amigo lento e a um amigo rápido, o amigo rápido ficará apenas sentado esperando, desperdiçando tempo.
A Solução: Os autores criaram um "Sistema de Classificação". Eles medem quão rápido e capaz cada MCU é.
- A Analogia: Pense em uma corrida de revezamento. Você não dá a mesma distância para um velocista e para um caminhante. Você dá ao velocista uma perna mais longa da corrida e ao caminhante uma mais curta, para que todos terminem mais ou menos ao mesmo tempo. O sistema calcula automaticamente quem deve fazer quanto trabalho para manter a equipe movendo-se com eficiência.

4. Os Resultados

A equipe testou isso em uma configuração real usando 8 pequenos computadores (MCUs Teensy 4.1) e um modelo de IA popular chamado MobileNetV2.

O Resultado: Um único computador não conseguia executar este modelo de IA de forma alguma porque ficou sem memória. Mas quando dividiram o trabalho entre 8 computadores, o modelo executou com sucesso.
A Troca: O tempo total para resolver o quebra-cabeça ficou um pouco mais lento porque os amigos tiveram que gastar tempo passando anotações de um para o outro. No entanto, o uso de memória em cada computador individual caiu drasticamente, tornando possível uma tarefa impossível.

Resumo

Este artigo mostra que, ao quebrar uma tarefa complexa de IA em pedaços microscópicos e distribuí-los por uma rede de computadores pequenos e baratos, podemos executar IA poderosa em dispositivos que são fracos demais para lidar com isso sozinhos. É como transformar um único elefante sobrecarregado em uma equipe de formigas que pode carregar uma migalha juntas.

Resumo Técnico: Inferência CNN Dividida em Microcontroladores em Rede

Declaração do Problema

A implantação de modelos de Aprendizado Profundo (DL) em Unidades de Microcontrolador (MCUs) é severamente limitada por recursos de memória restritos, especificamente a Memória de Acesso Aleatório (RAM). Embora técnicas de TinyML, como quantização, poda e busca de arquitetura neural, reduzam efetivamente os parâmetros e a computação do modelo, elas frequentemente falham na prática devido ao pico de uso de RAM durante a inferência. Esse pico de uso é dominado por ativações intermediárias e buffers temporários, que podem exceder a RAM disponível de um único MCU, mesmo quando os pesos do modelo cabem na memória flash. Consequentemente, muitos modelos de Rede Neural Convolucional (CNN) permanecem inviáveis para MCUs autônomos.

Estratégias de inferência dividida existentes, projetadas para GPUs ou cenários de borda-nuvem, dependem de particionamento de granularidade grosseira nas fronteiras das camadas. Essas abordagens falham em MCUs porque, mesmo os mapas de características intermediários ou pesos de kernel de uma única camada podem exceder a capacidade de memória de um dispositivo individual. Além disso, uma distribuição ingênua entre MCUs heterogêneos leva a desequilíbrio de carga e sobrecarga excessiva de comunicação, degradando a latência de ponta a ponta.

Metodologia

Os autores propõem um sistema de inferência dividida de granularidade fina que permite a execução colaborativa de CNNs em uma rede de MCUs. O sistema opera sob uma arquitetura coordenador-trabalhador e emprega três mecanismos principais:

1. Particionamento de Modelo de Granularidade Fina

Diferentemente da divisão tradicional por camadas, este sistema particiona a computação em granularidade subcamada:

Camadas Convolucionais: O mapa de características de saída é dividido em patches de granularidade fina. Os kernels convolucionais são atribuídos a trabalhadores específicos com base nos neurônios de saída que calculam. Isso permite que diferentes MCUs processem diferentes subconjuntos de canais de saída ou regiões espaciais.
Camadas Lineares: A matriz de pesos é particionada por colunas, onde cada coluna corresponde a um neurônio de saída. Trabalhadores são atribuídos a colunas específicas, permitindo o cálculo independente dos neurônios de saída.
Reinterpretação do Modelo: Um pipeline de pré-processamento reinterpreta modelos pré-treinados para extrair explicitamente dependências em nível de neurônio, campos receptivos e dimensões de tensores. Esses metadados são serializados e usados para gerar fragmentos de pesos e mapas de roteamento.

2. Alocação de Carga de Trabalho Consciente de Recursos

Para abordar a heterogeneidade de hardware (variações na frequência de clock, tamanho de memória e largura de banda de comunicação), o sistema atribui uma classificação de capacidade ( $R_i$ ) a cada MCU. Essa classificação é derivada de um modelo de tempo de execução que considera:

Tempo de computação (baseado na frequência de clock e na carga de trabalho).
Tempo de comunicação (baseado no volume de dados, largura de banda e latência).

As cargas de trabalho são alocadas proporcionalmente a essas classificações. O sistema inclui um mecanismo de ajuste iterativo para lidar com restrições rígidas de armazenamento: se um fragmento de peso atribuído a um trabalhador exceder sua capacidade de flash, a classificação excedente é redistribuída para outros trabalhadores com espaço disponível.

3. Mapeamento de Ativações entre Camadas e Execução

Um coordenador orquestra o fluxo de inferência:

Mapeamento: O sistema constrói um Mapeamento de Atribuição (qual trabalhador calcula quais neurônios de saída) e um Mapeamento de Roteamento de Ativações (qual trabalhador deve enviar quais ativações de entrada para qual trabalhador a jusante).
Execução: A inferência prossegue camada por camada. O coordenador transmite as ativações de entrada necessárias aos trabalhadores com base no mapa de roteamento. Os trabalhadores calculam seus neurônios atribuídos usando fragmentos de pesos locais e retornam resultados parciais. O coordenador agrega esses resultados para formar a entrada para a próxima camada.
Otimizações: O sistema emprega fusão de camadas (combinando Conv-BN-ReLU), quantização (de float de 32 bits para int de 8 bits) e comunicação assíncrona para sobrepor computação e transferência de dados, minimizando o tempo ocioso.

Contribuições Principais

Inferência Dividida de Granularidade Fina: Uma abordagem inovadora que particiona modelos CNN no nível subcamada (neurônio/kernel), permitindo a execução de modelos que não cabem em um único MCU, distribuindo tanto parâmetros quanto ativações intermediárias.
Coordenação Consciente de Recursos: Um mecanismo de alocação de carga de trabalho baseado em classificação que equilibra dinamicamente as cargas de computação e comunicação entre MCUs heterogêneos, prevenindo gargalos causados por dispositivos mais lentos ou links de alta latência.
Implementação e Avaliação do Sistema: Uma implementação prática em um banco de testes real com até 8 MCUs Teensy 4.1 executando MobileNetV2, demonstrando viabilidade e escalabilidade.

Resultados Experimentais

O sistema foi avaliado usando MobileNetV2 em um banco de testes de 8 MCUs Teensy 4.1 (600 MHz, 1 MB de RAM) e um simulador escalável até 120 MCUs.

Viabilidade: O sistema executou com sucesso o MobileNetV2, um modelo que causa falhas de falta de memória em um único MCU. O pico de uso de RAM por MCU foi reduzido para caber dentro do orçamento de 1 MB.
Latência e Eficiência:
- Heterogeneidade: Em cenários heterogêneos (frequências variáveis e atrasos de comunicação), a alocação baseada em classificação superou significativamente a divisão uniforme e a divisão baseada apenas em frequência. Por exemplo, em um caso heterogêneo específico, o esquema otimizado reduziu a latência total em 18,9% em comparação com uma linha de base.
- Escalabilidade: À medida que o número de MCUs aumentou de 3 para 8, o tempo de computação diminuiu monotonicamente, enquanto o tempo de comunicação aumentou. O tempo total de inferência mostrou uma compensação onde a sobrecarga de comunicação eventualmente se tornou o custo dominante.
- Escalabilidade de Memória: Os resultados da simulação mostraram que o uso de memória por MCU no pico cai significativamente à medida que mais dispositivos são adicionados, com os ganhos mais substanciais ocorrendo nos primeiros 10–20 dispositivos. Além desse ponto, observa-se retornos decrescentes.

Significado e Alegações

O artigo afirma que a inferência dividida de granularidade fina é uma alternativa viável à compressão agressiva de modelos para implantar aprendizado profundo em MCUs com recursos limitados. Ao mudar o paradigma de execução de um único nó poderoso para uma rede colaborativa de MCUs de baixo custo, o sistema supera o gargalo de pico de RAM que atualmente limita o TinyML.

Os autores enfatizam que sua abordagem não requer sistemas operacionais pesados e opera em bare-metal ou runtimes leves. Eles concluem que, embora a sobrecarga de comunicação seja um fator limitante para implantações em grande escala, o sistema proposto permite com sucesso a inferência de CNNs complexas em redes de MCUs que, de outra forma, seriam inviáveis, fornecendo uma base para trabalhos futuros em comunicação eficiente e classes de modelos mais amplas.