💻 computer science

Cloud to Edge: Benchmarking LLM Inference On Hardware-Accelerated Single-Board Computers

Este artigo propõe uma metodologia de avaliação de referência multidimensional para avaliar o desempenho e a eficiência da execução de modelos de linguagem grandes em computadores de placa única acelerados por hardware, fornecendo orientações práticas para a implantação de IA generativa em ambientes de borda sensíveis à privacidade e com conectividade limitada.

Autores originais: Harri Renney, Fouad Trad, Michael Mattarock, Zena Wood

Publicado 2026-04-29

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Harri Renney, Fouad Trad, Michael Mattarock, Zena Wood

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro robótico brilhante e superinteligente (um Modelo de Linguagem de Grande Escala, ou LLM) capaz de escrever histórias, resolver problemas e responder perguntas. Geralmente, esse cérebro vive em um centro de dados gigante e caro, longe, na "nuvem". Para usá-lo, você precisa enviar suas perguntas pela internet e aguardar uma resposta.

Mas e se você estiver em um lugar sem internet, ou onde o envio de dados para fora representa um risco de segurança (como uma base militar secreta ou um drone remoto)? Você precisa que esse cérebro viva exatamente aí com você, em um computador pequeno e barato. Isso é chamado de "Computação de Borda".

Este artigo é como um guia de compras para construir um cérebro robótico local. Os autores testaram quatro computadores pequenos diferentes (Computadores de Placa Única) para ver qual é o melhor para executar esses cérebros inteligentes sem precisar de uma usina de energia massiva ou de uma mala enorme para carregá-los.

Veja como eles fizeram isso e o que descobriram, usando analogias simples:

O Problema: A "Nuvem" vs. A "Mochila"

Executar um cérebro inteligente na nuvem é como pedir uma pizza entregue por um restaurante do outro lado da cidade. É ótimo se você tiver uma estrada rápida (internet), mas se a estrada estiver bloqueada, ou se você não puder deixar o entregador ver seu endereço secreto (privacidade), você fica preso.

Os autores queriam saber: Podemos assar a pizza na nossa própria cozinha?
Eles testaram computadores pequenos que cabem na sua mão (ou até menores) para ver se conseguiam executar esses cérebros inteligentes com rapidez suficiente para serem úteis.

A Cozinha de Testes: Quatro "Fornos" Diferentes

Os pesquisadores montaram quatro "fornos" diferentes (configurações de hardware) para assar a pizza (executar a IA):

O Tijolo Minúsculo (M5Stack): Um computador minúsculo, do tamanho de um cartão de crédito, com um chip ajudante especial (NPU) embutido. Tem o tamanho de uma caixa de fósforos pequena.
A Placa Padrão (Raspberry Pi 5): Uma placa de computador popular e acessível, mas que tenta fazer tudo apenas com seu cérebro principal (CPU).
A Placa Atualizada (Raspberry Pi 5 + HAT): A mesma placa padrão, mas com um cartão especial de "impulso de velocidade" (Hailo NPU) acoplado a ela.
O Potente (Jetson Orin Nano): Uma placa mais cara e poderosa, com um cartão gráfico de ponta (GPU) embutido.

A Nova Maneira de Medir o Sucesso

Geralmente, as pessoas apenas perguntam: "Quão rápido é?" (Tokens por segundo). Mas os autores perceberam que, para dispositivos pequenos e portáteis, a velocidade não é a única coisa que importa. Eles introduziram duas novas maneiras de medir o sucesso:

O Teste de "Densidade de Mala" (Densidade de Vazão):
Imagine que você está fazendo as malas para uma trilha. Você não quer apenas a tenda mais poderosa; você quer a tenda mais poderosa que caiba na mochila menor. Os autores mediram quanto "pensamento inteligente" um dispositivo podia realizar por polegada cúbica de seu tamanho.
- O Vencedor: O minúsculo M5Stack foi o campeão aqui. Embora não fosse o mais rápido no geral, ele empacotou a maior potência de computação no menor espaço.
O Teste de "Durabilidade da Bateria" (Energia por Milhão de Tokens):
Imagine que você está correndo uma maratona. Você não quer apenas correr rápido; quer correr rápido sem ficar exausto. Eles mediram quanto eletricidade foi necessária para gerar um milhão de palavras.
- O Vencedor: O M5Stack e a GPU Jetson foram os mais eficientes energeticamente. O Raspberry Pi padrão (sem um impulso) foi como um corredor que se cansa muito rápido, usando muita energia para muito pouca velocidade.

Os Resultados: O Que Funcionou Melhor?

O "Demônio da Velocidade": O Jetson Orin Nano foi o mais rápido no geral. Se você precisa de mais respostas por segundo e tem um pouco de espaço e energia, este é o que escolher.
O "Economizador de Espaço": O M5Stack (o tijolo minúsculo) foi o melhor para espaços apertados. Ele provou que é possível encaixar um cérebro inteligente em algo do tamanho de uma caixa de fósforos.
O "Upgrade Inteligente": Adicionar o impulso de velocidade Hailo ao Raspberry Pi tornou-o muito melhor. Ele ficou muito mais rápido e usou muito menos energia do que o Raspberry Pi sozinho.
O "Não Faça Isso": Tentar executar esses cérebros inteligentes no Raspberry Pi padrão sem nenhum chip impulsor especial foi muito ineficiente. Foi lento e consumiu muita energia, como tentar correr uma maratona com botas pesadas.

Por Que Isso Importa? (As Afirmações Específicas do Artigo)

Os autores dizem que essas descobertas são cruciais para três cenários do mundo real específicos mencionados no artigo:

Veículos Não Tripulados (Drones): Drones têm baterias minúsculas. Eles precisam de um cérebro inteligente que não esgote a bateria. O artigo mostra que é possível colocar um cérebro inteligente em um drone pequeno o suficiente para voar e eficiente o suficiente para não derrubar o drone devido à baixa energia.
Operações Portáteis e Resilientes: Pense em soldados ou trabalhadores em ambientes difíceis carregando equipamentos. Eles precisam de computadores que caibam em uma caixa pequena e resistente. O teste de "Densidade de Mala" mostra quais computadores se encaixam melhor nessas caixas apertadas e resistentes.
Estações Terrestres de Satélite: Pessoas estão construindo estações pequenas e portáteis para falar com satélites em lugares remotos. Elas precisam processar dados localmente sem esperar por uma conexão com o escritório principal. O artigo mostra que esses computadores pequenos podem lidar com o trabalho, especialmente se usarem os chips impulsor especiais para economizar energia.

A Conclusão

Você não precisa mais de um centro de dados gigante para ter uma IA inteligente. Você pode colocá-la em uma caixa pequena. No entanto, você não pode pegar qualquer computador pequeno; precisa da combinação certa de um computador pequeno e um chip "ajudante" especial (acelerador) para torná-lo rápido e energeticamente eficiente.

Se você precisa de velocidade máxima, pegue o Jetson.
Se você precisa de mínimo tamanho, pegue o M5Stack.
Se você quer um bom equilíbrio, adicione um chip impulsor a uma placa padrão.

Este artigo lhe dá o mapa para escolher a ferramenta certa para que você possa executar IA inteligente em qualquer lugar, mesmo onde a internet não chega.

1. Declaração do Problema

A implantação de Modelos de Linguagem de Grande Porte (LLMs) permanece predominantemente centrada na nuvem, criando gargalos críticos para ambientes de Tecnologia Operacional (OT) e defesa. Esses desafios incluem:

Privacidade e Segurança de Dados: Dados sensíveis em infraestruturas críticas (energia, defesa, manufatura) frequentemente não podem deixar perímetros de rede controlados.
Latência e Conectividade: A dependência de conexões de internet estáveis é uma vulnerabilidade em ambientes remotos ou contestados (por exemplo, veículos não tripulados, estações terrestres de satélite).
** lacunas de Avaliação:** As ferramentas existentes de benchmarking de borda (por exemplo, DeepEdgeBench, LEAF) sofrem com três limitações principais:
1. Elas dependem fortemente de inferência apenas em CPU ou GPUs legadas, ignorando aceleradores de borda dedicados modernos (NPUs).
2. Elas carecem de cobertura de Computadores de Placa Única (SBCs) genuínos adequados para IoT.
3. Elas utilizam métricas de avaliação genéricas que falham em contabilizar as restrições multidimensionais da implantação em borda (tamanho físico, orçamento de energia e eficiência energética).

2. Metodologia

Os autores propõem um framework de benchmarking estruturado e multidimensional para avaliar a inferência de LLMs em quatro plataformas de borda distintas adequadas para IoT.

Configuração Experimental:

Plataformas de Hardware (5 Configurações):
1. M5Stack LLM (Módulo M140): Apresenta um SoC AX630C com NPU integrada (3,2 TOPS). Menor fator de forma ( $54 \times 54 \times 13$ mm).
2. Raspberry Pi 5: Apenas CPU (Broadcom BCM2712).
3. Raspberry Pi 5 + AI HAT+: Adiciona uma NPU Hailo-10H (40 TOPS).
4. NVIDIA Jetson Orin Nano Super: Apresenta uma GPU Ampere (67 TOPS).
Modelos: Uma seleção de LLMs compactos e destilados (0,5B a 3B parâmetros), incluindo DeepSeek-R1-Distill-Qwen, Qwen 2.5 (Instruct/Coder) e Llama 3.2.
Configuração de Inferência:
- Quantização: Todos os modelos são executados com quantização de 4 bits (Q4_K_M) para minimizar a pegada de memória.
- Ambientes de Execução: Ollama (para CPU/GPU), Hailo Ollama (para NPU no Pi 5) e StackFlow (para M5Stack).
- Carga de Trabalho: Prompts fixos gerando 100 tokens para medir o desempenho sustentado.

Métricas de Avaliação:
O artigo introduz um framework multidimensional que vai além da simples latência/precisão:

Desempenho Bruto: Vazão de tokens (tokens/s) e Tempo até o Primeiro Token (TTFT).
Eficiência Energética: Consumo de energia por milhão de tokens (MJ/Mtok).
Métricas Compostas (Contribuições Novas):
- Densidade de Vazão ( $Tps/m^3$ ): Vazão de tokens normalizada pelo volume do dispositivo. Crucial para implantações com restrição de espaço (por exemplo, drones, wearables).
- Energia por Milhão de Tokens (MJ/Mtok): Custo energético total para geração, crítico para sistemas operados por bateria.

3. Principais Contribuições

Análise de Lacunas: Identificou a ausência de frameworks multidimensionais que avaliem conjuntamente o desempenho de inferência, eficiência de hardware e restrições físicas para SBCs modernos com aceleradores dedicados.
Métricas Novas: Introduziu Densidade de Vazão e Energia por Milhão de Tokens para permitir a seleção de hardware baseada em restrições específicas de implantação (espaço vs. potência vs. velocidade).
Benchmarking Abrangente: Fornecia a primeira análise comparativa de aceleradores de borda modernos (Hailo-10H, NVIDIA Ampere, NPU AX630C) contra baselines apenas em CPU em múltiplas famílias de modelos.

4. Principais Resultados

Impacto da Aceleração de Hardware:
- NPU (Hailo-10H): Entregou ganhos de eficiência energética de 9,5x a 40x sobre a inferência apenas em CPU no Raspberry Pi 5. A vazão aumentou de ~0,3 tok/s (CPU) para ~6,3 tok/s (NPU).
- GPU (Jetson Orin): Proporcionou um ganho de eficiência mais modesto de 1,2x a 1,8x sobre sua própria baseline em CPU, mas ofereceu a vazão absoluta mais alta (até ~10 tok/s).
Densidade de Vazão:
- O M5Stack AX630c dominou esta métrica, alcançando >90.000 Tps/m³ devido ao seu fator de forma minúsculo, tornando-o ideal para aplicações ultra-compactas e robustecidas.
- O Jetson Orin, embora poderoso, teve a menor densidade devido ao seu volume físico maior.
Eficiência Energética:
- A inferência apenas em CPU foi uma ordem de magnitude menos eficiente (33–76 MJ/Mtok) em comparação com plataformas aceleradas (0,5–5,5 MJ/Mtok).
- O M5Stack e a GPU Jetson foram os mais energeticamente eficientes, consumindo ~0,5–1,7 MJ/Mtok.
- O RPi 5 + Hailo mostrou eficiência variável dependendo da arquitetura do modelo, sugerindo que o desempenho da NPU é mais sensível à estrutura do modelo do que o das GPUs.

5. Significado e Implicações

As descobertas oferecem orientação prática para a implantação de IA Generativa em ambientes críticos, sensíveis à privacidade e com limitações de conectividade:

Sistemas Distribuídos Resilientes: A IA de borda de baixa potência (faixa de 5–25W) permite arquiteturas descentralizadas onde nós individuais atuam como agentes inteligentes. Isso reduz a dependência de comando central, aumentando a resiliência contra bloqueio de rede ou ciberataques.
Autonomia com Restrição Energética: Para drones e sistemas autônomos com orçamentos energéticos apertados, a mudança da inferência em CPU para NPU/GPU estende significativamente o tempo de operação, permitindo tomada de decisão local e sumarização de dados em tempo real.
Estações Terrestres de Satélite: Os resultados validam que modelos de 1,5B parâmetros podem ser executados em SBCs portáteis (como RPi 5 + Hailo) com alta eficiência. Isso permite que estações terrestres realizem tarefas inteligentes (análise de comandos, raciocínio de telemetria) localmente, sem necessidade de links de alta largura de banda para instalações centrais.

Conclusão:
O artigo demonstra que SBCs com aceleração de hardware são agora viáveis para executar LLMs localmente. A escolha do hardware não deve basear-se apenas na velocidade bruta; em vez disso, deve ser guiada pelos trade-offs específicos entre pegada física (favorecendo M5Stack), vazão absoluta (favorecendo Jetson) e eficiência energética (favorecendo M5Stack ou GPU Jetson), dependendo das restrições operacionais específicas da implantação de IoT.