Resumo Técnico: Da Compressão à Implementação: FastGRNN em Tempo Real e com Eficiência Energética em Microcontroladores Ultra-Restritos

Problema

A trajetória dominante na aprendizagem de máquina moderna tem sido o escalonamento do tamanho do modelo e dos requisitos de memória, uma estratégia cada vez mais desafiada pelas restrições globais de fornecimento de semicondutores e pelos crescentes custos de energia/carbono da inferência sempre ativa. Embora o "tinyML" tenha ganhado tração, a maioria das implementações visa dispositivos ARM Cortex-M relativamente potentes, com unidades de ponto flutuante e multiplicadores de hardware. Permanece uma lacuna significativa na implementação de redes neurais recorrentes (RNNs) precisas em o microcontroladores (MCUs) do espectro "bare-metal" ultra-restrito: MCUs sem multiplicadores de hardware e sem unidades de ponto flutuante, como o Arduino Uno R3 (ATmega328P) de 8 bits e o MSP430G2553 de 16 bits. Estes dispositivos, ubíquos em wearables e sensores, oferecem custos unitários uma ordem de magnitude menores do que os alvos Cortex-M, mas apresentam severas restrições de memória (512 B de SRAM) e computacionais.

Este artigo aborda o desafio de executar uma rede recorrente com portão (gated recurrent network) para Reconhecimento de Atividade Humana (HAR) nestes MCUs de classe de quilobytes e sem multiplicadores, em tempo real, sem aceleradores especializados.

Metodologia

Os autores apresentam uma reprodução open-source de ponta a ponta do FastGRNN, uma célula recorrente com portão compacta, adaptada para implementação em MCUs bare-metal. A abordagem combina compressão algorítmica com otimização específica de hardware.

1. Arquitetura do Modelo e Pipeline de Compressão

O modelo central é uma célula FastGRNN com um tamanho oculto ($H$) de 16 e dimensão de entrada ($d$) de 3 (aceleração triaxial). O pipeline de compressão aplica três técnicas ortogonais sequencialmente:

• Fatoração de Baixo Rank (Low-Rank Factorization): As matrizes de pesos ($W$ e $U$) são decompostas em produtos de matrizes finas ($W_1W_2^T$, $U_1U_2^T$). Os autores selecionaram um rank recorrente ($r_u$) de 8 e um rank de entrada ($r_w$) de 2, reduzindo os parâmetros enquanto mantêm a expressividade.
• Sparsidade por Limiarização Hard Iterativa (IHT Sparsity): Durante o treinamento, as entradas de magnitude top-$k$ dos tensores de pesos são retidas enquanto outras são zeradas. Um cronograma cúbico aumenta a esparsidade para um alvo de $s=0,5$ (50% de esparsidade) ao longo de 50 épocas, seguido por 50 épocas de ajuste fino com uma máscara fixa.
• Quantização Q15 por Tensor com Calibração de Ativação: Os pesos são quantizados para o formato de ponto fixo Q15. Crucialmente, os autores descobriram que a quantização Q15 ingênua das ativações causou uma perda catastrófica de precisão (o F1 caiu de 0,918 para 0,16) porque as magnitudes do estado oculto ($\sim 62$) excediam o intervalo Q15. Para resolver isso, implementaram a calibração de ativação por tensor: uma passagem prévia sobre os dados de treinamento registra máximos empíricos para tensores intermediários, aplicando uma folga (headroom) de 10% para atribuir escalas únicas. Isso permite que tensores como o estado oculto utilizem um intervalo efetivo mais amplo (aproximando-se de Q9.6) enquanto preservam a resolução total Q15 para os portões limitados.

2. Otimização Sem Multiplicador (Look-Up Tables)

Para abordar a falta de multiplicadores de hardware e o alto custo de funções transcendentais em software ($\sigma$ e $\tanh$), os autores substituíram chamadas de função em tempo de execução por uma Tabela de Consulta (LUT) de 256 entradas armazenada em Flash.

• A LUT cobre o domínio de entrada $[-8, +8]$. Entradas fora deste intervalo saturam para $\pm 1$.
• Dentro do domínio, os valores são recuperados via interpolação linear entre entradas adjacentes.
• Isso substitui cálculos transcendentais caros por comparações simples, cargas indexadas e um multiply-add, acelerando significativamente a inferência no MSP430G2553.

3. Detalhes de Implementação

• Treinamento: Realizado no PyTorch 2.x em uma CPU de desktop usando o conjunto de dados HAPT (30 sujeitos, 6 atividades, amostragem de 50 Hz).
• Implementação: Um único arquivo de origem C portátil (fastgrnn.cpp) compila sem modificações tanto para toolchains AVR (Arduino) quanto MSP430.
• Memória: O modelo implantado ocupa 566 bytes de Flash (283 parâmetros Q15 não nulos + escalas + LUTs) e utiliza $\sim 300$ bytes de SRAM para o conjunto de trabalho em tempo de execução, cabendo nos 512 B de SRAM do MSP430G2553.

Principais Contribuições

O artigo estende o trabalho original do FastGRNN com quatro contribuições específicas:

1. Inferência Determinística Bit-Equivalente Cross-Platform: O mesmo código C produz trajetórias de estado oculto idênticas e 100% de concordância de predição em 3.399 janelas de teste em ambos os alvos de 8 e 16 bits, correspondendo a uma referência FP32 do PyTorch.
2. Receita de LUT Implantável para Alvos Sem Multiplicador: Uma LUT de 256 entradas para $\sigma$ e $\tanh$ acelera a inferência de janela completa no MSP430G2553 em 30,5× (reduzindo o tempo de inferência de ~54s para ~1,8s), permitindo streaming em tempo real a 50 Hz.
3. Caracterização da Latência de Aquecimento Recorrente: O estudo quantifica que a estabilidade da predição requer uma mediana de 74 amostras (1,48 s) de evolução do estado oculto, com um caso de pior cenário de 125 amostras (2,50 s). Esta latência é uma propriedade inerente da dinâmica recorrente, não do hardware.
4. Caracterização de Energia de Hardware: Usando um sensor INA226, os autores mediram 17,7 mW de potência de inferência ativa e <0,09 mW de potência ociosa. A LUT permitiu uma redução de 96,7% na energia por janela de inferência (31,5 mJ vs 954 mJ sem LUT) ao reduzir o tempo ativo necessário para cumprir o prazo de 50 Hz.

Resultados

• Precisão: O modelo implantado (Seed 0) alcançou um F1 score macro de 0,918 no teste HAPT. A média de cinco sementes para o pipeline Q15/LUT foi de 0,853 ± 0,107.
• Desempenho em Tempo Real: Ambas as plataformas sustentaram o streaming de 50 Hz com zero amostras acima do orçamento.
  • Arduino Uno R3: 9,21 ms por amostra (46% do orçamento de 20 ms).
  • MSP430G2553: 13,0 ms por amostra (65% do orçamento de 20 ms).
• Eficiência: O modelo é 44× menor que um baseline MLP padrão e roda em hardware sem unidade de ponto flutuante.
• Desempenho por Classe: Classes estáticas (Sentado, Em pé, Deitado) mantiveram F1 alto. A classe "Descendo Escadas" permaneceu como a mais difícil, consistente com a literatura de HAR mais ampla, embora tenha se recuperado para ~0,91 F1 após a quantização calibrada.

Significância e Alegações

O artigo afirma fornecer uma prova concreta de "existência" de que arquiteturas recorrentes compactas, quando combinadas com quantização calibrada, ativações por tabela de consulta e perfilamento de energia medido, podem entregar reconhecimento de atividade humana preciso e energeticamente eficiente em microcontroladores ultra-recursos sem aceleradores especializados.

Os autores enfatizam que este trabalho demonstra a viabilidade de "escalar para baixo" a IA para caber em silício existente (especificamente o MSP430G2553 sem multiplicador), oferecendo um caminho para reduzir as pegadas de energia e as dependências da cadeia de suprimentos. O trabalho destaca que a latência de "aquecimento" dos modelos recorrentes é um fator crítico, frequentemente negligenciado, para tempos de resposta reais ao usuário. Finalmente, o artigo estabelece que a inferência bit-equivalente através de diferentes ISAs (8-bit vs 16-bit) é alcançável, o que é significativo para aplicações relevantes à segurança onde a validação regulatória exige reprodutibilidade estrita.

Todo o código, modelos e binários de implantação estão publicamente disponíveis sob a Licença Apache 2.0.