A Constant-Time Implementation Methodology for Activation Functions on Microcontrollers

Resumo Técnico: Metodologia de Implementação de Tempo Constante para Funções de Ativação em Microcontroladores

Declaração do Problema
A inferência de redes neurais embarcada em microcontroladores com recursos limitados está cada vez mais vulnerável a ataques de canal lateral de tempo. Estudos recentes demonstraram que as funções de ativação dentro dessas redes vazam informações por meio de variações no tempo de execução dependentes dos valores de entrada e dos tipos de função. Esse vazamento permite que atacantes distingam entre diferentes funções de ativação (por exemplo, ReLU vs. sigmoid) e potencialmente realizem engenharia reversa das arquiteturas dos modelos ou inferam dados sensíveis de entrada. Embora contramedidas existentes, como dessincronização (introdução de atrasos aleatórios), tentem obscurecer esses padrões de tempo, elas não eliminam o comportamento subjacente dependente da entrada. Consequentemente, ataques baseados em modelos de perfil (template-based) ainda podem distinguir estatisticamente as funções de ativação, apesar do ruído adicionado.

Metodologia
Os autores propõem uma metodologia de implementação de tempo constante projetada para eliminar variações de tempo dependentes da entrada na fonte, em vez de meramente escondê-las. A abordagem é instanciada em uma plataforma ARM Cortex-M4 (STM32F411) e visa cinco funções de ativação amplamente utilizadas: ReLU, sigmoid, tanh, Unidade Linear com Erro Gaussiano (GELU) e Swish.

A metodologia baseia-se em quatro componentes principais:

1. Seleção sem Ramificação e Baseada em Máscara: Para evitar divergência no fluxo de controle, a implementação evita ramificações dependentes de dados. Em vez disso, utiliza mascaramento lógico e operações bit a bit (AND/OR) para selecionar entre valores candidatos (por exemplo, saídas saturadas vs. resultados de aproximação) com base na representação em bits da entrada. Isso garante que a sequência de instruções permaneça idêntica, independentemente do valor de entrada.
2. Aproximação Baseada em Padé de Custo Fixo: Para funções não lineares (sigmoid, tanh, GELU, Swish), os autores substituem avaliações padrão de funções transcendentais por uma aproximação racional compartilhada e de custo fixo baseada no aproximante de Padé para $\tanh(x)$, denotado como $R_{tanh}(x)$. Essa aproximação envolve uma sequência fixa de adições, multiplicações e uma única divisão, evitando loops ou seleção de intervalo dependentes da entrada.
   • Sigmoid e Swish são construídos usando a identidade $S(x) = \frac{1}{2}(1 + \tanh(x/2))$.
   • GELU é aproximado usando uma formulação baseada em $\tanh$.
3. Saturação Baseada em Máscara: Para lidar com entradas fora da região de aproximação, a metodologia emprega lógica de saturação (limitação a 0, 1 ou $x$) implementada via a mesma estratégia de mascaramento sem ramificação. Isso garante que, mesmo quando a aproximação racional é contornada para entradas saturadas, o caminho de execução e a contagem de ciclos permaneçam constantes.
4. Alinhamento de Ciclos e Aritmética Fictícia: Para alcançar tempos de execução idênticos em todas as cinco funções, os autores introduzem operações aritméticas fictícias. Especificamente, a função ReLU simples, que naturalmente executa muito mais rápido que as aproximações não lineares, é aumentada com a mesma sequência aritmética baseada em $R_{tanh}$ (sem afetar o resultado final) para alinhar sua contagem de ciclos com as funções mais complexas. Preenchimento mínimo com NOP é usado apenas para alinhamento de granularidade fina.

Principais Contribuições

• Metodologia de Tempo Constante: O artigo introduz um princípio de construção reutilizável para funções de ativação que garante tempo de execução independente da entrada em microcontroladores embarcados.
• Instanciação em Cinco Funções: A metodologia é aplicada com sucesso a ReLU, sigmoid, tanh, GELU e Swish, utilizando uma aproximação racional compartilhada para os componentes não lineares.
• Vulnerabilidade da Dessincronização: Os autores demonstram que contramedidas baseadas em dessincronização, embora obscureçam visualmente os rastros de tempo, permanecem vulneráveis a ataques de tempo baseados em modelos de perfil. A análise estatística dos tempos de execução permite que um atacante distinga funções de ativação com alta confiança após medições suficientes.
• Validação Experimental: O trabalho fornece evidências empíricas de que as implementações protegidas propostas alcançam contagens de ciclos idênticas para todas as entradas testadas, suprimindo efetivamente o vazamento de tempo.

Resultados Experimentais
A metodologia foi avaliada em um ARM Cortex-M4 operando a 84 MHz.

• Regularidade de Tempo:
  • Em um cenário de três funções (ReLU, sigmoid, tanh) sobre o intervalo $[-8, 8]$, todas as implementações protegidas executaram em exatamente 88 ciclos de clock (1,048 µs), independentemente do valor de entrada.
  • Em um cenário estendido de cinco funções (incluindo GELU e Swish) sobre o intervalo $[-500, 500]$, todas as implementações executaram em exatamente 108 ciclos de clock (1,286 µs).
  • Em contraste, implementações não protegidas mostraram variações de tempo significativas (por exemplo, ReLU não protegida levou ~12 ciclos, enquanto tanh não protegida levou ~403 ciclos) e flutuações dependentes da entrada.
• Precisão Numérica:
  • As aproximações mantiveram alta precisão. Para o intervalo $[-8, 8]$, o Erro Quadrático Médio (MSE) para sigmoid foi de $2,93 \times 10^{-12}$ e para tanh foi de $6,14 \times 10^{-10}$.
  • No intervalo estendido $[-500, 500]$, os erros permaneceram negligenciáveis para sigmoid e tanh (pois saturam rapidamente), enquanto GELU e Swish mostraram erro baixo localizado perto dos limiares de saturação (Erro absoluto máximo para Swish foi de $1,11 \times 10^{-3}$).
• Compensações de Desempenho:
  • A implementação protegida de ReLU incorreu em um aumento de latência (de ~12 para 88/108 ciclos) devido à inserção de aritmética fictícia para alinhamento.
  • Por outro lado, as funções não lineares protegidas foram significativamente mais rápidas que suas contrapartes não protegidas (por exemplo, sigmoid/tanh protegidos foram ~33-38% mais rápidos que as versões não protegidas) porque a aproximação racional é mais eficiente que as funções transcendentais de bibliotecas padrão no hardware alvo.

Significado e Alegações
O artigo alega que a metodologia proposta fornece uma base prática para a construção de funções de ativação resistentes a canais laterais em inferência embarcada. Ao mudar de "esconder" (randomização) para design de "tempo constante", a abordagem elimina a causa raiz do vazamento de tempo: caminhos de execução dependentes da entrada. Os autores afirmam que essa metodologia permite a construção de funções de ativação onde a sequência de instruções executada é independente do valor de entrada, prevenindo assim ataques de tempo baseados em modelos.

O trabalho se posiciona como um bloco de construção para aprendizado de máquina embarcado seguro, particularmente para dispositivos de borda sensíveis à privacidade (por exemplo, sensores médicos, wearables) onde informações de tempo podem estar acessíveis a atacantes. Os autores notam modestamente que, embora isso aborde o vazamento de tempo em funções de ativação, não constitui uma contramedida completa para todo o pipeline de inferência, e outros canais laterais (energia, EM) ou detalhes de implementação podem ainda exigir proteção. O estudo foca especificamente no domínio de tempo e não alega abordar todos os vetores potenciais de canais laterais.