Resumo Técnico: RRAM-DP: Privacidade Diferencial Calibrada pelo Dispositivo para Aprendizado em Memória na Borda

1. Definição do Problema

Os sistemas de Inteligência Artificial de Coisas (AIoT) na borda realizam cada vez mais sensoriamento e aprendizado in-situ, levantando preocupações críticas de privacidade. Redes Neurais Profundas (DNNs) treinadas em dados locais são vulneráveis a ataques de privacidade, como Ataques de Inferência de Membro (MIAs) e extração de dados de treinamento. Embora a Privacidade Diferencial (DP) ofereça uma defesa rigorosa através da injeção de ruído calibrado, as estruturas de DP existentes enfrentam obstáculos significativos na AIoT de borda:

• Limitações Digitais: Implementar DP em hardware digital (CPUs/GPUs) sofre com erros de arredondamento de precisão finita, suscetibilidade a ataques de ponto flutuante e altos custos de energia devido ao movimento repetido de dados entre processadores e memória.
• Eficiência vs. Privacidade: As implementações existentes de DP-SGD incorrem em sobrecargas substanciais de complexidade de tempo e espaço (2× a 1000×) em comparação ao treinamento padrão, o que é proibitivo para dispositivos de borda com recursos limitados.
• Não-idealidades de Hardware: A Memória de Acesso Aleatório Resistiva (RRAM) oferece um substrato promissor para Computação na Memória (CiM) devido à sua capacidade de armazenamento multi-bit e capacidades de multiplicação-acumulação (MAC) analógicas. No entanto, a estocasticidade inerente de comutação resistiva da RRAM (variações ciclo a ciclo e dispositivo a dispositivo) é tradicionalmente vista como um problema de confiabilidade que degrada a precisão. Além disso, trabalhos anteriores trataram majoritariamente o ruído do memristor de forma teórica (assumindo perturbações Gaussianas i.i.d. idealizadas) sem abordar como calibrar o ruído real e não idêntico dos dispositivos para fornecer garantias formais de DP.

2. Metodologia: Co-design RRAM-DP

Os autores propõem o RRAM-DP, um co-design hardware-algoritmo que transforma a estocasticidade inerente da RRAM em uma fonte fundamentada de privacidade diferencial.

2.1 Mecanismo de Hardware: Relaxação do Write-Verify

Em vez de visualizar o ruído de escrita da RRAM como um defeito, o sistema a utiliza como um gerador de números aleatórios verdadeiro.

• Write-Verify Relaxado: O sistema relaxa o loop padrão de write-verify. Em vez de iterar até que uma condutância alvo precisa seja atingida, o processo para assim que a condutância cai dentro de um limite de erro absoluto ajustável, denotado por $\tau$ (limite de parada).
• Injeção de Ruído: Essa relaxação permite que a variação ciclo a ciclo inerente se manifeste como uma injeção de ruído controlada durante a operação de escrita.
• Representação Multi-Dispositivo: Para abordar as variações dispositivo a dispositivo e as distribuições não idênticas, o sistema emprega uma configuração de $k$-dispositivos (especificamente $k=3$ nos experimentos). Ao tirar a média da saída de $k$ dispositivos armazenando o mesmo parâmetro, o sistema utiliza o Teorema do Limite Central (CLT) de Lindeberg para garantir que o ruído agregado converja para uma distribuição Gaussiana, satisfazendo os requisitos para análise formal de DP.

2.2 Estrutura Algorítmica: RRAM-DP-SGD

O artigo formula o RRAM-DP-SGD, uma adaptação do DP-SGD executada diretamente na RRAM.

• Calibração de Ruído: O sistema mapeia o limite de parada de hardware $\tau$ para a variância estatística do ruído injetado. Usando estatísticas empíricas de dispositivos, um modelo de limite inferior linear é estabelecido para relacionar $\tau$ à desvio padrão do ruído $\sigma'_{min}$.
• Análise de Privacidade Formal: Os autores utilizam a Privacidade Diferencial $\mu$-Gaussiana ($\mu$-GDP) como a estrutura analítica, que fornece limites mais estreitos para mecanismos alinhados com ruído Gaussiano. Eles provam que a composição de $T$ mecanismos RRAM-DP iterativos com subamostragem uniforme satisfaz $\mu_r$-GDP, que pode ser convertida em garantias $(\epsilon, \delta)$-DP padrão.
• Estratégia de Pré-treinamento: Para mitigar a degradação da precisão causada pelas operações de escrita ruidosas e pelas limitações inerentes do DP-SGD, os autores integram técnicas de pré-treinamento. Os modelos são primeiro pré-treinados em grandes conjuntos de dados públicos (ex: ImageNet32) e depois ajustados (fine-tuned) em dados privados usando RRAM-DP-SGD. Esta abordagem melhora a utilidade e a tolerância ao acúmulo de ruído.

2.3 Arquitetura de Hardware

O acelerador proposto consiste em uma unidade de controle global e 512 tiles, cada um contendo Elementos de Processamento (PEs) de 16×16. Cada PE utiliza três matrizes RRAM de 32×32 (configuração de 3 dispositivos) para armazenamento de pesos. O sistema realiza multiplicação vetorial-matriz (MAC) analógica em memória enquanto lida com controle digital e corte de gradiente (gradient clipping).

3. Principais Contribuições

1. Primeiro Mecanismo Randomizado Baseado em RRAM: O artigo apresenta o primeiro mecanismo para calibrar operações de escrita RRAM para adição de ruído verdadeiro in-situ, fornecendo garantias formais de $(\epsilon, \delta)$-DP tanto para armazenamento de dados quanto para treinamento de SGD.
2. Amostragem de Ruído Robusta: Ao combinar a amostragem write-verify com uma representação multi-dispositivo ($k=3$) e o CLT, o sistema gera ruído estável e de aparência Gaussiana a partir de dispositivos não ideais usando apenas um único parâmetro de controle ($\tau$).
3. Treinamento CiM Resiliente ao Ruído: Os autores demonstram que técnicas de pré-treinamento podem efetivamente reduzir a lacuna entre o treinamento analógico ruidoso e alta utilidade, alcançando quedas de precisão de $\leq \sim 7\%$ em $\epsilon=5$ comparado ao treinamento ideal.
4. Eficiência de Estado da Arte: O acelerador RRAM-DP-SGD alcança melhorias significativas em energia e velocidade em comparação com contrapartes digitais.

4. Resultados Experimentais

Os autores avaliaram o sistema nos conjuntos de dados CIFAR-10/100, STS-B e SST-2, juntamente com treinamento híbrido analógico-digital no MNIST.

• Precisão:
  • Em CIFAR-10/100, STS-B e SST-2, o RRAM-DP-SGD incorreu em uma queda de precisão de no máximo 3,8% em $(\epsilon=2, \delta=O(1/n))$-DP em relação ao SGD não privado.
  • Em $\epsilon=5$, o sistema alcançou precisões de 89,6% (CIFAR-10), 71,8% (CIFAR-100), 83,4% (STS-B) e 92,0% (SST-2), superando o treinamento DP-SGD de estado da arte a partir do zero.
• Proteção de Privacidade:
  • Contra Ataques de Razão de Verossimilhança (LiRA), o RRAM-DP-SGD alcançou uma Área Sob a Curva (AUC) de 0,4975, quase idêntica à linha de base aleatória teórica (0,5) e significativamente melhor que o treinamento não privado (0,5348), confirmando forte resistência à inferência de membro.
• Eficiência (vs. NVIDIA A100 GPU e DiVa-GEMM):
  • Economia de Energia: O sistema alcançou economias de energia de 54×–57× em comparação com uma GPU NVIDIA A100 e 3×–3,2× em comparação com o acelerador digital DP-SGD, DiVa-GEMM.
  • Aceleração (Speedup): O sistema demonstrou um aumento de velocidade de 2,5×–2,7× sobre a A100 e 1,7×–1,8× sobre a DiVa-GEMM.
  • Deriva de Dispositivo (Device Drift): Experimentos mostraram que a deriva do dispositivo ao longo de 12 dias introduz ruído adicional negligenciável (equivalente a $\tau \approx 1,5\mu S$), que não impacta significativamente o orçamento de privacidade ou a precisão no treinamento iterativo.

5. Significância e Alegações

O artigo afirma que o RRAM-DP estabelece um novo paradigma de computação para aprendizado em memória eficiente e preservador de privacidade na borda. Ao conectar rigorosamente as estatísticas do nível do dispositivo aos parâmetros de privacidade, o trabalho converte as inevitáveis não-idealidades de hardware (estocasticidade) em garantias de privacidade controladas sem exigir modificações arquiteturais na própria matriz de memória.

Os autores enfatizam que sua abordagem vai além das suposições teóricas de ruído ideal, fornecendo uma solução prática e calibrada por hardware que permite o treinamento de alta utilidade em dispositivos de borda baseados em RRAM, ao mesmo tempo em que oferece proteção formal contra ataques de nível de banco de dados. A integração de técnicas de pré-treinamento é destacada como um habilitador crítico para superar as limitações de utilidade tipicamente associadas ao treinamento analógico ruidoso.