Scalable Digital Compute-in-Memory Ising Machines for Robustness Verification of Binary Neural Networks

Este trabalho propõe uma máquina de Ising baseada em SRAM com computação em memória digital para reformular e resolver o problema de verificação de robustez de redes neurais binárias como uma otimização binária quadrática, alcançando aceleração e eficiência energética significativas ao utilizar soluções imperfeitas para identificar perturbações adversariais.

O essencial

Imagine que você tem um sistema de segurança muito inteligente (uma Rede Neural Binária) que decide se uma imagem é um "gato" ou um "cachorro". Esse sistema é super rápido e cons pouca energia porque só usa "ligado" ou "desligado" (0 ou 1) para pensar.

O problema é que esse sistema é um pouco ingênuo. Se alguém fizer uma alteração quase invisível na foto (como mudar a cor de um único pixel), o sistema pode mudar de ideia e dizer "cachorro" quando é um "gato". Isso é perigoso!

Os cientistas querem testar se o sistema é forte o suficiente para não ser enganado por essas pequenas mudanças. Isso se chama verificação de robustez.

O Desafio: Encontrar a Agulha no Palheiro

Para testar se o sistema é frágil, os pesquisadores precisam encontrar exatamente qual pequena mudança na imagem vai enganar o sistema.

• Pense nisso como tentar encontrar a única combinação de fechadura que abre um cofre gigante.
• O número de combinações possíveis é tão enorme que, se você usar um computador comum (como o seu laptop), levaria milhões de anos para testar todas as opções. É como tentar achar uma agulha em um palheiro, mas o palheiro é do tamanho de um planeta.

A Solução: Uma Máquina de "Pensamento em Paralelo"

Os autores deste artigo criaram uma nova máquina chamada Máquina de Ising Digital. Vamos usar uma analogia para entender como ela funciona:

1. O Labirinto de Energia: Imagine que todas as possíveis combinações de pixels formam um terreno montanhoso e cheio de buracos. O objetivo é encontrar o ponto mais baixo desse terreno (a solução perfeita). Computadores normais descem a montanha passo a passo, tropeçando em buracos pequenos (soluções ruins) e ficando presos.
2. A Máquina de Ising: Em vez de descer passo a passo, essa máquina é como uma chuva de bolinhas de gude que rola por todo o terreno ao mesmo tempo. Ela explora o mapa inteiro de uma vez só.
3. O Truque do "Quase Perfeito": A grande sacada deste trabalho é que eles não precisam que a máquina encontre o ponto mais baixo absoluto (a solução perfeita). Eles descobriram que, mesmo que a máquina encontre um "vale" próximo ao fundo (uma solução imperfeita), isso já é suficiente para revelar que o sistema de segurança pode ser enganado.
   • Analogia: Você não precisa encontrar o tesouro exato no mapa para saber que o mapa está errado. Se você encontrar um buraco grande perto do tesouro, já sabe que o sistema de segurança falhou.

Como a Máquina Funciona (Sem Computadores Normais)

A máquina é construída dentro de uma memória de computador comum (chamada SRAM), mas com um truque de engenharia:

• Memória que Calcula: Em vez de levar os dados da memória para o processador (o que gasta muita energia e tempo), a máquina faz os cálculos dentro da própria memória. É como se cada prateleira de uma biblioteca pudesse ler os livros e somar os preços sozinha, sem precisar chamar o bibliotecário.
• O "Ruído" Controlado: Para evitar ficar preso em buracos pequenos, a máquina usa uma técnica curiosa: ela abre uma torneira de eletricidade instável propositalmente. Isso cria um "tremor" nos dados, fazendo com que a máquina pule de um lugar para outro aleatoriamente, como se estivesse "tremendo" para sair de um buraco e encontrar um caminho melhor. É como sacudir uma caixa de macarrão para que os espaguetes se organizem sozinhos.

Os Resultados: Velocidade e Eficiência

Os pesquisadores testaram essa máquina e os resultados foram impressionantes:

• Velocidade: Eles conseguiram encontrar soluções 178 vezes mais rápido do que um computador comum.
• Energia: A máquina gastou 1538 vezes menos energia do que o computador comum.
• Eficácia: Mesmo com soluções "imperfeitas" (que não eram matematicamente perfeitas), a máquina conseguiu encontrar milhares de maneiras diferentes de enganar o sistema de segurança, provando que ele precisa ser melhorado.

Resumo em uma Frase

Os autores criaram uma máquina super-rápida e econômica que usa "tremores" controlados dentro da memória do computador para encontrar falhas em sistemas de inteligência artificial, provando que mesmo soluções "imperfeitas" são suficientes para nos alertar sobre os perigos de segurança.

É como ter um detector de mentiras que não precisa ouvir a resposta perfeita, apenas um pequeno tropeço na fala para saber que algo está errado, e faz isso com a velocidade de um raio e o consumo de energia de uma lâmpada LED.

Resumo técnico

Resumo Técnico: Máquinas de Ising Digitais Computacionais em Memória (DCIM) para Verificação de Robustez de Redes Neurais Binárias

1. O Problema

A verificação de robustez em Redes Neurais Binárias (BNNs) é um problema crítico para a implantação segura de inteligência artificial, especialmente em aplicações sensíveis como saúde e segurança. O objetivo é garantir que a saída da rede permaneça inalterada sob pequenas perturbações adversárias no input.

• Desafio Computacional: A verificação de robustez para BNNs é classificada como NP-difícil. Ela pode ser formulada como uma busca combinatória para encontrar uma perturbação que cause uma classificação errada.
• Limitações Atuais: Métodos exatos (como SMT/MILP) não escalam bem para redes grandes devido à complexidade computacional. Métodos heurísticos clássicos, por sua vez, muitas vezes falham em fornecer garantias formais ou são incompletos.
• Complexidade do Espaço de Solução: As formulações de otimização resultantes possuem paisagens de energia altamente não convexas e rugosas, com muitos mínimos locais, tornando a busca pela solução global ótima extremamente custosa em arquiteturas de Von Neumann convencionais.

2. Metodologia

Os autores propõem uma abordagem que reformula o problema de verificação de robustez como um problema de Otimização Binária Quadrática sem Restrições (QUBO) e o resolve utilizando uma máquina de Ising baseada em SRAM com Computação em Memória (DCIM).

• Formulação QUBO: O problema de encontrar uma perturbação adversária é mapeado para um Hamiltoniano de Ising. As restrições de inferência da BNN e as restrições de orçamento de perturbação são incorporadas em uma única função objetivo quadrática usando o método de penalidade.
• Arquitetura DCIM (Compute-in-Memory):
  • Armazenamento: Os coeficientes da matriz QUBO (quantizados para 8 bits) são armazenados diretamente em uma matriz de SRAM (aproximadamente 9,1 Mb).
  • Atualização em Memória: A arquitetura realiza atualizações iterativas de spins diretamente na memória, minimizando o movimento de dados entre CPU e memória.
  • Injeção de Ruído Nativa: Em vez de usar geradores de números aleatórios digitais dedicados (como LFSRs), o sistema explora a variabilidade intrínseca das células de SRAM. Ao operar o SRAM em modo de "leitura pseudo" com tensão reduzida ($V_{DDM}$), a margem de ruído estática é enfraquecida, criando flutuações probabilísticas nos bits armazenados. Isso fornece a estocasticidade necessária para o recozimento (annealing) de forma nativa e escalável.
• Paradigma de Solução Imperfeita: Uma contribuição central é a mudança de paradigma: o sistema não exige a solução global ótima (que satisfaz todas as restrições perfeitamente). Em vez disso, ele explora soluções imperfeitas (quase ótimas) produzidas pela máquina de Ising. Mesmo que algumas restrições auxiliares sejam violadas, essas soluções podem conter vetores de perturbação válidos que, quando aplicados à BNN, resultam em uma mudança de rótulo (ataque adversarial bem-sucedido).

3. Principais Contribuições

1. Primeira Demonstração de Fluxo de Trabalho de Verificação Imperfeita: É a primeira vez que um fluxo de verificação baseado em soluções imperfeitas é demonstrado em uma arquitetura Ising DCIM baseada em SRAM, estabelecendo um caminho de hardware de ponta a ponta.
2. Arquitetura de Recozimento Nativa: Desenvolvimento de um mecanismo de estocasticidade que utiliza a variabilidade do dispositivo SRAM (injeção de ruído via controle de tensão) em vez de hardware externo de geração de ruído, eliminando overhead e melhorando a eficiência.
3. Mapeamento Eficiente de QUBO: Uso de uma técnica de "embedding" com variável fixa (pinned-one) para lidar com termos diagonais na matriz QUBO, permitindo atualizações diretas via MAC (Multiply-Accumulate) em memória sem necessidade de caminhos de adição separados.
4. Validação de Robustez: Demonstração de que soluções subótimas podem ser suficientes para certificar a não-robustez de uma BNN, preenchendo a lacuna entre verificação exata (impraticável) e busca heurística pura.

4. Resultados Experimentais

Os autores avaliaram a abordagem em BNNs pré-treinadas no conjunto de dados MNIST com diferentes tamanhos de entrada (7x7, 11x11 e 28x28).

• Qualidade da Solução: A máquina DCIM encontrou consistentemente um número igual ou superior de soluções "boas" (dentro de uma faixa de energia de 5% do mínimo) em comparação com o Recozimento Simulado (Simulated Annealing) executado em CPU.
• Sucesso em Ataques Adversariais:
  • Para a configuração de maior escala (1023x3x1), a solução DCIM gerou 1510 ataques adversariais bem-sucedidos para o rótulo 1, enquanto o Recozimento Simulado gerou apenas 484.
  • A diversidade das soluções foi alta, indicando que o hardware explora diferentes regiões do espaço de busca.
• Desempenho de Hardware (PPA - Power, Performance, Area):
  • Aceleração: Projeções indicam uma aceleração de 178x na taxa de convergência em comparação com implementações baseadas em CPU.
  • Eficiência Energética: Uma melhoria de 1538x na eficiência energética.
  • Consumo: O sistema projetado consome apenas ~53 mW e leva ~113 ms para resolver uma instância, contra ~1660 J e ~20 segundos para a solução em CPU.
  • Área: A matriz de pesos ocupa cerca de 15,5 mm², com uma área total estimada de 31,8 mm².

5. Significado e Conclusão

Este trabalho estabelece um marco significativo na interseção entre computação não convencional e segurança de IA.

• Escalabilidade: A abordagem demonstra que máquinas de Ising baseadas em SRAM podem escalar para problemas de verificação de robustez que são intratáveis para computadores clássicos.
• Mudança de Paradigma: Ao aceitar soluções imperfeitas como válidas para a detecção de vulnerabilidades, o método contorna a necessidade de encontrar o mínimo global exato, o que é frequentemente impossível em grandes redes.
• Futuro: A arquitetura proposta oferece um caminho viável para a verificação de robustez em tempo real e em hardware dedicado, essencial para a implantação confiável de redes neurais em dispositivos com recursos limitados.

Em resumo, o artigo prova que o uso de hardware de computação em memória com exploração de variabilidade física pode resolver problemas de otimização combinatória complexos de forma muito mais eficiente, permitindo a descoberta de falhas de segurança em redes neurais binárias que métodos tradicionais não conseguem identificar.