Resumo Técnico: Backdoors Acionados por Hardware

Declaração do Problema

Modelos de aprendizado de máquina são rotineiramente implantados em hardware de computação heterogêneo, variando de GPUs de consumo a aceleradores de alto desempenho. Uma premissa fundamental neste ecossistema é que diferentes plataformas de hardware produzam resultados de inferência idênticos para o mesmo modelo e entrada. No entanto, devido à não-associatividade da aritmética de ponto flutuante e variações no design do hardware (ex: tamanhos de bloco, escalonamento de warp), a execução do mesmo modelo em diferentes dispositivos gera desvios numéricos ínfimos. Embora esses desvios sejam tipicamente considerados inofensivos e estocásticos, este artigo desafia essa visão. Demonstramos que essas pequenas variações numéricas podem ser deliberadamente exploradas para criar backdoors acionados por hardware. Diferente de backdoors tradicionais que dependem de gatilhos de entrada explícitos (ex: um padrão de pixels específico), esses ataques ativam comportamentos maliciosos baseando-se unicamente no acelerador de hardware utilizado para a inferência.

Metodologia

Modelo de Ameaça

Assume-se que o atacante tenha controle sobre o modelo antes da implantação (ex: via um ataque de cadeia de suprimentos ou ao fazer o upload de um modelo manipulado para uma plataforma pública). A vítima implanta o modelo em diferentes dispositivos de hardware (ex: desenvolvimento em uma GPU padrão vs. produção em um acelerador de alto desempenho). O objetivo do atacante é manipular o modelo de modo que entradas específicas sejam classificadas incorretamente apenas no hardware alvo, mantendo previsões corretas em todos os outros dispositivos e para todas as outras entradas.

Estratégia de Ataque

O ataque baseia-se na observação de que um modelo treinado não corresponde a uma única função de decisão, mas sim a uma família de funções distintas dependendo do hardware de execução. O ataque procede em duas etapas principais:

1. Moldagem da Fronteira de Decisão:
   O atacante otimiza os parâmetros do modelo para mover a fronteira de decisão localmente próxima a uma entrada alvo $\hat{x}$. Isso é alcançado minimizando uma perda de proximidade $L$ que incentiva os dois maiores logits a serem quase iguais (criando um empate), enquanto penaliza desvios do rótulo de classe original e dos pesos originais do modelo. Esta etapa é realizada usando gradiente descendente padrão em um único dispositivo de hardware.
   $$\arg \min_{\theta} L(\theta, f_\theta(\hat{x}; h_1))$$
   onde $L$ inclui termos para proximidade da fronteira de decisão ($L_{diff}$), preservação de classe ($L_{class}$) e regularização ($L_{reg}$).

2. Refinamento de Desvios:
   Uma vez que a entrada está próxima da fronteira de decisão, o atacante amplifica os desvios numéricos dependentes do hardware para inverter a previsão no dispositivo alvo. Como esses desvios não são diferenciáveis, o atacante emprega estratégias heurísticas:

   • Modificações Implícitas (Permutação Topológica): Reordenar operações de ponto flutuante sem alterar a equivalência matemática sob aritmética exata. Isso é alcançado permutando pesos em camadas lineares consecutivas (ex: $W_1 W_2 \rightarrow (P_1 W_1)(P_1^{-1} W_2)$), o que altera a ordem das adições e, consequentemente, a acumulação de erros de arredondamento.
   • Modificações Explícitas (Perturbação de Parâmetros): Inverter um pequeno número de bits ($k$) nos parâmetros do modelo. Isso introduz mudanças numéricas reais que afetam a computação mesmo sob aritmética exata.

O processo utiliza um procedimento de otimização alternada, gerando múltiplos modelos candidatos em cada iteração para buscar uma configuração que consiga separar a previsão entre hardwares enquanto mantém a utilidade geral do modelo.

Principais Contribuições

1. Backdoors Acionados por Hardware: Introduzimos um novo vetor de ataque onde o comportamento malicioso é ativado por um hardware específico, em vez de um gatilso de entrada. O comportamento numérico do hardware atua como um gatilho latente.
2. Análise Causal: Realizamos uma análise causal camada a camada usando cross-hardware activation patching para identificar onde surgem as diferenças induzidas pelo hardware. Descobrimos que os desvios podem se originar em camadas iniciais (ex: patch embeddings em ViTs) ou emergir como um efeito cumulativo através das camadas.
3. Avaliação Empírica: Demonstramos a eficácia desses backdoors em várias arquiteturas de modelo (ResNet, EfficientNet, ViT), dispositivos de hardware (Nvidia A100, H100, A40, RTX 6000) e formatos numéricos (float32, float16, bfloat16).

Resultados Experimentais

• Taxas de Sucesso: O ataque atinge taxas de sucesso acima de 90% para a maioria dos pares de hardware e arquiteturas de modelo. Por exemplo, em float32, ResNet e EfficientNet alcançaram taxas de sucesso de 100% em vários pares de GPUs, enquanto o ViT alcançou taxas entre 94% e 98%.
• Sigilo: Os modelos com backdoor retêm uma mediana de 99,8% do desempenho do modelo original em dados limpos, garantindo que a manipulação permaneça indetectável durante a operação regular.
• Robustez: Os backdoors são robustos a perturbações de entrada (até $10^3$ ULPs), variações de batching e inferência de precisão mista, embora degradem sob ruído de entrada significativo.
• Múltiplos Alvos: Embora eficaz para alvos únicos, a taxa de sucesso diminui conforme o número de entradas alvo simultâneas aumenta, caindo abaixo de 50% para cinco alvos devido a objetivos de otimização conflitantes.
• Seletividade: O ataque pode ser ajustado para cenários "um-contra-todos", acionando a classificação incorreta em exatamente um dispositivo enquanto mantém as previsões corretas em todos os outros.

Contramedidas

Avaliamos diversas defesas:

• Perturbação de Entrada: Adicionar ruído às entradas pode mitigar o ataque, mas requer distorção significativa para ser eficaz.
• Batching: Randomizar os tamanhos de batch não é uma defesa confiável, pois apenas suprime backdoors em algumas configurações.
• Precisão Mista: Reduzir a precisão enfraquece o ataque, mas não o elimina.
• Fine-Tuning: O ajuste fino (fine-tuning) ativo em dados limpos é a defesa mais eficaz, reduzindo as taxas de sucesso do backdoor para próximo de zero em poucos passos de gradiente.

Significância e Conclusão

Este trabalho revela que a segurança dos sistemas de aprendizado de máquina não pode ser isolada do hardware subjacente. Mesmo desvios numéricos aparentemente negligenciáveis, anteriormente descartados como artefatos benignos da aritmética de ponto flutuante, constituem um vetor de ataque viável. Nossos achados indicam que a integridade dos modelos de aprendizado de máquina deve ser considerada em toda a pilha de computação, desde os algoritmos treinados até os aceleradores de hardware específicos usados para inferência. Esperamos que este trabalho incentive os profissionais a considerar vulnerabilidades dependentes de hardware e motive o desenvolvimento de medidas de segurança de ponta a ponta para a implantação de aprendizado de máquina.