Resumo Técnico: (A)iSpy: Trojans Parasitas para Infraestrutura de Aprendizado de Máquina

1. Declaração do Problema

Os pipelines modernos de aprendizado de máquina (ML) dependem fortemente de bibliotecas de terceiros para compilação de grafos e aceleração de hardware (ex: ONNX Runtime, PyTorch, TensorRT). Embora as práticas de segurança atuais foquem na auditoria de dados, artefatos de modelos ou integridade de arquivos, o ambiente de execução (middleware de runtime) permanece implicitamente confiável. Isso cria um ponto cego estrutural: o middleware de runtime detém acesso privilegiado a ponteiros brutos de pesos, gradientes, ativações e rótulos via execução zero-copy, mas é frequentemente carregado de fontes não confiáveis (ex: PyPI) sem auditoria rigorosa.

Ataques de ML existentes (envenenamento de dados, backdoors cegos, Rowhammer, explorações de Pickle) são limitados porque não conseguem reagir ao estado de treinamento ao vivo. Eles operam estaticamente ou dependem de falhas de hardware. Há uma carência de modelos de ameaças que abordem um middleware maligno que opera dentro da base de computação confiável (TCB), possuindo a capacidade de observar estados transitórios de tensores e executar manipulações direcionadas dinamicamente durante o treinamento e a inferência.

2. Metodologia: O Framework (A)iSpy

Os autores introduzem o (A)iSpy, um Trojan de infraestrutura parasitária que subverte sistemas de ML através de um paradigma de Observar-e-Executar. Ele se registra como um otimizador de grafo padrão ou uma extensão de provedor de execução, ganhando acesso privilegiado ao grafo de computação.

Primitivas Principuras

O ataque baseia-se em quatro primitivas disponíveis ao middleware:

1. Observação: Leitura de qualquer tensor no grafo otimizado entre as fronteiras de operadores (entradas, ativações, gradientes, pesos, rótulos).
2. Computação de Grafo Híbrida: Injeção de lógica simbólica (comparadores bit a bit) e aproximações neurais (pequenos MLPs/CNNs) no grafo de execução para criar fronteiras de decisão.
3. Modificação de Tensor In-Place: Escrita direta na memória do tensor via APIs zero-copy entre o passo de retropropagação (backward pass) e o passo do otimizador.
4. Persistência de Estado: Alocação de estado persistente através de inicializadores de grafo para garantir que os payloads sobrevivam entre os lotes (batches) e cheguem ao artefato serializado do modelo.

Vetores de Ataque Principais

A. Amplificação de Backdoor (Integridade)

• Desafio: Ataques de backdoor convencionais exigem altas taxas de envenenamento (5–10%) para serem eficazes, mas atacantes do mundo real geralmente controlam menos de 0,1% das fontes de dados abertas.
• Mecanismo:
  • Construção do Transportador: O atacante coordenador incorpora um transportador de espectro espalhado (um vetor pseudoaleatório) em amostras envenenadas, distinto do gatilho visual.
  • Detecção: O middleware utiliza um filtro de correspondência (matched filter) para detectar este transportador em entradas pós-aumento de dados (post-augmentation). A redundância do sinal de espectro espalhado permite a detecção mesmo após o aumento de dados distorcer características individuais.
  • Amplificação: Após a detecção, o middleware realiza um pipeline de três estágios:
    1. Sanitização: Remove o transportador para que o modelo treine no gatilho visual.
    2. Replay: Armazena em cache a amostra envenenada e a reinjeta em lotes subsequentes.
    3. Escalonamento: Amplifica o gradiente da amostra envenenada (limitado para evitar detecção de anomalias).
• Resultado: Isso permite que uma única amostra envenenada (razão de 0,02%) alcance altas Taxas de Sucesso de Ataque (ASR > 97%), efetivamente amplificando gatilhos fracos para igualar o desempenho de um envenenamento de alta razão.

B. Exfiltração de Hiperparâmetros (Confidencialidade)

• Desafio: Receitas de treinamento (taxa de aprendizado, otimizador, decaimento de peso, etc.) são propriedades intelectuais valiosas, muitas vezes exigindo semanas de tempo de GPU para serem descobertas.
• Mecanismo:
  • Canal de Caixa Branca (Pesos Abertos): Utiliza Modulação de Dithering de Transformação de Espalhamento (STDM). O middleware espalha os bits dos hiperparâmetros através de grupos de pesos de alta magnitude (ex: 1024 pesos por bit) usando um transportador pseudoaleatório. Isso torna o payload robusto à fine-tuning, poda (pruning) e reset de LSB (bit menos significativo).
  • Canal de Caixa Preta (Apenas API): Utiliza Esteganografia Comportamental. O middleware condiciona o modelo a emitir palavras de código em inglês semanticamente inocentes em resposta a prompts de gatilho únicos e raros (ex: "No registro do caderno, qual palavra veio depois da luz da manhã?").
• Resultado: O atacante recupera a receita exata de treinamento com taxa de erro de bit zero (BER = 0) em ambos os cenários, contornando o custo computacional de varreduras de hiperparâmetros.

C. Ataques Auxiliares

O framework também demonstra:

• Sabotagem de Convergência: Aplicação de perturbações guiadas por curvatura para interromper o treinamento.
• Manipulação de Subpopulação: Injeção de inversões de rótulo para populações específicas visando métricas de equidade (fairness).
• Manipulação de Estágio de Inferência: Injeção de logits em modelos implantados.

3. Resultados Experimentais

Os autores implementaram o (A)iSpy em C++ como uma extensão de treinamento do ONNX Runtime e um plugin de inferência do TensorRT.

• Amplificação de Backdoor:
  • No CIFAR-10, CIFAR-100 e ImageNet, o (A)iSpy elevou o ASR de quase zero (ex: 0,3% para BadNet com 1 amostra) para 97,1%.
  • Sigilo: O ataque evade defesas de nível de amostra (SPECTRE, TED) porque a razão de envenenamento físico é negligenciável (<0,1%). Ele preserva a evasividade do ataque base (ex: WaNet) contra defesas de nível de modelo (STRIP, Neural Cleanse).
• Exfiltração de Hiperparâmetros:
  • Caixa Branca: Alcançou BER = 0,00 em 19 configurações de modelo/dataset (incluindo LLaMA-2-7B, GPT-2, OPT) com desvio de perplexidade zero ($\Delta$PPL = 0,00). O payload sobreviveu à fine-tuning, poda e reset de LSB.
  • Caixa Preta: Recuperou hiperparâmetros via consultas de API com zero erros de extração. Modelos retreinados com receitas roubadas igualaram a perplexidade da linha de base limpa, enquanto suposições não otimizadas degradaram o desempenho em até 17,9x.
• Evasão de Defesas:
  • Scanners de Malware: Cinco ferramentas padrão da indústria (ClamAV, LOKI, CAPA, Malcat, YARA) não apontaram alertas nos binários maliciosos.
  • Scanners Comportamentais: BAIT (um scanner de backdoor de caixa preta) classificou todos os modelos injetados como benignos porque o ataque de caixa branca não deixa pegada comportamental e o ataque de caixa preta usa palavras de código de token único isolado.
  • Auditoria de Grafo: Ferramentas estáticas (Netron) não puderam distinguir o grafo atacado de um grafo limpo devido à fusão de operadores e à ausência de overhead estrutural.

4. Significância e Alegações

O artigo afirma que o (A)iSpy expõe uma vulnerabilidade crítica na cadeia de suprimentos de ML, onde o middleware de runtime é o código não confiável mais privilegiado.

• Mudança de Paradigma: Move o modelo de ameaça do manipulação estática de dados/modelos para a manipulação dinâmica e consciente de estado em tempo de execução.
• Praticidade: O ataque é prático porque explora APIs de extensão padrão (Otimizadores de Grafo, Provedores de Execução) usadas por backends de hardware legítimos (TensorRT, OpenVINO, etc.).
• Sigilo: O ataque é estruturalmente indistinguível de otimizações legítimas. A lógica maliciosa consiste em operações matemáticas válidas, evitando tanto a análise de malware estática quanto a inspeção comportamental dinâmica.
• Impacto: Compromete todo o triângulo CIA:
  • Confidencialidade: Rouba receitas de treinamento (vazamento de IP).
    • Integridade: Amplifica backdoors e manipula subpopulações.
  • Disponibilidade: Sabota a convergência e interrompe o treinamento.

Os autores concluem que as defesas atuais voltadas para datasets, pesos ou código de aplicação são insuficientes. Eles argumentam que o runtime de ML deve ser tratado como código adversário, exigindo assinatura de pacotes, builds reproduzíveis e atestação de runtime para assegurar a cadeia de suprimentos. O artigo também observa que este modelo de ameaça se estende naturalmente para Trojans de nível de hardware em aceleradores de IA.