Architectural Backdoors for Within-Batch Data Stealing and Model Inference Manipulation

Resumo Técnico: Backdoors Arquiteturais para Roubo de Dados e Manipulação de Inferência em Lotes

1. O Problema

O artigo aborda uma nova e potente classe de vulnerabilidades de segurança em modelos de aprendizado de máquina (ML), especificamente focada no processo de inferência em lote (batched inference).

• Contexto: A inferência em lote é uma prática padrão para otimizar o uso de hardware, processando múltiplas solicitações de usuários simultaneamente em uma única passagem pelo modelo.
• A Vulnerabilidade: Embora eficiente, essa prática assume uma isolamento estrito entre os dados de diferentes usuários dentro do mesmo lote. O trabalho demonstra que esse isolamento pode ser intencionalmente quebrado através de backdoors arquitetônicos.
• Limitações de Trabalhos Anteriores: Backdoors tradicionais focavam em manipular a previsão do modelo para o próprio atacante (ex: classificação errada). Backdoors arquitetônicos anteriores eram limitados a tarefas de visão computacional simples ou focavam em manipulação de auto-input.
• A Ameaça: Este trabalho introduz backdoors que exploram o mecanismo de batching para permitir o roubo de dados de outros usuários e a manipulação total das respostas geradas para vítimas no mesmo lote, sem alterar o comportamento do modelo para o atacante de forma óbvia.

2. Metodologia e Ataque

Os autores propõem um ataque que modifica a estrutura do modelo (o grafo de computação) em vez de apenas seus parâmetros (pesos). O ataque é projetado para ser ativado por um gatilho específico no input do atacante.

Componentes do Backdoor:

1. Detector de Gatilho (Trigger Detector): Localizado no KV-Cache (cache de chave-valor) de uma cabeça de atenção na primeira camada do modelo (ex: Transformers). Ele verifica se o input contém um padrão específico (ex: tokens como @@get, @@set, @@str).
2. Integração de Sinal (Signal Integration): Uma vez ativado, este componente redireciona o fluxo de dados no grafo computacional, copiando memórias entre posições diferentes do lote.

Tipos de Ataques Propostos:

• Ataque "Set" (Definir): O atacante injeta um gatilho que faz com que a saída do modelo para a vítima seja substituída pela saída desejada pelo atacante (violação de integridade).
• Ataque "Get" (Obter): O atacante injeta um gatilho que faz com que a saída da vítima seja copiada para a saída do atacante, permitindo o roubo de dados confidenciais (violação de confidencialidade).
• Ataque "Steer" (Direcionar): O atacante injeta um vetor de direção (baseado em pesquisas sobre "direções de rejeição" ou viés) nas representações internas da vítima. Isso força o modelo a gerar respostas específicas (ex: recusar pedidos, gerar conteúdo tendencioso ou vazar o input da vítima) com alta probabilidade.

Injeção: Os backdoors são injetados no formato ONNX (Open Neural Network Exchange), um padrão amplamente adotado, tornando a injeção possível em várias etapas da cadeia de suprimentos (pré-treinamento, fine-tuning ou distribuição).

3. Defesa: Batch Isolation Checker

Para combater essa ameaça, os autores propõem uma estratégia de mitigação determinística baseada em Análise Estática de Fluxo de Informação (Information Flow Control - IFC).

• Abordagem: Em vez de usar heurísticas ou LLMs para detectar backdoors (como feito em trabalhos anteriores), o método analisa o grafo de dados do modelo antes da implantação.
• Mecanismo de IFC:
  • Utiliza uma análise de "taint" (mancha) onde cada entrada de usuário no lote recebe um rótulo único.
  • Propaga esses rótulos através do grafo do modelo usando uma estrutura algébrica chamada Monóide.
  • O sistema rastreia apenas o estado mínimo e máximo dos rótulos de influência para determinar se um tensor de saída depende de múltiplos usuários.
  • Garantia Formal: Se qualquer elemento de saída contiver rótulos de mais de um usuário, o modelo é classificado como inseguro para inferência em lote. Se todos os outputs dependem apenas do input do usuário correspondente, o modelo é certificado como seguro.
• Vantagem: Oferece garantias formais de não-interferência, ao contrário de métodos probabilísticos.

4. Resultados e Avaliação

Os autores realizaram uma avaliação em larga escala e testes empíricos:

• Análise em Larga Escala (Hugging Face):
  • Analisaram 1.680 modelos da comunidade ONNX do Hugging Face.
  • Resultado: 361 modelos foram provados como seguros. No entanto, 269 modelos apresentaram vazamento de informação entre entradas do lote.
  • Causa do Vazamento: A maioria dos vazamentos não intencionais foi causada pelo uso do operador DynamicQuantizeLinear (quantização dinâmica), que calcula min/max sobre todo o tensor de entrada, incluindo a dimensão do lote, criando um canal de vazamento acidental.
• Eficácia dos Ataques de "Steering":
  • Testados em modelos como Gemma-2B-IT, Qwen2-VL-2B-Instruct e Apertus-8B-Instruct.
  • O ataque de "Steering" conseguiu com alta taxa de sucesso objetivos como:
    • Exfiltração de Input: Forçar o modelo a repetir o prompt da vítima na saída.
    • Rejeição Induzida: Fazer o modelo recusar pedidos legítimos.
    • Geração de Resultados Negativos: Fazer o modelo gerar respostas de alerta ou ameaçadoras.
  • As taxas de sucesso variaram de 50% a quase 100% dependendo da camada de injeção e do modelo, superando significativamente a probabilidade basal de um modelo benigno.

5. Contribuições Principais

1. Nova Classe de Backdoors: Demonstração de que modificações arquiteturais mínimas podem quebrar o isolamento de lotes, permitindo roubo de dados e controle de saída entre usuários concorrentes.
2. Defesa Determinística: Desenvolvimento do Batch Isolation Checker, uma ferramenta de análise estática que fornece garantias formais contra esse vetor de ataque.
3. Descoberta de Vulnerabilidades Reais: Identificação de mais de 200 modelos em produção (Hugging Face) que sofrem de vazamento de informação devido a práticas de quantização dinâmica, validando a urgência do problema.
4. Código Aberto: Disponibilização da implementação do verificador e dos ataques para a comunidade de pesquisa.

6. Significado e Implicações

• Segurança em ML Compartilhado: O trabalho expõe uma falha fundamental na suposição de segurança de sistemas de ML compartilhados (como APIs de LLM), onde múltiplos usuários compartilham o mesmo hardware e lote de inferência.
• Risco na Cadeia de Suprimentos: Destaca o risco de redistribuição de modelos (ex: conversão para ONNX, fine-tuning por terceiros) como um vetor primário para injeção desses backdoors.
• Mudança de Paradigma: Sugere que a segurança de inferência em lote não pode depender apenas de isolamento de hardware, mas exige verificações formais no grafo do modelo.
• Privacidade e Integridade: Representa uma ameaça direta à privacidade do usuário (roubo de prompts sensíveis) e à integridade do sistema (manipulação de respostas em escala), com implicações para setores críticos e privacidade-preservante (PPML).

Em resumo, o artigo alerta que a eficiência da inferência em lote introduziu uma nova superfície de ataque crítica, e propõe uma solução verificável matematicamente para garantir que os dados de um usuário não vazem ou sejam manipulados pelos dados de outro no mesmo lote.