Resumo Técnico: Ataques de Extração de Modelos de IA: Superando as Suposições de Cliente Único em Defesas

Declaração do Problema

A segurança dos modelos de Inteligência Artificial (IA) implantados em sistemas de Comando e Controle (C2) militares e infraestruturas críticas é cada vez mais ameaçada por Ataques de Extração de Modelo (MEAs). Nestes ataques, adversários consultam sistematicamente um modelo alvo para replicar sua fronteira de decisão, permitindo o roubo de propriedade intelectual e o desenvolvimento offline de ataques adversários (por exemplo, evasão de Sistemas de Detecção de Intrusão).

Os mecanismos de defesa atuais, como o Protecting Against Deep Neural Network Model Stealing Attacks (PRADA), Query Unlearning (QUEEN) e Model-Guardian, dependem fortemente da Suposição de Cliente Único (SCA). Esta suposição postula que a atividade maliciosa se origina de uma identidade única e isolada (por exemplo, um endereço IP ou chave de API). As defesas operam monitorando padrões de requisição por cliente (por exemplo, tempos entre chegadas) e disparando alarmes quando ocorrem desvios estatísticos.

O artigo argumenta que a SCA é fundamentalmente inválida em ambientes operacionais modernos e em rede, particularmente contra Ameaças Persistentes Avançadas (APTs). Nesses cenários, os adversários possuem recursos para distribuir as atividades de sondagem entre muitos clientes coordenados (por exemplo, botnets), tornando assim as defesas estatísticas por cliente ineficazes. Além disso, até mesmo as abordagens de agregação global são vulneráveis à mistura de tráfego adaptativa, onde atacantes misturam sondas maliciosas com o tráfego legítimo de fundo para mascarar assinaturas estatísticas.

Metodologia

Para demonstrar sistematicamente a falha da SCA e avaliar cenários de ataque distribuídos, os autores desenvolveram o CerberusAI, um framework modular e de código aberto para pesquisa reprodutível de extração de modelos.

O Framework CerberusAI

O CerberusAI foi projetado para simular cenários de ataque distribuídos e complexos alinhados com arquiteturas de Defesa Definida por Software (SDD). Seus componentes principais incluem:

• Configuração Declarativa: Os experimentos são definidos via arquivos YAML, garantindo a reprodutibilidade ao fixar parâmetros para modelos alvo, estratégias de ataque e hiperparâmetros de defesa.
• Orquestrador de Experimentos: Utiliza um padrão de fábrica (factory pattern) para instanciar componentes, envolvendo o modelo alvo em um proxy DefendedModel que roteia as requisições através da lógica de defesa (ex: PRADA) antes de atingir o modelo.
• Gerenciador de Ataque Distribuído: Simula estruturas do tipo botnet ao gerar $N$ identidades de clientes virtuais. Ele implementa estratégias de agendamento específicas para contornar defesas:
  1. Agendamento Round-Robin: Distribui o orçamento total de consultas ciclicamente entre $N$ clientes. Isso garante que nenhum cliente individual exceda o tamanho de amostra mínimo ($N_{min}$) necessário para significância estatística na lógica de detecção.
  2. Mistura de Tráfego Adaptativa: Injeta uma alta proporção de tráfego benigno no fluxo de ataque. Isso ofusca a distribuição estatística do tráfego total, tornando-o indistinguível do comportamento de usuário legítimo.

Formalização do Ataque

Os autores formalizam o atacante distribuído como um conjunto de clientes $C = \{c_1, \dots, c_N\}$ que particionam o conjunto de consultas necessário $Q$ em subconjuntos disjuntos $Q_{c_i}$. Se cada subconjunto $|Q_{c_i}|$ permanecer abaixo do limiar crítico $\epsilon$ (o tamanho de amostra mínimo para testes estatísticos), o mecanismo de defesa $D$, que avalia os clientes isoladamente, falha em disparar um alarme.

Principais Contribuições

1. Demonstração Sistemática da Vulnerabilidade da SCA: O artigo fornece evidência empírica de que estratégias de consulta coordenadas e distribuídas podem reduzir o desempenho de detecção de defesas estabelecidas (especificamente o PRADA) a zero.
2. Análise dos Limites da Defesa Global: Os autores demonstram que até a agregação global de requisições simplista falha quando atacantes empregam mistura de tráfego adaptativa. Isso resulta em um aumento massivo de Falsos Positivos (FP), tornando a defesa operacionalmente inútil (efetivamente um serviço de negação de serviço para usuários legítimos).
3. Introdução do CerberusAI: O lançamento de um framework modular e de código aberto que permite a simulação de cenários de MEA distribuídos e adaptativos, abordando a falta de ferramentas de avaliação padronizadas no campo.

Resultados Experimentais

Os autores avaliaram o mecanismo de defesa PRADA utilizando o conjunto de dados MNIST e um modelo de rede neural convolucional (CNN) alvo. Os experimentos utilizaram o Momentum Iterative Fast Gradient Sign Method (MI-FGSM) para geração de ataque.

• Cenário 1 (Linha de Base - Cliente Único): Um único atacante contra a defesa PRADA padrão. O sistema alcançou um F1-score de 63,2% (Precisão: 100%, Recall: 46,2%), confirmando que a defesa funciona conforme pretendido sob a SCA.
• Cenário 2 (Ataque Distribuído): O orçamento de ataque (2.500 consultas) foi distribuído entre 400 clientes usando agendamento round-robin. Cada cliente enviou apenas ~6-7 consultas, bem abaixo do limiar $N_{min}=50$.
  • Resultado: O F1-score caiu para 0,0%. A defesa falhou em detectar o ataque inteiramente porque nenhum cliente individual disparou a análise estatística.
• Cenário 3 (Defesa Global): Uma defesa modificada agregou requisições entre todos os 400 clientes.
  • Resultado: O F1-score recuperou-se para 90,8% (Precisão: 100%, Recall: 83,1%), mostrando que a agregação global pode detectar ataques distribuídos simples.
• Cenário 4 (Mistura de Tráfego Adaptativa): O atacante misturou consultas maliciosas com 99% de tráfego benigno enquanto utilizava a distribuição round-robin.
  • Resultado: O F1-score colapsou para 2,0%. Embora o Recall tenha permanecido alto (99,3%), a Precisão despencou para 1,0%. O sistema gerou uma inundação de alarmes falsos, tornando-o operacionalmente inutilizável.

Significância e Alegações

O artigo alega que a SCA representa uma lacuna estrutural nas doutrinas atuais de defesa de IA. Os achados indicam que:

• A SCA é Inválida: Na presença de adversários coordenados e com muitos recursos (como APTs), as defesas que dependem da análise de clientes isolados são cegas para ataques distribuídos.
• Defesas Estatísticas são Frágeis: Abordagens puramente estatísticas (baseadas em tempos entre chegadas ou correspondência de distribuição) podem ser arbitrariamente manipuladas através de distribuição e injeção de ruído.
• Mudança de Paradigma Necessária: Pesquisas futuras devem ir além da detecção de anomalias centrada no cliente. Os autores defendem uma mudança para arquiteturas de defesa estatais e independentes de identidade que monitorem o estado global do modelo e analisem o conteúdo semântico das consultas (ou seja, "Que conteúdo de informação estas consultas extraem?") em vez de focar apenas em sua distribuição estatística.

O trabalho apoia os objetivos estratégicos da OTAN ao fornecer uma metodologia para "avaliação informada pela ameaça" e destacar a necessidade de uma segurança de IA resiliente em operações federadas e de múltiplos domínios. Os autores concluem que proteger componentes de IA em infraestruturas críticas exige o afastamento de suposições de atacantes isolados em direção a arquiteturas de segurança robustas, habilitadas por aprendizado, capazes de reconhecer comportamentos adversários coordenados.