Resumo Técnico: SABRE-FL

Declaração do Problema

O Aprendizado de Prompt Federado (FPL) emergiu como um paradigma eficiente para adaptar grandes modelos de visão-linguagem (VLMs), como o CLIP, entre clientes descentralizados. No FPL, os clientes otimizam vetores de prompt leves e aprendíveis enquanto mantêm o backbone do modelo congelado, compartilhando apenas esses prompts com um servidor central. Apesar de sua natureza preservadora de privacidade e eficiente em termos de comunicação, as implicações de segurança do FPL permanecem pouco exploradas.

Este artigo identifica uma vulnerabilidade crítica: o Aprendizado de Prompt Federado é altamente suscetível a ataques de backdoor. Os autores demonstram que clientes maliciosos podem injetar gatilhos de ruído aprendíveis e visualmente imperceptíveis em seus dados de treinamento locais. Esses gatilhos são otimizados para deslocar os embeddings de imagem no espaço semântico do CLIP em direção a uma classe alvo específica. Consequentemente, o aprendiz de prompt global, quando agregado, torna-se vulnerável à classificação errônea direcionada em entradas com gatilhos, mantendo alta precisão em dados limpos e benignos. Este ataque é particularmente insidioso porque opera dentro do espaço limitado de parâmetros dos vetores de prompt, mas compromete efetivamente a integridade do modelo global sem degradar sua utilidade geral.

Metodologia

1. O Ataque de Backdoor

Os autores propõem o primeiro ataque de backdoor direcionado especificamente ao aprendizado de prompt em um cenário federado.

• Mecanismo: Clientes maliciosos (assumidos como uma fração do total, por exemplo, 25%) injetam um gatilho de ruído aditivo aprendível ($t$) em um subconjunto de suas imagens locais ($x^* = x \oplus t$).
• Otimização: O gatilho é otimizado conjuntamente com o aprendiz de prompt para maximizar a similaridade de cosseno entre o embedding da imagem envenenada e o embedding de texto de uma classe alvo ($y_{target}$), enquanto minimiza a similaridade com o rótulo real.
• Modelo de Ameaça: O atacante controla um subconjunto de clientes, possui conhecimento total da arquitetura do modelo (backbone CLIP congelado) e pode rotular amostras envenenadas para a classe alvo (ataque de rótulo sujo/dirty-label).
• Resultado: O ataque implanta com sucesso um backdoor no aprendiz de prompt global. Na inferência, qualquer entrada contendo o gatilho é classificada incorretamente como a classe alvo com alta confiança, enquanto entradas limpas permaneciam inalteradas.

2. A Defesa: SABRE-FL

Para combater essa vulnerabilidade, os autores propõem o SABRE-FL (Rejeição de Backdoor Seletiva e Precisa para Aprendizado de Prompt Federado), uma defesa leve do lado do servidor.

• Insight Central: Embora o gatilho seja visualmente imperceptível, ele induz um deslocamento sistemático e consistente nos embeddings de imagem dentro do espaço de embedding do CLIP. Esse desvio cria uma assinatura estatística que distingue atualizações envenenadas de limpas.
• Treinamento do Detector:
  • A defesa utiliza um conjunto de dados auxiliar (Caltech-101) para gerar um conjunto de treinamento de embeddings.
  • Imagens limpas e imagens com gatilhos injetados passam pelo codificador de imagem CLIP congelado para produzir embeddings.
  • Um classificador binário (detector) é treinado offline nesses embeddings para distinguir entre representações "limpas" e "envenenadas". Crucialmente, este detector não requer acesso aos dados brutos, rótulos ou gradientes dos clientes.
• Inferência e Filtragem:
  • Durante cada rodada federada, o servidor recebe as atualizações de prompt dos clientes.
  • O servidor calcula a pontuação média do detector para os embeddings associados à atualização de cada cliente.
  • Uma heurística baseada em ranking é empregada: os $m$ clientes com o maior número de embeddings sinalizados (envenenados) são excluídos do processo de agregação. Isso assume um limite superior no número de clientes maliciosos.

Principais Contribuições

1. Primeiro Estudo de Backdoors em FPL: O artigo apresenta a primeira investigação de ataques de backdoor no aprendizado de prompt federado. Estabelece que, mesmo com atualizações de parâmetros limitadas (apenas prompts), o sistema é vulnerável a ataques baseados em gatilhos que alcançam altas taxas de sucesso enquanto preservam a precisão em dados limpos.
2. Defesa SABRE-FL: Os autores projetam uma defesa modular e generalizável que opera no espaço de embedding. Ela detecta atualizações envenenadas usando um detector treinado offline, sem exigir acesso aos dados privados dos clientes.
3. Validação Teórica e Empírica: O trabalho fornece condições teóricas para a generalização do detector e extensas avaliações empíricas em cinco conjuntos de dados diversos (Flowers, Pets, DTD, FGVC Aircraft, Food101) e quatro defesas de linha de base (Trimmed Mean, Median, Norm Bounding, FLAME).

Resultados

A avaliação demonstra que o SABRE-FL supera significativamente as linhas de base de agregação robusta existentes:

• Mitigação de Backdoor: O SABRE-FL reduz a precisão do backdoor para níveis próximos de zero em todos os conjuntos de dados (ex: 1,1% em Flowers, 1,9% em Food101, 7,6% em FGVC Aircraft), enquanto os métodos de linha de base frequentemente deixam influência significativa de backdoor (ex: FLAME deixa 16,4% em FGVC Aircraft).
• Preservação da Precisão Limpa: A defesa mantém uma precisão limpa comparável ou melhor que os métodos de linha de base, provando que filtrar clientes envenenados não prejudica a generalização do modelo em dados benignos.
• Generalização: O detector, treinado no Caltech-101, generaliza-se com sucesso para diversos domínios, incluindo reconhecimento de objetos de grão fino e tarefas baseadas em textura, sem necessidade de retreinamento.
• Robustez ao Número de Shots: A defesa permanece eficaz mesmo conforme o número de shots (amostras por classe) aumenta, um cenário onde os aprendizes de prompt tornam-se tipicamente mais suscetíveis a ataques de memorização.
• Evidência Visual: Visualizações t-SNE confirmam uma separação clara entre embeddings limpos e envenenados no espaço CLIP, validando o mecanismo subjacente da defesa.

Significância e Alegações

O artigo alega que o Aprendizado de Prompt Federado, apesar de seus benefícios de eficiência e privacidade, introduz uma nova superfície de ataque que atualmente não é abordada. A significância deste trabalho reside em:

• Expor uma Vulnerabilidade Crítica: Demonstrar que a natureza "leve" do aprendizado de prompt não protege inerentemente contra manipulação adversária; na verdade, o alinhamento semântico dos prompts pode ser explorado para implantar backdoors duradouros.
• Fornecer uma Solução Prática: O SABRE-FL oferece uma defesa viável que se alinha às restrições de privacidade do aprendizado federado (sem acesso a dados brutos) enquanto neutraliza efetivamente a ameaça.
• Destacar a Necessidade de Robustez: Os autores enfatizam a necessidade de integrar medidas de segurança robustas em sistemas federados futuros, particularmente à medida que estes adotam modelos de fundação e estratégias de adaptação baseadas em prompts.

O artigo conclui que, embora os ataques de backdoor sejam uma ameaça potente, os desvios estatísticos consistentes que eles causam nos espaços de embedding podem ser aproveitados para construir defesas eficazes e preservadoras de privacidade.