Prototype-Guided Robust Learning against Backdoor Attacks

1. Declaração do Problema

Ataques de backdoor comprometem Redes Neurais Profundas (DNNs) envenenando o conjunto de dados de treinamento. O modelo resultante comporta-se normalmente em entradas limpas, mas classifica incorretamente entradas contendo um padrão específico de "gatilho" para uma classe-alvo escolhida pelo atacante.

• O Desafio: Defender-se contra esses ataques é difícil, particularmente quando o defensor tem acesso limitado a dados limpos (apenas um pequeno conjunto de validação).
• Limitações das Defesas Existentes: Os métodos atuais de aprendizado robusto dependem de suposições restritivas que falham em cenários específicos:
  • Grupo G1 (Aprendizado de Backdoor Precoce): Assume que amostras envenenadas são aprendidas mais rapidamente (menor perda) do que as benignas. Isso falha contra backdoors fracos (por exemplo, gatilhos pequenos, baixas proporções de envenenamento ou ataques usando "amostras de cobertura" que confundem o modelo), onde o modelo aprende dados benignos primeiro.
  • Grupo G2 (Baixa Supervisão/Aprendizado Auto-supervisionado): Assume que remover rótulos quebra a associação gatilho-alvo. Isso falha contra ataques de rótulo limpo, onde gatilhos são injetados em amostras genuínas da classe-alvo, reforçando o vínculo gatilho-alvo mesmo sem corrupção de rótulos.
  • Métodos Híbridos: Frequentemente herdam as fraquezas de ambos G1 e G2, falhando contra ataques de rótulo corrompido fracos ou contra ataques de rótulo limpo.

2. Metodologia: Aprendizado Robusto Guiado por Protótipos (PGRL)

Os autores propõem o PGRL, um framework de defesa que requer apenas um pequeno conjunto de amostras benignas verificadas (por exemplo, 10 por classe) e integra dois componentes complementares durante o ajuste fino. A abordagem adapta-se com base na força do ataque de backdoor.

Componentes Principais

1. Verificação de Consistência de Rótulo (LCV) – Para Backdoors Fracos:

   • Mecanismo: Utiliza o modelo atual para gerar pseudo-rótulos para as amostras de treinamento com base na sua proximidade aos protótipos de classe (derivados do conjunto de validação limpo).
   • Lógica: Em cenários de backdoor fraco (com amostras de cobertura), o modelo aprende características benignas primeiro. Consequentemente, os pseudo-rótulos para amostras envenenadas provavelmente diferirão de seus rótulos originais (envenenados).
   • Ação: Amostras onde o pseudo-rótulo corresponde ao rótulo original são confiadas; outras são filtradas. Isso remove efetivamente amostras envenenadas que o modelo ainda não "aprendeu" a associar ao gatilho.
   • Detalhe Técnico: Para evitar o colapso de pseudo-rótulos (onde todas as amostras mapeiam para uma única classe), o PGRL utiliza Transporte Ótimo (OT) para impor uma distribuição uniforme de pseudo-rótulos entre as classes, combinando similaridade de cosseno com uniformidade do conjunto de dados.

2. Estimativa de Distância de Características (FDE) – Para Backdoors Fortes:

   • Mecanismo: Calcula um peso para cada amostra de treinamento com base na sua distância de características em relação às amostras de validação limpas no espaço de características (usando uma distribuição Normal Multivariada).
   • Lógica: Em cenários de backdoor forte (sem amostras de cobertura), amostras envenenadas são outliers distintos no espaço de características em comparação com dados benignos.
   • Ação: Amostras distantes da distribuição limpa recebem pesos negativos, forçando o modelo a "desaprender" delas. Amostras próximas à distribuição limpa recebem pesos positivos.
   • Detalhe Técnico: As dimensões de características são reduzidas via UMAP para evitar a maldição da dimensionalidade. Os pesos são atualizados via momento para garantir estabilidade.

Fluxo de Trabalho

O modelo é primeiro aquecido no conjunto de validação limpo. Durante o ajuste fino no conjunto de dados potencialmente envenenado:

• LCV filtra amostras com base na consistência de rótulos.
• FDE atribui pesos às amostras com base na distância de características.
• A função de perda final é uma entropia cruzada ponderada, onde amostras com pesos negativos são ativamente desaprendidas.

3. Contribuições Principais

• Framework de Defesa Unificado: O PGRL é o primeiro método de aprendizado robusto a defender efetivamente contra ambos backdoors fortes (via FDE) e backdoors fracos (via LCV), superando a "lacuna de suposição" dos métodos anteriores.
• Mecanismo Guiado por Protótipos: Introduz um uso inovador de protótipos de classe de um pequeno conjunto de validação limpo para orientar tanto o pseudo-rótulo (LCV) quanto a estimativa de distância de características (FDE).
• Integração de Transporte Ótimo: Incorpora Transporte Ótimo no processo de pseudo-rótulo para garantir robustez contra o colapso de rótulos durante os estágios iniciais de treinamento.
• Requisito Mínimo de Dados Limpos: Alcança alta robustez usando apenas um conjunto de validação limpo minúsculo (10 amostras por classe), tornando-o prático para cenários do mundo real onde dados limpos são escassos.

4. Resultados Experimentais

Os autores avaliaram o PGRL contra oito defesas de última geração (incluindo ABL, ASD, DBD, ESTI, etc.) em diversos conjuntos de dados (CIFAR-10, ImageNette, Speech Commands) e arquiteturas (ResNet, VGG, DenseNet, ViT).

• Eficácia:
  • O PGRL alcançou consistentemente Precisão (ACC) > 0,90 e Taxa de Sucesso do Ataque (ASR) < 0,1 em todos os ataques testados (Pattern, AdapBlend, Freq, Ultrasonic, Wanet, Combat, Lotus).
  • Em contraste, defesas de base falharam em pelo menos um tipo de ataque, frequentemente resultando em ASR > 0,6.
  • Especificamente, o LCV destacou-se contra ataques de amostras de cobertura (AdapBlend), enquanto o FDE destacou-se contra ataques sem amostras de cobertura (Pattern, Freq). A combinação (PGRL) lidou com todos os casos.
• Eficiência:
  • O PGRL incorreu em um sobrecarga de tempo de treinamento de 1,15× em comparação com o treinamento ingênuo. Isso é comparável a outras defesas (por exemplo, ABL, ESTI) e significativamente mais rápido do que métodos como DBD (que usa SimCLR).
• Generalização:
  • O método provou ser robusto em diferentes arquiteturas de modelos (VGG16, DenseNet121, ViT-B-16) e contra quatro ataques avançados adicionais (Ultrasonic, Wanet, Combat, Lotus).
• Estudos de Ablação:
  • Remover o Transporte Ótimo causou o colapso do desempenho (o ASR saltou de 0,01 para 0,99), confirmando sua necessidade para um pseudo-rótulo estável.
  • O método permaneceu eficaz mesmo com conjuntos de validação muito pequenos (até 10 amostras no total).

5. Significado

Este artigo estabelece um novo padrão para defesa de backdoor prática e generalizável. Ao afastar-se de suposições rígidas sobre a força do ataque ou corrupção de rótulos, o PGRL fornece uma solução flexível de framework único que se adapta às características específicas do envenenamento. Sua capacidade de funcionar com dados limpos mínimos torna-o altamente implantável em cenários do mundo real onde a sanitização de dados é difícil. Os autores também delineiam trabalhos futuros para estender este framework a tarefas complexas como detecção de objetos, segmentação e Modelos de Linguagem de Grande Escala (LLMs).