Sample-wise Targeted Adversarial Attacks on Test-time Adaptation

Resumo Técnico: Ataques Adversariais Alvo por Amostra em Adaptação em Tempo de Teste

Declaração do Problema
A adaptação em tempo de teste (TTA) mitiga eficazmente desvios de distribuição atualizando os parâmetros do modelo online utilizando fluxos de teste não rotulados. No entanto, essa dependência do fluxo não rotulado cria uma superfície de ataque crítica. As ameaças adversariais existentes contra a TTA focam principalmente na degradação não direcionada ou em ataques alvo por classe. Ataques por classe, que forçam todas as amostras de uma classe semântica específica (por exemplo, todos os sinais de "pare") para um rótulo alvo, são inerentemente pouco furtivos. Como a TTA opera em lotes, forçar um subconjunto de amostras para um rótulo alvo puxa inadvertidamente amostras benignas semelhantes, resultando em uma concentração conspicua e não natural do rótulo alvo na distribuição de saída. Em cenários de implantação onde rótulos de verdade absoluta estão indisponíveis, essa anomalia distribucional serve como um sinal de detecção fácil. O artigo postula que um modelo de ameaça mais realista e perigoso é necessário: um onde um adversário possa classificar incorretamente seletivamente apenas entradas específicas, preservando a distribuição global de rótulos de consultas benignas.

Metodologia
Os autores propõem um framework de ataque alvo por amostra que opera sob uma configuração de caixa cinza. O atacante tem acesso à arquitetura e aos parâmetros do modelo pré-treinado inicial, mas não tem acesso ao algoritmo de TTA no lado do servidor, aos dados da vítima ou aos rótulos de verdade absoluta. O ataque depende de um gatilho específico (por exemplo, um patch ou padrão senoidal) injetado nas entradas da vítima. O objetivo é classificar incorretamente apenas as entradas que carregam esse gatilho, garantindo que as entradas sem gatilho mantenham uma distribuição de predição consistente com uma linha de base benigna.

A geração do ataque emprega uma abordagem baseada em meta-aprendizado para simular o processo de TTA usando apenas dados controlados pelo atacante. A otimização envolve dois objetivos concorrentes:

1. Objetivo Principal de Ataque ($L_{cls}$): Maximiza a taxa de sucesso de classificar incorretamente entradas que carregam o gatilho para um rótulo alvo.
2. Objetivo Secundário de Furtividade ($L_{stl}$): Minimiza a divergência na distribuição de saída do modelo em entradas benignas causada pela presença de amostras adversariais no mesmo lote.

Um desafio crítico identificado é o forte desalinhamento de gradientes entre esses dois objetivos; a análise empírica mostra que seus gradientes são antagônicos em quase todas as etapas de otimização (99,9% de similaridade de cosseno negativa). Métodos padrão de aprendizado multi-tarefa (MTL), que buscam compromissos de Pareto simétricos, falham aqui porque sacrificam o sucesso do ataque por ganhos marginais de furtividade.

Para resolver isso, os autores introduzem uma estratégia de alinhamento de gradientes consciente de prioridade formulada como um problema de região de confiança elipsoidal.

• Assimetria de Prioridade: A direção de atualização é construída para permanecer próxima ao gradiente de ataque ($a$), enquanto penaliza o movimento em direção ao gradiente de furtividade ($c$) se ele se desviar de $a$.
• Região de Confiança Elipsoidal: A direção de atualização $d$ é restrita dentro de um elipsoide centrado em $a$ com uma métrica $M = I + \lambda uu^\top$, onde $u$ representa a direção de desvio em direção ao gradiente de furtividade. Essa geometria reduz o tamanho do passo permitido ao longo da direção de furtividade desalinhada, preservando a direção de ataque.
• Garantia Teórica: O artigo fornece um teorema provando que essa direção alinhada garante descida monótona no objetivo de ataque mesmo sob desalinhamento severo de gradientes, uma garantia ausente em bases simétricas.

Principais Contribuições

1. Formalização do Modelo de Ameaça: O artigo define um modelo de ameaça alvo por amostra para TTA, distinguindo-o de ataques por classe anteriores ao impor seletividade estrita baseada em gatilhos em vez de classes semânticas.
2. Estratégia de Otimização Inovadora: A proposta de um framework de meta-aprendizado aprimorado por alinhamento de gradientes consciente de prioridade, que lida explicitamente com a natureza antagônica dos objetivos de ataque e furtividade sem sacrificar o objetivo principal de ataque.
3. Análise Teórica: Fornecimento de garantias teóricas mostrando que a direção de atualização elipsoidal proposta garante otimização eficaz do objetivo de ataque mesmo quando os gradientes estão desalinhados.
4. Validação Empírica: Experimentos extensivos demonstrando altas taxas de sucesso de ataque enquanto mantêm a furtividade distribucional.

Resultados Experimentais
O método foi avaliado em CIFAR-10-C, CIFAR-100-C e ImageNet-C através de cinco protocolos de TTA (TENT, RPL, EATA, SAR, DeYO) usando tanto gatilhos de patch quanto SIG.

• Taxa de Sucesso do Ataque (ASR): O método proposto alcança ASR significativamente maior do que as bases adaptadas (RTTDP, FCA). Em CIFAR-10-C, a ASR varia de 89,59% a 95,90% entre os métodos de TTA, comparado a 25–63% para as bases. Em ImageNet-C, a ASR excede 95% na maioria das configurações.
• Furtividade (Consistência Distribucional): Diferentemente dos ataques por classe, que induzem grandes divergências KL (por exemplo, >0,03) e picos de probabilidade, o método proposto mantém uma distribuição de rótulos quase idêntica à linha de base sem ataque (KL $\approx$ 0,006).
• Robustez a Defesas: O ataque permanece eficaz contra defesas existentes, incluindo:
  • Filtragem de Amostras: A filtragem baseada em entropia falha porque o ataque minimiza a incerteza para garantir o sucesso, resultando em amostras adversariais de baixa entropia.
  • MedBN: O ataque mantém alta ASR (~80%) contra Normalização de Lote Mediana, pois a trajetória adversarial otimizada em BN padrão transfere-se efetivamente.
  • Média Móvel Exponencial (EMA): Embora a EMA reduza inicialmente a ASR, uma simples augmentação de dados nas amostras adversariais recupera a ASR para ~41%, sugerindo que a defesa é facilmente contornada.

Significado e Alegações
O artigo alega revelar uma vulnerabilidade crítica nos paradigmas atuais de implantação de TTA: a capacidade de adversários injetarem classificações incorretas direcionadas ("falhas silenciosas") sem acionar alarmes padrão de desvio de distribuição. Os autores enfatizam que os frameworks de TTA existentes carecem de robustez intrínseca contra ameaças centradas em evasão. Ao demonstrar que ataques de alta precisão podem ser executados enquanto preservam a naturalidade estatística da distribuição de saída, o trabalho destaca a necessidade de designs conscientes de segurança em modelos adaptativos, particularmente para aplicações críticas de segurança, como direção autônoma e imagem médica. Os autores notam modestamente limitações, como a dependência de agrupamento conjunto de amostras com gatilho e amostras da vítima, e o potencial de quedas de precisão benigna servirem como um sinal de detecção secundário, mas afirmam que o ataque proposto representa um passo significativo em direção à compreensão dos riscos de segurança da adaptação online.