TsallisPGD: Adaptive Gradient Weighting for Adversarial Attacks on Semantic Segmentation

Resumo Técnico: TsallisPGD

Declaração do Problema
Atacar modelos de segmentação semântica é significativamente mais desafiador do que atacar modelos de classificação de imagens. Enquanto ataques de classificação visam um único rótulo, ataques de segmentação devem inverter simultaneamente milhares de previsões de pixels. Abordagens padrão, que adaptam o Gradiente Descendente Projetado (PGD) usando perda de entropia cruzada (CE) pixel a pixel, sofrem com dinâmicas de otimização subótimas. Especificamente, a CE padrão tende a superenfatizar pixels que já estão mal classificados (onde a probabilidade prevista $p_y \to 0$). Isso faz com que o gradiente sature nesses alvos "fáceis", retardando a convergência e levando a uma avaliação excessivamente otimista da robustez do modelo, pois o ataque falha em visar efetivamente pixels corretamente classificados com alta confiança.

Metodologia
Os autores propõem o TsallisPGD, um framework de ataque adversarial que substitui a entropia cruzada padrão pela entropia cruzada de Tsallis, uma generalização parametrizada por um índice entrópico $q$.

• Reponderação do Gradiente: A principal insight teórica é que a entropia cruzada de Tsallis induz uma reponderação dependente da confiança do gradiente da CE padrão. O gradiente em relação à probabilidade prevista $p$ é escalado por um fator de $p^{1-q}$.
  • Quando $q < 1$, o peso aumenta com $p$, enfatizando pixels corretamente classificados com alta confiança (que são mais difíceis de inverter).
  • Quando $q > 1$, o peso enfatiza pixels com baixa confiança.
• Controle do Pico do Gradiente: Os autores derivam uma expressão de forma fechada para a localização do pico do gradiente ($p^*_y$) em termos de $q$: $p^*_y = \frac{1-q}{2-q}$. Isso permite que o atacante controle explicitamente em qual regime de confiança a otimização se concentra. Variando $q$, o ataque pode visar diferentes subconjuntos de pixels.
• Agendamento Dinâmico de q: A análise empírica revela que nenhum valor fixo único de $q$ é universalmente ótimo; o melhor $q$ varia dependendo do conjunto de dados, da arquitetura do modelo e do orçamento de perturbação ($\epsilon$). Para abordar isso, os autores propõem um agendamento dinâmico de $q$ que varre $q$ durante o processo de otimização.
  • O agendamento é linear, parametrizado por um valor inicial ($q_{start}$) e um valor final ($q_{end}$).
  • O agendamento ótimo é selecionado uma única vez usando uma divisão de validação retida (especificamente, uma varredura de $q=-2$ a $q=1$) e depois aplicado inalterado em todos os benchmarks de teste sem ajuste adicional.
  • Essa abordagem permite que uma única execução de ataque traverse múltiplos regimes de concentração de gradiente, focando inicialmente em pixels de alta confiança e recuperando gradualmente o comportamento padrão da CE.

Principais Contribuições

1. TsallisPGD: Um novo ataque adversarial para segmentação semântica que aproveita a entropia cruzada de Tsallis para controlar o foco do ataque via o parâmetro $q$.
2. Análise Teórica: Uma prova mostrando que a entropia cruzada de Tsallis induz uma reponderação do gradiente dependente da confiança ($p^{1-q}$) e uma derivação da localização do pico do gradiente, fornecendo um mecanismo para visar níveis de confiança específicos.
3. Agendamento Dinâmico: A proposta de um agendamento dinâmico de $q$ que adapta o foco do ataque ao longo do tempo, motivado pela observação de que configurações de $q$ fixo não são universalmente ótimas.
4. Validação Empírica: Extensos experimentos demonstrando que um único agendamento dinâmico selecionado por validação supera as bases estáticas em diversos conjuntos de dados e modelos.

Resultados Experimentais
Os autores avaliaram o TsallisPGD em Cityscapes, Pascal VOC e ADE20K usando várias arquiteturas (PSPNet, UPerNet, Segmenter) e tanto modelos padrão quanto modelos treinados adversarialmente (por exemplo, DDCAT, PIR-AT). O ataque foi comparado contra bases de estado da arte: CEPGD, SegPGD, CosPGD, JSPGD e MaskedPGD.

• Desempenho: O TsallisPGD alcançou o melhor rank médio em todas as 21 configurações de avaliação (combinando conjuntos de dados, modelos e orçamentos de perturbação).
  • Para Precisão Média de Pixel (ACC), o TsallisPGD alcançou um rank médio de 1,38, superando a base mais forte, MaskedPGD (2,43).
  • Para a Interseção sobre União Média (mIoU), alcançou um rank médio de 1,57, superando o CosPGD (2,57).
• Robustez: O método mostrou ganhos particularmente fortes em modelos treinados adversarialmente, onde a otimização é tipicamente mais difícil. Alcançou o melhor desempenho em 16/21 configurações para ACC e 13/21 para mIoU.
• Análise de q Fixo: Experimentos com valores fixos de $q$ confirmaram que o $q$ ótimo é altamente dependente da configuração experimental específica, validando a necessidade de um agendamento dinâmico.

Significado e Alegações
O artigo afirma que o TsallisPGD fornece um método simples e geral para construir ataques adversariais mais fortes para segmentação semântica controlando a concentração do gradiente. O significado reside em demonstrar que:

1. A entropia cruzada padrão é inadequada para ataques de segmentação devido à sua tendência de superenfatizar pixels já mal classificados.
2. O parâmetro $q$ na entropia cruzada de Tsallis oferece um mecanismo preciso para direcionar a otimização para pixels em diferentes níveis de confiança.
3. Um único agendamento dinâmico selecionado por validação pode generalizar efetivamente através de diferentes conjuntos de dados, arquiteturas e orçamentos de ameaça, eliminando a necessidade de ajuste de hiperparâmetros por configuração.

Os autores concluem que, embora sua abordagem atual use um agendamento fixo selecionado via validação, trabalhos futuros poderiam explorar tornar a escolha de $q$ totalmente adaptativa em cada iteração. Eles também planejam incorporar o TsallisPGD no treinamento adversarial para melhorar a robustez do modelo.