Resumo Técnico: LBA (Ataque de Rótulo Rígido com Orçamento de Baixa Consulta)

1. Definição do Problema

O artigo aborda o desafio de gerar textos adversários de alta qualidade em um cenário de rótulo rígido (hard-label) de caixa-preta sob orçamentos de consulta baixos.

• Contexto: Redes Neurais Profundas (DNNs) no Processamento de Linguagem Natural (NLP) são vulneráveis a ataques adversários onde entradas maliciosas causam previsões incorretas.
• Restrição: Em aplicações do mundo real, atacantes muitas vezes não conseguem acessar pontuações de confiança (rótulos suaves/soft labels) e são restritos ao rótulo predito top-1 (rótulos rígidos/hard labels). Além disso, os orçamentos de consulta são limitados devido aos custos monetários e ao risco de detecção por excesso de entradas similares.
• Limitação dos Métodos Existentes: Ataques de rótulo rígido atuais dependem predominantemente de paradigmas de busca gananciosa (greedy search). Esses métodos selecionam iterativamente uma única posição de palavra para substituição e a fixam antes de passar para a próxima. Essa abordagem de busca local falha em explorar o espaço combinatório completo de substituições de posição, levando frequentemente a soluções subótimas e custos de consulta excessivos para escapar de ótimos locais. A busca exaustiva é computacionalmente inviável devido à explosão combinatória.

2. Metodologia: LBA

Os autores propõem o LBA (Low-query Budget hard-label Attack), um novo método que reformula a geração de texto adversário como um problema de amostragem baseado em distribuição. Em vez da refinação local gananciosa, o LBA amostra de uma distribuição aproximada de exemplos adversários de alta qualidade, aproveitando tanto o conhecimento a priori quanto o a posteriori.

Estrutura Central

O método é inspirado na amostragem de Metropolis-Hastings (MH). Ele constrói uma função alvo para aproximar a distribuição de exemplos adversários de alta qualidade e refina iterativamente essa distribuição através de amostragem.

A. Inicialização

O LBA começa com uma inicialização aleatória (semelhante ao HLA) para gerar um exemplo adversário inicial $x'_0$ que engane o modelo vítima. Isso envolve a substituição aleatória de palavras por sinônimos enquanto se filtra pela consistência de Classe Gramatical (POS).

B. Estratégia de Amostragem

O loop principal envolve três etapas:

1. Proposta de Candidato: Um candidato $x'_i$ é gerado substituindo uma palavra em uma posição perturbável selecionada aleatoriamente (do conjunto de índices onde o exemplo atual difere do original) por um sinônimo. Isso utiliza amostragem com reposição para evitar o problema do encolhimento do espaço de busca encontrado em métodos gananciosos.
2. Cálculo da Taxa de Aceitação: O candidato é avaliado usando uma taxa de aceitação $\alpha$, definida pela razão entre os valores da função alvo e as propostas de transição:
   $$\alpha(x'_i, x^\star) = \min \left( 1, \frac{\pi(x'_i)g(x^\star | x'_i)}{\pi(x^\star)g(x'_i | x^\star)} \right)$$
   • Função Alvo $\pi(x'_i)$: Aproxima a distribuição desejada e é o produto de Agressividade ($A$) e Qualidade ($Q$):
     $$\pi(x'_i) = A(x'_i) \cdot Q(x'_i, x)$$
     • Agressividade ($A$): Derivada do conhecimento a posteriori. Ela quantifica a "importância" de uma posição com base na frequência empírica de que perturbações naquela posição induziram inversões de rótulo em iterações anteriores. É calculada usando um softmax sobre as frequências empíricas de inversão de rótulo.
     • Qualidade ($Q$): Derivada do conhecimento a priori (restrições predefinidas). É uma soma ponderada de similaridade semântica, redução da taxa de perturbação, aumento de erro gramatical e perplexidade.
   • Proposta de Transição $g$: Uma probabilidade assimétrica baseada na mudança de similaridade semântica entre os exemplos atual e candidato, guiando a busca para exemplos semanticamente coerentes.
3. Atualização: Se o candidato for aceito (com base em um limiar de distribuição uniforme), o exemplo atual é atualizado e o modelo vítima é consultado para validar a inversão de rótulo. O conhecimento a posteriori (importância da posição) é atualizado com base no resultado da consulta.

3. Principais Contribuições

1. Formulação do Problema: Os autores identificam as limitações da busca gananciosa em ataques de rótulo rígido e são os primeiros a formular a geração de texto adversário eficiente em consultas como um problema de amostragem baseado em distribuição.
2. Algoritmo Inovador (LBA): Eles propõem o LBA, que integra restrições a priori (qualidade) e feedback a posteriori (agressividade) em uma função alvo para amostragem no estilo MH. Isso permite que o método se autocorrija e explore o espaço de busca de forma mais eficaz do que abordagens gananciosas.
3. Avaliação Abrangente: Experimentos extensos foram realizados em seis modelos de linguagem (variando de NLMs de pequena escala como WordCNN até LLMs de grande escala como GPT-4o) em quatro conjuntos de dados (MR, AG, YELP, IMDB).

4. Resultados Experimentais

O artigo relata que o LBA supera significativamente os basais de estado da arte (incluindo HLA, TextHoaxer, LeapAttack e HQA-Attack) em todas as métricas de avaliação:

• Eficiência de Consulta: O LBA alcança altas taxas de sucesso de ataque (ASR) sob orçamentos de consulta "Tiny", "Tight" e "Moderate".
• Métricas de Qualidade: O LBA gera textos adversários com:
  • Menores Taxas de Perturbação: Menos palavras alteradas.
  • Maior Similaridade Semântica: Mais próximos do significado original.
  • Melhor Fluência: Menor perplexidade (PPL) e menos erros gramaticais (Ige).
• Robustez de LLM: O LBA demonstra desempenho superior ao atacar Grandes Modelos de Linguagem (LLMs) como LLaMA 2, Vicuna e GPT-4o, onde a lacuna de desempenho com os basais é particularmente pronunciada em conjuntos de dados de textos longos.
• Avaliação Humana e de LLM:
  • Avaliação GPT-4o: O LBA alcançou a maior Taxa de Consistência (CR) (preservação da semântica original) e Taxa de Compreensão Total (FUR) (compreensibilidade) entre os basais de rótulo rígido.
  • Avaliação Humana: Anotadores humanos classificaram corretamente os exemplos adversários gerados pelo LBA em taxas mais altas do que outros métodos, confirmando que os ataques enganam com sucesso o modelo vítima enquanto preservam o sentimento/significado original.

5. Significância e Alegações

O artigo afirma que o LBA aborda o equilíbrio crítico entre eficiência de consulta e qualidade adversária em cenários de rótulo rígido. Ao se afastar da busca local gananciosa para uma estratégia de amostragem que aprende com o feedback acumulado de consultas, o LBA mitiga a explosão combinatória do espaço de busca.

Os autores enfatizam que seu método não é apenas mais eficiente, mas também gera textos adversários mais semanticamente preservados e compreensíveis. Isso sugere que o LBA é um modelo de ameaça mais realista para aplicações do mundo real, onde atacantes possuem recursos limitados e devem evitar a detecção. O trabalho destaca a necessidade de aumentar a robustez adversária tanto de modelos tradicionais de NLP quanto dos emergentes Grandes Modelos de Linguagem (LLMs).