EnsembleSHAP: Faithful and Certifiably Robust Attribution for Random Subspace Method

Título: EnsembleSHAP: Atribuição de Características Fiel e Certificadamente Robusta para o Método de Subespaço Aleatório

1. Problema e Motivação

O Método de Subespaço Aleatório (Random Subspace Method) é uma técnica de aprendizado de conjunto (ensemble learning) amplamente utilizada em aplicações de segurança, como:

• Defesas certificadas contra ataques adversariais e backdoor.
• Alinhamento robusto de Grandes Modelos de Linguagem (LLMs) contra ataques de jailbreaking.

No entanto, a explicação (interpretabilidade) desses métodos enfrenta dois desafios críticos:

1. Ineficiência Computacional: Métodos de atribuição de características de última geração, como Shapley Values e LIME, exigem perturbar a entrada milhares de vezes. Como o método de subespaço aleatório já envolve a geração de previsões para múltiplos subconjuntos de características (N subamostras) para cada perturbação (M iterações), o custo computacional total torna-se proibitivo ($M \times N$ consultas ao modelo base).
2. Falta de Garantias de Segurança: Métodos existentes não oferecem garantias contra ataques de preservação de explicação (explanation-preserving attacks). Nestes ataques, um adversário modifica o input para causar uma classificação errada, mas manipula as características de forma que a explicação gerada (a importância das características) permaneça inalterada, ocultando a natureza maliciosa da modificação.

2. Metodologia: EnsembleSHAP

Os autores propõem o EnsembleSHAP, um método de atribuição de características intrinsecamente fiel e seguro, projetado especificamente para reutilizar os subprodutos computacionais já gerados pelo método de subespaço aleatório.

Design do Algoritmo

• Reutilização de Cálculos: Em vez de fazer novas consultas ao modelo, o EnsembleSHAP utiliza as previsões já realizadas pelos $N$ subconjuntos de características (grupos de recursos) gerados durante a inferência do modelo de conjunto.
• Definição da Pontuação de Importância: A importância de uma característica $i$ para a previsão $\hat{y}$ é definida como a probabilidade de que um grupo de características amostrado aleatoriamente contenha $i$ e preveja $\hat{y}$.
  • A fórmula proposta é:
    $$\alpha_i^{\hat{y}}(x, h, k) \approx \frac{1}{d} \cdot \frac{\sum_{j=1}^{N} I(x_i \in z_j) \cdot I(h(z_j) = \hat{y})}{\sum_{j=1}^{N} I(x_i \in z_j)}$$
  • Onde $d$ é o número total de características, $z_j$ são os subconjuntos amostrados, e $h$ é o modelo base.
• Normalização: O método introduz uma normalização baseada na frequência de aparecimento das características nos subconjuntos amostrados para evitar viés quando o número de amostras ($N$) é pequeno.

Propriedades Teóricas

O EnsembleSHAP foi projetado para satisfazer propriedades fundamentais da teoria de atribuição:

1. Precisão Local (Local Accuracy): A soma das pontuações de importância de todas as características é igual à probabilidade de previsão do modelo de conjunto.
2. Simetria: Características que contribuem igualmente para todos os subconjuntos recebem a mesma pontuação.
3. Consistência de Ordem: Se o valor de Shapley clássico classifica uma característica como mais importante que outra, o EnsembleSHAP também o fará.
4. Robustez Certificada: O método oferece uma garantia teórica de que, se um adversário modificar um número limitado de características ($T$) para alterar a previsão, o método de atribuição identificará necessariamente essas características modificadas entre as mais importantes.

3. Principais Contribuições

1. Eficiência Computacional: O método adiciona um custo computacional quase nulo (aprox. 0,03s por amostra) ao processo de inferência, pois não requer novas consultas ao modelo base, apenas processamento das previsões já existentes.
2. Primeira Robustez Certificada: É o primeiro trabalho a estabelecer robustez provável contra ataques de preservação de explicação. Os autores derivam um limite inferior certificado para o tamanho da interseção entre as características modificadas pelo adversário e as características reportadas como importantes.
3. Aplicabilidade Geral: O método funciona independentemente da arquitetura do modelo base (caixa-preta), sendo aplicável a classificadores de texto, LLMs e até imagens (patches).

4. Resultados Experimentais

Os autores avaliaram o EnsembleSHAP em diversas tarefas de segurança:

• Defesa Certificada (Ataques Adversariais e Backdoor):

  • Em datasets como SST-2, IMDB e AGNews, o EnsembleSHAP superou significativamente o Shapley Value, LIME e ICL em métricas de fidelidade (capacidade de mudar o rótulo ao remover as características mais importantes).
  • Exemplo: No ataque adversarial no IMDB, remover 10% das palavras mais importantes identificadas pelo EnsembleSHAP resultou em uma taxa de mudança de rótulo de 98%, comparado a apenas 16% do LIME.
  • Na previsão de palavras-chave (detectar gatilhos de backdoor), o EnsembleSHAP alcançou recalls superiores a 0.89, superando amplamente os baselines.

• Defesa contra Jailbreaking (LLMs):

  • Utilizando o framework RA-LLM, o método foi capaz de identificar com precisão as consultas maliciosas embutidas em prompts de jailbreaking (GCG, AutoDAN, DAN).
  • O EnsembleSHAP superou os baselines na identificação das palavras-chave que levaram o modelo a classificar o prompt como "perigoso".

• Detecção Certificada de Características Adversariais:

  • A teoria foi validada empiricamente. O método conseguiu garantir a detecção de uma alta porcentagem das características modificadas pelo adversário, mesmo quando o atacante tentava esconder a modificação mantendo a explicação original.
  • A taxa de detecção certificada aumentou com o número de características reportadas ($e$) e diminuiu conforme o número de modificações permitidas ao atacante ($T$) aumentava, conforme previsto teoricamente.

• Domínio de Imagem:

  • O método também foi aplicado com sucesso na detecção de ataques de patch adversarial em imagens (CIFAR-10, ImageNette), demonstrando robustez e eficiência.

5. Significado e Impacto

O trabalho preenche uma lacuna crítica na interseção entre interpretabilidade de IA e segurança cibernética.

• Viabilidade Prática: Ao eliminar o custo computacional proibitivo de explicar modelos de conjunto, torna-se viável monitorar e auditar sistemas de segurança em tempo real.
• Segurança Proativa: A capacidade de detectar certificadamente que uma explicação foi manipulada ou que características adversariais estão presentes oferece uma nova camada de defesa. Isso é crucial para sistemas críticos onde a confiança na explicação é tão importante quanto a própria previsão.
• Fundação Teórica: Estabelece um novo paradigma para atribuição de características em métodos de ensemble, provando que é possível obter fidelidade e robustez sem sacrificar a eficiência.

Em resumo, o EnsembleSHAP transforma o método de subespaço aleatório de uma "caixa preta" robusta, mas inexplicável, em um sistema transparente, eficiente e com garantias matemáticas contra tentativas de ocultar ataques através de manipulação de explicações.