Robust Ensemble of Selectively Strengthened and Augmented Predictors

Resumo Técnico: Ensemble Robusto de Preditores Seletivamente Fortalecidos e Aumentados (RESSAP)

Definição do Problema
Classificadores de aprendizado de máquina, embora bem-sucedidos em vários domínios, possuem "pontos cegos" inerentes em suas fronteiras de decisão que podem ser explorados por ataques de evasão adversários. Nesses ataques, os adversários manipulam os dados de entrada no momento da inferência para causar erros de classificação sem alterar o processo de treinamento. Os mecanismos de defesa existentes frequentemente sofrem de generalização limitada, exigindo mudanças arquiteturais significativas ou restringindo a escolha dos algoritmos de aprendizado. Além disso, muitas defesas são avaliadas sob cenários de ataque estreitos, falhando em fornecer robustez sistemática contra diversas ameaças. Há uma necessidade crítica de um framework agnóstico ao modelo que aumente a robustez contra ataques de evasão, mantendo uma alta precisão em dados benignos e integrando-se perfeitamente em pipelines de ML existentes (ex: SecDevOps).

Metodologia
Os autores propõem o RESSAP (Robust Ensemble of Selectively Strengthened and Augmented Predictors), um framework que transforma um único classificador pré-treinado ($clf_0$) em um ensemble de submodelos especializados. A metodologia consiste em quatro componentes primários:

1. Seleção de Características e Geração de Subconjuntos:
   O framework introduz uma Métrica de Resiliência Composta ($FSRI$) para guiar a seleção de características. Esta métrica combina duas pontuações distintas para cada característica $j$:

   • Importância da Característica ($FSI$): Calculada via importância por permutação, medindo a queda na precisão basal quando os valores das características são embaralhados.
   • Robustez da Característica ($FSR$): Calculada medindo a sensibilidade da precisão basal a pequenas perturbações de ruído aleatório adicionadas à característica.
   • Resiliência ($FSRI$): Definida como a soma da $FSI$ normalizada e do $FSR$.

   Utilizando estas métricas, o framework gera $t$ subconjuntos de características diversos ($s_l$). Para garantir a diversidade, os subconjuntos são construídos selecionando as características de maior ranking com base em três estratégias: metade dos subconjuntos prioriza o $FSRI$ (resiliência), um quarto prioriza o $FSI$ (importância) e o quarto restante prioriza o $FSR$ (robustez).

2. Aumento de Dados (Data Augmentation):
   Para cada subconjunto de características, os dados de treinamento correspondentes são fatiados verticalmente. O aumento de dados baseado em ruído é então aplicado a esses subconjuntos através da adição de ruído Gaussiano ($\epsilon \sim N(0, \sigma)$). Este processo simula variações naturais e pequenas perturbações adversárias, incentivando os submodelos a aprender fronteiras de decisão mais estáveis e generalizáveis.

3. Treinamento de Ensemble:
   Um classificador fraco ($f_l$) é treinado independentemente em cada subconjunto de características aumentado. Isso cria um ensemble de $t$ classificadores, cada um operando em um espaço de características distinto e resiliente.

4. Inferência Aleatorizada:
   No momento da inferência, o sistema não utiliza todos os classificadores. Em vez disso, um subconjunto aleatório de $k$ classificadores é selecionado para formar o conjunto de predição $P$. A predição final é derivada pela agregação dos vetores de probabilidade dos classificadores selecionados e escolhendo a classe com a maior probabilidade agregada. Esta aleatorização aumenta a imprevisibilidade do sistema, forçando os adversários a consultar o sistema com mais frequência para mapear as fronteiras de decisão.

Principais Contribuições
O artigo descreve três contribuições primárias:

1. Framework RESSAP: Uma nova arquitetura de ensemble que aumenta a robustez adversária integrando diversidade ao nível de características com aleatorização ao nível de classificador, operando como uma etapa de aprimoramento pós-treinamento.
2. Seleção de Características Baseada em Resiliência: Uma nova abordagem para seleção de características que unifica a importância por permutação e a robustez em uma única métrica ($FSRI$) para guiar a formação de subconjuntos de características diversos e resilientes.
3. Validação Empírica: Validação experimental em conjuntos de dados sintéticos demonstrando que o framework melhora significativamente a resistência a ataques de evasão enquanto preserva a precisão em dados limpos.

Resultados
Os autores avaliaram o RESSAP em um conjunto de dados sintético ($n=600$ instâncias, $d=10$ características) utilizando uma estratégia de ataque de Busca de Linha Múltipla (MLS). Os resultados foram comparados contra um SVM (Support Vector Machine) basal e versões abladas do RESSAP:

• Taxa de Sucesso do Ataque: O modelo RESSAP completo reduziu a taxa de sucesso de ataque adversário para 32,49%, uma melhoria significativa em relação ao SVM basal (100%) e às variantes abladas (variando entre 35,63% e 51,45%).
• Precisão em Dados Limpos (Clean Accuracy): O RESSAP manteve uma alta precisão em dados limpos (96,5%), comparável ao basal (94,2%) e a outros variantes.
• Custo de Consulta (Query Cost): O framework aumentou significativamente o número de consultas necessárias para um adversário conseguir evadir o modelo. Em 78,08% dos casos, o modelo RESSAP completo exigiu mais consultas para inverter uma predição do que o SVM basal.
• Análise de Ablação: A remoção de qualquer componente único (seleção de características, seleção aleatória de classificador ou aumento de dados) resultou consistentemente em menor robustez, confirmando que cada mecanismo contribui para a defesa geral.

Significância e Alegações
O artigo afirma que o RESSAP fornece uma estratégia de defesa escalável, flexível e agnóstica ao modelo. Sua significância reside na capacidade de aumentar a segurança de sistemas de aprendizado de máquina sem exigir mudanças maiores nas arquiteturas ou procedimentos de treinamento existentes. Ao transformar um único modelo em um ensemble aleatorizado, o RESSAP aumenta o "custo de consulta" para adversários, tornando mais caro computacionalmente e difícil criar exemplos de evasão bem-sucedidos. Os autores enfatizam que esta abordagem equilibra o trade-off entre robustez e precisão de classificação, abordando uma limitação fundamental nos mecanismos de defesa atuais.

Os autores reconhecem modestamente as limitações, observando que a avaliação atual baseia-se em um conjunto de dados gerado sinteticamente e ainda não foi comparada com outras arquiteturas robustas projetadas especificamente para cenários adversários. Eles identificam o trabalho futuro focando em conjuntos de dados do mundo real mais diversos e no refinamento adicional do processo de seleção de características.