RMF: A Risk Measurement Framework for Machine Learning Models

Resumo Técnico: RMF: Um Framework de Medição de Risco para Modelos de Aprendizado de Máquina

Definição do Problema
Modelos de aprendizado de máquina (ML), particularmente sistemas de aprendizado profundo (deep learning), estão sendo cada vez mais implantados em aplicações críticas de segurança e proteção, como condução autônoma e diagnóstico médico. Essa proliferação introduz riscos significativos provenientes de aprendizado de máquina adversarial, onde redes neurais (NNs) são maliciosamente influenciadas. Especificamente, o artigo aborda o desafio de quantificar o risco associado a ataques de envenenamento (um subconjunto de ataques de backdoor) que fazem com que as NNs classifiquem incorretamente os rótulos de imagens durante a inferência. Embora a existência dessas ameaças seja bem documentada, há uma carência de métodos padronizados para medir a extensão do dano causado por um ataque e o esforço necessário para que um atacante o execute. Os autores argumentam que, sem tais medições, é difícil avaliar objetivamente o desempenho de segurança de sistemas de ML ou derivar valores de risco significativos.

Metodologia
O artigo propõe um Framework de Medição de Risco (RMF) fundamentado na norma ISO/IEC 27004:2016 para medição de risco de segurança da informação. A metodologia segue um processo estruturado:

1. Definição de Atributos: O framework define atributos específicos para medir o risco, categorizados em dois grupos principais:

   • Esforço do Atacante: Inclui Conhecimento do Atacante (caixa branca vs. caixa preta), Objetivo do Atacante (etapas para atingir o objetivo), Especificidade do Ataque (etapas para visar rótulos específicos ou aleatórios), Tempo de Ataque (duração de treinamento e inferência) e Recursos Computacionais (uso de CPU/GPU).
   • Extensão do Dano: Medida utilizando métricas padrão de ML, incluindo Acurácia, F1-Score, Precisão Média e Recall Médio.

2. Processo de Medição:

   • Coleta de Dados: O framework utiliza o Adversarial Robustness Toolbox (ART) para executar ataques de backdoor em uma NN alvo.
   • Medidas de Base: O sistema registra dados brutos durante o ataque, como tempo de treinamento, consumo de recursos de hardware e o número de etapas procedimentais realizadas pelo atacante.
   • Medidas Derivadas: Funções de medição agregam essas medidas de base.
     • Cálculo de Dano: Para quantificar o dano, o framework inverte as métricas de ML (por exemplo, se a acurácia cai para 0,06, ela é convertida para 0,94). Essa inversão garante que uma métrica original menor (maior dano) resulte em um score de dano maior. Esses valores invertidos são então integrados para formar um "Extensão do Dano" composto.
     • Cálculo de Esforço: O framework agrega o tempo de ataque, recursos computacionais e o número total de etapas (derivado de conhecimento, objetivo e especificidade) para formar um "Esforço do Atacante" composto.

3. Interpretação do Risco: O framework não combina dano e esforço em um único valor escalar de risco. Em vez disso, ele os trata como quatro valores distintos (Dano, Tempo, Recursos, Etapas) que devem ser interpretados individualmente. Os autores observam que a padronização do esforço é atualmente impossível devido à variabilidade nas unidades (segundos, MB, números naturais) e à falta de dados de linha de base comparáveis para diferentes tipos de ataque.

Estudo de Caso e Resultados
O framework foi avaliado usando um estudo de caso envolvendo uma Rede Neural Convolucional (CNN) treinada em um conjunto de dados de 133.000 sinais de trânsito alemães (70 rótulos).

• Configuração: Um ataque de backdoor de rótulo limpo (clean-label) foi executado envenenando 50% dos dados de treinamento para classificar incorretamente imagens aleatórias para um rótulo alvo específico (Rótulo 10).
• Hardware: O experimento foi executado em uma CPU AMD Ryzen 7 5800X e uma GPU NVIDIA GeForce RTX 3060 Ti.
• Descobertas:
  • Dano: O ataque causou uma redução drástica no desempenho. A acurácia original caiu de 0,94 para 0,06. O "Extensão do Dano" composto calculado foi de 4,62.
  • Esforço: O ataque exigiu 21 etapas totais (combinando conhecimento, objetivo e especificidade), levou 1037,23 segundos para ser executado e consumiu 9% de CPU e 8137,81 MB de memória GPU.
  • Classificação de Risco: Com base na classificação de risco do Instituto Europeu de Normas de Telecomunicações (ETSI), os resultados foram categorizados como um Risco Crítico. A falta de contramedidas permitiu o dano máximo com um esforço de atacante relativamente baixo.

Principais Contribuições
O artigo apresenta três contribuições primárias:

1. Proposta de Atributos: Propõe um conjunto de atributos quantitativos e qualitativos (incluindo recursos computacionais e etapas de ataque específicas) para serem instanciados durante os métodos de medição para segurança de ML.
2. Funções de Medição: Desenvolve funções específicas para computar valores que representam a extensão do dano e o esforço do atacante, aderindo às diretrizes da ISO/IEC 27004:2016.
3. Avaliação e Interpretação: Avalia esses valores computados através de um estudo de caso, demonstrando como interpretar o risco final de um ataque sem propor contramedidas específicas.

Significância e Alegações
Os autores posicionam este trabalho como uma ferramenta para melhorar o desempenho de segurança, permitindo a medição de riscos durante a fase de desenvolvimento de NNs, antes da implantação. O artigo afirma explicitamente que não propõe contramedidas; seu único foco é a medição e avaliação do risco.

A significância do RMF reside em sua capacidade de:

• Quantificar o dano potencial de ataques adversariais de uma forma padronizada.
• Medir objetivamente os recursos e as etapas que um atacante deve investir.
• Destacar que, sem contramedidas, ataques de backdoor podem resultar em riscos críticos (por exemplo, classificar incorretamente uma placa de pare como uma placa de limite de velocidade em veículos autônomos) com baixo esforço de atacante.

Os autores concluem de forma modesta, observando que, embora o framework meça o risco com sucesso em um ambiente controlado, a capacidade de comparar riscos entre diferentes ataques ou criar uma matriz de risco abrangente é atualmente limitada pela falta de dados comparáveis. Trabalhos futuros exigem a medição de mais ataques para construir um conjunto de dados que permita o desenvolvimento de contramedidas mais específicas e uma melhor padronização de risco.