💻 computer science

SA-DRL: Security-Aware Deep Reinforcement Learning for Ransomware Detection with Asymmetric Reward Design

Este artigo propõe um framework de Aprendizado por Reforço Profundo com Consciência de Segurança (SA-DRL) que utiliza modelagem de recompensa assimétrica e um critério de seleção de modelo ótimo para segurança para reduzir significativamente as taxas de falsos negativos de ransomware em comparação com métodos de detecção simétricos convencionais.

Autores originais: Jannatul Ferdous, Rafiqul Islam, Md Zahidul Islam

Publicado 2026-07-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jannatul Ferdous, Rafiqul Islam, Md Zahidul Islam

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o chefe de segurança de uma cidade digital massiva. Seu trabalho é detectar um tipo específico de criminoso: o Ransomware. Estes são bandidos digitais que bloqueiam seus arquivos e exigem dinheiro para desbloqueá-los.

O problema é que esses bandidos são rápidos. Eles podem criptografar seus dados em segundos. Se você os perder (um Falso Negativo), a cidade será bloqueada e o dano será permanente e caro. Se você acidentalmente marcar um cidadão inocente como um bandido (um Falso Positivo), você apenas o coloca em uma cela de detenção para uma verificação rápida. É irritante, mas é contornável.

Por muito tempo, os sistemas de segurança de computador trataram esses dois erros como igualmente ruins. Era como dizer: "É tão ruim deixar um assaltante de banco escapar quanto prender um padeiro por engano". O artigo argumenta que esta é uma maneira terrível de gerir um sistema de segurança.

Aqui está como as autoras, Jannatul Ferdous e sua equipe, corrigiram isso usando uma nova abordagem chamada SA-DRL (Aprendizado por Reforço Profundo Consciente de Segurança - Security-Aware Deep Reinforcement Learning).

1. O Jeito Antigo: O Jogo da "Penalidade Igual"

Pense no software de segurança tradicional como um aluno fazendo uma prova. Se ele errar uma questão, perde um ponto. Não importa qual questão ele errou.

A Falha: No mundo real, perder um ataque de ransomware é como reprovar no exame final e perder seu diploma. Pegar um arquivo inofensivo é apenas uma pequena dedução em um dever de casa. Os sistemas antigos não sabiam a diferença, então muitas vezes deixavam os "grandes vilões" escaparem para manter os "pequenos erros" baixos.

2. O Novo Jeito: O Treinador "Segurança em Primeiro Lugar"

As autoras criaram um novo método de treinamento usando Aprendizado por Reforço Profundo (DRL). Imagine um videogame onde um agente de IA (o guarda de segurança) aprende jogando milhões de rodadas.

O Sistema de Recompensa: Neste jogo, o "Treinador" (a função de recompensa) dá pontos por capturar bandidos e retira pontos por erros.
- Treinador Antigo (Simétrico): "Você perde 1 ponto por pegar um padeiro. Você perde 1 ponto por deixar um bandido ir embora."
- Novo Treinador (Assimétrico - SA-DRL): "Você perde 1 ponto por pegar um padeiro. Mas se você deixar um bandido ir embora, você perde 4 pontos!"

Ao tornar a penalidade por perder um ataque de ransomware quatro vezes mais pesada do que a penalidade por um alarme falso, a IA aprende uma lição muito importante: "É melhor prevenir do que remediar." Ela começa a ser um pouco mais paranoica, capturando quase todos os bandidos, mesmo que isso signifique verificar mais alguns padeiros inocentes.

3. O Campo de Treinamento: O "Baralho Embaralhado"

Para garantir que a IA não apenas memorizasse a ordem dos arquivos, os pesquisadores usaram um truque inteligente. Imagine distribuir cartas de um baralho.

O Truque: Cada vez que a IA inicia uma nova sessão de treinamento, eles embaralham o baralho de arquivos completamente.
O Resultado: A IA não pode apenas aprender "Arquivo #1 é bom, Arquivo #2 é mau". Ela tem que aprender o comportamento dos arquivos. Como os arquivos "maus" (ransomware) são constantemente atingidos com aquela penalidade pesada de 4 pontos sempre que são perdidos, a IA aprende a prestar atenção extra aos mais traiçoeiros. Isso funciona como um "marca-texto" automático para os arquivos mais perigosos sem a necessidade de marcá-los manualmente.

4. A Corrida: Quem Vence?

Os pesquisadores testaram quatro tipos diferentes de "jogadores" de IA (algoritmos) para ver quem aprendia melhor essa lição de segurança primeiro:

DQN
DDQN (Double DQN)
PPO
A2C

Eles também testaram diferentes "fatores de desconto". Pense nisso como o quanto a IA se importa com o futuro versus o agora.

Desconto Alto: "Estou pensando em todo o jogo."
Desconto Baixo: "Preciso fazer a jogada certa agora mesmo."

O Vencedor: O jogador DDQN, usando o Baixo Desconto (focando na ação imediata) e a Recompensa Assimétrica (a penalidade pesada por perder bandidos), foi o campeão.

5. Os Resultados: Uma Melhoria Massiva

Quando colocaram a IA vencedora à prova contra os métodos antigos:

O Melhor Antigo: Deixava passar cerca de 2,47% dos ataques de ransomware.
O Novo SA-DRL: Deixou passar apenas 0,80% dos ataques.

Isso é uma redução de 67,6% nos ataques de ransomware perdidos. A IA tornou-se muito melhor em detectar as ameaças reais. Ela fez isso mantendo o número de alarmes falsos (pegar padeiros inocentes) muito baixo e, de fato, treinando mais rápido do que outros modelos complexos.

6. A Regra "Segurança-Ótima"

Finalmente, as autoras introduziram uma nova regra para escolher o melhor modelo, chamada SOMS.

Regra Antiga: "Escolha o modelo com a maior pontuação geral."
Nova Regra SOMS: "Primeiro, escolha o modelo que deixa passar menos bandidos. Depois, olhe para a pontuação. Depois, olhe para a velocidade dele."

Isso garante que o modelo escolhido seja construído para a segurança em primeiro lugar, não apenas para parecer bom em uma planilha.

Resumo

O artigo mostra que, ao mudar a forma como "pagamos" nossa IA pelos seus erros — tornando a penalidade por perder um ataque de ransomware muito mais pesada do que a penalidade por um alarme falso — podemos construir sistemas de segurança muito melhores para proteger nossos dados. O modelo DDQN com esta nova mentalidade "Consciente de Segurança" é a ferramenta mais eficaz que encontraram, capturando significativamente mais ransomware do que os métodos anteriores, mantendo-se rápido e eficiente.

Resumo Técnico: SA-DRL para Detecção de Ransomware

Definição do Problema
O ransomware representa uma ameaça crítica à infraestrutura moderna, com custos de recuperação atingindo US$ 1,53 milhão globalmente em 2025 e ataques ocorrendo a cada dois segundos. Embora os detectores de aprendizado de máquina (ML) e aprendizado profundo (DL) tenham alcançado alta precisão (frequentemente >98%), eles tipicamente dependem de funções de perda simétricas (ex: entropia cruzada binária) que tratam falsos negativos (FN) e falsos positivos (FP) como igualmente custosos. Na realidade operacional, essa suposição é falha: um FN permite a criptografia irreversível de dados e o comprometimento do sistema, enquanto um FP resulta em uma quarentena reversível ou revisão por um analista. Além disso, as aplicações existentes de Aprendizado por Reforço Profundo (DRL) na detecção de ransomware têm utilizado majoritariamente características estáticas (ex: cabeçalhos PE) ou estruturas de recompensa simétricas, falhando em incorporar a assimetria de custo operacional diretamente no objetivo de aprendizado.

Metodologia
Os autores propõem o SA-DRL (Security-Aware Deep Reinforcement Learning), um framework que modela a detecção de ransomware como um Processo de Decisão de Markov (MDP) de horizonte finito utilizando telemetria comportamental de tempo de execução (runtime).

Conjunto de Dados e Ambiente:
- Um conjunto de dados equilibrado de 2.000 amostras de executáveis Windows (1.000 ransomware distribuídos em 30 famílias, 1.000 benignos) foi construído.
- As amostras foram executadas no sandbox ANY.RUN (Windows 11) para extrair 103 características comportamentais (chamadas de API, modificações de registro, operações de arquivo, atividade de rede, uso de CryptoAPI).
- O ambiente emprega permutação aleatória ao nível do episódio, embaralhando a ordem das amostras no início de cada episódio para eliminar o viés de ordem fixa e induzir um efeito implícito de ponderação adaptativa de amostras.
Design de Recompensa:
- Base ( $R_1$ ): Uma recompensa simétrica (+1 para acerto, -1 para erro).
- Segurança-Consciente ( $R_2$ ): Uma função de recompensa assimétrica projetada para refletir os custos operacionais. Previsões corretas recebem +1. Falsos Positivos recebem -0,5, enquanto Falsos Negativos recebem uma penalidade mais pesada de -2,0 (uma razão de custo de 4:1). Esta estrutura guia explicitamente o agente para priorizar a minimização de detecções perdidas.
Agentes e Treinamento:
- Quatro agentes de DRL foram avaliados: DQN, DDQN, PPO e A2C.
- Os experimentos cobriram quatro fatores de desconto ( $\gamma \in \{0,1, 0,5, 0,9, 0,99\}$ ), duas funções de recompensa, validação cruzada estratificada de cinco dobras e três sementes aleatórias, resultando em 480 execuções de treinamento controladas.
- Modelos de base supervisionada (MLP, CNN1D, Regressão Logística) foram treinados com o mesmo peso de classe para comparação.
Seleção de Modelo (SOMS):
- O estudo introduz o critério de Seleção de Modelo Otimizado para Segurança (SOMS). Diferente da seleção padrão baseada em acurácia agregada, o SOMS utiliza uma otimização lexicográfica:
  1. Minimizar a Taxa de Falsos Negativos (FNR).
  2. Maximizar o F1-Score.
  3. Minimizar o Tempo de Treinamento.

Principais Contribuições

Integração de Recompensa Assimétrica: O primeiro framework a incorporar a assimetria de custo FN–FP diretamente no sinal de recompensa de DRL para detecção comportamental de ransomware, indo além de ajustes de limiar post-hoc.
Avaliação Abrangente: Uma comparação fatorial controlada de quatro algoritmos de DRL através de múltiplas estruturas de recompensa e hiperparâmetros (480 execuções), fornecendo validação estatística robusta.
Critério SOMS: Um protocolo de seleção de modelo formal, focado em segurança, que prioriza a minimização de ataques perdidos sobre a acurácia agregada.
Ponderação Adaptativa Implícita: Utilização de permutação aleatória ao nível do episódio para enfatizar naturalmente amostras difíceis através de atualizações de diferença temporal impulsionadas pela recompensa assimétrica, sem necessidade de computação explícita de peso por amostra.
Validação Estatística: Uso de testes de Friedman e Wilcoxon para confirmar que as melhorias de desempenho são estatisticamente significativas e não decorrentes de variância estocástica.

Resultos Experimentais

Melhor Configuração: O agente DDQN treinado com a recompensa assimétrica ( $R_2$ ) e um baixo fator de desconto ( $\gamma = 0,1$ ) foi selecionado como ideal pelo SOMS.
Métricas de Desempenho: Esta configuração alcançou um FNR de 0,0080 (0,80%), um F1-score de 0,9915 e um AUC de 0,998.
Melhoria Comparativa: Comparado à melhor base supervisionada (MLP com FNR = 0,0247), a configuração SA-DRL reduziu as detecções perdidas em 67,6%.
Impacto da Recompensa: Em todas as configurações, a recompensa assimétrica ( $R_2$ ) reduziu o FNR médio em 43% em relação à base simétrica ( $R_1$ ), com um aumento negligível na Taxa de Falsos Positivos (0,20 pontos percentuais).
Sensibilidade Algorítmica: Métodos baseados em valor (DDQN, DQN) demonstraram maior estabilidade e menor FNR do que métodos de gradiente de política (PPO, A2C), particularmente sob fatores de desconto mais altos. Fatores de desconto menores ( $\gamma=0,1, 0,5$ ) mostraram-se mais eficazes para esta tarefa de classificação crítica de segurança.

Significância e Alegações
O artigo afirma que o SA-DRL representa uma mudança de paradigma na detecção de ransomware ao alinhar o objetivo de aprendizado diretamente com as prioridades operacionais de segurança. Os autores sustentam que:

O design da função de recompensa é um mecanismo crítico para a tomada de decisão sensível à segurança, e não meramente um parâmetro de ajuste.
O framework proposto é o primeiro a combinar características comportamentais de tempo de execução, design de recompensa assimétrica e um critério formal de seleção focado em segurança (SOMS) com validação estatística rigorosa.
Os resultados demonstram que o aprendizado por reforço consciente de custos pode efetivamente minimizar o tipo de erro mais danoso (detecção perdida de ransomware) enquanto mantém alto desempenho de detecção geral, ofereando uma solução mais robusta para ambientes de alto risco do que as abordagens tradicionais de perda simétrica.