Multi-LLM Consensus Framework for Evaluating Banking-Sector NIDS Dataset Coverage of MITRE ATT&CK Techniques

Imagine a internet como uma cidade enorme e movimentada, onde os bancos são os cofres mais importantes. Para manter esses cofres seguros, guardas de segurança chamados Sistemas de Detecção de Intrusão de Rede (NIDS) patrulham as ruas digitais, vigiando qualquer um que tente invadir. Esses guardas são treinados usando "exercícios de prática" — enormes coleções de dados de ataques falsos chamados conjuntos de dados (datasets). O problema é que a maioria desses exercícios é genérica. Eles ensinam os guardas a deter um batedor de carteiras comum ou um ladrão de carros, mas raramente mostram como deter um mestre do crime que sabe exatamente como hackear o sistema especial de transferência de dinheiro de um banco ou enganar um caixa eletrônico. É como treinar um bombeiro apenas para incêndios na cozinha e depois enviá-lo para apagar uma explosão em uma usina química; ele pode saber usar uma mangueira, mas não saberá o que fazer quando os produtos químicos começarem a reagir. Este artigo faz uma pergunta simples, mas crítica: nossos atuais exercícios de treinamento estão realmente preparando esses guardas digitais para os ataques específicos e sorrateiros que visam os bancos, ou estão apenas fazendo os guardas se sentirem confiantes enquanto os deixam vulneráveis?

Os autores deste artigo decidiram investigar essa lacuna construindo uma nova maneira mais inteligente de testar esses conjuntos de dados de treinamento. Em vez de apenas contar quantos "vilões" há em um conjunto de dados, eles usaram um método que imita como os sensores de segurança do mundo real realmente funcionam. Eles começaram com uma lista massiva de 210 maneiras diferentes pelas quais hackers poderiam atacar um banco, extraídas de um guia famoso chamado MITRE ATT&CK. No entanto, eles sabiam que os sensores de segurança reais têm limites: eles não conseguem ver dentro de mensagens criptografadas (como uma carta trancada), não conseguem ver o que está acontecendo dentro do cérebro de um computador (como um arquivo sendo deletado) e só podem observar o tráfego passivamente, como uma câmera em um poste, sem poder interrompê-lo.

Para descobrir quais desses 210 ataques um sensor poderia realmente ver, os pesquisadores não perguntaram apenas a um especialista. Eles usaram um "mecanismo de consenso" composto por quatro poderosos modelos de inteligência artificial. Pense nisso como um painel de quatro detetives superinteligentes que precisam concordar se um ataque específico deixa um rastro visível. Se três de quatro detetives dissessem "Sim, podemos ver isso", contava como detectável. Se eles discordassem, a equipe foi cuidadosa e assumiu que o ataque era invisível para o sensor. Essa regra rigorosa filtrou a lista para apenas 68 ataques que um sensor bancário real poderia realisticamente detectar.

Em seguida, eles pegaram esses 68 ataques bancários "detectáveis" e verificaram cinco conjuntos de dados de treinamento populares para ver quão bem eles cobriam essas ameaças específicas. Os resultados foram reveladores. Eles descobriram que o conjunto de dados chamado UNSW-NB15 foi o melhor do grupo, cobrindo cerca de 82,2% dos ataques bancários importantes. No entanto, havia uma pegadinha: apenas 18,4% dessa cobertura era uma correspondência direta. O restante era apenas uma pista vaga, como ver fumaça, mas não saber se vem de um incêndio ou de um churrasco. Por outro outro lado, um conjunto de dados chamado CIC-DDoS2019, que é frequentemente usado para testes, foi um desastre para a segurança bancária. Ele perdeu 89,9% dos comportamentos bancários essenciais, deixando um enorme ponto cego. Acontece que este conjunto de dados é ótimo para detectar grandes e barulhentos ataques de negação de serviço, mas é completamente inútil para os truques sutis e de múltiplas etapas que os hackers usam para roubar dinheiro.

O artigo sugere que confiar nesses conjuntos de dados antigos e genéricos dá aos bancos uma "falsa sensação de segurança". Só porque um sistema de segurança pontua alto em um teste genérico, não significa que ele funcionará quando um hacker real tentar manipular uma transferência de dinheiro via SWIFT ou sequestrar um caixa eletrônico. Os autores concluem que precisamos urgentemente de novos dados de treinamento que sejam construídos especificamente para bancos, incluindo as linguagens e protocolos únicos que eles utilizam. Até lá, os guardas digitais podem ser muito bons em detectar ladrões comuns, mas provavelmente serão pegos desprevenidos pelos assaltos sofisticados que realmente ameaçam o sistema financeiro global.