💻 computer science

ML Defender (aRGus NDR): An Open-Source Embedded ML NIDS for Botnet and Anomalous Traffic Detection in Resource-Constrained Organizations

O artigo apresenta o ML Defender (aRGus NDR), um sistema de detecção de intrusão em rede de código aberto e de baixo custo, desenvolvido em C++20 com eBPF/XDP e um classificador Random Forest embutido, que alcança alta precisão na detecção de botnets e tráfego anômalo em hardware comercial, reduzindo drasticamente os falsos positivos e mantendo baixa latência para organizações com recursos limitados.

Autores originais: Alonso Isidoro Román

Publicado 2026-04-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alonso Isidoro Román

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que a internet é como um sistema de circulação sanguínea gigante. Para as empresas grandes, existem "hospitais de elite" com médicos de plantão 24 horas por dia, equipamentos caríssimos e tecnologia de ponta para detectar e curar qualquer doença (vírus, ransomware, ataques) antes que ela se espalhe.

Mas e as pequenas empresas, escolas e hospitais locais? Eles muitas vezes não têm dinheiro para esses "hospitais de elite". Quando um ataque acontece, eles ficam desprotegidos, como se um paciente comum tivesse que lidar com uma infecção grave usando apenas um curativo de papel.

Este trabalho apresenta o ML Defender (aRGus NDR), uma solução que tenta mudar essa realidade. Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O "Sistema Imunológico" que Falha

Os sistemas de segurança atuais (como Snort ou Suricata) funcionam como uma lista de procurados. Eles só conseguem pegar um "ladrão" se já tiverem uma foto dele (uma assinatura conhecida). Se o ladrão mudar de roupa ou usar um disfarce novo (um vírus novo), o sistema não o reconhece e deixa ele entrar.

Além disso, os sistemas que usam Inteligência Artificial (IA) para "adivinhar" o perigo geralmente exigem computadores superpotentes e caros, que pequenas organizações não podem comprar.

2. A Solução: Um "Sistema Imunológico" Inteligente e Barato

O ML Defender é como um sistema imunológico embutido que cabe no bolso.

Barato: Funciona em um computador comum que custa entre 150 e 200 dólares (o preço de um videogame de última geração).
Rápido: Ele não espera a polícia chegar depois do crime. Ele age em microssegundos (milhões de vezes mais rápido que um piscar de olhos).
Inteligente: Em vez de apenas olhar para fotos de ladrões, ele analisa o comportamento. Se alguém começa a correr desenfreadamente pelos corredores da casa (tráfego anormal), o sistema sabe que algo está errado, mesmo que nunca tenha visto aquele "ladrão" antes.

3. Como Funciona: O "Duplo Checagem"

O sistema usa uma estratégia de dois guardas para não errar:

O Guarda Rápido (Detector de Regras): É um guarda que olha para o movimento. Se alguém faz algo estranho (como tentar abrir 100 portas em 1 segundo), ele levanta a mão e grita: "Pare!". Mas, às vezes, ele pode gritar falso (como quando um morador corre para pegar o correio).
O Detetive Especialista (IA Embutida): É um detetive que analisa o guarda. Ele olha para o que o guarda viu e diz: "Espera, isso é apenas o morador pegando o correio. Não é um ataque".
- O Truque: O sistema só bloqueia se ambos acharem que é perigoso, ou se o Detetive confirmar que o Guarda estava certo. Isso evita que o sistema bloqueie coisas normais (falsos positivos).

4. O Resultado: Um "Escudo" que Cabe em Qualquer Lugar

Os testes mostraram que o sistema é incrivelmente preciso:

Ele detectou 100% dos ataques de botnet (exércitos de computadores zumbis) que foram testados.
Ele quase não cometeu erros com tráfego normal (apenas 2 erros em mais de 12 mil eventos, e esses erros foram causados por configurações de laboratório que não existem na vida real).
Ele consome pouquíssima energia e memória, rodando tranquilamente em computadores simples.

5. A História por Trás do Projeto (O "Porquê")

O autor não criou isso apenas por tecnologia. Ele criou por necessidade humana:

Um amigo perdeu todo o seu pequeno negócio porque um vírus de sequestro de dados (ransomware) trancou todos os arquivos.
O autor viu, na TV, um grande hospital em Barcelona ser paralisado por um ataque similar, enquanto ele mesmo estava sendo tratado em um hospital pequeno na Espanha.
A conclusão foi: Se um grande hospital pode cair, um pequeno pode cair ainda mais rápido. E eles não têm dinheiro para se defender.

6. A Metodologia: O "Conselho de Sábios"

Uma parte fascinante do trabalho é como foi feito. O autor trabalhou sozinho, mas usou sete Inteligências Artificiais diferentes (como Claude, ChatGPT, Gemini, etc.) como seus "colegas de equipe".

Ele apresentou ideias para elas e pediu: "Onde isso pode falhar?".
Elas discordaram, debateram e encontraram erros que humanos sozinhos teriam perdido.
Isso criou um método novo chamado "Conselho de Sábios", onde uma pessoa sozinha pode ter acesso a um nível de revisão de qualidade que antes só grandes universidades ou empresas tinham.

Resumo Final

O ML Defender é como dar a cada pequena empresa e hospital um sistema de segurança de nível militar, que cabe em um computador barato, funciona em tempo real e aprende a detectar novos perigos sem precisar de atualizações constantes de "fotos de ladrões".

É uma ferramenta de democratização: a segurança de ponta não deve ser um luxo apenas para os ricos; deve ser um direito básico para quem mais precisa, como escolas e hospitais locais.

Resumo Técnico: ML Defender (aRGus NDR)

1. O Problema

Organizações de pequeno porte, escolas e hospitais são desproporcionalmente afetadas por ransomware e ataques DDoS, mas carecem de recursos financeiros para adquirir soluções de segurança corporativa de ponta. As alternativas de código aberto existentes (como Snort e Suricata) baseiam-se principalmente em correspondência de assinaturas, o que as torna ineficazes contra variantes de ataques desconhecidos (zero-day). Por outro lado, sistemas de detecção baseados em aprendizado de máquina (ML) existentes geralmente exigem infraestrutura pesada (GPUs, nuvem) ou equipes de operações dedicadas, tornando-os inacessíveis para o público-alvo.

O objetivo deste trabalho é preencher essa lacuna: criar um sistema de detecção e resposta de intrusão de rede (NDR) que seja open-source, execute em hardware commodity de baixo custo (150–200 USD) e opere em tempo real com inferência de ML embarcada.

2. Metodologia e Arquitetura

O ML Defender (aRGus NDR) é um sistema escrito em C++20 que implementa um pipeline de seis componentes, projetado para capturar, analisar e bloquear tráfego malicioso sem depender de análise de payload (funcionando mesmo com tráfego criptografado).

Componentes Principais do Pipeline:

Captura de Pacotes (eBPF/XDP): Utiliza o hook XDP para captura de pacotes "zero-copy" antes do stack de rede do kernel, garantindo baixa latência.
Consumidor de Anéis (Ring Consumer): Reconstrói o estado do fluxo bidirecional e extrai 28 características comportamentais (features) por fluxo.
Detector Rápido (Fast Detector): Um motor heurístico baseado em regras (ex: velocidade de IP externo, contagem de conexões SMB, diversidade de portas). Gera um escore contínuo, mas com uma taxa de falsos positivos (FPR) inicial de ~6,61% em tráfego benigno.
Detector de ML (ML Detector): Um classificador Random Forest embarcado (compilado em C++20) que processa as características extraídas. Sua função principal é suprimir os falsos positivos do detector rápido.
Subsistema RAG (Recuperação Aumentada por Geração): Utiliza FAISS e SQLite para indexar eventos e uma LLM local (TinyLlama) para permitir consultas semânticas em tempo real sobre o fluxo de eventos, sem enviar metadados para a nuvem.
Agente de ACL de Firewall: Aplica regras de bloqueio (ipset/iptables) automaticamente ao detectar ameaças confirmadas.

Política de Detecção (Dual-Score):
O sistema utiliza uma política de "Vencedor da Maior Ameaça" (Maximum Threat Wins). O escore final é o máximo aritmético entre o escore do Detector Rápido e o do Detector de ML:
$Score_{final} = \max(Score_{fast}, Score_{ml})$
Isso permite que o ML corrija os falsos positivos da heurística, reduzindo o bloqueio de tráfego legítimo a zero no conjunto de testes.

Metodologia de Desenvolvimento: "Consejo de Sabios"
O artigo destaca uma contribuição metodológica única: o desenvolvimento foi realizado através de uma colaboração estruturada entre um pesquisador independente e sete modelos de linguagem (LLMs) diferentes (Claude, Grok, ChatGPT, DeepSeek, Qwen, Gemini, Parallel.ai).

Princípio: Os modelos atuaram como revisores pares intelectuais, identificando falhas e desafiando suposições.
Test-Driven Hardening (TDH): Uma metodologia derivada dessa colaboração, onde testes são escritos para expor falhas de protocolo (não apenas para especificar funcionalidades), garantindo a correção de sistemas distribuídos críticos. Um exemplo citado é a correção de um erro sutil na derivação de chaves criptográficas (HKDF) que só foi detectado através de testes de integração end-to-end.

3. Resultados e Avaliação

O sistema foi avaliado no ambiente virtualizado (Vagrant/VirtualBox) contra o conjunto de dados CTU-13 Neris (botnet de 2011), que não foi usado no treinamento (os modelos foram treinados com dados sintéticos).

Desempenho de Detecção:
- F1-Score: 0,9985
- Precisão: 0,9969
- Recall: 1,0000 (100% dos ataques detectados)
- Taxa de Falsos Positivos (FPR): 0,0002% (apenas 2 falsos positivos em 12.075 fluxos benignos).
- Nota: Os dois falsos positivos foram identificados como artefatos da interface de rede "host-only" do VirtualBox (tráfego mDNS e broadcast), que não existiriam em um hardware físico real.
Redução de Falsos Positivos: O Detector Rápido sozinho geraria 6,61% de FPR. A adição do Detector de ML reduziu os bloqueios reais de tráfego benigno para zero, uma redução de aproximadamente 500 vezes.
Latência e Desempenho:
- Latência de Inferência: Entre 0,24 µs (DDoS) e 1,06 µs (Ransomware) por fluxo.
- Throughput: O pipeline processou até 34–38 Mbps em testes de estresse (limitado pela emulação da NIC do VirtualBox, não pelo software), com zero perda de pacotes e zero erros em 2,37 milhões de pacotes.
- Recursos: O pipeline completo consome ~3,2 núcleos de CPU e mantém a memória RAM estável em ~1,28 GB.

4. Contribuições Chave

Sistema NDR Embarcado: Demonstra que a inferência de ML pode ser executada em tempo real em hardware commodity barato, sem necessidade de GPUs ou nuvem.
Arquitetura Híbrida: Combinação eficaz de heurísticas rápidas com ML embarcado para minimizar falsos positivos sem sacrificar a velocidade.
Metodologia de Engenharia Colaborativa (Consejo de Sabios): Prova de conceito de que pesquisadores independentes podem acessar revisão de pares de nível sênior através de colaboração estruturada com múltiplos LLMs.
Test-Driven Hardening (TDH): Uma nova abordagem para garantir a segurança de sistemas distribuídos através de testes de regressão intencionais que validam invariantes de protocolo.
Acesso Democrático: O código é totalmente open-source (licença MIT), permitindo que hospitais e pequenas empresas tenham proteção de nível empresarial.

5. Limitações e Trabalhos Futuros

Escopo de Avaliação: Os resultados são baseados em um cenário de botnet de 2011 (Neris). A generalização para ransomware moderno (pós-2020) e tráfego C2 criptografado ainda não foi validada empiricamente.
Conjunto de Dados: O treinamento foi feito com dados sintéticos; a adaptação a padrões de tráfego reais e modernos é necessária.
Implantação: A avaliação foi feita em ambiente virtualizado. O desempenho em bare-metal (hardware físico) é considerado trabalho futuro, embora os resultados atuais sejam considerados limites inferiores conservadores.
Criptografia: A distribuição de sementes criptográficas via etcd (single-node) não é recomendada para produção; negociação ponto-a-ponto está em desenvolvimento.

6. Significado

O ML Defender representa um marco na democratização da segurança cibernética. Ao provar que é possível construir um sistema de detecção de intrusão de alta performance, baseado em ML e de baixo custo, o trabalho oferece uma solução viável para as organizações mais vulneráveis (hospitais, escolas) que historicamente foram deixadas para trás pelas soluções corporativas. Além disso, a metodologia de desenvolvimento proposta desafia o modelo tradicional de pesquisa, sugerindo um novo paradigma onde a inteligência artificial atua como um parceiro de engenharia para pesquisadores independentes.