Graph Neural Networks for Provenance-Based APT Detection under a Temporal Transfer Framework: A Review

Nas camadas ocultas dos sistemas de computação, uma guerra silenciosa é travada constantemente. Atacantes conhecidos como ameaças persistentes avançadas não derrubam servidores ou roubam dados em um único surto barulhento. Em vez disso, eles se movem lentamente, como um ladrão que entra em uma casa, espera a família dormir e depois se move silenciosamente de cômodo em cômodo, abrindo gavetas e copiando documentos ao longo de dias ou semanas. Para capturar um intruso tão paciente, especialistas em segurança observam o histórico do sistema, ou proveniência. Este é um registro de cada ação que um computador realiza: qual programa abriu qual arquivo, qual processo enviou uma mensagem para outro e quando esses eventos aconteceram. Ao conectar esses pontos, os especialistas podem ver o caminho invisível que um atacante deixa para trás. Durante anos, pesquisadores tentaram usar a inteligência artificial para ler esses históricos automaticamente, esperando detectar os padrões sutis de um ataque antes que seja tarde demais.

Uma nova revisão deste campo, no entanto, sugere que os sucessos atuais podem ser uma ilusão. Os pesquisadores examinaram dezenas de estudos que alegavam ter construído modelos de inteligência artificial capazes de detectar essas intrusões de longo prazo com precisão quase perfeita. Eles descobriram que, embora esses modelos tenham um desempenho brilhante no laboratório, muitas vezes falham em considerar o fator mais crítico na segurança do mundo real: o tempo. Os estudos revisados testaram seus modelos majoritariamente em dados que já estavam completos, permitindo que a inteligência artificial visse eventos que ainda não haviam ocorrido no momento em que um alerta deveria ter sido emitido. É um pouco como avaliar um aluno em um exame de história permitindo que ele leia o gabarito antes de se sentar para escrever. Quando os pesquisadores olharam mais de perto, descobriram que os modelos não estavam necessariamente aprendendo a reconhecer o comportamento do atacante; eles estavam frequentemente apenas memorizando os detalhes específicos dos dados de teste ou contando com informações que não estariam disponíveis em uma situação real e em tempo real.

A revisão, conduzida por uma equipe de cientistas da computação, sintetizou descobertas de vinte e nove estudos de detecção diferentes publicados entre 2020 e 2026. Esses estudos utilizaram um tipo de inteligência artificial chamado rede neural de grafos, que é projetada para entender relacionamentos entre coisas, de forma muito semelhante a um mapa mostrando como cidades são conectadas por estradas. Neste contexto, as "cidades" são processos e arquivos de computador, e as "estradas" são as ações que os conectam. Os pesquisadores organizaram esses estudos em uma estrutura clara para ver como eles lidavam com a passagem do tempo. Eles descobriram que, embora dezenove dos estudos utilizassem essas redes de grafos avançadas, muito poucos testaram de fato o quão bem os modelos funcionavam em dados de uma data posterior. No mundo real, um sistema de segurança é treinado com dados do mês passado e deve detectar ataques que acontecem hoje. A revisão descobriu que a maioria dos estudos não simulou esse atraso. Em vez disso, eles treinaram e testaram seus modelos no mesmo lote de dados, muitas vezes misturando a linha do tempo para que o modelo pudesse "espiar" eventos futuros para tomar sua decisão.

Uma das descobertas mais significativas foi que os altos números de precisão relatados nesses estudos provavelmente não se traduzem para o desempenho no mundo real. Os pesquisadores definiram dois níveis de teste para provar isso. O primeiro nível pergunta se um modelo, uma vez treinado e congelado, ainda consegue detectar ataques quando lhe são apresentados novos dados de um período posterior. O segundo nível pergunta se o modelo pode se adaptar e melhorar à medida que vê novos dados. A revisão descobriu que, embora cinco estudos mencionassem formas de adaptar seus modelos, nenhum deles realmente testou essas adaptações em dados de um período posterior. Além disso, muitos estudos usaram um método de rotulagem de ataques que criou uma armadilha oculta. Se os pesquisadores marcaram um arquivo como "ruim" porque ele estava conectado a um arquivo conhecido como ruim, a inteligência artificial poderia simplesmente aprender a procurar por essa conexão, em vez do comportamento real do ataque. Isso significava que o modelo estava passando no teste por reconhecer as regras do teste, e não por compreender a ameaça.

A equipe também apontou uma falha específica na forma como os dados foram preparados. Em muitos estudos, a inteligência artificial recebeu uma imagem completa do histórico do sistema, incluindo eventos que ocorreram horas ou dias após o momento em que um alerta deveria ter sido emitido. Isso é conhecido como viés de antecipação (look-ahead bias). Para que um sistema de segurança seja útil, ele deve tomar uma decisão baseada apenas no que aconteceu até aquele exato segundo. A revisão descobriu que muito poucos estudos relataram se haviam interrompido os dados no momento correto. Sem esse corte, os modelos estavam essencialmente sendo testados em um cenário que não existe na realidade. Os pesquisadores também observaram que os conjuntos de dados usados para esses testes eram frequentemente pequenos e repetitivos, contendo apenas algumas semanas de dados e um punhado de cenários de ataque. Isso limitava a capacidade de observar como os modelos lidariam com as mudanças lentas e sutis no comportamento do computador que ocorrem ao longo de meses ou anos.

Para corrigir esses problemas, os autores propuseram um novo conjunto de padrões para como esses estudos devem ser conduzidos. Eles criaram um checklist de vinte e um itens que os pesquisadores devem seguir para provar que seus modelos funcionam em tempo real. Isso inclui construir o grafo de dados apenas até o momento da decisão, travar as configurações do modelo antes de testá-lo em novos dados e relatar quantos alarmes falsos o sistema geraria em um ambiente de escritório real. Eles argumentaram que um modelo que gera alarmes falsos excessivos é inútil, não importa o quão preciso seja ao detectar ataques, porque as equipes de segurança ficariam sobrecarregadas. A revisão concluiu que, até que esses novos padrões sejam seguidos, as alegações de detecção quase perfeita no campo da segurança baseada em proveniência devem ser vistas com ceticismo. Os modelos mostraram promessa, mas a evidência de que eles podem realmente proteger sistemas no mundo real, contra atacantes que mudam suas táticas ao longo do tempo, ainda não foi demonstrada. O caminho a seguir exige uma mudança de perseguir pontuações altas em testes estáticos para provar que esses sistemas podem sobreviver ao teste do tempo.