Bridging Explanation and Operations: A Systematic Review and Taxonomy of XAI-Enabled Cybersecurity Detection

No mundo moderno da defesa digital, as equipes de segurança não dependem mais apenas de uma lista estática de comportamentos maliciosos conhecidos para capturar atacantes. Em vez disso, elas recorreram à inteligência artificial, sistemas que aprendem com vastas quantidades de tráfego de rede para identificar padrões que sinalizam uma violação. Esses sistemas são incrivelmente bons em encontrar ameaças, muitas vezes identificando ataques complexos que especialistas humanos poderiam deixar passar. No entanto, esse poder vem com um custo: os sistemas de aprendizado mais avançados operam como caixas pretas. Eles podem dizer a um analista de segurança que um evento é perigoso, mas não conseguem explicar facilmente o porquê. Em um campo onde um alarme falso desperdiça um tempo precioso e uma ameaça perdida pode causar um desastre, saber a razão por trás de uma decisão é tão importante quanto a própria decisão. Essa necessidade de clareza deu origem a um campo chamado inteligência artificial explicável, que visa abrir a caixa preta e mostrar a lógica por trás das escolhas da máquina.

Uma equipe de pesquisadores de universidades de Chipre, Noruega e Grécia estabeleceu recentemente o objetivo de mapear o estado atual deste campo especificamente para a cibersegurança. Eles conduziram uma revisão sistemática massiva de centenas de estudos publicados entre 2020 e 2026, analisando como essas ferramentas de explicação estão sendo usadas para proteger redes, dispositivos e sistemas industriais. O trabalho deles, intitulado "Bridging Explanation and Operations" (Unindo Explicação e Operações), não apenas lista novas técnicas; ele disseca como essas ferramentas estão sendo realmente construídas, testadas e usadas no mundo real. Os pesquisadores descobriram que, embora a tecnologia tenha avançado significamente, permanece uma lacuna crítica entre a capacidade de gerar uma explicação e a capacidade de confiar nela o suficiente para agir em um centro de segurança ao vivo.

Os pesquisadores examinaram estudos que cobrem uma ampla gama de campos de batalha digitais, desde os sistemas de detecção de intrusão que guardam redes corporativas até os sensores que protegem fábricas inteligentes e os dispositivos na Internet das Coisas. Eles organizaram suas descobertas em um framework claro, observando quatro áreas principais: o tipo específico de problema de segurança sendo resolvido, a arquitetidade de aprendizado usada para resolvê-lo, o método escolhido para explicar a decisão e como os resultados foram avaliados. O que emergiu foi um cenário dominado por uma abordagem específica. A maioria dos pesquisadores utiliza um modelo de aprendizado de máquina altamente preciso e complexo e, após ele ter terminado seu trabalho, anexa uma ferramenta separada para explicar suas decisões. Isso é conhecido como um método post-hoc, onde a explicação é adicionada como uma camada de tinta depois que a casa foi construída. As ferramentas mais comuns para este trabalho são duas técnicas específicas que calculam quais pontos de dados foram mais importantes para a decisão final. Embora essa abordagem permita alta precisão, os pesquisadores observaram que ela frequentemente trata a explicação como um pensamento tardio, em vez de uma parte integrante do design do sistema.

A revisão também destacou um desequilíbrio significativo na forma como esses sistemas são testados. Na grande maioria dos estudos analisados, os pesquisadores focaram quase inteiramente em quão bem o sistema detectava ataques, usando pontuações padrão como precisão e taxas de erro. Pouquíssimos estudos foram além para testar a qualidade das próprias explicações. Os pesquisadores apontaram que uma explicação pode parecer convincente, mas ser fundamentalmente errada, instável ou facilmente enganada por um atacante astuto. Eles descobriram que propriedades como a estabilidade de uma explicação — se ela fornece a mesma razão para ataques semelhantes — e sua resistência à manipulação eram raramente medidas. No ambiente de alto risco da cibersegurança, onde adversários tentam ativamente enganar sistemas de detecção, uma explicação que pode ser manipulada é um passivo perigoso. O artigo sugere que o campo está atualmente focado demais em provar que o detector funciona e pouco em provar que a explicação é confiável.

Outra descoberta importante diz respeito ao uso prático dessas ferramentas por analistas de segurança humanos. A revisão mostrou que, embora muitos artigos produzam gráficos e diagramas coloridos para mostrar por que um alerta foi levantado, muito poucos testaram de fato se esses visuais ajudaram um analista humano a tomar uma decisão melhor ou mais rápida. Os pesquisadores observaram que, em centros de operações de segurança do mundo real, os analistas são sobrecarregados com alertas e devem fazer julgamentos rápidos. Uma explicação que é tecnicamente correta, mas excessivamente complexa ou lenta para processar, aumenta o fardo em vez de aliviá-lo. O estudo descobriu que a pesquisa atual frequentemente falha em considerar a carga cognitiva sobre o usuário humano ou o tempo necessário para gerar a explicação, o que pode ser crítico quando uma ameaça está se desenrolando em tempo real.

Os autores também observaram que o campo depende fortemente de um pequeno conjunto de conjuntos de dados padrão para testar esses sistemas. Embora esses conjuntos de dados compartilhados permitam que os pesquisadores comparem seus resultados, a revisão sugere que essa prática pode estar criando uma falsa sensação de segurança. Sistemas que performam perfeitamente nesses conjuntos de dados específicos e bem conhecidos muitas vezes enfrentam dificuldades quando confrontados com a realidade desordenada e imprevisível de uma rede ao vivo. Os pesquisadores argumentaram que, para que essas ferramentas sejam verdadeiramente úteis, elas devem ser testadas sob condições realistas, incluindo cenários onde os dados são imperfeitos ou o ambiente está em constante mudança. Eles também pediram mais pesquisas em sistemas onde a capacidade de explicar é construída dentro do modelo desde o início, em vez de ser adicionada posteriormente, pois isso poderia levar a ferramentas de segurança mais confiáveis e robustas.

Em última análise, esta revisão abrangente serve como um roteiro para o futuro da defesa digital. Ela confirma que fizemos grandes progressos ao ensinar máquinas a encontrar ameaças, mas ainda não resolvemos totalmente o problema de ensiná-las a explicar a si mesmas de uma forma que os humanos possam confiar e usar efetivamente. Os pesquisadores concluem que o próximo passo não é apenas construir detectores mais inteligentes, mas construir sistemas onde a explicação seja tão segura, estável e confiável quanto a própria detecção. Ao mudar o foco de simplesmente gerar explicações para validar rigorosamente essas explicações contra ameaças do mundo real e necessidades humanas, o campo pode avançar em direção a um futuro onde a inteligência artificial se torne uma parceira verdadeiramente transparente e dependente na proteção do nosso mundo digital.