A Multi-Seed Evaluation of Explanation Faithfulness and Stability under Adversarial Evasion in IoT/IIoT Intrusion Detection

Nas camadas ocultas do mundo moderno, bilhões de dispositivos inteligentes — de sensores de fábrica a termostatos domésticos — conversam constantemente entre si. Esta vasta rede, conhecida como Internet das Coisas, é o sistema nervoso da nossa infraestrutura digital. Mas, como qualquer sistema nervoso, ela é vulnerável a interferências. Hackers podem enviar sinais sutis e calculados, projetados para enganar o software de segurança que monitora esses dispositivos, fazendo com que um ataque perigoso pareça um ruído de fundo inofensivo. Durante anos, especialistas em segurança confiaram na inteligência artificial para detectar esses intrusos. No entanto, um novo problema surgiu: quando esses sistemas de IA sinalizam uma ameaça, eles frequentemente fornecem uma explicação do porquê tomaram essa decisão. A questão crítica é se essa explicação permanece honesta quando a IA está sendo ativamente enganada. Se um hacker consegue ludibriar o sistema para ignorar um ataque, a explicação do sistema também se torna uma mentira ou ela ainda aponta para a verdade?

Uma equipe de pesquisadores da Daffodil International University partiu para testar a honestidade e a confiabilidade dessas explicações de IA sob fogo. Eles focaram em dois métodos populares usados para explicar decisões de IA, conhecidos como SHAP e LIME. Essas ferramentas atuam como um holofote, destacando quais partes de um sinal de rede — como o tamanho de um pacote de dados ou a duração de uma conexão — fizeram a IA soar um alarme. Os pesquisadores queriam saber se esses holofotes permaneceriam estáveis e precisos quando os dados de entrada fossem sutilmente alterados por um hacker, ou se as explicações oscilariam e apontariam na direção errada. Para obter uma resposta verdadeiramente confiável, eles evitaram o erro comum de testar apenas uma versão de um modelo de IA. Em vez disso, treinaram vinte versões diferentes do mesmo sistema de segurança, cada uma começando com uma configuração aleatória ligeiramente diferente, para garantir que suas descobertas não fossem apenas um acidente de sorte de uma sessão de treinamento específica.

Os pesquisadores submeteram esses sistemas a uma série rigorosa de testes usando dados do mundo real de duas grandes coleções de tráfego de rede. Eles simularam três tipos de ataques: um ataque amplo e irrestrito que altera os dados de formas que uma rede real jamais produziria; um ataque mais realista que altera apenas números que o atacante pode controlar; e um ataque altamente restrito que respeita todas as regras físicas de como os pacotes de dados são construídos. Eles descobriram que os ataques irrestritos, que frequentemente produzem valores de dados impossíveis, como um pacote com um número fracionário de bytes, eram majoritariamente um alarme falso. Quando os pesquisadores forçaram esses registros impossíveis a parecerem dados reais e válidos, a taxa de sucesso dos ataques contra os modelos de redes neurais caiu drasticamente. No entanto, os modelos baseados em árvores, que funcionam de forma diferente, foram mais vulneráveis a esses truques de aparência válida.

A descoberta mais impressionante diz respeito às próprias explicações. Quando os modelos de IA foram atacados, o método SHAP continuou a fornecer explicações fiéis e estáveis, refletindo consistentemente o comportamento do modelo mesmo quando a decisão mudava. Em contraste, o método LIME provou ser muito menos confiável. Sob ataque, as explicações do LIME frequentemente mudavam tanto quanto quando o sistema estava apenas operando normalmente, sugerindo que suas mudanças eram majoritariamente ruído aleatório, em vez de um reflexo verdadeiro do ataque. De fato, em cada uma das vinte sessões de treinamento, o SHAP superou o LIME em precisão e estabilidade. Os pesquisadores também descobriram que a escolha do "limiar de alarme" de um sistema de segurança — o ponto no qual ele decide soar o alerta — importa mais do que o próprio modelo. Um sistema ajustado para ser muito sensível pode detectar quase todos os ataques, mas gerar tantos alarmes falsos que as equipes de segurança ficam sobrecarregadas, enquanto uma configuração mais rigorosa pode perder ataques, mas manter o ruído baixo.

Talvez a descoberta mais sóbria seja que nenhum sistema de segurança é invencível. Em um dos conjuntos de dados, até mesmo as redes neurais mais avançadas puderam ser quase inteiramente enganadas por um hacker que simplesmente adicionou preenchimento de dados extras a um pacote, uma técnica que custa muito pouco, mas ignora a defesa inteira, com os modelos detectando, no máximo, 3% de tais ataques. Os modelos baseados em árvores foram mais robustos, mas um ataque inteligente e direcionado, projetado especificamente para sua estrutura, ainda poderia evitar o sistema em uma parte significativa dos casos. O estudo conclui que, embora possamos construir sistemas de IA que expliquem seu próprio raciocínio, essas explicações são apenas tão confiáveis quanto a capacidade do sistema de resistir à manipulação. A pesquisa fornece um roteiro claro de como testar esses sistemas no futuro, enfatizando que devemos olhar além das simples pontuações de precisão e examinar como as explicações se sustentam quando o sistema está sob pressão genuína. As ferramentas que usamos para entender nossas defesas digitais devem ser tão resilientes quanto as próprias defesas.