ExAI5G: A Logic-Based Explainable AI Framework for Intrusion Detection in 5G Networks

1. O Problema

A implementação de redes 5G e a expansão da Internet das Coisas (IoT) aumentaram drasticamente a superfície de ataque para intrusões cibernéticas. Embora os Sistemas de Detecção de Intrusão (IDS) baseados em Deep Learning (aprendizado profundo) ofereçam altas taxas de detecção, eles operam frequentemente como "caixas-pretas" (black-box). A falta de transparência nessas decisões cria uma lacuna de confiança para os operadores de segurança, dificultando a resposta operacional eficaz. Em domínios críticos como a segurança 5G, uma melhoria marginal nos métricas de desempenho não justifica o risco de um sistema inexplicável, onde os analistas não podem verificar ou entender a lógica por trás de um alerta.

2. Metodologia (Framework ExAI5G)

O artigo propõe o ExAI5G, um framework que prioriza a interpretabilidade sem sacrificar significativamente o desempenho. A abordagem segue quatro etapas principais:

1. Modelo IDS Baseado em Transformer:

   • Um modelo de rede neural do tipo TabTransformer é treinado para detectar intrusões em tráfego de rede 5G/IoT.
   • O modelo processa 29 características de pacotes e fluxos (camadas HTTP, TCP, UDP, IP e Frame).
   • Utiliza Focal Loss com pesos de classe para lidar com o desequilíbrio severo entre tráfego benigno e ataques.
   • Desempenho Bruto: Alcança 99,9% de precisão e um macro F1-score de 0,854.

2. Atribuição de Importância (Integrated Gradients):

   • Para entender quais características impulsionam as decisões do Transformer, utiliza-se a técnica de Integrated Gradients (IG).
   • Isso gera vetores de atribuição que quantificam a importância de cada característica de entrada para uma previsão específica.

3. Extração de Regras Lógicas (Surrogate Decision Tree):

   • Um modelo de Decision Tree (Árvore de Decisão) é treinado como um "surrogato" (substituto) para aproximar as previsões do Transformer.
   • A árvore é limitada em profundidade (máximo 4) para garantir interpretabilidade humana.
   • A partir das folhas da árvore, extraem-se regras lógicas "se-então" (if-then) que descrevem as condições de gatilho para cada classe de ataque.
   • Fidelidade: As regras extraídas mantêm uma fidelidade de 99,7% em relação ao modelo original, cobrindo 100% dos casos de teste.

4. Geração e Validação de Explicações via LLM:

   • Regras lógicas e atribuições de características são convertidas em linguagem natural usando Grandes Modelos de Linguagem (LLMs).
   • Método de Avaliação Inovador: O paper introduz um esquema de validação de três partes para avaliar a qualidade das explicações geradas por LLMs:
     • Semelhança Semântica: Compara a explicação em texto com a regra lógica original.
     • Fidelidade de Atribuição: Verifica se a linguagem descritiva (ex: "alto", "baixo") corresponde matematicamente ao sinal da pontuação de atribuição (positivo/negativo).
     • Score de Acionabilidade (Actionability): Um LLM avaliador (Llama3.3:70b) pontua a utilidade prática da explicação para um analista de segurança (escala de 1 a 5).

3. Principais Contribuições

• Framework Híbrido: Integração de um IDS de Deep Learning de alto desempenho com técnicas de XAI baseadas em lógica (regras extraídas) e explicações em linguagem natural.
• Validação Quantitativa de Explicações: Proposta de uma nova metodologia para avaliar automaticamente a qualidade, fidelidade e acionabilidade de explicações geradas por LLMs, superando a dependência apenas de métricas de precisão.
• Comparação Direta: Demonstração de que é possível obter um sistema transparente e altamente preciso, evitando o compromisso entre desempenho e interpretabilidade.
• Estudo com Especialistas: Uma avaliação piloto com dois analistas de segurança que validou a correlação entre as métricas automáticas (LLM-as-judge) e a percepção humana de qualidade.

4. Resultados Chave

• Desempenho de Detecção: O sistema alcançou 99,9% de precisão e um macro F1-score de 0,854 em um conjunto de dados de intrusão 5G/IoT, competindo eficazmente com modelos de ensemble opacos (como Random Forest e XGBoost).
• Interpretabilidade: O sistema extraiu 16 regras lógicas concisas que explicam o comportamento do modelo com 99,7% de fidelidade.
• Qualidade das Explicações (LLM):
  • Modelos como Qwen2.5:14b e Phi4:14b destacaram-se, alcançando pontuações de fidelidade de atribuição próximas a 0,99 e scores de acionabilidade de 4,6 e 4,5 (em uma escala de 5), respectivamente.
  • As explicações foram capazes de justificar alertas e sugerir tipos de ataque ou próximos passos de investigação.
• Eficiência Computacional: A latência de inferência foi de 2,48 ms por fluxo em CPU, permitindo implantação em tempo real em ambientes 5G.
• Validação Humana: O estudo com especialistas confirmou que as explicações geradas são compreensíveis e acionáveis, embora os avaliadores humanos tendam a ser mais conservadores que os avaliadores automáticos (LLMs) ao pontuar a "fidelidade".

5. Significado e Conclusão

O trabalho ExAI5G demonstra que, em cenários de segurança crítica como redes 5G, a transparência não deve ser sacrificada em prol de ganhos marginais de desempenho. O framework oferece uma alternativa confiável aos modelos de "caixa-preta", permitindo que os operadores de segurança:

1. Verifiquem a lógica por trás de um alerta através de regras lógicas claras.
2. Ajam com base em explicações em linguagem natural que são fiéis aos dados e acionáveis.
3. Construam confiança nos sistemas de IA, facilitando a conformidade e a depuração.

O artigo conclui que o IDS mais eficaz para domínios críticos não é necessariamente aquele com a maior pontuação F1 isolada, mas sim aquele cujo desempenho é acompanhado pela capacidade de ser compreendido, verificado e confiável pelos humanos.