Enabling Transparent Cyber Threat Intelligence Combining Large Language Models and Domain Ontologies

1. Declaração do Problema

A Inteligência de Ameaças Cibernéticas (CTI) depende da extração de insights acionáveis a partir de registros de sistemas de cibersegurança. No entanto, as metodologias atuais enfrentam desafios significativos:

• Dados Não Estruturados: As entradas de registro são frequentemente não estruturadas, sintaticamente inconsistentes e semanticamente ambíguas, tornando difícil a interpretação automatizada.
• Limitações dos Métodos Tradicionais: Abordagens baseadas em regras ou heurísticas carecem de adaptabilidade a comportamentos de ameaça em evolução e padrões de ataque novos.
• Limitações dos LLMs: Embora os Modelos de Linguagem de Grande Escala (LLMs) mostrem promessa no processamento de linguagem natural, eles frequentemente carecem de precisão em contextos específicos de domínio, sofrem com alucinações e produzem saídas que carecem de coerência estrutural ou adesão estrita a esquemas de cibersegurança.
• Lacuna de Transparência: A extração impulsionada por IA existente frequentemente opera como uma "caixa preta", carecendo da explicabilidade necessária para que analistas humanos confiem e verifiquem os indicadores de ameaça extraídos.

O desafio específico abordado é a necessidade de um método que possa estruturar com precisão, transparência e semanticamente dados de registro não estruturados (particularmente de honeypots) em um formato adequado para raciocínio automatizado e consulta.

2. Metodologia: OntoLogX

Os autores propõem o OntoLogX, uma metodologia de agente de IA que integra Ontologias de Domínio e Modelos de Linguagem de Grande Escala (LLMs) para gerar Grafos de Conhecimento (KGs) estruturados a partir de registros brutos. O fluxo de trabalho opera da seguinte forma:

A. Componentes Principais

1. Ontologia de Registro Personalizada: Uma ontologia leve e plana foi projetada especificamente para analisar registros de texto livre. Ao contrário de padrões complexos como STIX ou UCO (que assumem dados pré-estruturados), esta ontologia captura entidades centrais (Evento, Usuário, Aplicação, Arquivo, Endereço de Rede, Origem, URL) e relacionamentos diretamente do texto bruto.
2. Restrições SHACL: A ontologia é emparelhada com especificações da Linguagem de Restrições de Formas (Shapes Constraint Language - SHACL) para impor validade estrutural e semântica (por exemplo, cardinalidade, tipos de dados, propriedades obrigatórias) nos grafos gerados.
3. Pipeline de Agente de IA:
   • Recuperação (Aprendizado com Poucos Exemplos): Quando um novo evento de registro chega, o sistema consulta um armazenamento vetorial para recuperar KGs previamente gerados semanticamente semelhantes, utilizando Relevância Marginal Máxima (MMR). Isso garante diversidade nos exemplos, mantendo a relevância.
   • Geração: Um LLM é instruído com o registro bruto, contexto, exemplos recuperados e regras estritas derivadas da ontologia. O LLM é instruído a gerar um KG em um formato JSON específico.
   • Correção (Feedback Iterativo): O sistema emprega um loop de validação. Se a saída gerada violar as restrições SHACL ou o esquema da ontologia, um prompt de correção personalizado é enviado de volta ao LLM para corrigir erros específicos. Este ciclo se repete (até 3 vezes) até que um gráfico válido seja produzido ou a tentativa seja abandonada.

B. Implementação Técnica

• Framework: Construído usando Python e LangChain.
• Armazenamento: Banco de dados de grafos Neo4j com indexação vetorial para recuperação semântica.
• Controle de Saída: Utiliza ferramentas de saída estruturada (Pydantic) para forçar o LLM a aderir a um esquema estrito, reduzindo erros de formatação.

3. Contribuições Principais

• Arquitetura Híbrida Inovadora: O artigo introduz uma abordagem inovadora que combina LLMs orientados por prompts com restrições rígidas orientadas por ontologia e validação SHACL, criando um agente "auto-corretor" para extração de CTI.
• Design de Ontologia Leve: A criação de uma ontologia especializada e mínima, adaptada para análise de registros não estruturados, preenchendo a lacuna entre texto bruto e padrões complexos de CTI (como STIX/SEPSES).
• Pipeline de IA Transparente: Ao usar prompts de linguagem natural para guiar a extração e permitir correção iterativa, a metodologia aprimora a explicabilidade e a auditabilidade do processo de tomada de decisão da IA.
• Mecanismo de Correção Iterativa: A inclusão de um loop de feedback onde o sistema valida sua própria saída contra restrições SHACL e solicita correções específicas melhora significativamente a qualidade dos dados em comparação com a geração de passagem única.

4. Resultados Experimentais

A metodologia foi avaliada usando o conjunto de dados AIT-LDS (70 entradas de registro diversas) em cinco LLMs diferentes (incluindo Claude 3.5, Llama 3.3, Mistral Large e Qwen 2.5 Coder).

• Comparação: O OntoLogX foi comparado com uma Linha de Base (abordagem apenas por prompts, sem recuperação ou correção).
• Métricas de Desempenho: Precisão, Revocação (Recall), Pontuação F1, G-Eval (fidelidade semântica) e taxas de violação SHACL.
• Principais Descobertas:
  • Precisão Superior: O OntoLogX superou consistentemente a linha de base em quase todos os modelos e métricas.
  • Revocação e Precisão: Foram observadas melhorias significativas tanto na Precisão (menos alucinações) quanto na Revocação (extração mais completa). Por exemplo, o Claude 3.5 Sonnet alcançou a maior pontuação F1 (0,859) e pontuação G-Eval (0,767) sob o OntoLogX.
  • Robustez: O método reduziu significativamente as violações SHACL, garantindo que a saída fosse estruturalmente válida.
  • Variância do Modelo: Embora a maioria dos modelos tenha melhorado, o Mistral Large foi uma exceção, performando ligeiramente melhor na linha de base para algumas métricas, sugerindo que pode ser menos compatível com o prompt estruturado específico ou o fluxo de trabalho assistido por ferramentas utilizado.
  • Eficiência: A abordagem prioriza a qualidade da extração sobre a velocidade, com tempos de processamento variando de 1,4s (Llama 3.3) a 9,8s (Mistral Large) por entrada de registro.

5. Significado e Trabalho Futuro

• Impacto na CTI: O estudo demonstra que combinar restrições semânticas com LLMs cria um sistema robusto, transparente e altamente preciso para converter dados de registro ruidosos em inteligência acionável e consultável. Isso é crucial para a caça proativa de ameaças e resposta automatizada.
• Escalabilidade: O uso de uma ontologia leve permite que o sistema lide com diversas fontes de registro (honeypots, logs de auditoria, etc.) sem a sobrecarga de pré-processamento complexo.
• Direções Futuras:
  • Humano no Loop: Desenvolvimento de interfaces interativas para analistas validarem e refinarem os KGs.
  • Aprendizado Adaptativo: Implementação de mecanismos para que o sistema aprenda com o feedback dos analistas para se adaptar a novas táticas adversárias.
  • Alinhamento com Padrões: Formalização de mapeamentos entre a ontologia personalizada e padrões estabelecidos (SEPSES, UCO, MISP) para garantir interoperabilidade com plataformas de CTI existentes.
  • Modelos Especializados: Exploração de LLMs especializados em tarefas (por exemplo, modelos de geração de código como Qwen 3) para capacidades ainda melhores de geração e correção de grafos.

Em conclusão, o OntoLogX representa um passo significativo para frente em tornar a Inteligência de Ameaças Cibernéticas impulsionada por IA tanto precisa quanto explicável, avançando além da extração de "caixa preta" em direção a um pipeline de inteligência verificável e guiado por ontologia.