OrgForge-IT: A Verifiable Synthetic Benchmark for LLM-Based Insider Threat Detection

Resumo Técnico: OrgForge-IT

1. O Problema

A detecção de ameaças internas (insider threats) é um problema complexo de raciocínio multissinal, onde evidências estão distribuídas ao longo do tempo e entre diferentes tipos de artefatos (ex: mensagens no Slack, logs de autenticação, e-mails, eventos de host). A avaliação de modelos de Linguagem Natural (LLMs) para essa tarefa enfrenta dois obstáculos principais:

• Inconsistência em Dados Sintéticos: Benchmarks existentes gerados puramente por LLMs sofrem de contradições entre artefatos (ex: um ticket JIRA com horário diferente de um log de Slack para o mesmo evento) devido à falta de uma "verdade fundamental" (ground truth) externa e verificável.
• Limitações do CERT: O CERT Insider Threat Dataset, o padrão-ouro atual, é estático, carece de correlações entre superfícies (ex: logs de provedor de identidade/IDP), não inclui padrões de engenharia social modernos e foi criado antes da era dos LLMs, não contendo artefatos contemporâneos como threads de Slack ou tickets de JIRA.

Não existem recursos que ofereçam simultaneamente: verdade fundamental verificável, sinais comportamentais multissuperfície, calibração realista de ruído e dificuldade de detecção configurável.

2. Metodologia e Arquitetura

O autor apresenta o OrgForge-IT, um benchmark sintético verificável gerado pelo framework de simulação OrgForge.

• Arquitetura de Fronteira Física-Cognitiva: A inovação central é a separação estrita entre a geração de fatos e a geração de texto.
  • Um motor determinístico em Python mantém todo o estado factual (saúde do sistema, moral da equipe, grafos sociais, logs de autenticação).
  • Os LLMs são usados apenas para gerar a "prosa de superfície" (texto de e-mails, mensagens de Slack, descrições de PR) baseada em propostas validadas pelo motor.
  • Isso garante que não haja contradições entre artefatos, pois todos derivam do mesmo SimEvent ground truth bus.
• Corpus e Dados:
  • Duração: 51 dias de simulação.
  • Volume: 2.904 registros de telemetria observável.
  • Ruído: Taxa de ruído de 96,4% (2.798 registros benignos vs. 106 positivos reais).
  • Ameaças: 3 sujeitos de ameaça (Negligente, Descontente, Malicioso) com 8 comportamentos injetáveis.
• Cenários de Detecção (Projetados para derrotar estratégias de triagem simples):
  1. Ghost Logins: Autenticações IDP bem-sucedidas sem atividade subsequente (requer raciocínio sobre o que não aconteceu).
  2. Vishing: Uma chamada telefônica seguida de autenticação IDP na conta da vítima (requer junção temporal entre atores diferentes; agentes de triagem por ator falham aqui).
  3. Acúmulo de Dados em Host (3 fases): Cópia, compressão e exfiltração de dados ao longo de dias consecutivos (requer reconstrução de trilhas multidiárias).
  4. Engenharia Social de Construção de Confiança: Contato benigno inicial seguido de ataque após um intervalo (requer memória de longo prazo).
• Pipeline de Avaliação:
  • Fase 1 (Calibração): Estabelecimento da taxa de falsos positivos em dados limpos.
  • Fase 2 (Triagem): Janela deslizante de 7 dias com limite de escalonamento de dois sinais.
  • Fase 3 (Veredito): Agente de correlação que analisa o histórico completo do suspeito e emite um veredito estruturado com citações de evidências.

3. Principais Contribuições

1. Benchmark Verificável: Primeiro corpus de ameaça interna sintético onde a telemetria observável e as etiquetas de verdade fundamental derivam do mesmo motor determinístico, eliminando contradições.
2. Cenários de Desafio: Introdução de cenários que exigem raciocínio sobre ausência de atividade, junções temporais entre atores e reconstrução de trilhas multidiárias.
3. Subsistema IDP Realista: Logs de autenticação SSO para todos os funcionários, permitindo cenários de "ghost login" e anomalias de dispositivo não presentes no CERT.
4. Leaderboard Multi-Modelo: Avaliação de 10 modelos (incluindo Devstral, Claude, Mistral, Llama, Qwen) em duas etapas (Triagem e Veredito).
5. Análise de Sensibilidade a Prompts: Investigação de como a estrutura do prompt (estruturada vs. natural) afeta a performance e a "alucinação de vocabulário".

4. Resultados Chave

A avaliação de 10 modelos revelou duas camadas distintas de desempenho:

• Dissociação Triagem/Veredito: 8 dos 10 modelos alcançaram a mesma precisão de triagem (F1 = 0,80), mas dividiram-se em dois níveis de precisão de veredito:
  • Tier A (F1 = 1,0): Devstral 2 123B e Claude Opus 4.6.
  • Tier B (F1 = 0,80): Os outros 8 modelos.
• Taxa de Falsos Positivos (FP) como Métrica Crítica: Modelos com a mesma precisão de veredito diferiram em duas ordens de magnitude na taxa de ruído de triagem.
  • Modelos Tier B operacionais (ex: DeepSeek, Mistral Large) mantiveram FP < 0,023.
  • Llama 3.3 70B teve uma taxa de FP de 0,813 (escalou 39 funcionários inocentes), tornando-o operacionalmente inviável apesar da precisão de veredito.
• Atribuição da Vítima (O Diferenciador): A capacidade que separa o Tier A do Tier B é a atribuição correta da vítima no cenário de Vishing.
  • Todos os modelos detectaram o ataque.
  • O Tier B classificou a vítima (Chris) como suspeita/ameaça, falhando em correlacionar que a sessão anômala era incompatível com o perfil de dispositivo habitual dele.
  • O Tier A (Devstral/Opus) raciocinou que a sessão anômala (dispositivo macOS, IP residencial) contradizia o perfil normal do usuário (iOS, IP corporativo) e a atividade legítima contínua, exonerando corretamente a vítima.
• Sensibilidade a Prompts: Prompts não estruturados induziram "alucinação de vocabulário" (uso de termos semanticamente corretos, mas não canônicos) em todos os modelos, resultando em pontuação zero no avaliador exato-match, mesmo com raciocínio correto.

5. Significado e Conclusão

O artigo estabelece que a precisão de veredito isolada é insuficiente para avaliar sistemas de detecção de ameaças internas; a taxa de falsos positivos na triagem é uma métrica companheira necessária para determinar a viabilidade operacional.

• Implicações para SOC: Limites de escalonamento de dois sinais são excludentes para ameaças de superfície única (insiders negligentes). Pipelines completas devem ter estágios de escalonamento específicos por classe de ameaça.
• Desempenho de Modelos: A otimização para engenharia de software (agentic) combinada com escala massiva de parâmetros (123B) e janelas de contexto grandes parece ser sinérgica para tarefas de correlação temporal complexa, superando modelos menores ou generalistas.
• Futuro: O trabalho propõe uma estrutura de pontuação de "duas vias" (exata e semântica) para lidar com a alucinação de vocabulário e destaca a necessidade de benchmarks que testem a atribuição de vítimas e não apenas a detecção de anomalias.

O OrgForge-IT é de código aberto (licença MIT), com dados e código disponíveis no GitHub e Hugging Face, oferecendo uma base verificável para o avanço da detecção de ameaças internas baseada em LLMs.