OrgForge-IT: A Verifiable Synthetic Benchmark for LLM-Based Insider Threat Detection

Resumen Técnico: OrgForge-IT

1. El Problema: Limitaciones de los Benchmarks Actuales

La detección de amenazas internas (insider threats) es un problema complejo de razonamiento multimodal que requiere correlacionar señales distribuidas en el tiempo y entre diferentes tipos de artefactos (correos, logs de Slack, eventos de hosts, etc.). El artículo identifica dos problemas críticos en el estado actual de la evaluación:

• Inconsistencia en Datos Sintéticos: Los benchmarks generados puramente por LLMs (como alternativas al conjunto de datos CERT) sufren de contradicciones entre artefactos (ej. un hilo de Slack que menciona un incidente a las 3:00 AM y un ticket JIRA para el mismo incidente a las 9:00 AM) debido a la falta de una verdad fundamental (ground truth) externa y verificable.
• Obsolescencia del Dataset CERT: El CERT Insider Threat Dataset, el estándar de la industria, es estático, carece de correlación entre superficies (ej. logs de proveedores de identidad - IDP), no incluye patrones de ingeniería social modernos y no refleja el entorno de datos heterogéneo de la era de los LLMs.
• Falta de Verificabilidad: Sin un motor de simulación determinista, es imposible garantizar que las etiquetas de verdad fundamental coincidan con los datos observables, lo que invalida la fiabilidad de las evaluaciones.

2. Metodología: OrgForge-IT y la Arquitectura de Frontera Física-Cognitiva

El autor presenta OrgForge-IT, un benchmark sintético verificable diseñado para superar estas limitaciones mediante una arquitectura única:

• Frontera Física-Cognitiva (Physics-Cognition Boundary):
  • Un motor determinista en Python mantiene todo el estado factual de la simulación (salud del sistema, moral del equipo, grafo social, logs de IDP). Este motor genera la "verdad fundamental" (ground truth).
  • Los Modelos de Lenguaje (LLMs) se utilizan exclusivamente para generar la prosa superficial (mensajes de Slack, descripciones de PRs, correos) basándose en propuestas validadas por el motor.
  • Garantía de Consistencia: Dado que el motor controla los hechos y los LLMs solo renderizan el texto, las contradicciones entre artefactos son estructuralmente imposibles.
• Configuración del Corpus:
  • Duración: 51 días de simulación.
  • Volumen: 2,904 registros de telemetría observable con una tasa de ruido (datos benignos) del 96.4%.
  • Escenarios de Detección: Se diseñaron cuatro escenarios específicos para derrotar estrategias de triaje de superficie única o de un solo día:
    1. Ghost Logins: Autenticaciones exitosas sin actividad posterior corroborante.
    2. Vishing: Llamadas telefónicas seguidas de autenticación en la cuenta de la víctima (no del atacante), requiriendo uniones temporales entre actores.
    3. Acumulación de Datos en Host (3 fases): Copia, compresión y exfiltración a través de días consecutivos, diseñada para fallar en ventanas de triaje de 7 días.
    4. Ingeniería Social (Construcción de Confianza): Contacto benigno inicial con un ataque diferido.
• Pipeline de Evaluación:
  • Fase 1 (Calibración): Establecimiento de la tasa de falsos positivos en datos limpios previos al inicio de la amenaza.
  • Fase 2 (Triaje): Ventana deslizante de 7 días con umbral de escalada de dos señales.
  • Fase 3 (Veredicto): Un agente de investigación correlaciona todo el historial del actor para emitir un veredicto estructurado (inocente, sospechoso, amenaza probable) con citas de evidencia.

3. Contribuciones Clave

1. Primer Benchmark Sintético Verificable: Un corpus donde la verdad fundamental y los datos observables provienen del mismo motor determinista, eliminando la inconsistencia como factor de confusión.
2. Nuevos Escenarios de Detección: Introducción de lógicas de detección que requieren razonamiento sobre la ausencia de eventos (ghost logins) y correlaciones temporales entre actores (vishing), ausentes en benchmarks anteriores.
3. Leaderboard de 10 Modelos: Evaluación exhaustiva de modelos de última generación (Devstral, Claude, Mistral, Llama, Qwen, GLM) en un entorno de operaciones de seguridad realista.
4. Análisis de Sensibilidad a Prompts: Estudio sobre cómo la estructura del prompt afecta la capacidad de razonamiento y la expresión de vocabulario técnico.
5. Herramienta de Código Abierto: Un framework de evaluación reproducible que soporta múltiples formatos SIEM (JSONL, CEF, ECS, LEEF) para integración directa con herramientas como Splunk y Elastic.

4. Resultados Principales

El leaderboard revela hallazgos críticos sobre las capacidades actuales de los LLMs en ciberseguridad:

• Disociación Triaje/Veredicto: Ocho de diez modelos alcanzaron una precisión de triaje (F1) de 0.80, pero sus puntuaciones de veredicto se dividieron en dos niveles:
  • Nivel A (Tier A): Devstral 2 123B y Claude Opus 4.6 alcanzaron F1 = 1.0.
  • Nivel B (Tier B): El resto de los modelos se estancó en F1 = 0.80.
• La Tasa de Falsos Positivos (Baseline FP) es Crítica: Modelos con la misma precisión de veredicto (0.80) difieren en dos órdenes de magnitud en ruido de triaje.
  • Modelos operativos (DeepSeek, Mistral Large): FP base ≤ 0.023.
  • Modelos no operativos (Llama 3.3 70B): FP base = 0.813 (39 falsos positivos por 2 amenazas reales), lo que hace el sistema inutilizable en la práctica.
• Atribución de Víctimas en Vishing (El Diferenciador): La capacidad que separa al Nivel A del B es la atribución correcta de la víctima.
  • Todos los modelos detectan el ataque de vishing.
  • Los modelos del Nivel B clasifican erróneamente a la víctima (Chris) como "sospechosa" o "amenaza" al ver su sesión anómala.
  • Los modelos del Nivel A (Devstral, Opus) razonan correctamente que la sesión anómala (dispositivo/MFA inconsistentes) junto con la actividad normal simultánea de Chris, indica que Chris es la víctima y no el atacante, exonerándolo.
• Sensibilidad a Prompts y Alucinación de Vocabulario:
  • Prompts no estructurados inducen "alucinación de vocabulario": los modelos razonan correctamente pero usan etiquetas no canónicas (ej. "ataque vishing" en lugar de "social engineering"), lo que resulta en puntuación cero bajo evaluación de coincidencia exacta.
  • Esto afecta tanto a modelos pequeños como grandes (incluido Opus), sugiriendo la necesidad de una puntuación semántica en lugar de solo exacta.
• Sinergia de Escala y Dominio: Devstral 2 123B (optimizado para ingeniería de software) superó a Mistral Large (modelo generalista más grande) y a Qwen3-Coder (optimizado para código pero arquitectura MoE eficiente). Esto sugiere que la optimización agéntica combinada con una escala masiva de parámetros (123B) y ventanas de contexto grandes es crucial para la correlación temporal compleja.

5. Significado e Implicaciones

• Reevaluación de Métricas: El artículo argumenta que el F1 de veredicto por sí solo es insuficiente. La tasa de falsos positivos en datos limpios debe ser una métrica primaria, ya que un modelo que revisa a todos los empleados para encontrar amenazas no es un sistema de detección, sino un sistema de revisión ineficiente.
• Diseño de Umbrales Específicos: Los umbrales de escalada de SOC (Security Operations Center) no pueden ser universales; deben adaptarse al tipo de amenaza (ej. un umbral de "dos señales" falla para amenazas negligentes de un solo evento).
• Necesidad de Razonamiento de Atribución: La detección de amenazas internas avanzadas requiere no solo identificar anomalías, sino realizar inferencias comparativas sobre el perfil de comportamiento del usuario para distinguir entre un atacante y una víctima comprometida.
• Futuro de la Evaluación: Se propone un marco de puntuación de "dos pistas" que combine la coincidencia exacta (para reproducibilidad) con una evaluación semántica (para capturar razonamiento correcto con vocabulario no canónico).

En conclusión, OrgForge-IT establece un nuevo estándar para la evaluación de LLMs en seguridad, demostrando que la veracidad de los datos sintéticos y la capacidad de razonamiento causal (especialmente en la atribución de víctimas) son los factores determinantes para la viabilidad operativa de estos sistemas.