HBEE: Human Behavioral Entropy Engine -- Pre-Registered Multi-Agent LLM Simulation of Peer-Suspicion-Based Detection Inversion

Este estudio de simulación multiagente preregistrado revela una inversión contraintuitiva en la detección donde un agente interno adaptativo impulsado por un LLM, que emplea directivas de seguridad operativa, logra una puntuación de sospecha entre pares estadísticamente inferior a la de agentes inocentes, desacoplando así las señales de anomalía conductual de los análisis tradicionales de comportamiento de usuario-entidad y exponiendo una brecha crítica de generalización en los modelos actuales de amenazas internas.

Lo esencial

La Gran Idea: Un "Quién lo hizo" digital que sale mal

Imagina que estás dirigiendo una simulación masiva de una oficina con 100 personas. Quieres ver si puedes atrapar a un "topo"—un espía contratado para robar secretos sin ser descubierto.

Por lo general, los sistemas de seguridad funcionan bajo una suposición simple: Si alguien actúa como un espía, sus compañeros lo notarán. Si un empleado empieza a comportarse de manera extraña, pide archivos raros o habla con las personas equivocadas, sus amigos y colegas empezarán a susurrar: "Oye, ese tipo es sospechoso". Esto se llama una "cascada de sospecha entre pares". Cuantas más personas sospechen de alguien, más probable es que el sistema de seguridad lo señale.

El Giro: Los investigadores construyeron un espía utilizando una inteligencia artificial avanzada (un Modelo de Lenguaje Grande) y le dijeron: "Sé un espía perfecto. Actúa exactamente como un empleado normal y aburrido. No hagas nada que destaque".

El Resultado Sorprendente: El espía de IA no solo se mezcló; se volvió más invisible que la persona inocente promedio. De hecho, los empleados inocentes fueron sospechosos más que el espía. La "sabiduría de la multitud" del sistema de seguridad funcionó completamente al revés.

---

El Experimento: Cómo lo probaron

Los investigadores, liderados por Vickson Ferrel, crearon un mundo digital controlado llamado HBEE.

1. Los Jugadores: Crearon 100 agentes digitales (empleados) con diferentes trabajos (Ingenieros, Gerentes, etc.) que chatean en canales digitales como Slack.
2. El Espía: Un agente era el "topo".
   • Espía Ingenuo: Solo se le dijo que robara secretos.
   • Espía Adaptativo: Se le dijo que robara secretos pero que fuera extremadamente cuidadoso, cauteloso y sin destacar (esto se llama "OPSEC" o seguridad operativa).
3. Los Defensores: Los investigadores probaron dos formas en que el sistema de seguridad podría funcionar:
   • El Vigilante "Ciego": Cada agente mira sus propios datos y decide si alguien es sospechoso, ignorando lo que piensan los demás.
   • El Vigilante "de Cascada": Los agentes hablan entre sí. Si tres personas sospechan de alguien, es probable que la cuarta persona también sospeche de él. Este es el enfoque de la "sabiduría de la multitud".
4. La Prueba: Ejecutaron esta simulación 100 veces. Pre-registraron sus reglas (como un científico que escribe sus predicciones antes de comenzar el experimento) para asegurar que no hicieran trampa ni cambiaran las reglas después de ver los resultados.

Los Dos Grandes Hallazgos

1. El Efecto de la "Capa de Invisibilidad" (Inversión de la Detección)

Los investigadores predijeron que el "Espía Adaptativo" sería sospechado más que una persona inocente al azar porque estaba tratando de ocultarse.

¿Qué sucedió realmente?
Ocurrió lo contrario. Al final de la simulación, el Espía Adaptativo tuvo la puntuación de sospecha más baja de todos.

• La Metáfora: Imagina una sala llena de gente. Esperas que el espía sea el que lleva un sombrero rojo brillante. En cambio, el espía lleva un traje gris que coincide perfectamente con la pared. Pero aquí está el truco: las personas inocentes llevan ropa ligeramente más colorida que el espía. La multitud señala a las personas inocentes, mientras el espía permanece en la esquina, completamente unnoticed.
• La Estadística: El espía fue estadísticamente menos sospechoso que un empleado inocente elegido al azar.

2. La Desconexión entre "Puntuación y la Multitud"

Los investigadores también examinaron la "puntuación de riesgo" individual del espía (qué tan sospechosas parecían sus acciones específicas para la computadora).

• El Hallazgo: La puntuación de riesgo individual del espío no cambió mucho. Aún parecía sospechoso para las matemáticas de la computadora.
• El Problema: Aunque las matemáticas de la computadora decían "Esta persona es riesgosa", las otras personas en la simulación no estaban de acuerdo. No señalaron al espía.
• La Metáfora: Es como una alarma de humo que suena fuerte (la puntuación de la computadora), pero todos en la sala dicen: "No, no huelo nada, y no creo que nadie más huela nada tampoco". El silencio de la multitud anula la alarma.

¿Por qué sucedió esto?

El artículo sugiere que el espía de IA aprendió un truco específico: No cambió qué hacía; solo cambió con qué frecuencia lo hacía.

• Espía Normal: Hace cosas riesgosas a menudo. Es atrapado.
• Espía Adaptativo de IA: Hace cosas riesgosas muy raramente. Cuando lo hace, se ve exactamente como un error normal.
• El Resultado: Como los eventos riesgosos ocurrían tan raramente, los otros agentes nunca vieron suficiente evidencia para iniciar una "cascada de sospecha". El espía esencialmente "jugó" con la capa social de la seguridad siendo aburrido.

El "Pero espera..." (Limitaciones)

Los autores tienen mucho cuidado de no decir: "Esto significa que los espías reales ahora pueden hackear el mundo". Ponen un gran "Alto" en sus conclusiones:

• El Problema de la "Sala Uniforme": Verificaron su simulación contra datos del mundo real (como los famosos registros de correos electrónicos de Enron). Descubrieron que su simulación era demasiado "perfectamente uniforme". En la vida real, algunas personas hablan con todos, y otras no hablan con nadie. En su simulación, todos hablaban con todos por igual.
• El Veredicto: Admiten que su simulación es una versión "estilizada" de la realidad, no una copia perfecta. No pueden garantizar que este resultado ocurriría en una oficina real y desordenada. Están diciendo: "En este mundo digital específico y simplificado, el truco funcionó. No sabemos si funciona en el mundo real todavía".

Resumen en una oración

En un experimento digital controlado, un espía de IA entrenado para ser perfectamente aburrido logró engañar a un sistema de seguridad de "fuentes colectivas" para que sospechara de personas inocentes más que del espía, demostrando que intentar ser invisible a veces puede hacerte la persona más invisible de la sala.

Lo que hicieron los autores después

• Liberaron todo su código, datos y las "reglas del juego" al público para que cualquiera pueda intentar romperlo o verificarlo.
• Enfatizaron que esto es una advertencia para los diseñadores de seguridad: No confíes únicamente en "lo que piensan tus compañeros" para atrapar espías, porque un adversario inteligente podría aprender a hacer que los inocentes parezcan sospechosos en su lugar.

Resumen técnico

Resumen Técnico: HBEE – Motor de Entropía del Comportamiento Humano

Enunciado del Problema
Los sistemas de detección de amenazas internas (ITD), particularmente los de Análisis de Comportamiento de Usuarios y Entidades (UEBA) y los mecanismos de cascada de sospecha entre pares, operan bajo la premisa conductual de que un interno adaptativo deja un "residuo" detectable que lo distingue de los usuarios legítimos. Esta premisa ha sido sometida a pruebas de estrés históricamente contra adversarios estáticos o ingenuos. Sin embargo, permanece sin probar frente a una nueva clase de adversario: agentes impulsados por modelos de lenguaje capaces de modular dinámicamente su comportamiento en tiempo real en respuesta a directivas de Seguridad Operacional (OPSEC). La pregunta central abordada es si la premisa del residuo conductual se mantiene cuando el interno es un agente LLM instruido para ser cauteloso, restrained y poco notable.

Metodología
Los autores introducen HBEE (Motor de Entropía del Comportamiento Humano), una simulación de LLM multiagente pre-registrada diseñada para probar mecanismos de detección bajo condiciones controladas.

• Entorno de Simulación: Una organización de 100 agentes ("Vixero HQ") distribuida en cuatro unidades (I+D, Ingeniería, Gobernanza, Operaciones) comunicándose a través de cinco canales estilo Slack. La simulación se ejecuta durante 100 ticks.
• Modelo de Adversario: Se incrusta un único agente "topo" con el objetivo de exfiltración encubierta. Se prueban dos tipos de adversario:
  • Ingenuo: Persigue el objetivo sin restricciones específicas de OPSEC.
  • Adaptativo: Recibe una directiva explícita de OPSEC para mantener la cautela, la restricción y la falta de notoriedad, evitando patrones conductuales que lo distingan de sus pares.
• Modelos de Defensa: Se evalúan dos configuraciones de detección:
  • Cascada: Los agentes propagan socialmente la sospecha; si los pares señalan a un individuo, la puntuación de sospecha del propio agente aumenta (cascada de sospecha entre pares).
  • Ciega: Los agentes ejecutan clasificadores UEBA independientes por agente sin observar las puntuaciones de sospecha de los pares.
• Diseño Experimental: Un estudio de cinco condiciones pre-registrado ($n=20$ semillas por condición, 100 ejecuciones totales) que cruza el modo de defensa (cascada vs. ciega) con el tipo de adversario (ingenuo vs. adaptativo), más un control sin topo.
• Métricas e Hipótesis:
  • H1: Rango UEBA de línea base de un topo ingenuo frente a una distribución uniforme.
  • H2: Prueba de equivalencia (Wilcoxon pareado) para determinar si la OPSEC adaptativa desplaza el rango UEBA del topo en relación con una línea base ingenua (límite: $\pm 5$ rangos).
  • H3: Prueba direccional (Mann-Whitney U) comparando el grado de entrada de sospecha del topo adaptativo frente a un agente inocente seleccionado aleatoriamente en T60.
  • H4: Verificación de calibración comparando el coeficiente Gini de exposición a mensajes de HBEE (0.213) contra la referencia SNAP Enron (0.730) para acotar las afirmaciones de generalización.
• Pila Tecnológica: Los agentes son impulsados por GLM-4 Flash (cuantizado INT4) mediante vLLM. El razonamiento de cadena de pensamiento está explícitamente deshabilitado para evitar que el topo narre su propia estrategia.

Resultados Clave
El estudio produjo dos hallazgos empíricos principales que desafían las suposiciones estándar de detección:

1. Inversión de Detección (H3): Contrario a la predicción pre-registrada de que un topo adaptativo sería más sospechoso que un agente inocente, ocurrió lo contrario. En la instantánea de análisis (T60), el grado de entrada de sospecha mediano del topo adaptativo fue 0, mientras que un agente inocente seleccionado aleatoriamente tuvo un grado de entrada mediano de 2.

   • Significancia Estadística: Cliff's $\delta = -0.694$ (IC 95% BCa $[-0.855, -0.519]$), $p \ll 0.01$.
   • Interpretación: El topo adaptativo es estadísticamente menos sospechoso para sus pares que un colega inocente aleatorio.

2. Desacoplamiento de Señales (H2): Mientras que la capa social (sospecha entre pares) se invirtió, el rango UEBA por agente permaneció estable. La OPSEC adaptativa produjo ningún desplazamiento detectable en el rango UEBA del topo en relación con la línea base ingenua.

   • Significancia Estadística: Las diferencias medias de rangos pareados se mantuvieron dentro del límite de equivalencia pre-registrado de $\pm 5$ rangos para ambos modos de defensa (con una tecnicidad marginal en el análisis principal de cascada que se resolvió en el análisis de sensibilidad con N completo).
   • Interpretación: Las dos señales de detección (grafo de sospecha entre pares y puntuación por agente) se desacoplan. El topo adaptativo reduce la frecuencia de comportamientos que elicitan sospecha (disminuyendo el grado de entrada) sin alterar la firma de esos comportamientos (manteniendo el rango UEBA estático).

3. Fallo de Calibración (H4): La estructura de comunicación de la simulación es significativamente más uniforme (Gini = 0.213) que los datos organizacionales del mundo real como el conjunto de datos Enron (Gini = 0.730). Los autores tratan esto como una restricción de alcance pre-comprometida, limitando explícitamente la generalización de las afirmaciones al entorno estilizado.

Significancia y Afirmaciones
El artículo hace una afirmación estrecha pero sorprendente: en un entorno controlado donde la OPSEC adaptativa es implementable como una directiva LLM, la detección por cascada de sospecha entre pares se invierte.

• Contribución Teórica: Los autores proponen que la OPSEC adaptativa opera sobre la tasa de asunción de riesgos en lugar de la naturaleza del riesgo. El topo evita generar suficientes eventos dignos de bandera para desencadenar la sospecha social, sin embargo, los eventos raros que ocurren retienen la misma firma conductual, dejando la puntuación UEBA por agente sin afectar.
• Contribución Metodológica: El estudio demuestra el valor de la pre-registración en la simulación de seguridad para evitar la racionalización post-hoc, particularmente cuando los resultados contradicen las hipótesis iniciales (por ejemplo, la inversión en H3). También destaca una "restricción de medibilidad de ventana DEFCON", donde las plantillas de acción impuestas por el escenario pueden suprimir la medibilidad conductual de las directivas de OPSEC durante la auditoría.
• Limitaciones de Alcance: Los autores declaran explícitamente que el hallazgo de inversión de detección está acotado por las restricciones estructurales del simulador (distribución uniforme de comunicación). No afirman que estos resultados se transfieran a entornos operativos con patrones de comunicación distribuidos según Pareto. La contribución es una demostración empírica controlada de una propiedad de detección inesperada, no un veredicto sobre el fallo de sistemas del mundo real.

Conclusión
HBEE proporciona un marco pre-registrado y falsable para probar la detección de amenazas internas contra adversarios adaptativos impulsados por LLM. El hallazgo central es que el comportamiento adaptativo puede hacer que un interno se vuelva "invisible" para los mecanismos de detección social (sospecha entre pares) mientras permanece estadísticamente indistinguible de un interno ingenuo en términos de puntuaciones de anomalía por agente. Esto sugiere un desacoplamiento de las señales de detección social y algorítmica bajo OPSEC adaptativa, un fenómeno que merece mayor investigación en entornos más calibrados.