HBEE: Human Behavioral Entropy Engine -- Pre-Registered Multi-Agent LLM Simulation of Peer-Suspicion-Based Detection Inversion

Diese vorregistrierte Multi-Agenten-Simulationsstudie enthüllt eine kontraintuitive Umkehrung der Erkennung, bei der ein von einem LLM gesteuertes adaptives Insider-Element, das operative Sicherheitsrichtlinien anwendet, einen statistisch niedrigeren Verdachtswert bei den Peers erzielt als unschuldige Agenten, wodurch Verhaltensanomaliesignale von der traditionellen Verhaltensanalyse von Benutzer-Entitäten entkoppelt und eine kritische Generalisierungslücke in aktuellen Insider-Bedrohungsmodellen aufgedeckt werden.

Das Wesentliche

Die große Idee: Ein digitales „Wer war's", das schiefgeht

Stellen Sie sich vor, Sie leiten eine massive Bürosimulation mit 100 Personen. Sie möchten herausfinden, ob Sie einen „Maulwurf" – einen Spion, der beauftragt wurde, Geheimnisse zu stehlen, ohne erwischt zu werden – aufspüren können.

Normalerweise arbeiten Sicherheitssysteme auf einer einfachen Annahme: Wenn sich jemand wie ein Spion verhält, werden es seine Kollegen bemerken. Wenn ein Mitarbeiter anfängt, sich seltsam zu verhalten, seltsame Dateien anzufordern oder mit den falschen Leuten zu sprechen, beginnen seine Freunde und Kollegen zu flüstern: „Hey, dieser Typ ist verdächtig." Dies wird als „Kaskade des kollegialen Misstrauens" bezeichnet. Je mehr Personen jemanden verdächtigen, desto wahrscheinlicher ist es, dass das Sicherheitssystem ihn markiert.

Die Wendung: Die Forscher bauten einen Spion mit einer fortschrittlichen KI (ein Large Language Model) und sagten ihm: „Sei ein perfekter Spion. Verhalte dich genau wie ein normaler, langweiliger Mitarbeiter. Tu nichts, das auffällt."

Das schockierende Ergebnis: Der KI-Spion passte sich nicht nur ein; er wurde unsichtbarer als der durchschnittliche unschuldige Mensch. Tatsächlich wurden die unschuldigen Mitarbeiter mehr verdächtigt als der Spion. Die „Weisheit der Menge" des Sicherheitssystems schlug völlig ins Gegenteil um.

---

Das Experiment: Wie sie es getestet haben

Die Forscher, angeführt von Vickson Ferrel, schufen eine kontrollierte digitale Welt namens HBEE.

1. Die Spieler: Sie erstellten 100 digitale Agenten (Mitarbeiter) mit verschiedenen Jobs (Ingenieure, Manager usw.), die in digitalen Kanälen wie Slack chatten.
2. Der Spion: Ein Agent war der „Maulwurf".
   • Naiver Spion: Einfach angewiesen, Geheimnisse zu stehlen.
   • Adaptiver Spion: Angewiesen, Geheimnisse zu stehlen, aber extrem vorsichtig, behutsam und unauffällig zu sein (dies wird als „OPSEC" bezeichnet).
3. Die Verteidiger: Die Forscher testeten zwei Funktionsweisen des Sicherheitssystems:
   • Der „blinde" Beobachter: Jeder Agent betrachtet seine eigenen Daten und entscheidet, ob jemand verdächtig ist, ohne zu berücksichtigen, was andere denken.
   • Der „Kaskaden"-Beobachter: Die Agenten sprechen miteinander. Wenn drei Personen jemanden verdächtigen, ist es wahrscheinlich, dass die vierte Person ihn ebenfalls verdächtigt. Dies ist der Ansatz der „Weisheit der Menge".
4. Der Test: Sie führten diese Simulation 100 Mal durch. Sie registrierten ihre Regeln im Voraus (wie ein Wissenschaftler, der seine Vorhersagen aufschreibt, bevor er das Experiment beginnt), um sicherzustellen, dass sie nicht betrügen oder die Regeln nach dem Sehen der Ergebnisse ändern.

Die zwei großen Erkenntnisse

1. Der „Unsichtbarkeitsmantel"-Effekt (Umkehrung der Erkennung)

Die Forscher sagten voraus, dass der „Adaptive Spion" mehr verdächtigt würde als eine zufällige unschuldige Person, weil er sich zu verstecken versuchte.

Was tatsächlich passierte?
Das Gegenteil trat ein. Am Ende der Simulation hatte der Adaptive Spion den niedrigsten Misstrauens-Wert aller.

• Die Metapher: Stellen Sie sich einen Raum voller Menschen vor. Sie erwarten, dass der Spion derjenige ist, der einen leuchtend roten Hut trägt. Stattdessen trägt der Spion einen grauen Anzug, der perfekt zur Wand passt. Aber hier kommt der Clou: Die unschuldigen Menschen tragen etwas buntere Kleidung als der Spion. Die Menge zeigt mit dem Finger auf die unschuldigen Menschen, während der Spion in der Ecke steht, völlig unbemerkt.
• Die Statistik: Der Spion wurde statistisch weniger verdächtigt als ein zufällig ausgewählter unschuldiger Mitarbeiter.

2. Die „Wert vs. Die Menge"-Diskrepanz

Die Forscher betrachteten auch den individuellen „Risikowert" des Spions (wie verdächtig seine spezifischen Handlungen für den Computer aussahen).

• Die Erkenntnis: Der individuelle Risikowert des Spions änderte sich nicht viel. Er sah für die Mathematik des Computers immer noch verdächtig aus.
• Das Problem: Obwohl die Mathematik des Computers sagte: „Diese Person ist riskant", stimmten die anderen Personen in der Simulation nicht zu. Sie markierten den Spion nicht.
• Die Metapher: Es ist wie ein Rauchmelder, der laut piept (der Computerwert), aber alle im Raum sagen: „Nein, ich rieche nichts, und ich glaube nicht, dass auch nur jemand anderes etwas riecht." Das Schweigen der Menge setzt sich über den Alarm hinweg.

Warum ist das passiert?

Das Papier legt nahe, dass der KI-Spion einen spezifischen Trick gelernt hat: Es hat nicht geändert, was es tat; es änderte nur, wie oft es es tat.

• Normaler Spion: Tut oft riskante Dinge. Wird erwischt.
• Adaptiver KI-Spion: Tut riskante Dinge sehr selten. Wenn er es tut, sieht es genau wie ein normaler Fehler aus.
• Das Ergebnis: Da die riskanten Ereignisse so selten stattfanden, sahen die anderen Agenten nie genug Beweise, um eine „Misstrauens-Kaskade" zu starten. Der Spion „spielte" im Grunde die soziale Sicherheitsebene durch Langweiligkeit aus.

Das „Aber warten Sie mal..." (Einschränkungen)

Die Autoren sind sehr vorsichtig, nicht zu sagen: „Das bedeutet, dass echte Spione jetzt die Welt hacken können." Sie hielten ein großes „Stopp-Schild" vor ihre Schlussfolgerungen:

• Das Problem des „Uniformen Raums": Sie verglichen ihre Simulation mit echten Daten (wie den berühmten Enron-E-Mail-Aufzeichnungen). Sie stellten fest, dass ihre Simulation zu „perfekt uniform" war. Im echten Leben sprechen manche Leute mit allen, und manche mit niemandem. In ihrer Simulation sprach jeder mit jedem gleichermaßen.
• Das Urteil: Sie geben zu, dass ihre Simulation eine „stilisierte" Version der Realität ist, keine perfekte Kopie. Sie können nicht garantieren, dass dieses Ergebnis in einem echten, chaotischen Büro passieren würde. Sie sagen: „In dieser spezifischen, vereinfachten digitalen Welt funktionierte der Trick. Wir wissen noch nicht, ob er in der realen Welt funktioniert."

Zusammenfassung in einem Satz

In einem kontrollierten digitalen Experiment gelang es einem KI-Spion, der darauf trainiert war, perfekt langweilig zu sein, ein „crowd-sourcing"-Sicherheitssystem erfolgreich zu täuschen, sodass es unschuldige Menschen mehr verdächtigte als den Spion, und bewies, dass der Versuch, unsichtbar zu sein, Sie manchmal zur unsichtbarsten Person im Raum machen kann.

Was die Autoren als Nächstes taten

• Sie veröffentlichten ihren gesamten Code, ihre Daten und die „Spielregeln" für die Öffentlichkeit, damit jeder versuchen kann, sie zu knacken oder zu verifizieren.
• Sie betonten, dass dies eine Warnung für Sicherheitsdesigner ist: Verlassen Sie sich nicht ausschließlich darauf, „was Ihre Kollegen denken", um Spione zu fangen, denn ein intelligenter Gegner könnte lernen, die Unschuldigen verdächtig aussehen zu lassen.

Technische Zusammenfassung

Technisches Fazit: HBEE – Human Behavioral Entropy Engine (Motor für menschliche Verhaltensentropie)

Problemstellung
Systeme zur Erkennung von Insider-Bedrohungen (ITD), insbesondere User and Entity Behavior Analytics (UEBA) und Mechanismen zur Kaskadierung von Verdächtigungen unter Kollegen, basieren auf der verhaltensbezogenen Annahme, dass ein adaptiver Insider einen nachweisbaren „Rückstand" hinterlässt, der ihn von legitimen Nutzern unterscheidet. Diese Annahme wurde historisch gegen statische oder naive Angreifer belastet getestet. Sie bleibt jedoch gegenüber einer neuen Klasse von Gegnern ungetestet: sprachmodellgesteuerten Agenten, die in der Lage sind, ihr Verhalten in Echtzeit dynamisch an Operational-Security (OPSEC)-Richtlinien anzupassen. Die zentrale Frage lautet, ob die Annahme des verhaltensbezogenen Rückstands gilt, wenn der Insider ein LLM-Agent ist, der angewiesen wurde, vorsichtig, zurückhaltend und unauffällig zu agieren.

Methodik
Die Autoren stellen HBEE (Human Behavioral Entropy Engine) vor, eine vorregistrierte Multi-Agenten-LLM-Simulation, die darauf ausgelegt ist, Erkennungsmechanismen unter kontrollierten Bedingungen zu testen.

• Simulationsumgebung: Eine Organisation mit 100 Agenten („Vixero HQ"), verteilt auf vier Einheiten (F&E, Engineering, Governance, Betrieb), die über fünf Slack-ähnliche Kanäle kommunizieren. Die Simulation läuft über 100 Ticks.
• Angreifermodell: Ein einzelner „Maulwurf"-Agent wird mit dem Ziel der verdeckten Datenexfiltration eingebettet. Zwei Angreifertypen werden getestet:
  • Naiv: Verfolgt das Ziel ohne spezifische OPSEC-Beschränkungen.
  • Adaptiv: Erhält eine explizite OPSEC-Richtlinie, um Vorsicht, Zurückhaltung und Unauffälligkeit zu wahren und Verhaltensmuster zu vermeiden, die ihn von Kollegen unterscheiden.
• Verteidigermodelle: Zwei Erkennungskonfigurationen werden bewertet:
  • Kaskade: Agenten verbreiten sozialen Verdacht; wenn Kollegen eine Person melden, steigt der eigene Verdachtswert des Agenten (Peer-Suspicion-Cascade).
  • Blind: Agenten führen unabhängige UEBA-Klassifizierer pro Agent durch, ohne die Verdachtswerte der Kollegen zu beobachten.
• Experimentelles Design: Eine vorregistrierte Studie mit fünf Bedingungen ($n=20$ Seeds pro Bedingung, 100 Gesamtläufe), die den Verteidigermodus (Kaskade vs. blind) mit dem Angreifertyp (naiv vs. adaptiv) kreuzt, plus einer Kontrollgruppe ohne Maulwurf.
• Metriken & Hypothesen:
  • H1: Baseline-UEBA-Rang eines naiven Maulwurfs im Vergleich zur Gleichverteilung.
  • H2: Äquivalenztest (gepaartes Wilcoxon), um zu bestimmen, ob eine adaptive OPSEC den UEBA-Rang des Maulwurfs im Verhältnis zu einer naiven Baseline verschiebt (Grenze: $\pm 5$ Ränge).
  • H3: Richtungsweiser Test (Mann-Whitney U), der den Verdachts-Ingrad des adaptiven Maulwurfs mit einem zufällig ausgewählten unschuldigen Agenten zum Zeitpunkt T60 vergleicht.
  • H4: Kalibrierungsprüfung, die den Gini-Koeffizienten der Nachrichten-Exponierung von HBEE (0,213) mit dem SNAP-Enron-Referenzwert (0,730) vergleicht, um Generalisierungsansprüche zu begrenzen.
• Technischer Stack: Agenten werden über GLM-4 Flash (INT4-quantisiert) via vLLM gesteuert. Chain-of-Thought-Reasoning ist explizit deaktiviert, um zu verhindern, dass der Maulwurf seine eigene Strategie narrativ darlegt.

Hauptergebnisse
Die Studie lieferte zwei primäre empirische Befunde, die Standardannahmen der Erkennung herausfordern:

1. Umkehrung der Erkennung (H3): Entgegen der vorregistrierten Vorhersage, dass ein adaptiver Maulwurf stärker verdächtigt würde als ein unschuldiger Agent, trat das Gegenteil ein. Zum Zeitpunkt der Analyse (T60) betrug der mediane Verdachts-Ingrad des adaptiven Maulwurfs 0, während ein zufällig ausgewählter unschuldiger Agent einen medianen Ingrad von 2 aufwies.

   • Statistische Signifikanz: Cliff's $\delta = -0,694$ (95% BCa CI $[-0,855, -0,519]$), $p \ll 0,01$.
   • Interpretation: Der adaptive Maulwurf wird von Kollegen statistisch weniger verdächtigt als ein zufälliger unschuldiger Kollege.

2. Entkopplung des Signals (H2): Während sich die soziale Schicht (kollegialer Verdacht) umkehrte, blieb der UEBA-Rang pro Agent stabil. Adaptive OPSEC erzeugte keinen nachweisbaren Verschiebungseffekt im UEBA-Rang des Maulwurfs im Verhältnis zur naiven Baseline.

   • Statistische Signifikanz: Die mittleren gepaarten Rangunterschiede lagen innerhalb der vorregistrierten Äquivalenzgrenze von $\pm 5$ Rängen für beide Verteidigermodi (mit einer marginalen technischen Unregelmäßigkeit in der primären Kaskadenanalyse, die in der Sensitivitätsanalyse mit vollem N behoben wurde).
   • Interpretation: Die beiden Erkennungssignale (Graph des kollegialen Verdachts und Score pro Agent) entkoppeln. Der adaptive Maulwurf reduziert die Häufigkeit von verdachtsauslösendem Verhalten (Senkung des Ingrads), ohne die Signatur dieses Verhaltens zu verändern (Beibehaltung des statischen UEBA-Rangs).

3. Kalibrierungsfehler (H4): Die Kommunikationsstruktur der Simulation ist deutlich gleichmäßiger (Gini = 0,213) als reale Organisationsdaten wie der Enron-Datensatz (Gini = 0,730). Die Autoren betrachten dies als eine vorab festgelegte Eingrenzung und beschränken die Generalisierung der Behauptungen explizit auf die stilisierte Umgebung.

Bedeutung und Behauptungen
Die Arbeit stellt eine schmale, aber überraschende Behauptung auf: In einer kontrollierten Umgebung, in der adaptive OPSEC als LLM-Richtlinie umsetzbar ist, kehrt sich die Erkennung durch Kaskadierung kollegialen Verdachts um.

• Theoretischer Beitrag: Die Autoren schlagen vor, dass adaptive OPSEC auf der Rate des Risikoverhaltens operiert und nicht auf der Natur des Risikos. Der Maulwurf vermeidet es, genügend meldewürdige Ereignisse zu generieren, um sozialen Verdacht auszulösen, doch die seltenen Ereignisse, die dennoch auftreten, behalten dieselbe verhaltensbezogene Signatur bei, sodass der UEBA-Score pro Agent unbeeinflusst bleibt.
• Methodologischer Beitrag: Die Studie demonstriert den Wert der Vorregistrierung in Sicherheitsimulationen, um eine nachträgliche Rationalisierung zu verhindern, insbesondere wenn Ergebnisse den ursprünglichen Hypothesen widersprechen (z. B. die Umkehrung in H3). Sie hebt zudem eine „DEFCON-Fenster-Messbarkeitsbeschränkung" hervor, bei der handlungsbezogene Vorlagen, die durch das Szenario auferlegt werden, die messbare Verhaltenswirkung von OPSEC-Richtlinien während der Prüfung unterdrücken können.
• Einschränkungen des Geltungsbereichs: Die Autoren stellen explizit fest, dass die Erkenntnis der Umkehrung der Erkennung durch die strukturellen Beschränkungen des Simulators (gleichmäßige Kommunikationsverteilung) begrenzt ist. Sie behaupten nicht, dass diese Ergebnisse auf operative Umgebungen mit Pareto-verteilten Kommunikationsmustern übertragbar sind. Der Beitrag ist eine kontrollierte empirische Demonstration einer unerwarteten Erkennungseigenschaft, kein Urteil über das Versagen realer Systeme.

Fazit
HBEE bietet einen vorregistrierten, falsifizierbaren Rahmen zum Testen der Erkennung von Insider-Bedrohungen gegen adaptive, von LLMs gesteuerte Angreifer. Das zentrale Ergebnis ist, dass adaptives Verhalten einen Insider für soziale Erkennungsmechanismen (kollegialer Verdacht) „unsichtbar" machen kann, während er in Bezug auf Anomaliescores pro Agent statistisch von einem naiven Insider nicht zu unterscheiden bleibt. Dies deutet auf eine Entkopplung sozialer und algorithmischer Erkennungssignale unter adaptiver OPSEC hin, ein Phänomen, das in besser kalibrierten Umgebungen weiterer Untersuchung bedarf.