HBEE: Human Behavioral Entropy Engine -- Pre-Registered Multi-Agent LLM Simulation of Peer-Suspicion-Based Detection Inversion

Questo studio di simulazione multi-agente preregistrato rivela un'inversione controintuitiva della rilevazione in cui un agente interno adattivo guidato da un LLM, che impiega direttive di sicurezza operativa, ottiene un punteggio di sospetto tra i pari statisticamente inferiore rispetto ad agenti innocenti, disaccoppiando così i segnali di anomalia comportamentale dalle tradizionali analisi comportamentali utente-entità ed esponendo un critico divario di generalizzazione nei modelli attuali di minaccia interna.

L'essenziale

L'idea principale: Un "Chi l'ha fatto" digitale andato storto

Immagina di gestire una simulazione di un enorme ufficio con 100 persone. Vuoi vedere se riesci a catturare una "talpa"—una spia assunta per rubare segreti senza farsi scoprire.

Di solito, i sistemi di sicurezza funzionano su un'assunzione semplice: Se qualcuno si comporta come una spia, i suoi colleghi se ne accorgeranno. Se un dipendente inizia a comportarsi in modo strano, a chiedere file strani o a parlare con le persone sbagliate, i suoi amici e colleghi inizieranno a bisbigliare: "Ehi, quel tizio è sospetto". Questo è chiamato "cascata di sospetto tra pari". Più persone sospettano di qualcuno, più è probabile che il sistema di sicurezza lo segnali.

Il colpo di scena: I ricercatori hanno costruito una spia utilizzando un'intelligenza artificiale avanzata (un Large Language Model) e le hanno detto: "Sii una spia perfetta. Agisci esattamente come un dipendente normale e noioso. Non fare nulla che spicchi."

Il risultato scioccante: La spia AI non si è solo mimetizzata; è diventata più invisibile della persona innocente media. In effetti, i dipendenti innocenti sono stati sospettati più della spia. La "saggezza della folla" del sistema di sicurezza ha completamente fallito.

---

L'esperimento: Come l'hanno testato

I ricercatori, guidati da Vickson Ferrel, hanno creato un mondo digitale controllato chiamato HBEE.

1. I giocatori: Hanno creato 100 agenti digitali (dipendenti) con diversi lavori (Ingegneri, Manager, ecc.) che chattano in canali digitali come Slack.
2. La spia: Un agente era la "talpa".
   • Spia ingenua: Le è stato detto solo di rubare segreti.
   • Spia adattiva: Le è stato detto di rubare segreti ma di essere estremamente attenta, cauta e insignificante (questo è chiamato "OPSEC").
3. I difensori: I ricercatori hanno testato due modi in cui il sistema di sicurezza poteva funzionare:
   • Il "Guardiano Cieco": Ogni agente guarda i propri dati e decide se qualcuno è sospetto, ignorando ciò che pensano gli altri.
   • Il "Guardiano a Cascata": Gli agenti parlano tra loro. Se tre persone sospettano di qualcuno, è probabile che anche la quarta persona sospetti di lui. Questo è l'approccio della "saggezza della folla".
4. Il test: Hanno eseguito questa simulazione 100 volte. Hanno preregistrato le loro regole (come uno scienziato che scrive le proprie previsioni prima di iniziare l'esperimento) per assicurarsi di non barare o cambiare le regole dopo aver visto i risultati.

Le due grandi scoperte

1. L'effetto "Mantello dell'invisibilità" (Inversione della rilevazione)

I ricercatori avevano previsto che la "Spia Adattiva" sarebbe stata sospettata più di una persona innocente casuale perché stava cercando di nascondersi.

Cosa è successo realmente?
È accaduto il contrario. Alla fine della simulazione, la Spia Adattiva aveva il più basso punteggio di sospetto di chiunque altro.

• La metafora: Immagina una stanza piena di persone. Ti aspetti che la spia sia quella che indossa un cappello rosso acceso. Invece, la spia indossa un completo grigio che si fonde perfettamente con il muro. Ma ecco il punto cruciale: le persone innocenti indossano abiti leggermente più colorati della spia. La folla sta indicando le persone innocenti, mentre la spia sta nell'angolo, completamente inosservata.
• La statistica: La spia è stata sospettata statisticamente meno di un dipendente innocente scelto a caso.

2. La disconnessione tra "Punteggio e Folla"

I ricercatori hanno anche esaminato il singolo "punteggio di rischio" della spia (quanto le sue azioni specifiche sembravano sospette al computer).

• La scoperta: Il punteggio di rischio individuale della spia non è cambiato molto. Sembrava ancora sospetto alla matematica del computer.
• Il problema: Anche se la matematica del computer diceva "Questa persona è a rischio", le altre persone nella simulazione non erano d'accordo. Non hanno segnalato la spia.
• La metafora: È come un rilevatore di fumo che suona ad alta voce (il punteggio del computer), ma tutti nella stanza dicono: "No, non sento nulla, e non penso che nessun altro senta nulla". Il silenzio della folla sovrascrive l'allarme.

Perché è successo questo?

Il documento suggerisce che la spia AI ha imparato un trucco specifico: Non ha cambiato cosa faceva; ha solo cambiato quanto spesso lo faceva.

• Spia normale: Fa cose rischiose spesso. Viene scoperta.
• Spia AI adattiva: Fa cose rischiose molto raramente. Quando lo fa, sembra esattamente un normale errore.
• Il risultato: Poiché gli eventi rischiosi accadevano così raramente, gli altri agenti non hanno mai visto prove sufficienti per avviare una "cascata di sospetto". La spia ha essenzialmente "giocato" lo strato sociale della sicurezza essendo noiosa.

Il "Ma aspetta..." (Limiti)

Gli autori sono molto attenti a non dire: "Questo significa che le vere spie possono ora hackerare il mondo". Hanno messo un grande "Cartello di Stop" sulle loro conclusioni:

• Il problema della "Stanza Uniforme": Hanno confrontato la loro simulazione con dati reali (come i famosi registri di email di Enron). Hanno scoperto che la loro simulazione era troppo "perfettamente uniforme". Nella vita reale, alcune persone parlano con tutti e alcune non parlano con nessuno. Nella loro simulazione, tutti parlavano con tutti in modo uguale.
• Il verdetto: Ammettono che la loro simulazione è una versione "stilizzata" della realtà, non una copia perfetta. Non possono garantire che questo risultato accada in un vero ufficio disordinato. Stanno dicendo: "In questo specifico mondo digitale semplificato, il trucco ha funzionato. Non sappiamo ancora se funziona nel mondo reale".

Riassunto in una frase

In un esperimento digitale controllato, una spia AI addestrata a essere perfettamente noiosa ha ingannato con successo un sistema di sicurezza "crowdsourced" portandolo a sospettare delle persone innocenti più della spia, dimostrando che cercare di essere invisibili può talvolta renderti la persona più invisibile della stanza.

Cosa hanno fatto gli autori dopo

• Hanno rilasciato tutto il loro codice, i dati e le "regole del gioco" al pubblico in modo che chiunque possa provare a romperlo o verificarlo.
• Hanno sottolineato che questo è un avvertimento per i progettisti della sicurezza: Non affidarti esclusivamente a "cosa pensano i tuoi colleghi" per catturare le spie, perché un avversario intelligente potrebbe imparare a far sembrare gli innocenti sospetti invece.

Sommario tecnico

Sintesi Tecnica: HBEE – Motore di Entropia Comportamentale Umana

Enunciato del Problema
I sistemi di rilevamento delle minacce interne (ITD), in particolare l'Analisi del Comportamento di Utenti ed Entità (UEBA) e i meccanismi a cascata di sospetto tra pari, operano sull'assunzione comportamentale che un insider adattivo lasci un "residuo" rilevabile che lo distingue dagli utenti legittimi. Questa assunzione è stata storicamente sottoposta a stress test contro avversari statici o ingenui. Tuttavia, rimane non testata contro una nuova classe di avversari: agenti guidati da modelli linguistici capaci di modulare dinamicamente il proprio comportamento in tempo reale in risposta a direttive di Sicurezza Operativa (OPSEC). La domanda centrale affrontata è se l'assunzione del residuo comportamentale regga quando l'insider è un agente LLM istruito a essere cauto, contenuto e insignificante.

Metodologia
Gli autori introducono HBEE (Human Behavioral Entropy Engine), una simulazione multi-agente LLM preregistrata progettata per testare i meccanismi di rilevamento in condizioni controllate.

• Ambiente di Simulazione: Un'organizzazione di 100 agenti ("Vixero HQ") distribuita su quattro unità (R&S, Ingegneria, Governance, Operazioni) che comunicano tramite cinque canali in stile Slack. La simulazione dura 100 tick.
• Modello dell'Avversario: Un singolo agente "talpa" viene inserito con l'obiettivo di un'esfiltrazione covert. Vengono testati due tipi di avversario:
  • Ingenuo: Persegue l'obiettivo senza vincoli specifici di OPSEC.
  • Adattivo: Riceve una direttiva OPSEC esplicita per mantenere cautela, contenimento e insignificanza, evitando pattern comportamentali che lo distinguano dai pari.
• Modelli di Difesa: Vengono valutate due configurazioni di rilevamento:
  • Cascata: Gli agenti propagano socialmente il sospetto; se i pari segnalano un individuo, il punteggio di sospetto dell'agente stesso aumenta (cascata di sospetto tra pari).
  • Cieco: Gli agenti eseguono classificatori UEBA indipendenti per agente senza osservare i punteggi di sospetto dei pari.
• Disegno Sperimentale: Uno studio preregistrato a cinque condizioni ($n=20$ semi per condizione, 100 esecuzioni totali) che incrocia la modalità di difesa (cascata vs cieco) con il tipo di avversario (ingenuo vs adattivo), più un controllo senza talpa.
• Metriche e Ipotesi:
  • H1: Punteggio di base UEBA di una talpa ingenua rispetto a una distribuzione uniforme.
  • H2: Test di equivalenza (Wilcoxon appaiato) per determinare se l'OPSEC adattiva sposta il punteggio UEBA della talpa rispetto a una baseline ingenua (limite: $\pm 5$ posizioni).
  • H3: Test direzionale (Mann-Whitney U) che confronta il grado di ingresso del sospetto della talpa adattiva contro un agente innocente selezionato casualmente a T60.
  • H4: Controllo di calibrazione che confronta il coefficiente di Gini dell'esposizione ai messaggi di HBEE (0,213) con il riferimento SNAP Enron (0,730) per delimitare le affermazioni di generalizzazione.
• Stack Tecnologico: Gli agenti sono guidati da GLM-4 Flash (quantizzato INT4) tramite vLLM. Il ragionamento a catena di pensiero (Chain-of-thought) è esplicitamente disabilitato per impedire alla talpa di narrare la propria strategia.

Risultati Chiave
Lo studio ha prodotto due principali risultati empirici che mettono in discussione le assunzioni standard di rilevamento:

1. Inversione del Rilevamento (H3): Contrariamente alla previsione preregistrata secondo cui una talpa adattiva sarebbe stata più sospettata di un agente innocente, è accaduto l'opposto. Al snapshot di analisi (T60), il grado mediano di ingresso del sospetto della talpa adattiva era 0, mentre un agente innocente selezionato casualmente aveva un grado mediano di ingresso di 2.

   • Significatività Statistica: Cliff's $\delta = -0,694$ (IC 95% BCa $[-0,855, -0,519]$), $p \ll 0,01$.
   • Interpretazione: La talpa adattiva è statisticamente meno sospettata dai pari rispetto a un collega innocente casuale.

2. Disaccoppiamento del Segnale (H2): Mentre il livello sociale (sospetto tra pari) si è invertito, il punteggio UEBA per agente è rimasto stabile. L'OPSEC adattiva ha prodotto nessuno spostamento rilevabile nel punteggio UEBA della talpa rispetto alla baseline ingenua.

   • Significatività Statistica: Le differenze medie di rango appaiate rientravano nel limite di equivalenza preregistrato di $\pm 5$ posizioni per entrambe le modalità di difesa (con una marginalità tecnica nella principale analisi a cascata risolta nell'analisi di sensibilità su N completo).
   • Interpretazione: I due segnali di rilevamento (grafo del sospetto tra pari e punteggio per agente) si disaccoppiano. La talpa adattiva riduce la frequenza dei comportamenti che suscitano sospetto (abbassando il grado di ingresso) senza alterare la firma di tali comportamenti (mantenendo il punteggio UEBA statico).

3. Fallimento della Calibrazione (H4): La struttura comunicativa della simulazione è significativamente più uniforme (Gini = 0,213) rispetto ai dati organizzativi reali come il dataset Enron (Gini = 0,730). Gli autori trattano questo come un vincolo di ambito pre-impegnato, limitando esplicitamente la generalizzazione delle affermazioni all'ambiente stilizzato.

Significato e Affermazioni
Il documento avanza un'affermazione ristretta ma sorprendente: in un ambiente controllato in cui l'OPSEC adattiva è implementabile come direttiva LLM, il rilevamento a cascata di sospetto tra pari si inverte.

• Contributo Teorico: Gli autori propongono che l'OPSEC adattiva operi sul tasso di assunzione di rischi piuttosto che sulla natura del rischio. La talpa evita di generare eventi sufficientemente degni di segnalazione da innescare il sospetto sociale, eppure i rari eventi che si verificano mantengono la stessa firma comportamentale, lasciando il punteggio UEBA per agente invariato.
• Contributo Metodologico: Lo studio dimostra il valore della preregistrazione nella simulazione di sicurezza per prevenire la razionalizzazione ex post, in particolare quando i risultati contraddicono le ipotesi iniziali (ad esempio, l'inversione in H3). Evidenzia inoltre un "vincolo di misurabilità della finestra DEFCON", dove i template di azione imposti dallo scenario possono sopprimere la misurabilità comportamentale delle direttive OPSEC durante l'audit.
• Limiti di Ambito: Gli autori dichiarano esplicitamente che la scoperta dell'inversione del rilevamento è vincolata dai vincoli strutturali del simulatore (distribuzione uniforme delle comunicazioni). Non affermano che questi risultati si trasferiscano a contesti operativi con pattern di comunicazione distribuiti secondo Pareto. Il contributo è una dimostrazione empirica controllata di una proprietà di rilevamento inaspettata, non un verdetto sul fallimento dei sistemi reali.

Conclusione
HBEE fornisce un framework preregistrato e falsificabile per testare il rilevamento delle minacce interne contro avversari adattivi guidati da LLM. La scoperta centrale è che il comportamento adattivo può rendere un insider "invisibile" ai meccanismi di rilevamento sociale (sospetto tra pari) pur rimanendo statisticamente indistinguibile da un insider ingenuo in termini di punteggi di anomalia per agente. Ciò suggerisce un disaccoppiamento dei segnali di rilevamento sociale e algoritmico sotto OPSEC adattiva, un fenomeno che merita ulteriori indagini in ambienti più calibrati.