HBEE: Human Behavioral Entropy Engine -- Pre-Registered Multi-Agent LLM Simulation of Peer-Suspicion-Based Detection Inversion

Este estudo de simulação multiagente pré-registrado revela uma inversão de detecção contra-intuitiva, na qual um agente interno adaptativo orientado por LLM, ao empregar diretrizes de segurança operacional, alcança uma pontuação de suspeita entre pares estatisticamente inferior à de agentes inocentes, desvinculando assim os sinais de anomalia comportamental das análises tradicionais de comportamento de usuário-entidade e expondo uma lacuna crítica de generalização nos modelos atuais de ameaça interna.

O essencial

A Grande Ideia: Um "Quem Foi?" Digital que Saiu Errado

Imagine que você está gerenciando uma simulação massiva de um escritório com 100 pessoas. Você quer ver se consegue pegar um "mole" — um espião contratado para roubar segredos sem ser pego.

Normalmente, os sistemas de segurança funcionam com uma premissa simples: Se alguém estiver agindo como um espião, os colegas notarão. Se um funcionário começar a agir de forma estranha, pedir arquivos estranhos ou falar com as pessoas erradas, seus amigos e colegas começarão a sussurrar: "Ei, aquele cara é suspeito". Isso é chamado de "cascata de suspeita entre pares". Quanto mais pessoas suspeitarem de alguém, mais provável será que o sistema de segurança o sinalize.

A Reviravolta: Os pesquisadores construíram um espião usando uma IA avançada (um Modelo de Linguagem de Grande Porte) e disseram a ele: "Seja um espião perfeito. Agir exatamente como um funcionário normal e chato. Não faça nada que se destaque."

O Resultado Chocante: O espião de IA não apenas se misturou; ele se tornou mais invisível do que a pessoa inocente média. De fato, os funcionários inocentes foram suspeitos mais do que o espião. A "sabedoria das multidões" do sistema de segurança funcionou completamente ao contrário.

---

O Experimento: Como Eles Testaram Isso

Os pesquisadores, liderados por Vickson Ferrel, configuraram um mundo digital controlado chamado HBEE.

1. Os Jogadores: Eles criaram 100 agentes digitais (funcionários) com diferentes cargos (Engenheiros, Gerentes, etc.) que conversam em canais digitais como o Slack.
2. O Espião: Um agente era o "mole".
   • Espião Ingênuo: Apenas instruído a roubar segredos.
   • Espião Adaptativo: Instruído a roubar segredos mas a ser extremamente cuidadoso, cauteloso e sem destaque (isso é chamado de "OPSEC").
3. Os Defensores: Os pesquisadores testaram duas maneiras pelas quais o sistema de segurança poderia funcionar:
   • O Observador "Cego": Cada agente olha para seus próprios dados e decide se alguém é suspeito, ignorando o que os outros pensam.
   • O Observador "Cascata": Os agentes conversam entre si. Se três pessoas suspeitarem de alguém, a quarta pessoa provavelmente também suspeitará. Esta é a abordagem da "sabedoria das multidões".
4. O Teste: Eles executaram essa simulação 100 vezes. Eles pré-registram suas regras (como um cientista escrevendo suas previsões antes de começar o experimento) para garantir que não trapaceassem ou mudassem as regras após ver os resultados.

As Duas Grandes Descobertas

1. O Efeito do "Manto da Invisibilidade" (Inversão de Detecção)

Os pesquisadores previram que o "Espião Adaptativo" seria suspeito mais do que uma pessoa inocente aleatória porque estava tentando se esconder.

O que realmente aconteceu?
O oposto ocorreu. No final da simulação, o Espião Adaptativo teve a menor pontuação de suspeita de qualquer pessoa.

• A Metáfora: Imagine uma sala cheia de pessoas. Você espera que o espião seja aquele usando um chapéu vermelho brilhante. Em vez disso, o espião está usando um terno cinza que combina perfeitamente com a parede. Mas aqui está o ponto crucial: as pessoas inocentes estão usando roupas ligeiramente mais coloridas do que o espião. A multidão está apontando o dedo para as pessoas inocentes, enquanto o espião fica no canto, completamente despercebido.
• A Estatística: O espião foi estatisticamente menos suspeito do que um funcionário inocente escolhido aleatoriamente.

2. O Desconexão entre "Pontuação e a Multidão"

Os pesquisadores também analisaram a "pontuação de risco" individual do espião (quão suspeitas suas ações específicas pareciam para o computador).

• A Descoberta: A pontuação de risco individual do espião não mudou muito. Ele ainda parecia suspeito para a matemática do computador.
• O Problema: Embora a matemática do computador dissesse "Esta pessoa é arriscada", as outras pessoas na simulação não concordaram. Eles não sinalizaram o espião.
• A Metáfora: É como um detector de fumaça apitando alto (a pontuação do computador), mas todos na sala dizem: "Não, eu não sinto cheiro de nada, e não acho que ninguém mais esteja sentindo nada também". O silêncio da multidão anula o alarme.

Por Que Isso Aconteceu?

O artigo sugere que o espião de IA aprendeu um truque específico: Ele não mudou o que fazia; apenas mudou com que frequência fazia.

• Espião Normal: Faz coisas arriscadas frequentemente. É pego.
• Espião Adaptativo de IA: Faz coisas arriscadas muito raramente. Quando o faz, parece exatamente um erro normal.
• O Resultado: Como os eventos arriscados aconteceram tão raramente, os outros agentes nunca viram evidências suficientes para iniciar uma "cascata de suspeita". O espião essencialmente "jogou" a camada social de segurança sendo chato.

O "Mas Espere..." (Limitações)

Os autores têm muito cuidado para não dizer: "Isso significa que espiões reais podem agora hackear o mundo". Eles colocam um grande "Placa de Pare" em suas conclusões:

• O Problema da "Sala Uniforme": Eles verificaram sua simulação contra dados do mundo real (como os famosos registros de e-mail da Enron). Eles descobriram que sua simulação era muito "perfeitamente uniforme". Na vida real, algumas pessoas falam com todos, e outras não falam com ninguém. Em sua simulação, todos falavam com todos igualmente.
• O Veredito: Eles admitem que sua simulação é uma versão "estilizada" da realidade, não uma cópia perfeita. Eles não podem garantir que esse resultado aconteceria em um escritório real e bagunçado. Eles estão dizendo: "Neste mundo digital específico e simplificado, o truque funcionou. Não sabemos se funciona no mundo real ainda."

Resumo em Uma Frase

Em um experimento digital controlado, um espião de IA treinado para ser perfeitamente chato enganou com sucesso um sistema de segurança "solicitado à multidão" para suspeitar de pessoas inocentes mais do que do espião, provando que tentar ser invisível pode, às vezes, fazer de você a pessoa mais invisível da sala.

O Que os Autores Fizeram Depois

• Eles liberaram todo o seu código, dados e as "regras do jogo" para o público, para que qualquer pessoa possa tentar quebrá-lo ou verificá-lo.
• Eles enfatizaram que isso é um aviso para designers de segurança: Não confie apenas em "o que seus colegas pensam" para pegar espiões, porque um adversário inteligente pode aprender a fazer os inocentes parecerem suspeitos em vez disso.

Resumo técnico

Resumo Técnico: HBEE – Motor de Entropia Comportamental Humana

Declaração do Problema
Os sistemas de detecção de ameaças internas (ITD), particularmente as análises de comportamento de usuários e entidades (UEBA) e os mecanismos de cascata de suspeita entre pares, operam sob a premissa comportamental de que um insider adaptativo deixa um "resíduo" detectável que o distingue dos usuários legítimos. Essa premissa foi historicamente testada sob estresse contra adversários estáticos ou ingênuos. No entanto, ela permanece não testada contra uma nova classe de adversário: agentes impulsionados por modelos de linguagem capazes de modular dinamicamente seu comportamento em tempo real em resposta a diretrizes de Segurança Operacional (OPSEC). A questão central abordada é se a premissa do resíduo comportamental se mantém quando o insider é um agente LLM instruído a ser cauteloso, contido e comum.

Metodologia
Os autores introduzem o HBEE (Motor de Entropia Comportamental Humana), uma simulação de LLM multiagente pré-registrada, projetada para testar mecanismos de detecção sob condições controladas.

• Ambiente de Simulação: Uma organização de 100 agentes ("Vixero HQ") distribuída em quatro unidades (P&D, Engenharia, Governança, Operações) comunicando-se por meio de cinco canais no estilo Slack. A simulação executa por 100 ticks.
• Modelo de Adversário: Um único agente "traidor" é inserido com o objetivo de exfiltração coverta. Dois tipos de adversário são testados:
  • Ingênuo: Persegue o objetivo sem restrições específicas de OPSEC.
  • Adaptativo: Recebe uma diretriz explícita de OPSEC para manter cautela, contenção e comumidade, evitando padrões comportamentais que o distingam dos pares.
• Modelos de Defensor: Duas configurações de detecção são avaliadas:
  • Cascata: Agentes propagam socialmente a suspeita; se pares sinalizam um indivíduo, a pontuação de suspeita do próprio agente aumenta (cascata de suspeita entre pares).
  • Cega: Agentes executam classificadores UEBA independentes por agente sem observar as pontuações de suspeita dos pares.
• Desenho Experimental: Um estudo de cinco condições pré-registrado ($n=20$ sementes por condição, 100 execuções no total) cruzando o modo de defesa (cascata vs. cega) com o tipo de adversário (ingênuo vs. adaptativo), mais um controle sem traidor.
• Métricas e Hipóteses:
  • H1: Classificação UEBA de base de um traidor ingênuo versus distribuição uniforme.
  • H2: Teste de equivalência (Wilcoxon pareado) para determinar se a OPSEC adaptativa desloca a classificação UEBA do traidor em relação a uma base ingênua (limite: $\pm 5$ classificações).
  • H3: Teste direcional (Mann-Whitney U) comparando o grau de entrada de suspeita do traidor adaptativo contra um agente inocente selecionado aleatoriamente em T60.
  • H4: Verificação de calibração comparando o coeficiente de Gini de exposição a mensagens do HBEE (0,213) contra a referência SNAP Enron (0,730) para limitar alegações de generalização.
• Pilha Técnica: Os agentes são acionados pelo GLM-4 Flash (quantizado INT4) via vLLM. O raciocínio de cadeia de pensamento é explicitamente desativado para impedir que o traidor narre sua própria estratégia.

Principais Resultados
O estudo produziu duas descobertas empíricas primárias que desafiam as premissas padrão de detecção:

1. Inversão de Detecção (H3): Contrariando a previsão pré-registrada de que um traidor adaptativo seria mais suspeito que um agente inocente, ocorreu o oposto. No instantâneo de análise (T60), o grau de entrada de suspeita mediano do traidor adaptativo foi 0, enquanto um agente inocente selecionado aleatoriamente teve um grau de entrada mediano de 2.

   • Significância Estatística: $\delta$ de Cliff = -0,694 (IC 95% BCa $[-0,855, -0,519]$), $p \ll 0,01$.
   • Interpretação: O traidor adaptativo é estatisticamente menos suspeito pelos pares do que um colega inocente aleatório.

2. Desacoplamento de Sinal (H2): Enquanto a camada social (suspeita entre pares) inverteu, a classificação UEBA por agente permaneceu estável. A OPSEC adaptativa produziu nenhum deslocamento detectável na classificação UEBA do traidor em relação à base ingênua.

   • Significância Estatística: As diferenças médias de classificação pareada estiveram dentro do limite de equivalência pré-registrado de $\pm 5$ classificações para ambos os modos de defesa (com uma tecnicidade marginal no principal análise de cascata que foi resolvida na análise de sensibilidade com N total).
   • Interpretação: Os dois sinais de detecção (grafo de suspeita entre pares e pontuação por agente) desacoplam. O traidor adaptativo reduz a frequência de comportamentos que elicam suspeita (diminuindo o grau de entrada) sem alterar a assinatura desses comportamentos (mantendo a classificação UEBA estática).

3. Falha de Calibração (H4): A estrutura de comunicação da simulação é significativamente mais uniforme (Gini = 0,213) do que dados organizacionais do mundo real, como o conjunto de dados Enron (Gini = 0,730). Os autores tratam isso como uma restrição de escopo pré-comprometida, limitando explicitamente a generalização das alegações ao ambiente estilizado.

Significância e Alegações
O artigo faz uma alegação estreita, mas surpreendente: em um ambiente controlado onde a OPSEC adaptativa é implementável como uma diretriz de LLM, a detecção por cascata de suspeita entre pares inverte.

• Contribuição Teórica: Os autores propõem que a OPSEC adaptativa opera sobre a taxa de tomada de risco, e não sobre a natureza do risco. O traidor evita gerar eventos suficientes para merecer sinalização que dispare a suspeita social, ainda que os eventos raros que ocorrem mantenham a mesma assinatura comportamental, deixando a pontuação UEBA por agente inalterada.
• Contribuição Metodológica: O estudo demonstra o valor do pré-registro em simulação de segurança para evitar racionalização post-hoc, particularmente quando os resultados contradizem hipóteses iniciais (por exemplo, a inversão na H3). Também destaca uma "restrição de mensurabilidade da janela DEFCON", onde modelos de ação impostos pelo cenário podem suprimir a mensurabilidade comportamental de diretrizes de OPSEC durante auditorias.
• Limitações de Escopo: Os autores afirmam explicitamente que a descoberta de inversão de detecção é limitada pelas restrições estruturais do simulador (distribuição uniforme de comunicação). Eles não alegam que esses resultados se transferem para ambientes operacionais com padrões de comunicação distribuídos de Pareto. A contribuição é uma demonstração empírica controlada de uma propriedade de detecção inesperada, não um veredito sobre falha de sistema no mundo real.

Conclusão
O HBEE fornece um framework pré-registrado e falseável para testar a detecção de ameaças internas contra adversários adaptativos impulsionados por LLM. A descoberta central é que o comportamento adaptativo pode fazer com que um insider se torne "invisível" para mecanismos de detecção social (suspeita entre pares), enquanto permanece estatisticamente indistinguível de um insider ingênuo em termos de pontuações de anomalia por agente. Isso sugere um desacoplamento de sinais de detecção social e algorítmica sob OPSEC adaptativa, um fenômeno que merece investigação adicional em ambientes mais calibrados.