Can LLMs effectively provide game-theoretic-based scenarios for cybersecurity?

Resumo Técnico: LLMs podem fornecer efetivamente cenários baseados em teoria dos jogos para cibersegurança?

1. O Problema

A teoria dos jogos é uma ferramenta fundamental na cibersegurança para modelar interações estratégicas entre atacantes e defensores, permitindo prever comportamentos e projetar mecanismos de defesa. Com o advento dos Grandes Modelos de Linguagem (LLMs), surge a oportunidade de utilizar esses modelos como agentes autônomos (tanto ofensivos quanto defensivos) em simulações de cibersegurança.

No entanto, existe uma lacuna crítica de conhecimento: os LLMs agem em alinhamento com as previsões da teoria dos jogos clássica? A literatura atual sugere que LLMs podem desviar de estratégias ótimas devido a vieses embutidos, incertezas e falta de consistência. O problema central investigado é se frameworks de teoria dos jogos clássicos conseguem capturar efetivamente o comportamento de agentes impulsionados por LLMs, e como fatores como a língua natural e traços de personalidade influenciam esses resultados em cenários de segurança.

2. Metodologia

Os autores utilizaram o framework FAIRGAME, projetado para simular jogos estratégicos com agentes LLM de forma reprodutível. O estudo focou em dois cenários canônicos usados na cibersegurança:

• Jogo de Soma Zero de Uma Única Rodada (One-shot Zero-Sum): Modela cenários como jamming (interferência), escuta (eavesdropping) e ataques de negação de serviço (DoS). O objetivo é maximizar o ganho próprio, onde o ganho de um é a perda do outro.
• Dilema do Prisioneiro Repetido (Repeated Prisoner's Dilemma): Modela cooperação vs. traição em redes multi-hop e intrusões cibernéticas. Os agentes jogam 10 rodadas, com conhecimento parcial do histórico e variáveis sobre se conhecem o número total de rodadas.

Configuração Experimental:

• Modelos LLM Testados: Quatro modelos de última geração: GPT-4 (OpenAI), Gemini Pro 1.5 (Google), Mistral Large (Mistral AI) e Llama 3.1 405B (Meta).
• Variáveis de Entrada:
  • Idiomas: Inglês, Francês, Árabe, Vietnamita e Mandarim (para testar sensibilidade linguística).
  • Personalidade: Agentes classificados como "Cooperativo" ou "Egoísta" (semelhante a "Atacante/Defensor", mas mantido neutro para evitar viés de papel).
  • Informação: Conhecimento ou não do número total de rodadas no Dilema do Prisioneiro.
• Métricas de Avaliação:
  • Variabilidade Interna (IV): Consistência do modelo em repetições do mesmo cenário.
  • Inconsistência Cross-Linguagem (CI): Desvio nos resultados quando o mesmo jogo é jogado em diferentes idiomas.
  • Variabilidade sobre Rodadas (VR): Flutuação nas estratégias ao longo das rodadas repetidas.

3. Contribuições Principais

1. Framework Reprodutível: Adaptação e uso do FAIRGAME para testar sistematicamente agentes LLM em jogos de teoria dos jogos, permitindo a análise de viéses em escala.
2. Descoberta de Viéses Linguísticos: Evidência empírica de que a escolha do idioma de prompting altera drasticamente o comportamento estratégico e os pagamentos finais dos LLMs, desafiando a aplicação indiscriminada desses modelos em diferentes regiões geográficas.
3. Análise Comparativa de Modelos: Identificação de quais LLMs são mais estáveis e consistentes para aplicações de segurança, mostrando que a "melhor" escolha de modelo não é agnóstica, mas depende do contexto e do jogo.
4. Métricas Quantitativas: Proposta de métricas específicas (IV, CI, VR) para avaliar a confiabilidade de LLMs como agentes estratégicos, auxiliando na seleção de modelos para sistemas seguros.

4. Resultados Chave

• Desvio das Previsões Teóricas: Os LLMs raramente convergem para as estratégias mistas ou equilíbrios de Nash esperados pela teoria dos jogos clássica. O comportamento é altamente influenciado por traços de personalidade e contexto.
• Sensibilidade Extrema ao Idioma:
  • A escolha do idioma alterou completamente as estratégias adotadas. Por exemplo, um agente que cooperava em inglês podia trair em árabe ou mandarim.
  • O GPT-4o mostrou-se o menos estável em termos de consistência cross-linguagem no jogo de soma zero, enquanto o Mistral Large apresentou picos menores de variabilidade.
  • No Dilema do Prisioneiro, o Claude 3.5 exibiu a maior inconsistência cross-linguagem (CI = 0.79), enquanto GPT-4 e Llama 3 foram mais consistentes.
• Impacto da Personalidade:
  • Em jogos de soma zero, combinações de personalidades (ex: Cooperativo-Cooperativo) levaram a pagamentos negativos inconsistentes, indicando que os agentes não seguem uma lógica de maximização de ganho puro, mas sim padrões emergentes e às vezes aleatórios.
  • No Dilema do Prisioneiro, agentes com personalidades semelhantes (S-S ou C-C) tendem a ter menor variabilidade, enquanto pares mistos (C-S) geram distribuições mais amplas.
• Convergência Dinâmica: No Dilema do Prisioneiro repetido, a maioria dos modelos convergiu para cooperação mútua ao longo do tempo (reduzindo penalidades), exceto o GPT-4o, que começou cooperativo e aumentou a traição, sugerindo adaptações contextuais complexas e vieses iniciais.

5. Significância e Implicações

• Alerta para Cibersegurança: A aplicação de LLMs em sistemas de defesa cibernética não pode ser "cega" em relação ao idioma e à configuração do agente. Um sistema de defesa baseado em LLM pode falhar ou comportar-se de maneira inesperada se implantado em uma região com idioma diferente daquele usado no treinamento ou teste.
• Necessidade de Testes Rigorosos: Antes de integrar LLMs em protocolos de segurança, é imperativo realizar testes extensivos em múltiplos cenários, idiomas e configurações de personalidade para mitigar riscos de viés.
• Novas Ameaças e Defesas: Se atacantes utilizarem LLMs, suas estratégias podem ser imprevisíveis e baseadas em vieses linguísticos, exigindo novas estratégias de contra-ataque que vão além da teoria dos jogos tradicional.
• Ética e Responsabilidade: O uso de LLMs para simular ataques e defesas traz riscos éticos, incluindo a possibilidade de exploração maliciosa (descoberta automatizada de vulnerabilidades). A transparência e o uso de frameworks de teste como o FAIRGAME são essenciais.

Conclusão: O estudo demonstra que, embora os LLMs ofereçam potencial para enriquecer simulações de cibersegurança com complexidade humana (personalidade, adaptação), eles introduzem instabilidades significativas e vieses dependentes do idioma. A seleção do modelo e o contexto de implantação são fatores críticos que determinam a eficácia e a segurança de tais aplicações.