A Sociotechnical, Practitioner-Centered Approach to Technology Adoption in Cybersecurity Operations: An LLM Case

Resumo Técnico: Abordagem Sociotécnica e Centrada no Praticante para Adoção de LLMs em Operações de Cibersegurança

1. O Problema

Os Centros de Operações de Segurança (SOCs) enfrentam desafios crônicos na adoção de novas tecnologias, especialmente Inteligência Artificial (IA) e Modelos de Linguagem Grandes (LLMs). As principais barreiras incluem:

• Desconfiança e Confiabilidade: Preocupações com "alucinações" (informações falsas), saídas inconsistentes e falta de transparência nos modelos de IA.
• Falta de Alinhamento com o Fluxo de Trabalho: Ferramentas desenvolvidas academicamente ou por fornecedores frequentemente ignoram as necessidades operacionais reais, a lógica tácita dos analistas e as restrições de tempo.
• Fragmentação de Dados: Analistas lidam com dados distribuídos em múltiplas plataformas, silos de dados e tarefas repetitivas que aumentam a carga cognitiva e o risco de burnout.
• Gap Acadêmico-Prático: Existe uma lacuna persistente entre a pesquisa acadêmica e a prática operacional, onde ferramentas falham por não serem co-criadas com os usuários finais.

2. Metodologia

O estudo utilizou uma abordagem sociotécnica e etnográfica, envolvendo dois pesquisadores de doutorado embutidos em um SOC corporativo multinacional por seis meses.

• Modelo SECI Orientado a Ferramentas: A pesquisa foi estruturada em torno do modelo de conversão de conhecimento de Nonaka (Socialização, Externalização, Combinação, Internalização), adaptado para o campo da cibersegurança:

  1. Socialização (Tácito → Tácito): Os pesquisadores participaram ativamente das reuniões, observaram fluxos de trabalho e construíram confiança através da interação social e do trabalho remoto (via Teams, compartilhamento de tela).
  2. Externalização (Tácito → Explícito): Identificação e articulação de pontos de dor, gargalos e conhecimentos tácitos dos analistas através de entrevistas, demonstrações de fluxo de trabalho e execução de tarefas reais.
  3. Combinação (Explícito → Explícito): Desenvolvimento iterativo de ferramentas baseadas em LLMs que incorporaram os insights externalizados.
  4. Internalização (Explícito → Tácito): Implantação das ferramentas, onde os analistas validaram, ajustaram e integraram as saídas da IA em seus fluxos de trabalho rotineiros, transformando o conhecimento explícito da ferramenta em competência tácita.

• Co-criação Iterativa: O desenvolvimento das ferramentas não foi linear. Envolveu ciclos contínuos de feedback, demonstrações semanais, testes de usabilidade e ajustes baseados na resposta direta dos analistas e da governança de segurança.

3. Contribuições Principais e Soluções Técnicas

O estudo resultou na criação de uma Plataforma de Segurança LLM integrada, composta por três ferramentas principais e um agente orquestrador:

• Arquitetura da Plataforma:

  • Utilizou o framework LangChain com cadeias ReAct (Reasoning and Acting) para orquestração de ferramentas.
  • Implementou RAG (Retrieval-Augmented Generation) com vetores locais (Chroma) para garantir que o LLM usasse dados organizacionais específicos e não apenas conhecimento pré-treinado, mitigando alucinações e garantindo confidencialidade (modelos hospedados localmente via Ollama).
  • Agentes: Um agente ReAct (implícito) decide qual agente explícito usar:
    1. Analista de Descoberta de Ativos: Automatiza a verificação de ativos que não reportam corretamente ao fornecedor, consultando APIs internas e bancos de dados de proprietários de ativos.
    2. Construtor de Consultas (Query Builder): Auxilia na construção de consultas complexas para SIEMs, utilizando exemplos reais da organização armazenados no vetor para melhorar a precisão.
    3. Análise de Causa Raiz (RCA): Converte artefatos de incidentes heterogêneos (JSON, logs brutos) em narrativas estruturadas, sugerindo mitigações e mapeamentos MITRE ATT&CK.

• Desafios Superados:

  • Governança e API: Superou barreiras de política ao negociar o acesso autônomo da LLM a APIs internas através de propostas de segurança detalhadas.
  • Qualidade de Dados: Resolveu o problema de exemplos genéricos ao criar um repositório vivo de exemplos de consultas e relatórios gerados pelos próprios analistas.

4. Resultados e Descobertas

• Adoção Sustentada: A transição da desconfiança inicial para a adoção contínua foi possível graças ao processo de co-criação. Os analistas passaram a ver as ferramentas como "companheiros" que reduzem a carga cognitiva, e não como substitutos.
• Redução de Carga Cognitiva: As ferramentas reduziram significativamente o tempo gasto na consolidação de dados distribuídos e na redação de relatórios de RCA.
• Validação Humana: Os analistas tratam as saídas da LLM como hipóteses provisórias que devem ser validadas, criando um ciclo de confiança calibrada.
• Novas Ideias: O processo gerou novas demandas dos usuários, como reconhecimento de padrões de alertas e automação de falsos positivos, demonstrando o sucesso do engajamento.

5. Significado e Extensão do Modelo SECI

O artigo propõe uma extensão do modelo Tool-Oriented SECI para um LLM-Oriented SECI, introduzindo dois conceitos críticos:

1. Recombinação Generativa: Diferente das ferramentas tradicionais que apenas executam lógica estática, os sistemas LLM reconstroem ativamente novos artefatos explícitos (relatórios, consultas) a partir da recombinação dinâmica de dados existentes (logs, playbooks, exemplos) via RAG.
2. Internalização Calibrada por Confiança: A internalização do conhecimento explícito (saída da IA) para o conhecimento tácito (prática do analista) não é automática. Ela exige um ciclo de validação humana, verificação de confiabilidade e ajuste de fluxo de trabalho antes que a ferramenta seja plenamente integrada.

Conclusão:
O estudo demonstra que a adoção de LLMs em operações de segurança não depende apenas do desempenho técnico do modelo, mas de uma abordagem sociotécnica onde a tecnologia é co-criada, validada e integrada iterativamente com os praticantes. Isso transforma a IA de uma ferramenta de automação estática para um colaborador dinâmico na produção de conhecimento, superando barreiras históricas de confiança e alinhamento operacional.