A Sociotechnical, Practitioner-Centered Approach to Technology Adoption in Cybersecurity Operations: An LLM Case

Titolo: Un Approccio Sociotecnico e Centrato sul Practitioner per l'Adozione della Tecnologia nelle Operazioni di Cybersecurity: Un Caso di Studio con LLM

1. Il Problema

I Security Operations Center (SOC) affrontano sfide critiche nell'adozione di nuove tecnologie, in particolare l'Intelligenza Artificiale Generativa (GenAI) e i Large Language Models (LLM). Nonostante il potenziale promesso, l'adozione è spesso lenta o fallisce a causa di:

• Diffidenza e Fiducia: Preoccupazioni riguardo all'affidabilità, alle "allucinazioni" (hallucinations) e alla coerenza degli output degli LLM.
• Disallineamento dei Flussi di Lavoro: Gli strumenti progettati senza considerare la conoscenza tacita degli analisti spesso interrompono i flussi di lavoro esistenti invece di migliorarli.
• Frammentazione dei Dati: Gli analisti devono navigare tra piattaforme disparate, dati silosati e log complessi per determinare se un allarme è un falso o un vero positivo, un compito che richiede un enorme carico cognitivo.
• Divario Ricerca-Pratica: Esiste un gap persistente tra la ricerca accademica e la pratica operativa reale; gli strumenti sviluppati in laboratorio spesso non si adattano alle vincoli operativi e alle esigenze quotidiane dei SOC.

2. Metodologia

Lo studio ha adottato un approccio sociotecnico e di co-creazione, basato su un lavoro sul campo etnografico di sei mesi all'interno di un SOC di una multinazionale.

• Immersione Etnografica: Due ricercatori dottorandi sono stati integrati nel team SOC come partecipanti osservatori, svolgendo compiti reali, partecipando a riunioni e interagendo quotidianamente con analisti e manager.
• Modello SECI Orientato agli Strumenti: La ricerca è stata guidata dal modello di conversione della conoscenza di Nonaka (Socializzazione, Esternalizzazione, Combinazione, Internalizzazione), adattato per il cybersecurity fieldwork (Tool-Oriented SECI):
  1. Socializzazione (Tacito $\to$ Tacito): Acquisizione della conoscenza operativa attraverso l'immersione e la costruzione di fiducia.
  2. Esternalizzazione (Tacito $\to$ Esplicito): Identificazione e formalizzazione dei "pain points" (es. compiti ripetitivi, query complesse) attraverso interviste e osservazione.
  3. Combinazione (Esplicito $\to$ Esplicito): Sviluppo iterativo di strumenti basati su LLM che incorporano le conoscenze esternalizzate.
  4. Internalizzazione (Esplicito $\to$ Tacito): Implementazione e adozione degli strumenti, dove gli analisti validano e integrano gli output nel proprio flusso di lavoro.
• Co-Creazione Iterativa: Gli strumenti sono stati sviluppati in stretta collaborazione con gli analisti, utilizzando cicli di feedback continui (dimostrazioni, test, revisioni) per allineare la tecnologia alle esigenze reali.

3. Contributi Chiave e Soluzioni Tecniche

Il team ha sviluppato una piattaforma di sicurezza integrata e tre strumenti specifici basati su LLM, utilizzando l'architettura RAG (Retrieval-Augmented Generation) per garantire che le risposte fossero fondate su dati organizzativi specifici e non su conoscenze pre-addestrate generiche.

• Piattaforma di Sicurezza LLM: Un'infrastruttura centrale che utilizza il framework LangChain e il pattern ReAct (Reason + Action) per orchestrare diversi agenti. È stata selezionata la modalità Mistral:7B per bilanciare prestazioni e risorse hardware limitate (GPU 16GB).
• Strumenti Specifici:
  1. Query Builder: Assistente per la costruzione di query per SIEM. Utilizza un vettore di documenti (vectorstore) popolato con esempi di query reali degli analisti per generare query contestuali, superando i limiti dei builder forniti dai vendor.
  2. Asset Discovery: Strumento per identificare asset non reportanti o "stale". Automatizza le chiamate API verso i database interni e il vendor, aggregando i dati e generando bozze di email per i proprietari degli asset.
  3. Root Cause Analysis (RCA): Strumento per trasformare artefatti di incidenti eterogenei (JSON, log grezzi) in narrazioni strutturate. Utilizza RAG con playbook e policy interne per garantire che i report siano allineati alle procedure aziendali e riducano le allucinazioni.
• Governance e Sicurezza: Tutti i modelli sono stati eseguiti localmente (Ollama) per mantenere i dati sensibili all'interno dell'infrastruttura aziendale. È stato sviluppato un protocollo rigoroso per l'autenticazione e l'autorizzazione delle chiamate API autonome.

4. Risultati

• Adozione Sostenuta: Dopo un iniziale scetticismo e sfide (es. limitazioni delle API, necessità di validazione umana), gli strumenti sono stati adottati e integrati nei flussi di lavoro quotidiani.
• Riduzione del Carico Cognitivo: Gli analisti hanno riportato una significativa riduzione del tempo necessario per la raccolta e la correlazione dei dati, potendo concentrarsi su compiti a maggior valore aggiunto.
• Fiducia Calibrata: L'adozione non è stata automatica ma "calibrata". Gli analisti trattano gli output degli LLM come ipotesi da verificare, non come verità assolute. La fiducia è cresciuta attraverso la validazione umana e la coerenza degli output.
• Conoscenza Esplicita Dinamica: Il sistema ha permesso di trasformare la conoscenza tacita degli analisti (es. esempi di query, procedure di RCA) in una base di conoscenza esplicita e in crescita (vectorstore), che a sua volta migliora le prestazioni degli strumenti nel tempo.

5. Significato e Impatto

Il paper propone un'estensione fondamentale del modello SECI per l'era dell'IA generativa, introducendo due concetti chiave:

1. Ricombinazione Generativa: A differenza degli strumenti tradizionali che eseguono logica statica, gli LLM agiscono come co-produttori attivi, generando nuovi artefatti espliciti (report, query, riassunti) ricombinando dinamicamente conoscenze esistenti tramite RAG.
2. Internalizzazione Calibrata dalla Fiducia: L'integrazione della conoscenza esplicita (output LLM) nella conoscenza tacita (pratica dell'analista) non è diretta. Richiede un ciclo di validazione umana per interpretabilità, affidabilità e aderenza al flusso di lavoro.

Implicazioni Pratiche:

• L'approccio "centrato sul practitioner" e la co-creazione sono essenziali per superare le barriere all'adozione dell'IA nel cybersecurity.
• Gli strumenti di sicurezza non devono essere visti come soluzioni statiche "top-down", ma come sistemi evolutivi che richiedono un adattamento continuo basato sul feedback degli utenti finali.
• Il successo dell'IA nei SOC dipende dalla capacità di bilanciare l'automazione con il giudizio umano, trasformando l'LLM da un sostituto dell'analista a un "companion" (compagno) che ne potenzia le capacità.

In sintesi, lo studio dimostra che l'integrazione etnografica e la co-creazione possono trasformare l'IA da una fonte di rischio e disallineamento a un motore di efficienza operativa, ridefinendo come la conoscenza viene convertita e applicata nelle operazioni di sicurezza moderne.