🤖 AI

A Framework for Using and Evaluating LLMs as Surrogate Experts in Security Surveys: Reliability, Bias, and Implications

Questo articolo presenta un framework che dimostra come, sebbene i modelli linguistici di grandi dimensioni (LLM) possano generare risposte sintetiche coerenti per sondaggi sulla sicurezza, essi esibiscano bias sistematici e omogeneizzazione che li rendono adatti per la fase pilota e la generazione di ipotesi, ma insufficienti per sostituire l'effettiva elicazione degli esperti.

Autori originali: Despoina Giarimpampa, Roland Meier, Tegawendé F. Bissyandé, Vincent Lenders, Jacques Klein

Pubblicato 2026-08-19

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Despoina Giarimpampa, Roland Meier, Tegawendé F. Bissyandé, Vincent Lenders, Jacques Klein

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo ad alta tensione della cybersicurezza, comprendere il modo in cui pensano gli esperti umani è fondamentale. Quando si verifica una violazione della sicurezza, le decisioni prese dagli analisti in un Centro di Operazioni di Sicurezza (SOC) possono determinare se una minaccia viene contenuta o se si diffonde in tutta la rete. Per comprendere questi processi decisionali, i ricercatori si affidano spesso a sondaggi e interviste con questi professionisti. Tuttavia, trovare abbastanza esperti che rispondano a tali sondaggi è notoriamente difficile. Questi specialisti sono spesso sovraccarichi di lavoro, costantemente impegnati a gestire avvisi e la minaccia del burnout, e molti lavorano sotto rigide regole di riservatezza che impediscono loro di condividere dettagli sul proprio lavoro quotidiano. Di conseguenza, gli studi soffrono spesso di campioni limitati, lasciando ai ricercatori un quadro incompleto del settore.

Recentemente, è emerso un nuovo strumento che promette di risolvere questa carenza: i grandi modelli linguistici. Si tratta di programmi informatici avanzati addestrati su enormi quantità di testi umani, capaci di generare testi che suonano sorprendentemente simili a quelli prodotti da una persona. Alcuni ricercatori hanno iniziato a chiedersi se queste intelligenze artificiali potessero fungere da sostituti per i veri esperti, colmando le lacune dei dati dei sondaggi generando migliaia di risposte sintetiche. L'idea è allettante: se un computer può imitare un esperto, potrebbe permettere agli scienziati di testare le proprie domande, esplorare diversi scenari e raccogliere dati senza dover dare la caccia a umani impegnati. Ma rimane una domanda critica: una macchina può davvero pensare come un professionista della sicurezza, o produce solo un'imitazione convincente che manca della sfumatura dell'esperienza umana reale?

Un team di ricercatori si è posto l'obiettivo di rispondere a questa domanda costruendo un quadro rigoroso per testare se questi modelli artificiali potessero servire come sostituti affidabili per gli esperti umani nei sondaggi sulla sicurezza. Non si sono limitati a porre alcune domande ai modelli per vedere cosa sarebbe successo; hanno invece progettato un esperimento completo per vedere se le risposte generate dal computer resistessero allo scrutinio. I ricercatori hanno raccolto dati reali da sei professionisti della cybersicurezza che lavorano in diversi settori, dalla sanità alla finanza. Questi esperti avevano livelli di esperienza variabili e ricoprivano ruoli differenti, come manager, analisti e specialisti. I ricercatori hanno poi chiesto a sei diversi grandi modelli linguistici di simulare questi specifici esperti, creando personae digitali che corrispondessero ai loro background e titoli professionali.

L'esperimento è stato condotto in tre modi distinti per testare i modelli da ogni angolazione. In primo luogo, i ricercatori hanno chiesto ai modelli di agire come singoli esperti, cercando di replicare le opinioni specifiche degli esseri umani reali. In secondo luogo, hanno chiesto ai modelli di generare i pattern complessivi di un intero gruppo, simulando i risultati aggregati di un grande sondaggio. Infine, hanno testato i modelli nel tempo, chiedendo loro di prevedere come le opinioni degli esperti fossero cambiate attraverso diversi anni di dati reali. Durante tutto questo processo, i ricercatori hanno eseguito ogni simulazione più volte per vedere se i modelli fornissero le stesse risposte quando interrogati ripetutamente sulla stessa domanda, controllando la coerenza e la stabilità.

I risultati hanno rivelato un divario chiaro e significativo tra le simulazioni artificiali e la realtà umana. Sebbene i grandi modelli linguistici fossero notevolmente coerenti con se stessi — fornendo spesso la stessa risposta quando interrogati più volte sulla stessa domanda — essi non riuscivano a catturare la vera diversità del pensiero umano. I veri esperti di sicurezza mostravano una vasta gamma di opinioni; alcuni erano sicuri delle proprie scelte, altri erano incerti, e le loro risposte variavano a seconda delle loro esperienze specifiche e delle pressioni uniche dei loro luoghi di lavoro. Al contrario, i modelli tendevano a convergere su una singola risposta, sicura e di compromesso. Essi appiattivano i disaccordi e le incertezze che sono naturali per gli esperti umani, producendo risposte troppo uniformi e troppo educate.

Quando i ricercatori hanno confrontato la distribuzione delle risposte dei modelli con i dati reali, i modelli sembravano ottenere la forma generale dei dati, ma mancavano dei dettagli. Tendevano a evitare opinioni estreme o rare, raggruppando le loro risposte attorno alla media. Questo "bias della tendenza centrale" significava che, sebbene i modelli potessero generare un risultato di un sondaggio dall'aspetto plausibile, stavano di fatto cancellando proprio quelle variazioni che rendono preziosa l'esperienza umana. Ad esempio, quando interrogati sulle sfide nell'adozione di nuovi strumenti, i veri esperti evidenziavano ostacoli operativi specifici e concreti, mentre i modelli offrivano difficoltà generiche, in stile manualistico, prive della consistenza della pratica effettiva.

Lo studio ha anche esaminato se questi modelli potessero tracciare i cambiamenti nel settore nel tempo. I ricercatori hanno scoperto che i modelli erano ampiamente insensibili al tempo. Anche quando venivano interrogati per simulare le risposte di anni diversi, i modelli producevano gli stessi pattern statici, fallendo nel riflettere la natura evolutiva delle minacce e delle pratiche di cybersicurezza. Ciò suggerisce che i modelli non stiano realmente "imparando" o adattandosi alle nuove informazioni nel modo in cui farebbe un esperto umano; invece, stanno richiamando un insieme fisso di concetti che non cambiano con il passare del tempo. Questa mancanza di consapevolezza temporale significa che non possono essere considerati affidabili per prevedere come le opinioni degli esperti potrebbero cambiare in futuro o per riflettere accuratamente i trend storici.

In definitiva, i ricercatori hanno concluso che, sebbene questi grandi modelli linguistici siano strumenti potenti, non sono pronti a sostituire gli esperti umani nella ricerca sulla sicurezza. I modelli sono eccellenti nelle fasi iniziali di uno studio, come aiutare i ricercatori a redigere le domande del sondaggio, testare se una domanda sia chiara o generare scenari ipotetici da esplorare. Possono servire come utile base di confronto per le idee. Tuttavia, non dovrebbero mai essere usati per sostituire la reale raccolta delle opinioni degli esperti. La natura unica, variegata e talvolta contraddittoria del giudizio umano è qualcosa che non può essere sintetizzato da un algoritmo. Per comprendere il mondo reale della cybersicurezza, i ricercatori devono ancora fare affidamento sugli approfondimenti disordinati, complessi e inestimabili degli esseri umani che vivono e lavorano al suo interno. Lo studio funge da guida vitale, assicurando che, mentre il campo abbraccia nuove tecnologie, non perda di vista l'esperienza umana che rimane la fondazione della sicurezza.

Sintesi Tecnica: Un Framework per l'Utilizzo e la Valutazione degli LLM come Esperti Surrogati nei Sondaggi di Sicurezza

1. Definizione del Problema

La ricerca sulla sicurezza, in particolare all'interno dei Security Operations Centres (SOC), si affida pesantemente all'elicitazione di esperti tramite sondaggi e interviste per comprendere i flussi di lavoro, i processi decisionali e la maturità organizzativa dei professionisti. Tuttavia, il reclutamento di esperti del dominio è sempre più difficile a causa dell'elevato carico di lavoro, del burnout, della carenza di personale e dei vincoli di riservatezza. Queste sfide si traducono spesso in campioni ridotti, bassi tassi di risposta (con una media del ~44% per i sondaggi online) e intuizioni fragili.

Sebbene i Large Language Models (LLM) offrano una potenziale soluzione generando risposte sintetiche su larga scala, esiste una critica mancanza di guida metodologica sulla loro affidabilità come partecipanti surrogati. Gli studi precedenti suggeriscono rischi quali l'allucinazione, l'accordo esagerato e l'appiattimento del disaccordo genuino. Inoltre, le valutazioni esistenti spesso mancano di un confronto rigoroso con gli esperti del dominio, non riescono a valutare la stabilità tra le diverse esecuzioni (run-to-run) o non tengono conto della generalizzazione temporale. Il problema centrale affrontato è determinare se i rispondenti sintetici possano rappresentare accuratamente le prospettive umane nei sondaggi sulla cybersecurity o se introducano bias sistematici che compromettono la validità della ricerca.

2. Metodologia

Gli autori propongono un framework metodologico generale e riproducibile per valutare gli LLM come partecipanti surrogati. Questo framework è istanziato attraverso tre distinti setting sperimentali per valutare diverse modalità di simulazione dei sondaggi:

Il Framework di Valutazione

Il framework si compone di quattro componenti principali:

Rappresentazione del Sondaggio: Le domande sono codificate come item categorici, a scelta multipla o su scala Likert con una formattazione standardizzata.
Inquadramento del Prompt e Condizionamento del Ruolo: I prompt definiscono il compito e il formato di risposta, includendo metadati della persona (es. ruolo, settore) ma escludendo rigorosamente esempi di risposte (indipendenza zero-shot) per rivelare i bias induttivi intrinseci.
Strategia di Campionamento: Per tenere conto della stocasticità, ogni modello viene interrogato dieci volte sotto identiche condizioni per ogni setup. Ciò consente di stimare la stabilità, la dispersione e la variabilità tra le esecuzioni.
Aggregazione e Rappresentazione: Le uscite vengono aggregate utilizzando regole appropriate per i sondaggi (es. voto di pluralità per i categorici, mediana per la scala Likert) per formare risposte confrontabili.

Setting Sperimentali

Setting 1: Simulazione di Esperti Individuali: Gli autori hanno raccolto le risposte di sei professionisti SOC reali (manager, analisti, specialisti) e le hanno confrontate con LLM istruiti per simulare profili di esperti corrispondenti.
Setting 2: Replicazione della Distribuzione Aggregata: Agli LLM è stato chiesto di generare distribuzioni di risposta a livello di popolazione basate sulle statistiche riassuntive di uno studio precedente sui professionisti riguardante il triage degli allarmi nei SOC.
Setting 3: Analisi della Robustezza Temporale: Utilizzando i report dei sondaggi SANS SOC dal 2017 al 2025, gli autori hanno valutato se gli LLM potessero seguire i cambiamenti temporali nelle risposte dei professionisti, inclusi i dati relativi agli anni precedenti e successivi ai cut-off di addestramento dei modelli.

Modelli e Metriche

Sono stati valutati sei LLM (GPT-4o, GPT-4, DeepSeek, Llama 3.1-8B, Llama 3.2-3B, Gemini Flash), oltre a GPT-3.5-turbo per il contrasto temporale. Le metriche di valutazione includono:

Misure di Accordo: Tasso di corrispondenza esatta, somiglianza di Jaccard/Hamming e differenze assolute mediane.
Divergenza Distribuzionale: Divergenza di Jensen–Shannon (JSD) e divergenza di Pearson $\chi^2$ per confrontare le distribuzioni sintetiche con i baseline umani.
Stabilità: Coerenza intra-LLM (ripetibilità tra le esecuzioni) e accordo inter-LLM.

3. Contributi Principali

Il documento apporta quattro contributi primari:

Framework Metodologico: Un framework generalizzabile per l'uso e la valutazione degli LLM come partecipanti surrogati in sondaggi specialistici sulla cybersecurity.
Confronto Empirico: Un confronto esaustivo tra veri esperti SOC e rispondenti generati da LLM attraverso setting individuali, aggregati e temporali.
Identificazione dei Failure Mode: L'identificazione sistematica di specifici bias nei dati dei sondaggi generati da LLM, inclusa la riduzione della varianza, il bias della tendenza centrale e l'omogeneizzazione delle opinioni.
Analisi dei Fattori Umani: Una valutazione dei rischi associati ai rispondenti sintetici, specificamente la perdita di variabilità dell'esperto e la rappresentazione errata delle prospettive dei professionisti.

4. Risultati

Lo studio produce diversi risultati critici riguardanti l'affidabilità degli LLM in questo contesto:

Livello Individuale (Setting 1): Sebbene gli LLM producano risposte internamente coerenti quando istruiti con specifiche "persona", essi divergono sistematicamente dagli esperti umani. L'accordo inter-LLM è basso e l'allineamento con le risposte umane è debole (spesso nullo). I modelli non convergono su risposte simulate simili, né approssimano i giudizi dei singoli esperti.
Livello Aggregato (Setting 2): Gli LLM generano distribuzioni aggregate altamente stabili attraverso le ripetute esecuzioni. Tuttavia, mentre la somiglianza a coppie (JSD) suggerisce che i modelli producano forme distributive ampiamente simili, le misure di divergenza assoluta ( $\chi^2$ ) rivelano grandi discrepanze con i baseline umani. I modelli tendono a sovra-allocare la massa di probabilità a opzioni rare e non riescono a riprodurre fedelmente le proporzioni specifiche delle risposte dei professionisti.
Livello Temporale (Setting 3): Le distribuzioni generate dagli LLM sono insensibili al tempo. L'allineamento con i dati dei sondaggi umani rimane costantemente basso in tutti gli anni (2017–2025) e non migliora per gli anni precedenti al cut-off di pre-addestramento, né degrada per gli anni successivi al cut-off. I modelli non riescono a tracciare i cambiamenti storici nelle risposte dei professionisti, suggerendo che riproducano conoscenze concettuali statiche piuttosto che un giudizio professionale in evoluzione.
Bias Sistematici: L'analisi qualitativa e quantitativa conferma che gli LLM mostrano una ridotta varianza, un bias della tendenza centrale (convergenza verso risposte moderate) e opinioni omogeneizzate. Tendono a riflettere best practice generiche piuttosto che le realtà sfumate, conflittuali e dipendenti dal contesto tipiche degli esperti umani.

5. Significato e Rivendicazioni

Il documento conclude con una posizione modesta ma ferma sul ruolo degli LLM nella ricerca sulla sicurezza:

Non sono un Sostituto: Gli LLM non sono adatti come sostituti dell'elicitazione di esperti umani nei sondaggi sulla cybersecurity. La loro sistematica divergenza dalla variabilità umana e l'incapacità di catturare la diversità delle prospettive dei professionisti ne limitano la validità come partecipanti surrogati per trarre conclusioni empiriche sulle operazioni di sicurezza.
Utili per Piloting e Generazione di Ipotesi: Gli autori sostengono che gli LLM siano strumenti di integrazione. La loro controllabilità e scalabilità li rendono efficaci per:
- Testare (piloting) gli strumenti di sondaggio.
- Sottoporre a stress-test il design dei questionari.
- Esplorare popolazioni controfattuali.
- Generare ipotesi per ulteriori investigazioni guidate dall'uomo.
Guida Metodologica: Il lavoro fornisce una guida pratica per i ricercatori, sottolineando che le risposte sintetiche dovrebbero essere trattate come campioni stocastici da distribuzioni specifiche del modello piuttosto che come opinioni autorevoli di esperti. I ricercatori devono applicare salvaguardie metodologiche e riportare in modo trasparente i limiti dei sondaggi aumentati da LLM per preservare l'integrità della ricerca centrata sull'uomo.

Gli autori dichiarano esplicitamente che, sebbene gli LLM possano supportare il processo di ricerca, non possono sostituire il giudizio sfumato e consapevole del contesto dei professionisti umani, e fare affidamento su di essi a tale scopo rischia di indurre a conclusioni fuorvianti ed erodere la variabilità dell'esperto negli studi sulla sicurezza.