The Dual-Use Nature of Large Language Models in Cybersecurity: A Bibliometric Analysis and Critical Review
Questo articolo combina un'analisi bibliometrica di 7.369 documenti con una revisione critica per rivelare che la ricerca sui grandi modelli linguistici nella cybersicurezza è frammentata tra isolati ruoli offensivi e difensivi, spingendo gli autori a proporre un framework a doppio uso accoppiato e otto direzioni di ricerca prioritarie per affrontare la mancanza di valutazione adattiva e di strategie di sicurezza integrate.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Negli ultimi anni, è emerso un nuovo tipo di programma informatico capace di leggere, scrivere e ragionare con il linguaggio umano. Questi programmi, noti come grandi modelli linguistici, non sono semplici chatbot; sono strumenti potenti che le organizzazioni stanno iniziando a utilizzare per gestire la propria sicurezza digitale. Possono scansionare migliaia di avvisi di sicurezza per individuare minacce reali, scrivere codice per correggere falle del software o persino aiutare i team di sicurezza a pianificare le proprie difese. Ma questi stessi strumenti hanno un lato oscuro. Poiché sono molto bravi a seguire istruzioni e a generare testo, malintenzionati possono ingannarli per scrivere malware, creare email false e convincenti o aggirare le regole di sicurezza. Ciò crea una situazione unica in cui una singola tecnologia funge da scudo, da arma e da bersaglio allo stesso tempo. È lo scudo quando protegge una rete, l'arma quando aiuta un attaccante e il bersaglio quando qualcuno cerca di ingannare il programma stesso. Comprendere come queste tre funzioni interagiscono è fondamentale, perché se studiamo lo strumento solo come difensore, potremmo non accorgerci del fatto che lo strumento stesso è vulnerabile proprio agli attacchi che sta cercando di contrastare.
Un team di ricercatori si è dato l'obiettivo di mappare questo complesso panorama, non leggendo pochi articoli, ma analizzando migliaia di essi per vedere come la comunità scientifica stia effettivamente pensando a questi problemi. Hanno raccolto quasi 13.000 record pubblicati tra il 2023 e la fine del 2026, filtrandoli in un gruppo centrale di 7.369 documenti che affrontavano direttamente l'intersezione tra questi modelli linguistici e la cybersicurezza. Utilizzando un metodo che tratta la ricerca come una mappa, hanno osservato quanto spesso diversi argomenti apparivano insieme e quali studi venissero citati più spesso. Volevano sapere se gli scienziati stessero studiando i tre ruoli di questi modelli insieme, o se stessero lavorando in silos separati. Volevano anche vedere se le prove a sostegno della sicurezza di questi strumenti fossero solide quanto sembravano.
I ricercatori hanno scoperto che il campo sta crescendo in modo incredibilmente rapido, con il numero di documenti rilevanti che raddoppia o triplica quasi ogni anno. Tuttavia, la ricerca è profondamente divisa. La stragrande maggioranza degli studi si concentra su uno solo dei tre ruoli in isolamento. Solo circa l'otto per cento dei documenti esaminati trattava più di un ruolo contemporaneamente. Ciò significa che coloro che studiano come attaccare questi modelli raramente parlano con coloro che studiano come usarli per la difesa. Ancora più preoccupante è che, quando i ricercatori costruiscono un sistema difensivo utilizzando questi modelli, non testano quasi mai se tale sistema possa essere ingannato dagli stessi attacchi che dovrebbe fermare. Negli studi difensivi che hanno esaminato, solo circa l'undici per cento menzionava il rischio che il modello stesso venisse compromesso. I ricercatori hanno concluso che, sebbene la tecnologia sia naturalmente connessa — dove uno strumento difensivo è anche un potenziale bersaglio — la comunità della ricerca non si è ancora adeguata a questa realtà.
Quando il team ha esaminato più da vicino le prove su quanto bene questi modelli funzionino come armi o scudi, ha scoperto che i numeri riportati nei diversi studi erano estremamente incoerenti. Ad esempio, quando i ricercatori hanno testato quanto un'intelligenza artificiale fosse brava nell'hackerare un sistema informatico, i tassi di successo riportati variavano dallo zero al novanta per cento. Questo enorme divario non era dovuto al cambiamento dei modelli, ma al fatto che il modo in cui i test erano progettati era diverso. Alcuni studi davano al modello un enorme vantaggio indicandogli esattamente quale fosse la debolezza, mentre altri lo testavano in un ambiente realistico in cui doveva trovare la debolezza da solo. I ricercatori hanno notato che molti studi non testavano le loro difese contro attaccanti che cercavano attivamente di capire come romperle. Al contrario, testavano contro attacchi statici e prevedibili. Questo è come testare una serratura contro una chiave che non cambia mai, piuttosto che contro un fabbro che sta cercando di scassinarla.
Lo studio ha anche rivelato che le minacce più pericolose si stanno spostando verso l'alto nella scala gerarchica. La ricerca iniziale si concentrava su semplici trucchi per far dire al modello qualcosa che non dovrebbe dire. Ora, l'attenzione si sta spostando verso sistemi più complessi in cui il modello può ricordare le conversazioni passate, utilizzare strumenti e prendere decisioni nel tempo. Questi sistemi "agentici" sono molto più difficili da proteggere perché un singolo errore può portare a una catena di azioni dannose che si diffonde attraverso una rete. I ricercatori hanno scoperto che, sebbene ci siano molti nuovi modi per attaccare questi sistemi, le difese sono spesso fragili. Una difesa che funziona oggi potrebbe fallire domani se l'attaccante cambia leggermente il suo approccio. Inoltre, gli strumenti utilizzati per misurare il successo sono spesso obsoleti o disponibili solo in inglese, il che significa che potrebbero non funzionare per il resto del mondo.
In definitiva, il documento sostiene che non possiamo trattare questi modelli come semplici strumenti che sono o buoni o cattivi. Sono tecnologie a duplice uso dove la linea tra offesa e difesa è sfumata. I ricercatori suggeriscono che il lavoro più importante per il futuro non è solo inventare nuovi attacchi o nuove difese, ma costruire modi migliori per testarli. Dobbiamo smettere di assumere che una difesa funzioni solo perché ha superato un test semplice. Invece, dobbiamo testare ogni sistema difensivo come se fosse anche un bersaglio, controllando costantemente se può essere ingannato dal contenuto che dovrebbe analizzare. Finché la comunità della ricerca non inizierà a studiare questi tre ruoli insieme, rimarremo ciechi di fronte all'immagine completa di come questi potenti strumenti possano essere usati, abusati e protetti.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.