A Cautionary Evaluation of LLMs for TLS Normative Requirement Classification
Questo articolo valuta i modelli linguistici di grandi dimensioni per l'automazione della classificazione dei requisiti normativi TLS utilizzando lo standard NIST SP 800-52 Rev. 2, riscontrando che, sebbene i metodi d'insieme raggiungano un'accuratezza del 93,75%, la confusione sistematica tra il linguaggio "SHOULD NOT" e "MAY" rende gli attuali LLM insufficientemente affidabili per l'audit di conformità autonomo.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Internet si affida a una stretta di mano digitale chiamata Transport Layer Security, o TLS, per mantenere sicuri i nostri messaggi privati, le transazioni bancarie e le email da occhi indiscreti. Questo sistema funziona concordando un insieme specifico di regole su come crittografare e decriptare i dati. Queste regole non vengono inventate sul momento; sono scritte in documenti massicci e complessi noti come standard tecnici. Questi documenti dicono agli ingegneri esattamente quali regole sono obbligatorie, quali sono semplici suggerimenti e quali sono proibite. Il linguaggio utilizzato è preciso e legalistico, basandosi su parole specifiche come "deve" (must), "dovrebbe" (should) e "può" (may) per definire la forza di una regola. Un "deve" significa che una regola è non negoziabile, mentre un "può" significa che è opzionale. Tuttavia, il testo spesso si fa complicato, mescolando queste parole con delle condizioni, come ad esempio dire che una regola è scoraggiata a meno che non si verifichi un'emergenza molto specifica. Per gli esperti di sicurezza, interpretare correttamente queste regole è una questione di sicurezza; confondere un suggerimento con un permesso potrebbe lasciare un sistema completamente esposto ad attacchi.
Per anni, l'unico modo per trasformare questi migliaia di pagine di testo in una lista di controllo che un computer potesse comprendere è stato far leggere ogni riga a esperti umani e tradurre manualmente le regole. Questo processo è lento, costoso e soggetto all'errore umano. Recentemente, è emerso un nuovo tipo di programma per computer chiamato modello linguistico di grandi dimensioni (large language model), capace di leggere e comprendere il linguaggio umano con straordinaria abilità. Questi modelli possono rispondere a domande, riassumere testi e persino scrivere codice. Ciò ha sollevato una domanda speranzosa nel mondo della cybersicurezza: questi programmi intelligenti potrebbero leggere gli standard di sicurezza e capire automaticamente quali regole si applicano a quali connessioni digitali, risparmiando agli esperti mesi di lavoro? Un team di ricercatori della Fondazione Bruno Kessler in Italia si è posto l'obiettivo di testare questa idea, non per vedere se la tecnologia potesse scrivere una storia, ma per vedere se potesse svolgere un compito in cui un singolo errore potrebbe compromettere la sicurezza dell'intero internet.
I ricercatori si sono concentrati su una sezione specifica di un importante standard di sicurezza noto come NIST SP 800-52, che disciplina come dovrebbe essere configurato il TLS. Hanno scelto un dataset di 144 specifici modelli di connessione digitale, chiamati suite di cifratura (cipher suites), che sono i mattoni fondamentali della comunicazione sicura. Il loro obiettivo era vedere se i modelli linguistici di grandi dimensioni potessero identificare correttamente lo stato di ciascun modello: era un requisito rigoroso, un consiglio, un permesso o un divieto? Per rendere il compito equo e rigoroso, non si sono limitati a chiedere ai modelli di indovinare. Invece, hanno costruito un sistema che costringesse i modelli a pensare passo dopo passo. Hanno fornito ai modelli le definizioni esatte delle parole chiave e hanno chiesto loro di seguire un percorso logico in sei fasi, esaminando il testo, cercando le parole chiave, controllando le parole negative e poi prendendo una decisione finale. Per garantire che i risultati fossero robusti, hanno eseguito questo test su quattro diversi modelli linguistici di grandi dimensioni e hanno combinato le loro risposte utilizzando un sistema di voto che dava più peso ai modelli che performavano meglio.
I risultati sono stati un misto di capacità impressionante e limitazioni deprimenti. Il sistema ha funzionato abbastanza bene da ottenere la risposta corretta in quasi il 94 percento dei casi. Si è trattato di un leggero miglioramento rispetto all'uso di un singolo modello da solo, dimostrando che combinare le "opinioni" di più modelli può smussare alcune delle loro caratteristiche individuali. Tuttavia, i ricercatori hanno scoperto che questo livello di accuratezza, sebbene buono per molti compiti, non è sufficiente per la conformità alla sicurezza. Nel mondo della cybersicurezza, un tasso di errore del 6 percento è catastrofico. Se uno strumento viene utilizzato per controllare un sistema e perde anche una sola regola proibita, quel sistema potrebbe essere distribuito con una vulnerabilità nota. Lo studio ha dimostrato che i modelli non stavano fallendo in modo casuale; stavano fallendo in un modo molto specifico e prevedibile.
Il punto critico era una distinzione sottile ma fondamentale nel linguaggio degli standard. I modelli faticavano a distinguere tra una regola che dice "non fare questo, a meno che tu non debba assolutamente farlo" e una regola che dice "ti è permesso fare questo". Nel linguaggio tecnico degli standard, la prima è una regola scoraggiata che è consentita solo sotto condizioni rigorose, mentre la seconda è un semplice permesso. I ricercatori hanno scoperto che più della metà degli errori commessi dai modelli consisteva nel confondere queste due categorie. I modelli leggevano una frase che scoraggiava una certa pratica ma la permetteva in caso di emergenza, e interpretavano la parte del "permesso" come il messaggio principale, ignorando l'avvertimento di "scoraggiamento". Vedevano il permesso, ma mancavano la condizione.
Questo fallimento non è stato risolto dal processo di pensiero passo dopo passo che i ricercatori avevano integrato nel sistema. Anche quando i modelli erano costretti a scrivere il proprio ragionamento, commettevano lo stesso errore. Potevano identificare correttamente le parole "non raccomandato" e "può essere usato", ma non riuscivano a pesarle correttamente l'una contro l'altra per raggiungere la conclusione giusta. I ricercatori hanno concluso che, sebbene questi programmi per computer siano strumenti potenti per leggere testi, non possiedono ancora la profonda comprensione della sfumatura e della logica condizionale necessaria per sostituire gli esperti di sicurezza nell'audit della sicurezza. La tecnologia non è ancora pronta per lavorare da sola. Lo studio suggerisce che questi strumenti potrebbero essere utili come primo passaggio per segnalare potenziali regole da sottoporre alla revisione di un essere umano, ma non possono essere affidati alla decisione finale. Finché i modelli non saranno in grado di comprendere in modo affidabile la differenza tra un'eccezione scoraggiata e un semplice permesso, il compito di mettere in sicurezza le regole di internet deve rimanere nelle mani umane.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.