Nel moderno mondo digitale, l'ossatura di quasi ogni servizio online è un vasto, invisibile strato di computer e software noto come infrastruttura. Per decenni, configurare questa infrastruttura richiedeva team di ingegneri per configurare manualmente server, database e impostazioni di sicurezza, un processo lento e soggetto a errori. Per risolvere questo problema, il settore ha adottato un metodo chiamato "Infrastructure as Code" (Infrastruttura come Codice), in cui l'intera configurazione viene scritta in file di testo, proprio come una ricetta dettagliata o un progetto. Questi file di testo dicono ai computer esattamente come costruire e mettere in sicurezza un sistema, permettendo una distribuzione rapida, coerente e automatizzata. Tuttavia, proprio come una ricetta con un ingrediente mancante può rovinare un pasto, un singolo errore in questi file di codice può lasciare un sistema completamente esposto agli hacker. Se il codice contiene debolezze nascoste, come password non criptate o regole di accesso eccessivamente permissive, tali difetti vengono istantaneamente trasferiti al sistema operativo nel momento stesso in cui viene acceso.

Recentemente, un nuovo strumento è entrato in questo campo: gli assistenti di programmazione basati sull'intelligenza artificiale. Questi programmi possono leggere una semplice richiesta in linguaggio naturale e scrivere automaticamente il codice complesso necessario per costruire questi sistemi. Sebbene ciò prometta di velocizzare lo sviluppo, solleva una domanda critica che non era mai stata risposta fino ad ora: il codice che queste macchine scrivono mantiene effettivamente i sistemi al sicuro? I ricercatori dell'Università di Waikato, in Nuova Zelanda, si sono posti l'obiettivo di trovare la risposta. Non stavano solo cercando bug; stavano indagando se il codice generato da questi strumenti di IA rispettasse i rigorosi standard di sicurezza del mondo reale richiesti da governi e industrie per proteggere i dati. Il loro lavoro rivela un divario sorprendente tra ciò che questi strumenti di IA possono fare e ciò che fanno effettivamente quando lasciati a se stessi, e offre una via chiara per risolvere il problema prima che venga distribuita anche una sola riga di codice.

Il team ha iniziato testando il comportamento predefinito di sedici diversi modelli di intelligenza artificiale. Hanno chiesto a ciascun modello di scrivere un set specifico di istruzioni, noto come "Ansible role", per configurare due tipi comuni di software: un server web chiamato Apache Tomcat e un sistema di database chiamato MongoDB. Non hanno fornito ai modelli alcun consiglio speciale sulla sicurezza, nessuna avvertenza su cosa evitare e nessun esempio di buon codice. Hanno semplicemente chiesto alle macchine di svolgere il compito. I risultati sono stati immediati e preoccupanti. Tutti e sedici i modelli hanno prodotto codice che conteneva falle di sicurezza. Questi difetti includevano password codificate in chiaro che chiunque poteva leggere, mancanza di protezioni per file sensibili e una carenza nella gestione degli errori che poteva causare il crash del sistema o un comportamento imprevedibile. Quando i ricercatori hanno confrontato questo codice generato dall'IA con il codice scritto da sviluppatori umani da repository pubblici, il codice dell'IA è risultato peggiore. Non era solo leggermente difettoso; era fondamentalmente insicuro, fallendo nel soddisfare i requisiti di base di sicurezza che sono standard nel settore.

I ricercatori hanno poi indagato sul perché ciò accadesse. Hanno scoperto che il problema non era necessariamente l'incapacità dei modelli di IA di scrivere codice, ma che essi mancassero della capacità di seguire istruzioni complesse riguardanti la sicurezza. In una seconda fase dello studio, il team ha cambiato approccio. Invece di chiedere solo il codice, hanno fornito ai modelli un insieme altamente strutturato di regole. Hanno utilizzato una versione ampliata di un framework di prompting che elencava esplicitamente le migliori pratiche di sicurezza e specifici standard di sicurezza governativi. Hanno detto ai modelli esattamente quali permessi impostare, come gestire le password in modo sicuro e quale documentazione includere, trattando questi requisiti come vincoli obbligatori piuttosto che come suggerimenti. Questo passaggio da una semplice richiesta a un'istruzione dettagliata e basata su regole ha cambiato drasticamente l'esito.

Quando i ricercatori hanno applicato questo approccio strutturato, i risultati sono migliorati significativamente. Quattro dei sedici modelli sono stati in grado di seguire le istruzioni complesse e generare codice privo delle falle di sicurezza viste nel primo round. Il modello con le prestazioni migliori ha prodotto codice che soddisfaceva tra il novantacinque e il cento per cento dei rigorosi parametri di sicurezza, un salto enorme rispetto alla linea di base. Infatti, questo top modello di IA ha superato il codice medio scritto da esseri umani, che soddisfaceva solo tra il ventitré e il quarantatré per cento degli stessi standard. Lo studio ha dimostato che, per questi modelli capaci, il problema non era la mancanza di conoscenza, ma una mancanza di applicazione di tale conoscenza quando le istruzioni erano vaghe. Quando le regole erano chiare e i vincoli espliciti, l'IA poteva sintetizzare codice sicuro e di alta qualità in un unico tentativo, eliminando la necessità di correzioni lunghe e laboriose dopo che il codice era già stato scritto.

Lo studio ha anche evidenziato una distinzione cruciale tra i modelli. I quattro modelli di successo erano tutti sistemi a codice chiuso, il che significa che il loro funzionamento interno non è pubblico, mentre molti dei modelli open-source non sono riusciti a seguire le istruzioni complesse. Ciò suggerisce che la capacità di generare codice sicuro dipenda fortemente da come il modello è stato addestrato e dalle specifiche capacità sviluppate durante tale addestramento, piuttosto che solo dalla dimensione della sua memoria o dal numero di parametri che possiede. I ricercatori hanno scoperto che i modelli che hanno avuto successo sono stati in grado di analizzare le istruzioni multilivello, comprendere la differenza tra regole obbligatorie e pratiche raccomandate e applicarle costantemente in tutto il codice. I modelli che hanno fallito, anche quelli con punteggi elevati in altri test di programmazione, semplicemente non sono stati in grado di mantenere i molteplici vincoli necessari per costruire un sistema sicuro.

Questo lavoro sfida l'attuale modo in cui il settore gestisce la sicurezza. Tradizionalmente, gli esperti di sicurezza aspettano che il codice sia scritto e poi lo scansionano per trovare e correggere gli errori, un processo noto come rilevamento. I ricercatori sostengono che, per il codice generato dall'IA, questo approccio sia insufficiente perché i difetti vengono introdotti nel momento stesso in cui il codice viene creato. Inveve, propongono un metodo di prevenzione, in cui i requisiti di sicurezza sono integrati nel processo di generazione stesso. Incorporando le regole di sicurezza direttamente nelle istruzioni date all'IA, le organizzazioni possono garantire che il codice sia sicuro fin dall'inizio. Questo approccio non richiede il riaddestramento dei modelli di IA né il cambiamento della loro architettura sottostante; richiede solo un cambiamento nel modo in cui gli esseri umani interagiscono con essi. Lo studio conclude che, sebbene gli assistenti di programmazione basati sull'IA promettano molto, non possono essere affidati per generare infrastrutture sicure senza una guida chiara ed esplicita. Con i prompt corretti, tuttavia, possono produrre codice che non è solo funzionale, ma anche più sicuro di quanto producano oggi molti sviluppatori umani.