🤖 AI

Understanding the Impact of AI Code Assistants on Security API Usage: An Empirical Study

Questo studio empirico su 44 sviluppatori professionisti rivela che, sebbene GitHub Copilot migliori la correttezza funzionale e riduca marginalmente alcuni pattern insicuri, non riesce a migliorare significativamente l'uso di API di sicurezza sicure, lasciando spesso gli sviluppatori inconsapevoli delle vulnerabilità rimanenti.

Autori originali: Zahra Mousavi, Chadni Islam, M. Ali Babar, Alsharif Abuadbba, Kristen Moore

Pubblicato 2026-07-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zahra Mousavi, Chadni Islam, M. Ali Babar, Alsharif Abuadbba, Kristen Moore

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di stare costruendo un club segreto super esclusivo e di dover installare serrature hi-tech, allarmi e tunnel segreti per tenere fuori gli intrusi. Queste serrature sono come le API di Sicurezza — strumenti speciali che gli sviluppatori usano per proteggere il software. Ma ecco il colpo di scena: queste serrature sono complicate. Se le installi nel modo sbagliato, il tunnel "segreto" potrebbe trasformarsi in una porta spalancata per gli hacker.

Ora, immagina di avere un assistente robotico super intelligente di nome Copilot che può scrivere codice per te. Potresti pensare: "Grande, il robot conosce tutte le regole, quindi il mio club sarà forte come una cassaforte!" Ma un nuovo studio condotto da Zahra Moussi e il suo team presso università e laboratori di ricerca in Australia ha deciso di mettere alla prova questa idea. Non si sono limitati a chiedere al robot di costruire una serratura; hanno osservato 44 veri sviluppatori professionisti mentre cercavano di costruire queste serrature, sia con l'aiuto del robot che senza.

Ecco cosa hanno scoperto, servito con un pizzico di realtà.

Il Robot è un Ottimo Aiutante, ma una Cattiva Guardia di Sicurezza

Prima, la buona notizia: Copilot è un fantastico velocista. Quando i developer dovevano costruire una serratura complessa (nello specifico, un sistema Google OAuth per accedere ai dati dell'utente), il robot li ha aiutati a finire il lavoro molto più velocemente.

Senza il robot, solo il 45% dei developer (10 su 22) è riuscito effettivamente a far funzionare la serratura.
Con il robot, il 91% dei developer (20 su 22) l'ha fatta funzionare.
Il robot ha anche ridotto il tempo necessario per completare il compito complesso del 63%, facendo scendere il tempo medio da 62 minuti a 23 minuti.

Quindi, se il tuo obiettivo è solo costruire la porta e farla oscillare, il robot è una grande vittoria.

Ma ecco l'inghippo: Solo perché la porta è stata costruita, non significa che sia chiusa a chiave. In effetti, nessuno dei developer, indipendentemente dal fatto che usassero il robot o meno, è riuscito a costruire una serratura completamente sicura per i compiti assegnati. Ogni singolo tentativo sui compiti valutati presentava almeno un difetto importante.

La Trappola del "Fidati di Me"

Lo studio ha esaminato due tipi specifici di serrature: JSSE (per connessioni internet sicure) e Google OAuth (per accedere alle app). Hanno scoperto che il robot non risolveva i problemi di sicurezza; in molti casi, aiutava solo a costruire le serrature rotte più velocemente.

L'Errore del "Fidati di Tutti": Immagina una guardia che lascia entrare chiunque perché sembra gentile. Nello studio, alcuni developer (e il robot) hanno impostato il sistema per "fidarsi di tutti i certificati". È come dire alla tua guardia: "Se qualcuno mostra un distintivo, fallo entrare, anche se è falso". Questo è un enorme buco nella sicurezza.
L'Errore del "Codice Segreto": Alcuni developer hanno scritto le loro password direttamente nel codice, come scrivere la chiave di casa sotto lo zerbino. Anche il robot a volte suggeriva questo!
L'Errore del "Nessun Controllo": Quando ti connetti a un server, devi verificare che tu stia parlando davvero con la persona giusta. Molte implementazioni hanno saltato questo passaggio, lasciando la porta aperta a un attaccante "Man-in-the-Middle" (qualcuno che finge di essere un tuo amico per rubarti le cose).

I ricercatori hanno scoperto che, sebbene il robot aiutasse a correggere alcuni piccoli errori, non fermava i grandi fallimenti di sicurezza. Di fatto, il 100% dei compiti valutati ha prodotto codice con problemi di sicurezza. Il robot non ha reso il codice più sicuro rispetto agli umani che lavoravano da soli; ha solo fatto apparire il codice insicuro più velocemente.

Il Punto Cieco dell'Umano

Ecco la parte più sorprendente della storia. I ricercatori hanno chiesto ai developer: "Pensate che il vostro codice sia sicuro?"

Nonostante nessuno del codice fosse realmente sicuro, la maggior parte dei developer ha risposto: "Sì, penso di aver risolto il problema in modo sicuro!"
Solo una piccolissima parte di persone si è resa conto di aver commesso un errore.
Parlando con il robot, quasi nessuno ha chiesto: "Ehi, questo è sicuro?" Hanno solo chiesto: "Fallo funzionare".

È come un gruppo di persone che costruisce un ponte e chiede aiuto a un robot. Il robot li aiuta a posare i mattoni velocemente, ma nessuno controlla se il ponte possa effettivamente reggere il peso. Quando viene chiesto: "Pensate che questo ponte reggerà?", la maggior parte delle persone risponde: "Certo!", anche se sta per crollare.

Possiamo Insegnare Meglio al Robot?

I ricercatori hanno provato un'ultima cosa. Hanno chiesto ai developer di dire esplicitamente al robot: "Ehi, controlla la sicurezza!" oppure "Tu sei un esperto di sicurezza, sistema questo!".

Quando lo hanno fatto, il robot ha effettivamente corretto alcuni degli errori nella serratura più semplice (JSSE).
Tuttavia, per la serratura più complessa (OAuth), il robot ha comunque mancato molti buchi critici di sicurezza, anche quando gli è stato chiesto di fare attenzione.

Il Punto Fondamentale

Questo studio suggerisce che, sebbene gli assistenti AI come Copilot siano incredibili per aiutarci a scrivere codice velocemente e correttamente, non sono uno scudo magico contro gli hacker.

Il Robot: Ottimo per velocità e funzionalità, ma non è un esperto di sicurezza.
Gli Umani: Spesso troppo fiduciosi del robot e non controllano la sicurezza essi stessi.
Il Risultato: Stiamo costruendo sistemi che sembrano sicuri, ma che sono in realtà pieni di buchi.

I ricercatori concludono che non possiamo semplicemente affidarci al robot per tenerci al sicuro. Dobbiamo essere noi a porre le domande difficili sulla sicurezza, a controllare il lavoro e a assicurarci che le "serrature" che costruiamo siano effettivamente chiuse. Il robot è uno strumento potente, ma non è un sostituto di una mente consapevole della sicurezza.

Sintesi Tecnica: Comprendere l'impatto degli assistenti di codice basati su IA sull'utilizzo delle API di sicurezza

Definizione del problema

Le interfacce di programmazione delle applicazioni (API) di sicurezza, come SSL/TLS e OAuth, sono fondamentali per la sicurezza del software moderno, ma vengono frequentemente utilizzate in modo errato a causa della loro complessità, della documentazione insufficiente e della mancanza di formazione dei developer. Tale uso improprio porta a vulnerabilità gravi, tra cui attacchi Man-in-the-Middle (MitM) e violazioni dei dati. Sebbene gli assistenti di codice basati su modelli linguistici di grandi dimensioni (LLM), come GitHub Copilot, siano sempre più adottati per accelerare lo sviluppo, il loro impatto sull'uso sicuro di queste API critiche rimane poco esplorato.

La ricerca esistente si è concentrata ampiamente su output generati da prompt predefiniti senza l'intervento del developer, o su pattern di vulnerabilità generali piuttosto che sul malutilizzo specifico delle API. Esiste una lacuna critica nella comprensione di come i developer professionisti interagiscano con gli assistenti IA durante l'implementazione di API di sicurezza, come questi strumenti influenzino la sicurezza finale del codice e l'entità con cui i developer riconoscono e mitigano i problemi di sicurezza nei flussi di lavoro assistiti dall'IA.

Metodologia

Gli autori hanno condotto uno studio empirico entro il soggetto coinvolgendo 44 developer Java professionisti. Il design dello studio ha confrontato due condizioni per ogni partecipante:

Condizione Sperimentale: Completamento di un task con l'assistenza di GitHub Copilot.
Condizione di Controllo: Completamento di un task diverso senza alcuna assistenza IA.

Task:
Ai partecipanti sono stati assegnati due task di programmazione che coinvolgono API di sicurezza distinte:

Task JSSE: Implementazione di un metodo createSSLSocket per stabilire connessioni sicure SSL/TLS.
Task Google OAuth: Implementazione di un metodo authorize per un'applicazione desktop per accedere ai dati di Gmail dell'utente tramite OAuth.

Procedura:

I partecipanti hanno lavorato in un ambiente virtuale AWS controllato con VS Code.
Lo studio ha utilizzato il bilanciamento per mitigare gli effetti di apprendimento e affaticamento, dividendo i partecipanti in quattro gruppi in base all'ordine dei task e alla disponibilità di Copilot.
Le sessioni sono state registrate tramite screen-recording e i partecipanti hanno completato dei sondaggi post-task riguardanti la loro consapevolezza di sicurezza e l'autovalutazione della sicurezza del codice.
Valutazione: Il codice è stato analizzato per correttezza funzionale e sicurezza. L'analisi della sicurezza è consistita in una revisione manuale da parte di due esperti di sicurezza utilizzando una tassonomia di malutilizzi delle API di sicurezza (Mousavi et al.). Un modello di regressione logistica è stato utilizzato per analizzare l'impatto di Copilot e del background del partecipante sugli esiti. Inoltre, un'analisi post-studio ha testato la capacità di Copilot di identificare e correggere i malutilizzi tramite il re-prompting con istruzioni focalizzate sulla sicurezza.

Contributi Chiave

Questo studio presenta la prima investigazione empirica centrata sul developer relativa all'uso di assistenti di codice IA in contesti realistici. I contributi primari sono:

Evidenza Empirica sull'Impatto di Copilot: Un'analisi comparativa tra lo sviluppo assistito da Copilot e quello non assistito riguardo alla correttezza funzionale e all'uso sicuro delle API.
2.Identificazione dei Malutilizzi Persistenti: Una categorizzazione dettagliata dei malutilizzi delle API di sicurezza che persistono, vengono introdotti o vengono parzialmente mitigati utilizzando Copilot.
Analisi della Consapevolezza del Developer: Un'indagine su come i developer interagiscono con Copilot riguardo alla sicurezza, incluse le loro strategie di prompting e la loro capacità di riconoscere implementazioni insicure.
Insight sul Prompt Engineering: Una valutazione se prompt mirati alla sicurezza possano guidare efficacemente Copilot verso la generazione di codice più sicuro.

Risultati Chiave

Correttezza Funzionale (RQ1)

Copilot ha migliorato significativamente la correttezza funzionale, in particolare per il task OAuth, più complesso.

Task JSSE: Tutti i partecipanti hanno prodotto codice funzionale indipendentemente dall'uso di Copilot, sebbene gli utenti di Copilot abbiano completato il task più velocemente (14 min contro 26 min).
Task OAuth: I tassi di successo sono aumentati dal 45% (senza assistenza) al 91% (con l'assistenza di Copilot), con una diminuzione dei tempi di completamento del 63%.
Significatività Statistica: La regressione logistica ha confermato un effetto positivo statisticamente significativo di Copilot sugli esiti funzionali ( $p = 0.007$ ).

Esiti di Sicurezza (RQ2)

Nonostante i miglioramenti nella funzionalità, nessun partecipante ha prodotto un'implementazione completamente sicura in nessuna delle due condizioni.

Malutilizzi JSSE: Sono stati identificati tre tipi: standard SSL/TLS insicuri (M1), fiducia in tutti i certificati (M2) e mancanza di verifica dell'hostname (M3). Copilot ha mostrato una leggera, non significativa riduzione di M1 e M2, ma non ha impedito M3.
Malutilizzi OAuth: Sono stati trovati sei malutilizzi critici, tra cui archiviazione locale di segreti (M4), archiviazione locale di token (M5), mancanza di parametri di stato (M6), mancanza di autenticazione del Service Provider (M7), mancanza di PKCE (M8) e protezione inadeguata della trasmissione (M9).
Impatto Complessivo: Copilot non ha migliorato significativamente l'uso sicuro delle API. Il tasso di malutilizzo è stato elevato in entrambe le condizioni, con il 100% delle implementazioni contenente almeno un difetto di sicurezza.

Consapevolezza della Sicurezza (RQ3)

I developer hanno dimostrato una limitata consapevolezza della sicurezza durante l'interazione con Copilot.

Prompting: Solo 7 partecipanti su 44 hanno menzionato esplicitamente la sicurezza nei loro prompt. Nella maggior parte dei casi, il linguaggio relativo alla sicurezza era una copia letterale della descrizione del task piuttosto che una reale preoccupazione. Solo due partecipanti hanno dimostrato una deliberata considerazione della sicurezza nei loro prompt.
Autovalutazione: C'è stato un significativo divario tra la percezione e l'effettiva sicurezza. La maggior parte dei partecipanti credeva che le proprie soluzioni fossero sicure nonostante la presenza di vulnerabilità critiche.
Prompting Post-Studio: Quando esplicitamente istruito a "rivedere il codice e migliorarlo in base alle best practice di sicurezza", Copilot ha corretto con successo alcuni malutilizzi JSSE (es. M1 e M2) e ha offerto raccomandazioni per l'archiviazione dei token OAuth. Tuttavia, ha fallito nel gestire altri problemi critici di OAuth come la mancanza di parametri di stato o di PKCE, indicando limitazioni nel suo ragionamento di sicurezza per flussi complessi.

Significato e Rivendicazioni

Il paper sostiene che le sfide di sicurezza nello sviluppo assistito dall'IA non sono solo un limite dell'output del modello IA, ma anche un problema di consapevolezza del developer. Anche quando informati che la sicurezza sarebbe stata valutata, i developer raramente hanno affrontato lo strumento da una prospettiva di sicurezza e spesso non sono riusciti a riconoscere il codice insicuro.

Lo studio conclude che, sebbene gli assistenti IA come Copilot migliorino la produttività e la correttezza funzionale, non consentono attualmente ai developer di produrre implementazioni completamente sicure delle API di sicurezza. Gli autori sottolineano che:

L'affidamento cieco al codice generato dall'IA introduce vulnerabilità serie.
Il prompting orientato alla sicurezza può portare a miglioramenti, ma non è una panacea per tutti i tipi di malutilizzo.
L'uso efficace dell'IA nello sviluppo sicuro richiede che i developer mantengano una solida base nei principi di sicurezza e valutino criticamente il codice generato dall'IA.

Gli autori pongono questo lavoro come un passo fondamentale per comprendere l'intersezione tra IA e sicurezza del software, chiamando a ulteriori ricerche su strumenti orientati alla sicurezza, migliore usabilità delle API e un migliore allineamento dei modelli LLM con le best practice di sicurezza.