Do Machine Learning Security Detectors Survive New Attacks? A Leakage Free Evaluation of Hidden Prompt Injection Detection in AI Coding Agents, Malicious npm and PyPI Package Detection, and Network Intrusion Detection
Questo articolo dimostra che i detector di sicurezza basati su machine learning, che tipicamente raggiungono prestazioni quasi perfette su suddivisioni casuali standard, soffrono di tassi di fallimento catastrofici quando valutati contro tecniche di attacco non viste e spostamenti temporali utilizzando un protocollo rigoroso e privo di leakage attraverso scenari di prompt injection per l'IA, pacchetti malevoli e rilevamento di intrusioni di rete.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo digitale moderno, i sistemi di sicurezza spesso si affidano al machine learning, un tipo di programma informatico che impara a individuare i problemi studiando migliaia di esempi di attacchi passati. Questi programmi agiscono come guardie digitali, scansionando il traffico di rete, controllando i file software prima che vengano installati e persino leggendo le istruzioni che gli assistenti di programmazione basati sull'intelligenza artificiale utilizzano per aiutare i programmatori. Per anni, il modo standard per testare queste guardie è stato quello di mescolare un mucchio di attacchi noti e dividerli in due gruppi: uno per l'addestramento e uno per il test. Questo metodo presuppone che gli attacchi che la guardia affronterà in futuro assomiglino molto a quelli che ha già studiato. Tuttavia, gli attaccanti del mondo reale non restano fermi; inventano costantemente nuovi trucchi, nascondono i propri strumenti in modi diversi e colpiscono in tempi e luoghi che i loro difensori non hanno mai visto. La domanda critica è se queste guardie digitali possano effettivamente riconoscere un nuovo tipo di minaccia, o se stiano semplicemente memorizzando quelle vecchie e falliscano quando le regole del gioco cambiano.
Un team di ricercatori dell'Università di Port Harcourt si è posto l'obiettivo di rispondere a questa domanda testando i rilevatori di sicurezza contro tre tipi molto diversi di minacce digitali utilizzando un unico, rigoroso metodo progettato per prevenire la fuga di dati. Hanno esaminato quanto bene i rilevatori potessero individuare istruzioni nascoste inserite in file per agenti di programmazione IA, come si comportavano contro pacchetti di software malevoli nelle librerie online e come performavano nell'identificare intrusioni di rete. Invece di mescolare i dati casualmente, i ricercatori hanno costretto i rilevatori ad affrontare situazioni che non avevano mai incontrato prima: attacchi che utilizzavano nuove tecniche di occultamento, attacchi apparsi in un anno successivo o attacchi provenienti da dataset completamente diversi. Hanno anche controllato la presenza di "scorciatoie", ovvero casi in cui un rilevatore potrebbe fare affidamento su un indizio semplice e ovvio — come la dimensione di un file — piuttosto che comprendere realmente il pericolo.
La prima parte del loro studio si è concentrata sugli agenti di programmazione IA, che sono strumenti che aiutano i programmatori a scrivere codice leggendo file come guide di configurazione. Gli attaccanti hanno iniziato a nascondere istruzioni segrete all'interno di questi file usando caratteri invisibili o simboli strani che un occhio umano ignorerebbe, ma che un computer legge come un comando. I ricercatori hanno creato una collezione di quasi cinquemila file reali da repository pubblici e vi hanno piantato istruzioni nascoste innocue utilizzando nove diverse tecniche di occultamento. Hanno testato cinque diversi rilevatori per vedere se potessero trovare queste trappole. Quando i rilevatori sono stati testati sulle stesse tecniche di occultamento apprese durante l'addestramento, hanno performato quasi perfettamente, catturando quasi ogni singola istruzione nascosta. Tuttavia, quando i ricercatori hanno testato i rilevatori su una tecnica di occultamento che il rilevatore non aveva mai visto prima, i risultati sono crollati per alcuni modelli. Un rilevatore che si basava sul conteggio di caratteristiche specifiche, come il numero di caratteri invisibili, ha mancato il novantasei per cento dei nuovi attacchi. Al contrario, un rilevatore che leggeva il testo effettivo del file, dopo aver prima convertito i caratteri nascosti in testo semplice e leggibile, manteneva le sue alte prestazioni. Lo studio ha anche scoperto che i modelli IA open-source di piccole dimensioni spesso seguivano queste istruzioni nascoste, obbedendo ai comandi segreti in fino a due terzi dei casi, mentre la semplice cancellazione dei caratteri invisibili rendeva talvolta l'attacco ancora più facile da comprendere per l'IA.
Il secondo studio ha esaminato i pacchetti di software malevoli nelle librerie npm e PyPI, che sono vasti negozi online dove gli sviluppatori scaricano codice. I ricercatori hanno raccolto oltre tredicimila pacchetti, inclusi migliaia di pacchetti malevoli noti del 2024, 2025 e 2026. Hanno addestrato i rilevatori su pacchetti più vecchi e poi li hanno testati sulle nuove ondate di attacchi del 2026. Un rilevatore, che analizzava il codice stesso, è rimasto forte, catturando oltre il novanta per cento dei nuovi pacchetti malevoli. Un altro rilevatore, che si affidava a caratteristiche statiche come la dimensione totale del pacchetto e il numero di file all'interno, ha performato bene all'inizio ma è fallito drasticamente quando i ricercatori hanno rimosso gli indizi basati sulla dimensione. Senza fare affidamento sul fatto che i pacchetti malevoli fossero spesso piccoli, la capacità di questo rilevatore di individuare nuovi attacchi è diminuita significativamente, rivelando che si era basato su una scorciatoia piuttosto che identificare realmente il malware. Lo studio ha anche mostato che i rilevatori faticavano a trovare codice malevolo che era stato inserito in librerie legittime e popolari, una tecnica che è diventata più comune nel 2026.
Il terzo studio ha rivisitato il rilevamento delle intrusioni di rete, che consiste nello scansionare i dati che fluiscono attraverso una rete informatica per individuare hacker. I ricercatori hanno utilizzato tre dataset ampiamente utilizzati che hanno servito come standard per testare questi sistemi per anni. Hanno scoperto che questi dataset contenevano un alto numero di voci duplicate ed errori, che probabilmente avevano gonfiato i tassi di successo precedenti. Quando hanno testato i rilevatori addestrandoli su dati di giorni precedenti e testandoli su dati di giorni successivi, le prestazioni dei sistemi sono precipitate. Un rilevatore che appariva perfetto in un rimescolamento casuale dei dati non era migliore di un lancio di moneta quando affrontava il traffico della settimana successiva. È fallito nel riconoscere intere famiglie di attacchi che non aveva mai visto prima, come tipi specifici di traffico botnet o tentativi di infiltrazione, dimostrando che il sistema aveva imparato a riconoscere i pattern specifici del passato piuttosto che la natura dell'attacco stesso.
In tutte e tre le aree della sicurezza, è emerso un modello chiaro. I rilevatori che si affidavano a caratteristiche riassuntive o conteggi semplici tendevano a fallire quando gli attaccanti cambiavano i loro metodi, mentre i rilevatori che leggevano il contenuto effettivo della minaccia resistevano molto meglio. I ricercatori hanno scoperto che un semplice passaggio di conversione del testo nascosto o confondente in un formato standard e leggibile permetteva ai rilevatori di riconoscere il messaggio sottostante indipendentemente da come fosse travestito. Hanno anche dimostrato che rimuovere i duplicati dai dati era necessario ma non sufficiente per risolvere il problema; il vero problema era l'assunzione che gli attacchi futuri sarebbero somigliati a quelli passati. Lo studio conclude che i sistemi di sicurezza devono essere testati contro nuove tecniche non viste prima prima di poter essere ritenuti affidabili, e che fare affidamento sui metodi di test casuali standard fornisce un falso senso di sicurezza. Il lavoro suggerisce che, per rimanere al sicuro, dobbiamo progettare sistemi che comprendano il contenuto di un attacco piuttosto che limitarsi a memorizzarne l'aspetto.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.