🤖 AI

Adapter-Based Few-Shot Continual Learning for Malicious Packet Recognition

Questo articolo propone un framework ibrido che combina un backbone di apprendimento auto-supervisionato, la Low-Rank Adaptation (LoRA) e un capo di classificazione basato su prototipi per affrontare l'oblio catastrofico e raggiungere prestazioni allo stato dell'arte nel few-shot class-incremental learning per il riconoscimento di pacchetti malevoli.

Autori originali: Kyle Stein, Guillermo Francia, III Eman El-Sheikh, Andrew Arash Mahyari

Pubblicato 2026-08-25

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kyle Stein, Guillermo Francia, III Eman El-Sheikh, Andrew Arash Mahyari

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo digitale, i sistemi di sicurezza agiscono come sentinelle costanti, scansionando il flusso di dati che si muove attraverso le nostre reti per individuare codice malevolo. Per anni, questi sistemi si sono affidati all'addestramento con enormi librerie di minacce note, imparando a riconoscere schemi specifici di comportamenti dannosi. Tuttavia, il panorama delle minacce informatiche non è statico; è un bersaglio mobile. Nuove famiglie di malware emergono costantemente, spesso apparendo in piccoli numeri prima di diffondersi ampiamente. I modelli di sicurezza tradizionali faticano con questa realtà perché sono costruiti per apprendere da enormi quantità di dati tutti in una volta. Quando sono costretti ad apprendere una nuova minaccia senza dimenticare le vecchie, questi sistemi soffrono spesso di un fenomeno noto come oblio catastrofico, in cui il nuovo apprendimento sovrascrive il vecchio, lasciando il sistema cieco rispetto ai pericoli precedenti. Inoltre, rigide regole sulla privacy e sulla sicurezza impediscono spesso alle organizzazioni di conservare copie del codice malevolo che hanno già visto, rendendo impossibile utilizzare gli esempi passati per aiutare a istruire il sistema riguardo alle nuove minacce. Ciò crea un difficile enigma: come può un sistema di sicurezza apprendere nuove minacce partendo da un manipolo di esempi, senza perdere la memoria del passato e senza mai archiviare il codice pericoloso che ha già elaborato?

Ricercatori dell'Università della West Florida e del Florida Institute for Human and Machine Cognition hanno affrontato questa sfida sviluppando un nuovo metodo per il riconoscimento di pacchetti di rete malevoli. Il loro approccio si concentra su uno scenario specifico chiamato apprendimento incrementale di classe con pochi esempi (few-shot class-incremental learning), in cui un sistema deve adattarsi a nuove categorie di malware utilizzando solo pochi esempi etichettati, mantenendo al contempo la capacità di identificare tutte le categorie precedenti. Per risolvere il problema dell'oblio senza la possibilità di archiviare dati passati, il team ha costruito un framework che si basa su un processo di apprendimento in due fasi. Per prima cosa, hanno addestrato un modello di deep learning da zero utilizzando una tecnica auto-supervisionata. Inveve di alimentare il modello con esempi etichettati di specifici tipi di malware, lo hanno lasciato studiare la struttura grezza di milioni di pacchetti di rete, insegnandogli a comprendere il linguaggio sottostante del traffico internet senza bisogno di sapere cosa rappresentasse ogni singolo pacchetto in termini di attacco specifico. Questo ha creato una base robusta, una comprensione generalizzata di come appare un dato malevolo.

Una volta stabilita questa base, i ricercatori hanno introdotto un metodo per insegnare al sistema nuove minacce senza alterare la conoscenza centrale che aveva già appreso. Hanno utilizzato una tecnica chiamata adattamento a basso rango (low-rank adaptation), che consente al sistema di apprendere nuove informazioni aggiungendo piccoli ed efficienti strati di regolazione invece di riscrivere l'intero modello. Immaginate una biblioteca dove i libri sono già scritti e rilegati; invece di riscrivere i volumi esistenti per aggiungere nuovi capitoli, i ricercatori si limitano ad allegare nuovi e leggeri cartellini indice che guidano il lettore verso le nuove informazioni. Nel loro sistema, il "cervello" centrale del modello rimane congelato e invariato, preservando la conoscenza di tutte le famiglie di malware precedentemente apprese. Quando appare una nuova minaccia, il sistema utilizza questo cervello congelato per estrarre le caratteristiche dai pochi esempi disponibili della nuova minaccia e crea un punto di riferimento semplice, o prototipo, per essa. Ciò consente al sistema di riconoscere la nuova minaccia confrontando i dati in entrata con questi punti di riferimento, il tutto mantenendo intatta la conoscenza originale.

Il team ha testato questo metodo su due noti dataset di traffico di rete, contenenti migliaia di campioni di vari tipi di attacchi informatici. Hanno impostato un test rigoroso in cui il sistema ha prima appreso un grande insieme di attacchi comuni e poi ha dovuto apprendere nuovi, distinti tipi di attacchi in round successivi, vedendo solo cinque esempi di ciascun nuovo tipo. I risultati hanno dimostrato che il loro approccio ha superato significativamente i metodi precedenti progettati per questo compito. Nell'ultimo round di test, il loro sistema ha raggiunto un'accuratezza superiore al 61 percento su un dataset e quasi il 59 percento sull'altro, superando i metodi migliori successivi con un margine di oltre otto punti percentuali. Forse più importante, il sistema ha dimostrato una straordinaria stabilità. Mentre altri metodi che cercavano di apprendere nuove informazioni regolando i propri pesi interni spesso dimenticavano fino al 22 percento di ciò che avevano precedentemente appreso, questo nuovo approccio ha ridotto tale oblio a meno del nove percento. Ciò indica che, mantenendo il modello centrale congelato e apportando solo piccoli aggiustamenti mirati, il sistema può adattarsi alle nuove minacce senza cancellare la memoria di quelle vecchie.

I ricercatori hanno anche esplorato se mantenere un piccolo buffer di esempi passati potesse aiutare, una strategia comune in altri campi. Hanno scoperto che, sebbene l'archiviazione di alcuni esempi passati permettesse al sistema di apprendere le nuove minacce leggermente più velocemente, ciò comportava un costo elevato: il sistema dimenticava significativamente di più la sua conoscenza precedente. Più criticamente, l'archiviazione anche di una piccola quantità di codice malevolo attivo pone un grave rischio per la sicurezza, poiché potrebbe essere accidentalmente eseguito o trapelato. Le conclusioni del team suggeriscono che, per la cybersicurezza, dove i rischi della ritenzione dei dati sono elevati, un sistema statico e robustamente pre-addestrato è superiore a uno che si affida alla riproduzione di dati passati. Il loro lavoro dimostra che è possibile costruire sistemi di sicurezza adattivi che rispettino i vincoli di privacy e gestiscano la rapida evoluzione delle minacce, provando che un modello può rimanere abbastanza flessibile da apprendere il nuovo pur restando abbastanza solido da ricordare il vecchio.

Sintesi Tecnica: Apprendimento Continuo Few-Shot Basato su Adapter per il Riconoscimento di Pacchetti Maliziosi

Definizione del Problema
Il documento affronta la sfida del rilevamento di varianti di malware in evoluzione nelle implementazioni di cybersicurezza reali. I classificatori tradizionali di deep learning faticano quando emergono nuove famiglie di malware più velocemente di quanto sia possibile curare grandi dataset etichettati. Sebbene il Continual Learning (CL) e il Class-Incremental Learning (CIL) offrano framework per adattarsi a nuove classi nel tempo, essi tipicamente assumono sessioni bilanciate con una grande quantità di dati per classe. Il contesto specifico del Few-Shot Class-Incremental Learning (FSCIL), in cui le nuove classi di malware devono essere apprese da solo pochi esempi etichettati, rimane poco esplorato nel dominio del malware.

Un vincolo critico in questo dominio è il requisito rehearsal-free (senza riproposizione). I metodi standard di CL spesso si affidano al "rehearsal" (memorizzare e riproporre dati passati) per prevenire l'oblio catastrofico. Tuttavia, nell'analisi dei malware, memorizzare payload maliziosi grezzi pone gravi rischi per la sicurezza e la privacy (ad esempio, esecuzione accidentale o fuga di dati), rendendo impraticabili gli approcci basati sul rehearsal. La sfida principale è dunque progettare un sistema che si adatti a nuove e scarse classi di malware senza dimenticare quelle precedenti e senza trattenere i dati storici.

Metodologia
Gli autori propongono un framework ibrido, rehearsal-free, che combina l'apprendimento auto-supervisionato specifico del dominio con il fine-tuning efficiente dei parametri. L'approccio opera in tre fasi distinte:

Pre-addestramento Auto-Supervisionato (SSL): Un encoder transformer viene addestrato da zero su byte di pacchetti malware grezzi utilizzando un obiettivo di Masked Language Modeling (MLM). A differenza dei modelli NLP che utilizzano token di parole, questo modello tratta ogni byte (0–255) come un token discreto, espandendo il vocabolario per gestire padding e masking. Questa fase apprende rappresentazioni di caratteristiche robuste e specifiche del dominio relative alla semantica dei protocolli senza richiedere etichette di classe.
Adattamento della Sessione Base con LoRA: Dopo il pre-addestramento, il modello viene adattato a una sessione base di classi di malware note utilizzando la Low-Rank Adaptation (LoRA). Invece del fine-tuning completo, che rischia l'overfitting e l'oblio, i pesi del backbone pre-addestrato vengono congelati. Matrici a basso rango addestrabili vengono iniettate nei livelli di attenzione (proiezioni query, key e value) per apprendere in modo efficiente le caratteristiche specifiche del task.
Apprendimento Incrementale Rehearsal-Free: Per le successive sessioni incrementali in cui sono disponibili solo $K$ campioni per ogni nuova classe, il backbone rimane congelato. Il sistema utilizza un classificatore basato su prototipi. Per ogni nuova classe, viene calcolato un vettore prototipo mediando i vettori di caratteristiche L2-normalizzati dei pochi campioni di supporto disponibili. L'inferenza viene eseguita tramite un classificatore di similitudine del coseno scalato rispetto a questi prototipi, eliminando la necessità di aggiornamenti del gradiente durante la fase incrementale.

Per fornire un baseline, gli autori hanno anche implementato una variante basata su rehearsal che memorizza un piccolo buffer di esemplari per confrontare i trade-off tra stabilità e plasticità.

Contributi Chiave

Framework Novello: Il documento introduce il primo framework che combina il pre-addestramento auto-supervisionato da zero con l'FSCIL basato su adapter specificamente per il riconoscimento di pacchetti maliziosi.
Adattamento Rehearsal-Free: Propone un metodo che consente un adattamento efficiente alle emergenti classi di malware senza trattenere i campioni precedentemente osservati, affrontando criticità di sicurezza e privacy.
Soluzione per la Stabilità-Plasticità: Sfruttando uno spazio di caratteristiche pre-addestrato robusto e congelato insieme a una classificazione basata su prototipi, il metodo preserva i confini decisionali per le classi vecchie pur accogliendo quelle nuove, mitigando efficacemente l'oblio catastrofico senza riproposizione di dati.
Valutazione Fine-Grained: Il lavoro valuta il sistema sotto un protocollo fine-grained in cui specifici sottotipi di attacco sono trattati come classi indipendenti, aumentando la difficoltà costringendo il modello a risolvere un'alta similitudine inter-classe.

Risultati Sperimentali
Il metodo è stato valutato su due dataset benchmark: CIC-IDS2017 e UNSW-NB15. Gli esperimenti hanno seguito un protocollo FSCIL a 5-shot con una sessione base (S0) e tre sessioni incrementali (S1–S3).

Performance: Il metodo proposto rehearsal-free ha superato significativamente i baseline esistenti (BFS-NID e MalFSCIL). Su CIC-IDS2017, ha raggiunto un'accuratezza dell'ultima sessione del 61,05% rispetto al 52,30% del miglior baseline rehearsal-free. Su UNSW-NB15, ha ottenuto il 58,59% contro il 50,44%.
Oblio: Il metodo ha dimostrato una stabilità superiore, riducendo il tasso di oblio medio di circa la metà rispetto a MalFSCIL (8,59% vs 17,28% su CIC-IDS2017).
Confronto con il Rehearsal: Sebbene la variante basata su rehearsal (con un buffer di 5 campioni) abbia ottenuto un'accuratezza finale comparabile, ha mostrato un tasso di oblio significativamente più alto (19,95% vs 8,59%). Ciò conferma che lo spazio delle caratteristiche statico e congelato dell'approccio rehearsal-free fornisce una migliore stabilità per la preservazione della conoscenza delle classi base, validando l'ipotesi che la riproposizione dei dati sia non necessaria e potenzialmente dannosa in questo specifico contesto di sicurezza.

Significatività e Rivendicazioni
Il documento sostiene che uno spazio di caratteristiche robusto e congelato, inizializzato tramite apprendimento auto-supervisionato, sia preferibile alla riproposizione dei dati per il FSCIL dei malware. Gli autori argomentano che il loro approccio naviga con successo il dilemma stabilità-plasticità congelando il backbone centrale per preservare le rappresentazioni, utilizzando al contempo adapter leggeri per la sessione base e regole basate su prototipi per le sessioni incrementali.

La significatività risiede nel fornire una soluzione pronta per il deployment e sicura per sistemi di rilevamento delle intrusioni adattivi dove la ritenzione dei dati è proibita. Il lavoro dimostra che architetture complesse che si affidano a autoencoder variazionali o alla riproposizione dei dati non sono strettamente necessarie; invece, una combinazione di pre-addestramento specifico del dominio e fine-tuning efficiente dei parametri può raggiungere prestazioni allo stato dell'arte nella classificazione continua di malware few-shot. Gli autori riconoscono i limiti, notando l'alto costo computazionale iniziale del pre-addestramento e l'assunzione che il backbone pre-addestrato rimanga sufficientemente discriminante anche per nuovi attacchi con significativi shift di dominio.

Articoli simili