Riepilogo Tecnico: FreeMOCA

Enunciato del Problema

I sistemi di rilevamento del malware affrontano una sfida critica nell'adattarsi al panorama delle minacce in evoluzione, dove vengono identificati oltre 200 milioni di nuovi campioni di malware ogni anno. Gli approcci tradizionali di machine learning che riaddestrano esclusivamente sui nuovi dati soffrono di dimenticanza catastrofica (CF), dove la conoscenza delle minacce precedentemente osservate viene sovrascritta. Al contrario, il riaddestramento sull'intero dataset storico comporta costi computazionali e di memoria proibitivi. Sebbene l'Apprendimento Continuo (CL) offra un quadro per l'adattamento incrementale, i metodi CL specifici per il malware esistenti (ad es. MalCL, MADAR) fanno affidamento su meccanismi di replay—memorizzando esemplari, generando campioni sintetici o distillando output soft. Questi approcci introducono un significativo sovraccarico di memoria e computazionale, rendendoli poco pratici per ambienti di deployment con risorse limitate come la sicurezza degli endpoint e i dispositivi mobili. Inoltre, i metodi CL standard spesso non riescono a prevenire la CF nel dominio del malware a causa di rappresentazioni di caratteristiche complesse e di uno squilibrio elevato tra le classi.

Metodologia: FreeMOCA

Gli autori propongono FreeMOCA (Apprendimento Continuo Senza Memoria per l'Analisi del Codice Malevolo), un quadro progettato per preservare la conoscenza precedente senza memorizzare dati passati o utilizzare replay generativo. La metodologia fondamentale si basa sulla Connessione Modale Lineare (LMC) all'interno di un setting di ottimizzazione avviato a caldo (warm-started).

Principi Fondamentali

1. Connessione Avviata a Caldo: A differenza dell'addestramento indipendente in cui gli ottimi dei task possono essere disconnessi da barriere ad alto costo, FreeMOCA inizializza ogni nuovo task $t$ dall'ottimo del task precedente $\theta_{t-1}$. Gli autori ipotizzano che questo avviamento a caldo induca una connessione lineare locale, il che significa che gli ottimi dei task consecutivi giacciono all'interno di una regione a basso costo dello spazio dei parametri e possono essere collegati da un percorso a basso costo.
2. Interpolazione nello Spazio dei Parametri: Invece di operare nello spazio dei dati (replay), FreeMOCA opera direttamente nello spazio dei parametri. Dopo l'addestramento su un nuovo task per ottenere $\theta_{cur}$, il modello viene consolidato interpolando tra la soluzione precedente $\theta_{prev}$ e la soluzione corrente $\theta_{cur}$.
3. Interpolazione Adattiva a Livello di Strato: Riconoscendo che diversi strati della rete si adattano a ritmi differenti (gli strati inferiori spesso fungono da estrattori di caratteristiche stabili mentre gli strati superiori si adattano rapidamente), FreeMOCA non applica un coefficiente di miscelazione uniforme. Invece, assegna un coefficiente specifico per strato $\lambda_\ell$ a ogni strato $\ell$.
   • Il coefficiente è derivato dalla magnitudine degli spostamenti dei parametri ($s_\ell$) tra i modelli precedente e corrente.
   • Gli strati con aggiornamenti significativi (alta plasticità) ricevono un $\lambda_\ell$ più piccolo per privilegiare la stabilità (mantenendo i pesi precedenti).
   • Gli strati con aggiornamenti minimi (alta stabilità) ricevono un $\lambda_\ell$ più grande per favorire l'adattamento al nuovo task.
   • La formula utilizzata è $\lambda_\ell = \lambda_{min} + (1 - \hat{s}_\ell)(\lambda_{max} - \lambda_{min})$, dove $\hat{s}_\ell$ è la magnitudine normalizzata dello spostamento.

Algoritmo

Il processo prevede:

1. Inizializzazione di $\theta_{prev}$ dall'ottimo del task precedente.
2. Addestramento sul dataset del task corrente $D_t$ per ottenere $\theta_{cur}$.
3. Calcolo delle magnitudini degli spostamenti a livello di strato.
4. Calcolo di $\lambda_\ell$ adattivo per ogni strato.
5. Interpolazione: $\theta_t^{(\ell)} = (1 - \lambda_\ell)\theta_{prev}^{(\ell)} + \lambda_\ell\theta_{cur}^{(\ell)}$.
6. Impostazione di $\theta_t$ come inizializzazione per il task successivo.

Contributi Chiave

1. Quadro Efficiente in Memoria e Computazionale: FreeMOCA è il primo quadro CL per l'analisi del malware che elimina la necessità di buffer di esemplari o replay generativo, basandosi esclusivamente sull'interpolazione geometrica nello spazio dei parametri.
2. Analisi Teorica del CL Avviato a Caldo: Il documento analizza la LMC nel contesto del CL avviato a caldo, dimostrando che l'ottimizzazione ricorsiva induce un allineamento parametrico locale tra gli ottimi dei task consecutivi, rendendo l'interpolazione diretta efficace senza permutazione esplicita dei neuroni.
3. Interpolazione Adattiva a Livello di Strato: L'introduzione di un meccanismo per impostare dinamicamente pesi di interpolazione specifici per strato basati sugli spostamenti dei parametri, bilanciando efficacemente stabilità e plasticità.
4. Valutazione Completa: Esperimenti estensivi su benchmark su larga scala di malware per Windows (EMBER) e Android (AZ) in impostazioni sia Incrementali per Classe (Class-IL) che Incrementali per Dominio (Domain-IL).

Risultati Sperimentali

Gli autori hanno valutato FreeMOCA contro 11 baseline (inclusi EWC, SI, iCaRL, MalCL e WSC) sui dataset EMBER e AZ.

• Prestazioni Incrementali per Classe (Class-IL):
  • FreeMOCA ha ottenuto guadagni sostanziali, superando 11 baseline.
  • Su EMBER-Class, ha raggiunto una precisione media del 65,2% (contro il 22,9% per il solo fine-tuning), superando la baseline successiva migliore (WSC) con un margine e ottenendo un miglioramento del 42% rispetto alla baseline "Nessuna".
  • Su AZ-Class, ha raggiunto una precisione media del 66,1%, con un miglioramento del 37% rispetto alla baseline "Nessuna".
  • Ha ottenuto la minima dimenticanza (F) e la massima ritenzione (REM) tra tutte le baseline. Notevolmente, su AZ-Class, ha ottenuto una dimenticanza zero ($F=0.000$) e una ritenzione perfetta ($REM=1.000$), insieme a un trasferimento retroattivo positivo.
• Prestazioni Incrementali per Dominio (Domain-IL):
  • FreeMOCA ha eguagliato o superato le baseline, raggiungendo il 93,6% su EMBER-Domain e il 97,0% su AZ-Domain.
• Efficienza:
  • Memoria: FreeMOCA utilizza significativamente meno memoria rispetto ai metodi basati su replay (ad es. MalCL). Mantiene solo un singolo checkpoint del classificatore, risultando in un aumento dello 0% della memoria nel tempo, mentre la memoria di MalCL è cresciuta dell'86,3% e quella di WSC del 45,4% attraverso i task.
  • Tempo di Addestramento: FreeMOCA ha ridotto il tempo di addestramento per epoca del 92,79–98,71% rispetto a MalCL e WSC.
• Diagnostica:
  • Analisi delle Barriere di Perdita: Ha confermato che dopo una transizione iniziale, le barriere di perdita tra soluzioni consecutive rimangono basse e piatte, validando l'ipotesi del percorso a basso costo.
  • Collasso della Varianza: L'analisi delle statistiche della Normalizzazione di Batch ha mostrato che l'interpolazione avviata a caldo mitiga il collasso della varianza, preservando la geometria delle caratteristiche senza richiedere ristima o permutazione.

Significato e Affermazioni

Il documento afferma che FreeMOCA fornisce un'alternativa scalabile ed efficace al replay per il rilevamento continuo del malware. Sfruttando l'allineamento geometrico intrinseco nell'ottimizzazione avviata a caldo, il metodo raggiunge prestazioni all'avanguardia nel mantenere la conoscenza delle minacce passate mentre si adatta a quelle nuove, tutto senza i costi di archiviazione o computazionali associati ai buffer di replay.

Gli autori sottolineano che questo approccio è particolarmente significativo per ambienti di deployment con risorse limitate (ad es. dispositivi mobili, sicurezza degli endpoint) dove memorizzare campioni passati o generare dati sintetici è non fattibile. Affermano che le loro scoperte suggeriscono che l'apprendimento continuo può trarre beneficio dal considerare le traiettorie di ottimizzazione sequenziali come regioni connesse del paesaggio di perdita piuttosto che ottimi isolati.

Il documento mantiene un ambito modesto, riconoscendo che il metodo si basa sulla connessione locale tra task adiacenti e potrebbe affrontare sfide se la deriva dei task diventa troppo grande o se la rappresentazione sottostante cambia sostanzialmente. Non afferma di risolvere completamente impostazioni CL senza task o in streaming senza confini osservabili, ma affronta piuttosto il regime specifico dell'espansione sequenziale delle famiglie di malware dove la continuità delle caratteristiche è naturalmente preservata.