🤖 machine learning

Self-Supervised Representations for Binary Program Clustering: From Empirical Study to Retrieval-Augmented Learning

Questo articolo presenta la prima investigazione sistematica sull'apprendimento di rappresentazioni auto-supervisionate e tabulari per il clustering di programmi binari, identificando VIME come un nuovo metodo allo stato dell'arte e proponendo VIME-R, una variante con recupero aumentato che migliora significativamente le prestazioni del clustering di malware.

Autori originali: Martin Mocko, Daniela Chudá

Pubblicato 2026-08-04

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Martin Mocko, Daniela Chudá

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina Internet come una gigantesca e frenetica città dove milioni di nuovi "residenti digitali" arrivano ogni singolo giorno. La maggior parte sono vicini amichevoli, ma alcuni sono intrusi subdoli che cercano di rubare, rompere o causare il caos. Questi intrusi sono chiamati malware. Solo nel 2024, oltre 80 milioni di nuovi malware si sono presentati. Per mantenere la città sicura, le guardie di sicurezza (esperti di cybersecurity) devono smistare questi milioni di file in gruppi. Se riescono a individuare che un nuovo file appartiene alla stessa "famiglia" di un noto malintenzionato, possono fermare la minaccia istantaneamente. Questo processo di smistamento è chiamato clustering.

Di solito, lo smistamento è facile se hai una lista di nomi (etichette) che dicono chi è chi. Ma nel mondo reale, le guardie spesso devono smistare un enorme mucchio di file misteriosi senza alcuna etichetta. È qui che entrano in gioco l'Apprendimento Auto-Supervisionato (Self-Supervised Learning - SSL) e l'Apprendimento di Rappresentazione Tabulare (Tabular Representation Learning - TRL). Pensa all'SSL come a uno studente che impara guardando due foto leggermente diverse dello stesso oggetto e deducendo che siano la stessa cosa, senza che un insegnante gli dica la risposta. Il TRL è l'arte specifica di insegnare ai computer a comprendere i "dati a foglio di calcolo" (righe e colonne di numeri) piuttosto che immagini o testo. La grande domanda che i ricercatori si sono posti è: possiamo insegnare ai computer a smistare questi misteriosi file malware in famiglie perfette guardando solo i loro numeri, senza alcun aiuto da parte di un insegnante umano?

Il Mistero dei File Misteriosi

In questo studio, i ricercatori Martin Mocko e Daniela Chudá hanno deciso di giocare a fare i detective con un enorme mucchio di file digitali. Volevano vedere se le moderne tecniche di IA, solitamente usate per riconoscere gatti nelle foto o comprendere frasi, potessero essere riutilizzate per raggruppare insieme i file malware. Hanno utilizzato due enormi dataset pubblici di file Windows chiamati Ember e Bodmas. Questi dataset sono come gigantesche biblioteche contenenti centinaia di migliaia di file, ognuno descritto da una lunga lista di numeri (caratteristiche) che agiscono come un'impronta digitale.

I ricercatori hanno diviso la loro investigazione in due fasi, come un romanzo giallo in due parti.

Fase 1: Il test "E se fosse vero?"
Per prima cosa, volevano conoscere il punteggio assoluto possibile. Immagina un insegnante che fornisce all'IA la chiave delle risposte. Hanno preso famosi modelli di IA progettati per le immagini (come BYOL, SimSiam, Barlow Twins e VICReg) e li hanno costretti a imparare confrontando file che sapevano appartenere alla stessa famiglia. Questo era un test "supervisionato" per vedere fin dove potesse arrivare il limite massimo.

I risultati sono stati un misto di eroi e fallimenti. BYOL e SimSiam si sono rivelati essere i supereroi. Quando ricevevano la chiave delle risposte, performavano quasi quanto un modello completamente supervisionato (uno che conosce ogni singolo nome di famiglia), raggiungendo un punteggio di "Omogeneità" (una misura di quanto sono puri i gruppi) di quasi il 99% per le categorie generali e oltre l'84% per le famiglie specifiche. Tuttavia, Barlow Twins e VICReg sono inciampati pesantemente, performando peggio persino dei metodi baseline più semplici. Si scopre che non tutti i modelli di IA "intelligenti" sono ugualmente intelligenti quando si passa dalle immagini ai fogli di calcolo.

Fase 2: La vera sfida
Successivamente, i ricercatori hanno rimosso la chiave delle risposte. Questo è lo scenario del mondo reale: l'IA deve smistare i file senza conoscere alcun nome di famiglia. Hanno testato i migliori modelli della Fase 1 insieme a metodi più recenti progettati specificamente per i dati a foglio di calcolo, come VIME, SCARF e SwitchTab.

In questa fase, i vecchi modelli basati sulle immagini (BYOL e SimSiam) hanno faticato quando costretti a usare i trucchi di "corruzione" destinati ai fogli di calcolo. Non riuscivano a battere i semplici metodi baseline. Ma VIME (Value Imputation and Mask Estimation) è subentrato in scena. Funzionava nascondendo casualmente parti dei dati di un file e cercando di indovinare cosa mancasse, imparando i pattern nel processo. VIME si è rivelato il nuovo campione, superando i forti metodi tradizionali (come PCA e Autoencoder) e stabilendo un nuovo record di stato dell'arte.

Il colpo di scena: VIME-R
I ricercatori non avevano ancora finito. Hanno notato che VIME cercava di indovinare i dati mancanti guardando file casuali dall'intera biblioteca. Ma cosa succederebbe se guardasse solo i file che sono già molto simili a quello che sta studiando? Hanno inventato VIME-R (Retrieval-Augmented). Invece di indovinare dalla folla intera, VIME-R chiede: "Chi sono i 100 vicini più simili a questo file?" e usa i loro dati per riempire i vuoti.

Questo semplice cambiamento è stato un punto di svolta. VIME-R non ha solo battuto gli altri metodi non supervisionati; sul dataset Ember, ha effettivamente superato il "tetto supervisionato" stabilito dal miglior modello supervisionato in quel test specifico, ovvero SimSian. Mentre un classificatore MLP completamente supervisionato otteneva punteggi più alti sul dataset Bodmas, su Ember, VIME-R ha raggiunto un'Omogeneità di famiglia del 77,48%, superando il punteggio di SimSiam del 76,53%. Ciò significa che, utilizzando una intelligente strategia di "vicinato", l'IA non supervisionata ha imparato a raggruppare le famiglie di malware meglio del modello supervisionato che gli era stato esplicitamente indicato i nomi delle famiglie in quel contesto specifico!

Cosa significa per il futuro

Il documento suggerisce che, sebbene alcuni popolari modelli di IA (come Barlow Twins e VICReg) potrebbero non essere gli strumenti giusti per smistare i fogli di calcolo dei malware, altri (come BYOL e SimSiam) hanno un enorme potenziale se riusciamo a capire come creare le "coppie" giuste di file affinché possano imparare da essi.

Ancora più importante, lo studio dimostra che l'apprendimento aumentato dal recupero (retrieval-augmented learning) è una nuova direzione potente. Insegnando all'IA a imparare dai suoi vicini più stretti invece che da tutto il mondo, possiamo ottenere risultati incredibilmente accurati senza bisogno di costose etichette umane. I ricercatori hanno scoperto che VIME-R ha migliorato la qualità del clustering dal 2,7% al 5,8% rispetto al precedente miglior metodo.

Sebbene lo studio sia limitato alle caratteristiche statiche (come guardare il progetto di un file invece di osservarlo mentre viene eseguito) e a dataset specifici, i risultati sono un segnale forte. Dimostrano che, con i giusti trucchi, i computer possono imparare a organizzare il caotico mondo dei malware da soli, aiutando potenzialmente le guardie di sicurezza a individuare nuove minacce più velocemente che mai. Il codice per questi metodi sarà reso disponibile, invitando altri a costruire su questa scoperta.

Riassunto Tecnico: Rappresentazioni Self-Supervised per il Clustering di Programmi Binari

Definizione del Problema

Il documento affronta la sfida critica del clustering di programmi binari, definito come il compito di raggruppare tutti i file eseguibili in entrata (sia malware che benigni) senza una conoscenza preventiva delle loro etichette. Questo si distingue dal clustering standard dei malware, che spesso si concentra solo su campioni malevoli. L'obiettivo è migliorare la qualità di questi cluster per assistere nella scoperta di minacce, nell'analisi delle famiglie e nella creazione di dataset rappresentativi compressi.

La difficoltà principale risiede nel dominio dei dati tabulari (specificamente le caratteristiche statiche estratte da binari Windows PE). Sebbene l'Apprendimento Self-Supervised (SSL) e l'Apprendimento di Rappresentazioni Tabulari (TRL) abbiano ottenuto grandi successi nella computer vision e nel NLP, la loro applicazione al clustering di programmi binari rimane ampiamente inesplorata. Una barriera primaria è la mancanza di strategie efficaci di data augmentation per i dati tabulari. A differenza di immagini o testo, i dati tabulari mancano di correlazioni sequenziali o strutture geometriche intrinseche che permettano semplici perturbazioni per creare "coppie positive" (campioni semanticamente simili) richieste dai metodi SSL contrastivi e non contrastivi.

Metodologia

La ricerca è strutturata in due distinte fasi sperimentali utilizzando i dataset pubblici Ember e Bodmas. La metrica di valutazione principale è l'Omogeneità, misurata sia sulle etichette di classe (malware vs benigno) che sulle etichette delle famiglie di malware.

Fase 1: Stabilire il Limite Superiore Supervisionato

Gli autori investigano il limite teorico di performance dei popolari metodi SSL quando vengono forniti con coppie positive supervisionate (coppie generate sulla base delle etichette note delle famiglie di malware).

Modelli Testati: BYOL, SimSiam, Barlow Twins e VICReg.
Adattamento: Le architetture SSL basate sulla visione sono state adattate per i dati tabulari sostituendo i backbone CNN con strati completamente connessi (FC).
Generazione delle Coppie: Le coppie positive sono state create deterministicamente in base alle etichette dei campioni (i campioni con la stessa etichetta di famiglia venivano accoppiati).
Baseline: Un Multi-Layer Perceptron (MLP) addestrato sulle etichette delle famiglie ha servito come benchmark per il limite superiore completamente supervisionato.

Fase 2: Apprendimento Puramente Non Supervisionato

Questa fase valuta i metodi in uno scenario realistico in cui nessuna etichetta è disponibile durante l'addestramento.

Modelli TRL: VIME, SCARF e SwitchTab. Questi metodi si basano sulla corruzione dei dati (mascheramento e imputazione delle caratteristiche) piuttosto che sulla generazione esplicita di coppie positive.
- VIME: Corrompe le caratteristiche campionando dalla distribuzione marginale empirica globale.
- SCARF: Utilizza una strategia di corruzione simile ma ottimizza con la perdita contrastiva InfoNCE.
- SwitchTab: Utilizza una corruzione nulla e un autoencoder asimmetrico.
Adattamento SSL: I migliori modelli SSL della Fase 1 (BYOL e SimSiam) sono stati rivalutati utilizzando la strategia di corruzione di VIME come proxy per la data augmentation.
Baseline: Forti baseline non supervisionate, tra cui PCA, Autoencoder e UMAP.

Innovazione Proposta: VIME-R

Informata dai risultati della Fase 2, gli autori propongono VIME-R (Value Imputation and Mask Estimation with Retrieval).

Motivazione: Il VIME standard corrompe le caratteristiche utilizzando valori dalla distribuzione marginale globale, il che può introdurre rumore mescolando campioni semanticamente distanti.
Meccanismo: VIME-R restringe il pool di corruzione. Inve invece di campionare dalla distribuzione globale, i valori delle caratteristiche corrotte sono campionati dalla distribuzione marginale empirica locale dei $k$ -vicini più prossimi (dove $k=100$ ) del campione target.
Obiettivo: Generare coppie di addestramento più informative che preservino la struttura del manifold locale dei dati senza richiedere etichette.

Risultati Chiave

Fase 1: Limite Superiore Supervisionato

Gap di Performance: BYOL e SimSiam hanno raggiunto prestazioni comparabili ai MLP completamente supervisionati quando addestrati su coppie supervisionate.
- Su Bodmas: BYOL ha raggiunto il 99,42% di omogeneità di classe e l'84,92% di omogeneità di famiglia.
- Su Ember: BYOL ha raggiunto il 91,36% di omogeneità di classe e il 75,87% di omogeneità di famiglia.
Sotto-performanti: Barlow Twins e VICReg hanno ottenuto prestazioni significativamente inferiori, non riuscendo a battere le forti baseline (PCA/Autoencoder) sul dataset Bodmas e mostrando un'alta varianza.
Limite Stabilito: Lo studio stabilisce un limite di performance di circa il 99% di omogeneità di classe e l'85% di omogeneità di famiglia per l'apprendimento di coppie supervisionate su questi dataset.

Fase 2: Performance Non Supervisionata

Dominio TRL: VIME ha stabilito un nuovo stato dell'arte (SOTA) per il clustering non supervisionato di programmi binari, superando PCA, Autoencoder e UMAP.
- Su Bodmas: VIME ha raggiunto l'87,85% (max) di omogeneità di classe e l'80,87% (media) di omogeneità di famiglia.
- Su Ember: VIME ha raggiunto il 66,80% di omogeneità di classe e il 74,36% di omogeneità di famiglia.
Fallimento SSL in Modalità Non Supervisionata: Quando BYOL e SimSiam sono stati costretti a utilizzare la strategia di corruzione di VIME (come sostituto delle coppie positive), non sono riusciti a eguagliare le performance delle baseline non supervisionate come PCA, confermando che questi metodi SSL richiedono coppie positive specifiche e di alta qualità per funzionare efficacemente.
Gap rispetto alla Supervisione: VIME (non supervisionato) si è avvicinato notevolmente al limite superiore supervisionato. Su Ember, l'omogeneità di famiglia di VIME (74,36%) era solo del 2,2% inferiore al limite superiore supervisionato di SimSiam (76,53%).

Risultati VIME-R

Risultato SOTA: VIME-R ha ulteriormente migliorato VIME, raggiungendo nuovi risultati SOTA.
- Bodmas: Ha migliorato l'omogeneità di famiglia del 2,96% rispetto a VIME (83,83% vs 80,87%).
- Ember: Ha migliorato l'omogeneità di famiglia del 3,9% rispetto a VIME (77,48% vs 74,36%).
Superamento della Supervisione: Significativamente, sul dataset Ember, l'omogeneità di famiglia di VIME-R (77,48%) ha superato il limite superiore supervisionato stabilito da SimSiam nella Fase 1 (76,53%).

Contributi e Significato

Il documento dichiara i seguenti contributi:

Prima Investigazione Sistematica: È il primo studio che valuta sistematicamente i metodi SSL e TRL specificamente per il compito del clustering di programmi binari.
Limite di Performance: Stabilisce un limite quantitativo di performance per il clustering di programmi binari utilizzando l'apprendimento di coppie supervisionate, fornendo un benchmark per future strategie di augmentation.
Nuovo SOTA: Dimostra che i metodi TRL non supervisionati (specificamente VIME) possono superare le forti baseline tradizionali (PCA, Autoencoder, UMAP) e avvicinarsi ai livelli di performance della supervisione.
Apprendimento Aumentato dal Recupero (Retrieval-Augmented Learning): La proposta di VIME-R introduce una nuova strategia di corruzione aumentata dal recupero. Il documento sostiene che questo metodo colma il divario tra la corruzione agnostica del dominio e l'apprendimento supervisionato, provando che l'augmentation consapevole della località può generare rappresentazioni superiori a quelle derivate dalla supervisione esplicita delle etichette di famiglia in certi contesti.

Conclusione

Lo studio conclude che, sebbene i comuni metodi SSL basati sulla visione fatichino in assenza di data augmentation personalizzate, il Tabular Representation Learning (TRL) offre una via percorribile per l'analisi dei malware. In particolare, la strategia di corruzione aumentata dal recupero (VIME-R) rappresenta una direzione promettente, consentendo ai modelli non supervisionati di raggiungere una qualità di clustering che rivaleggia o addirittura supera i baseline completamente supervisionati nella discriminazione a livello di famiglia. Gli autori sottolineano che questo approccio è particolarmente prezioso per l'analisi automatizzata dei malware dove i dati etichettati sono scarsi.