Leveraging Large Language Models to Obscure Code Stylometry: A Comparative Study of GPT-3.5 and GPT-4

Sintesi Tecnica: Sfruttare i Large Language Models per Oscurare la Stilometria del Codice

Problematica
La stilometria del codice consiste nell'analizzare le firme stilistiche uniche nel codice sorgente per l'attribuzione dell'autore, una tecnica critica per la cybersecurity e per tracciare le origini di software malevoli. I metodi stilometrici tradizionali si basano su caratteristiche lessicali, di layout e sintattiche (spesso derivate dagli Abstract Syntax Trees) per identificare i programmatori. Tuttavia, l'emergere di Large Language Models (LLM) come GPT-3.5 e GPT-4 introduce una sfida significativa: questi modelli possono generare o trasformare il codice preservandone la funzionalità ma alterandone le impronte stilistiche. Questa capacità permette potenzialmente ad attori malevoli di eludere il rilevamento dell'autore, complicando gli sforzi di cybersecurity. Questo studio investiga l'entità con cui gli LLM possono riuscire a oscurare la stilometria del codice per eludere il rilevamento da parte di un classificatore di machine learning, mantenendo al contempo la funzionalità del codice.

Metodologia
La ricerca ha impiegato un design sperimentale strutturato che coinvolge quattro fasi primarie: preparazione del dataset, estrazione delle caratteristiche, addestramento del modello valutatore e prompt engineering.

1. Dataset: Lo studio ha utilizzato il dataset Methods2Test, un ampio corpus di snippet di codice Java accoppiati con unit test. Per gli esperimenti, è stato selezionato un sottoinsieme del set di test (78.388 coppie). I dati sono stati convertiti da JSON a CSV, puliti dai valori mancanti e assemblati per includere il codice della classe focale e della classe di test in singole colonne.
2. Estrazione delle Caratteristiche: Uno strumento basato su Python ha estratto 109 caratteristiche stilometriche categorizzate in tre gruppi:
   • Lessicali: Conteggi delle parole chiave, conteggi dei token, valori letterali e statistiche sulla lunghezza delle righe.
   • Layout: Pattern di indentazione (tab vs spazi), righe vuote e rapporti di spazio bianco.
   • Sintattiche: Caratteristiche derivate dall'Abstract Syntax Tree (AST), inclusi la profondità massima dei nodi e le occorrenze specifiche di parole chiave Java.
3. Modello Valutatore: Un classificatore Random Forest è stato addestrato per predire l'ID del repository (autore) basandosi sulle caratteristiche estratte. Il modello ha raggiunto un'accuratezza di base elevata del 95,18% sul set di test holdout, con punteggi di cross-validazione medi di 0,95, stabilendo una robusta linea di base per il rilevamento delle firme stilistiche.
4. Prompt Engineering e Interazione con l'LLM: Lo studio ha testato GPT-3.5 e GPT-4 utilizzando quattro distinte strategie di prompt, ciascuna implementata tramite due metodi: Single-Shot (istruzione diretta) e Multi-Shot (guida conversazionale passo dopo passo).
   • Strategia 1 (Cambia solo lo stile): Istruzione generale per alterare lo stile senza obiettivi specifici.
   • Strategia 2 (Emulazione di uno stile specifico): Istruire il modello a imitare un programmatore specifico o una convenzione regionale.
   • Strategia 3 (Stile con un esempio): Fornire uno snippet di codice di esempio affinché il modello lo emuli.
   • Strategia 4 (Trasformazione Cross-Language): Tradurre Java in C++ e poi di nuovo in Java per forzare spostamenti stilistici.
5. Valutazione: Il codice generato dall'LLM è stato valutato su due metriche:
   • Successo di Evasione: Se il classificatore Random Forest non è riuscito a identificare correttamente l'ID originale del repository (uno "0" nei risultati della tabella).
   • Preservazione della Funzionalità: Se il codice modificato è stato compilato con successo e ha superato tutti gli originali unit test.

Risultati Chiave
Gli esperimenti hanno prodotto risultati misti riguardo alla capacità degli LLM di eludere il rilevamento mantenendo la funzionalità.

• Performance del Modello: GPT-4 ha generalmente superato GPT-3.5, raggiungendo un tasso medio di successo di evasione del 29% rispetto al 24% di GPT-3.5. GPT-4 ha mostrato una particolare forza nei metodi single-shot utilizzando l'emulazione di uno stile specifico (Strategia 2, 40% di successo).
• Efficacia della Strategia di Prompt:
  • Multi-Shot vs. Single-Shot: I metodi multi-shot sono stati generalmente più efficaci (28% di successo medio) rispetto ai metodi single-shot (14% di successo medio). La guida dettagliata e passo dopo passo ha migliorato significativamente le prestazioni di GPT-3.5, in particolare nella Strategia 1 (60% di successo).
  • Confronto tra Strategie: La Trasformazione Cross-Language (Strategia 4) è stata la più efficace complessivamente (35% di successo medio). La Emulazione di uno Stile Specifico (Strategia 2) seguiva con il 30%. Chiedere semplicemente di cambiare lo stile (Strategia 1) ha mostrato risultati misti (25%), fortemente dipendenti dal metodo utilizzato. Lo Stile con un Esempio (Strategia 3) è stato il meno efficace (15%).
• Preservazione della Funzionalità: Un risultato critico è stata la difficoltà nel mantenere l'integrità del codice. Su 80 campioni testati, solo il 58% (46 campioni) è stato compilato e ha superato tutti gli unit test. Una porzione significativa (41%) non è stata in grado di compilare, spesso a causa di cambiamenti indotti dall'LLM ai nomi delle classi o ai tipi di dati.
• Successo Duale: Solo il 10% del totale dei campioni testati (8 su 80) ha raggiunto il duplice obiettivo di eludere con successo il classificatore di stilometria e mantenere la piena funzionalità.

Significatività e Contributi
Il paper sostiene che il suo contributo principale risieda nel fornire intuizioni critiche sulla robustezza delle attuali tecniche di attribuzione dell'autore contro le capacità avanzate dell'IA. Dimostrando che gli LLM possono parzialmente oscurare le firme stilistiche, lo studio evidenzia una vulnerabilità nelle misure di cybersecurity tradizionali che si affidano alla stilometria del codice.

La ricerca sottolinea l'importanza del prompt engineering, rivelando che i prompt strutturati e dettagliati (multi-shot) sono significativamente più efficaci rispetto alle semplici istruzioni. Inoltre, espone il compromesso tra l'oscuramento stilistico e la funzionalità del codice: sebbene gli LLM possano alterare lo stile, farlo senza interrompere la compilazione del codice rimane una sfida significativa.

Limitazioni e Direzioni Future
Gli autori riconoscono diverse limitazioni, tra cui i vincoli del dataset (dipendenza da progetti Java open-source), i vincoli delle risorse computazionali e la natura manuale della verifica della funzionalità. Si propone come lavoro futuro l'inclusione di dataset più ampi e diversificati, lo sviluppo di pipeline automatizzate per il testing della funzionalità, l'esplorazione di algoritmi di machine learning alternativi (come gli LSTM) per il modello valutatore e l'inclusione di altri LLM aziendali (ad esempio, Gemini, Claude) per un'analisi comparativa.

In conclusione, sebbene GPT-4 e le avanzate strategie di prompting mostrino promesse nell'oscurare la stilometria del codice, la tecnologia attuale non consente ancora una trasformazione del codice fluida, indetectabile e pienamente funzionale su larga scala. Ciò suggerisce che, sebbene l'attribuzione dell'autore sia sotto minaccia, essa rimane un campo vitale, seppur messo alla prova, che richiede lo sviluppo continuo di tecniche di rilevamento più robuste.