Early Comparative Evaluation of Transformer Models for Multilingual Software Vulnerability Detection

Sintesi Tecnica: Valutazione Comparativa Preliminare di Modelli Transformer per il Rilevamento Multilingue di Vulnerabilità del Software

Definizione del Problema
Le vulnerabilità del software pongono rischi significativi per la sicurezza, la stabilità finanziaria e la manutenzione dei sistemi, particolarmente in un contesto in cui le moderne applicazioni integrano sempre più linguaggi multipli. Mentre le tecniche tradizionali di analisi statica e dinamica soffrono di elevati tassi di falsi positivi e una copertura limitata, e i metodi convenzionali di machine learning si affidano a feature progettate manualmente o ad analisi a grana grossa, i modelli basati su transformer sono emersi come alternative promettenti grazie alla loro capacità di catturare informazioni contestuali e dipendenze a lungo raggio nel codice sorgente. Tuttavia, la ricerca esistente si concentra prevalentemente su singoli linguaggi (ad es. C/C++) o set di linguaggi limitati, creando una lacuna nella comprensione di come questi modelli si generalizzino attraverso diverse sintassi e semantiche in ambienti multilingue.

Metodologia
Questo studio inquadra il rilevamento delle vulnerabilità del software come un problema di classificazione binaria (vulnerabile vs sicuro) e conduce una valutazione comparativa preliminare di tre architetture transformer: BERT, RoBERTa e CodeBERT.

• Dataset: I ricercatori hanno utilizzato il dataset CVEFixes, selezionando specificamente un sottoinsieme di 9.000 campioni in quattro linguaggi: HTML (285 campioni), Python (1.564 campioni), JavaScript (1.562 campioni) e PHP (5.589 campioni). Il dataset è stato pre-elaborato per rimuovere i record incompleti, risultando in una distribuzione quasi bilanciata di campioni vulnerabili (codificati come 1) e sicuri (codificati come 0) per ogni linguaggio.
• Design Sperimentale: I modelli sono stati valutati utilizzando una validazione incrociata stratificata (three-fold cross-validation) per linguaggio per preservare la distribuzione delle classi. Il codice sorgente è stato tokenizzato con una lunghezza massima della sequenza di 512 token utilizzando i rispettivi tokenizer per ciascun modello.
• Implementazione: Il fine-tuning è stato eseguito utilizzando il framework Hugging Face Trainer. Le prestazioni sono state misurate utilizzando accuratezza, precisione, recall e F1-score.

Contributi Chiave
L'articolo delinea tre contributi primari:

1. Lo sviluppo di una pipeline preliminare multilingue basata su transformer per il rilevamento delle vulnerabilità del software.
2. Un confronto diretto, per linguaggio, tra BERT, CodeBERT e RoBERTa su HTML, Python, JavaScript e PHP.
3. La fornitura di evidenza empirica che dimostra come le prestazioni dei modelli transformer varino sostanzialmente tra i diversi linguaggi di programmazione.

Risultati
I risultati sperimentali indicano che nessun singolo modello supera costantemente gli altri in tutti i linguaggi, e che le prestazioni sono fortemente dipendenti dal linguaggio:

• HTML: Questo linguaggio ha prodotto i risultati più solidi. CodeBERT ha ottenuto l'F1-score più alto di 0,7171, seguito da vicino da RoBERTa (0,7078) e BERT (0,7064). Tutti i modelli hanno raggiunto F1-score superiori a 0,70.
• Python, JavaScript e PHP: Questi linguaggi hanno presentato sfide significativamente maggiori, con tutti i modelli che hanno ottenuto F1-score inferiori a 0,45.
  • Python: CodeBERT è stato il migliore con un F1-score di 0,4367.
  • JavaScript: RoBERTa ha ottenuto l'F1-score più alto di 0,4289.
  • PHP: BERT ha ottenuto l'F1-score più forte, 0,4036, sebbene tutti i modelli abbiano avuto difficoltà con questo linguaggio (prestazioni complessive più basse).

Significatività e Rivendicazioni
L'articolo posiziona modestamente questi risultati come un "confronto preliminare per linguaggio" piuttosto che come un benchmark pienamente generalizzabile. Gli autori affermano che la sostanziale variazione nelle prestazioni suggerisce che i pattern di vulnerabilità siano dipendenti dal linguaggio. Di conseguenza, un rilevamento efficace delle vulnerabilità multilingue richiede probabilmente una sintonizzazione specifica per linguaggio, un miglior trattamento dello sbilanciamento delle classi e rappresentazioni del codice sorgente più ricche, piuttosto che un approccio "one-size-fits-all".

Gli autori riconoscono i limiti, osservando che i linguaggi selezionati non rappresentano l'intero spettro dei linguaggi di programmazione e che le conclusioni sono specifiche per l'attuale impostazione sperimentale. Concludono che il lavoro futuro dovrà espandere la copertura linguistica, investigare strategie di addestramento a linguaggi misti e impiegare metriche di valutazione più robuste (come macro F1-score, coefficiente di Matthews e PR-AUC) per valutare meglio la generalizzazione del modello.