Tug-of-War within A Decade: Conflict Resolution in Vulnerability Analysis via Teacher-Guided Retrieval-Augmented Generations

1. Il Problema: Conflitti di Conoscenza nell'Analisi delle Vulnerabilità

Il paper affronta una sfida critica nell'uso dei Large Language Models (LLM) per la cybersecurity, in particolare nell'analisi delle vulnerabilità CVE (Common Vulnerabilities and Exposures).

• Obsolescenza della Conoscenza: Esistono oltre 200.000 vulnerabilità scoperte nell'ultimo decennio, di cui più di 30.000 sono state modificate o aggiornate. Gli LLM, avendo una "data di taglio" (knowledge cutoff) fissa, non possono accedere in tempo reale a questi aggiornamenti, portando a risposte basate su dati obsoleti.
• Conflitti e Allucinazioni: Quando un utente interroga un LLM su una vulnerabilità aggiornata, il modello può generare risposte in conflitto con i fatti (es. citando una vecchia versione di una CVE invece dell'ultima), causando allucinazioni fattuali e informazioni fuorvianti.
• Limiti del RAG Tradizionale: I sistemi Retrieval-Augmented Generation (RAG) esistenti spesso falliscono nel distinguere tra CVE adiacenti (che hanno descrizioni molto simili) o nel gestire conflitti tra la conoscenza interna del modello e i documenti recuperati, portando a una bassa accuratezza nel recupero delle informazioni più recenti.

2. Metodologia: Il Framework CRVA-TGRAG

Gli autori propongono un framework innovativo a due stadi, CRVA-TGRAG (Conflict Resolution in Vulnerability Analysis via Teacher-Guided Retrieval-Augmented Generation), progettato per risolvere questi conflitti.

Fase Preliminare: Pre-elaborazione dei Dati

• Fonte Autorevole: I dati vengono raccolti direttamente dall'API ufficiale NVD (National Vulnerability Database) e dal repository GitHub del progetto CVE per garantire autorità e tempestività.
• Formattazione e Confronto: I dati JSON vengono convertiti in CSV. Un LLM viene utilizzato per confrontare le versioni "vecchie" e "nuove" delle CVE, generando un dataset strutturato che evidenzia esplicitamente le modifiche apportate. Questo crea un set di dati di riferimento per l'addestramento.

Stadio I: Recupero e Augmentation (RAG Ottimizzato)

Per migliorare l'accuratezza del recupero (RQ2), il sistema introduce due innovazioni:

1. Parent Document Segmentation (Segmentazione Semantica): Invece di tagliare i documenti in chunk fissi, viene utilizzata una segmentazione basata sulla similarità semantica (calcolo della distanza coseno tra embedding). Questo assicura che tutte le informazioni relative a una specifica CVE rimangano nello stesso chunk, evitando la frammentazione del contesto.
2. Ensemble Retrieval: Viene combinato un retriever vettoriale (basato su similarità semantica) con un retriever basato su indicizzazione inversa (BM25). I pesi sono ottimizzati (0.75 per la semantica, 0.25 per BM25) e vengono applicate tecniche di sostituzione dei sinonimi per migliorare la pertinenza dei risultati, specialmente per CVE con numeri simili.

Stadio II: Generazione Guidata dall'Insegnante (Teacher-Guided)

Per risolvere i conflitti di conoscenza durante la generazione (RQ3), il framework utilizza una tecnica di Ottimizzazione delle Preferenze (DPO - Direct Preference Optimization):

• Concetto: Ispirandosi all'idea che gli studenti imparino meglio confrontando le vecchie e le nuove versioni di un libro di testo sotto la guida di un insegnante, il sistema "insegna" all'LLM a preferire le informazioni aggiornate.
• Implementazione: Vengono creati dataset di preferenza dove le risposte basate sui dati aggiornati (New Value) sono etichettate come "vincenti" e quelle basate sui dati obsoleti come "perdenti". L'LLM viene quindi fine-tunato con DPO per allineare le sue preferenze alla conoscenza aggiornata, riducendo la propensione a generare allucinazioni basate su dati vecchi.

3. Contributi Chiave

1. Dataset di Conflitti: Creazione e pubblicazione di un dataset specifico per l'analisi delle vulnerabilità contenente 1.260 coppie di conflitti CVE (dati modificati vs originali) raccolti nell'ultimo decennio, con dettagli sui passaggi di elaborazione.
2. Framework CRVA-TGRAG: Un approccio a due stadi che integra segmentazione semantica, recupero ensemble e ottimizzazione delle preferenze (DPO) per mitigare i conflitti di conoscenza.
3. Metriche di Valutazione Multidimensionali: Definizione di un criterio di scoring che include metriche tradizionali (BLEU, ROUGE) e metriche specifiche per RAG (Faithfulness, Context Precision, Context Recall) per valutare non solo la correttezza, ma anche la fedeltà al contesto recuperato.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi modelli (GPT-4o-mini, Claude-3.5, Llama3, Mistral) confrontando il metodo proposto con baseline come "No Prompt", "Prompt Only", "Naive RAG" e varianti senza DPO.

• Miglioramento dell'Accuratezza: Rispetto alla baseline, il metodo CRVA-TGRAG ha aumentato l'Answer Correctness (AC) del 27% (da 0.49 a 0.76).
• Miglioramento della Fedeltà (Faithfulness): L'indice di Faithfulness è aumentato del 52% (da 0.36 a 0.88), dimostrando che le risposte sono molto più allineate ai fatti recuperati e meno soggette ad allucinazioni.
• Efficacia del Recupero: L'uso della segmentazione semantica e del recupero ensemble ha significativamente migliorato la Context Precision (CP) e il Context Recall (CR) rispetto al RAG tradizionale, garantendo che i documenti più rilevanti (e aggiornati) siano quelli forniti al modello.
• Ablation Study: Gli studi dimostrano che l'uso combinato di RAG ottimizzato e DPO è superiore all'uso isolato di una sola delle due tecniche.

5. Significato e Impatto

Il lavoro di Zhou et al. è significativo perché:

• Supera i limiti temporali degli LLM: Dimostra che è possibile mantenere gli LLM aggiornati su domini ad alta dinamica come la cybersecurity senza dover ri-addestrare costantemente il modello da zero, utilizzando invece un approccio ibrido RAG + Fine-tuning delle preferenze.
• Affidabilità nella Sicurezza: Fornisce agli analisti di sicurezza e agli sviluppatori strumenti più affidabili per l'analisi delle vulnerabilità, riducendo il rischio di decisioni basate su informazioni errate o obsolete.
• Nuovo Paradigma di Risoluzione Conflitti: Introduce un metodo sistematico per gestire i conflitti tra conoscenza interna ed esterna, proponendo una soluzione scalabile che potrebbe essere applicata ad altri domini dove i fatti evolvono rapidamente (es. notizie, leggi, dati medici).

In sintesi, CRVA-TGRAG risolve efficacemente il "tug-of-war" (lotta di trazione) tra la conoscenza statica degli LLM e la realtà dinamica delle vulnerabilità informatiche, garantendo risposte precise, aggiornate e prive di allucinazioni.