Riepilogo Tecnico: Valutazione della Generazione Aumentata dal Recupero per l'Analisi Esplicabile dei Malware

Enunciato del Problema

Sebbene i Modelli Linguistici su Larga Scala (LLM) siano sempre più utilizzati per tradurre indicatori di malware a basso livello (ad esempio, chiamate API, modifiche al registro) in spiegazioni in linguaggio naturale, l'efficacia della Generazione Aumentata dal Recupero (RAG) in questo specifico dominio rimane non verificata. L'assunzione prevalente è che l'iniezione di conoscenze di sicurezza esterne tramite RAG migliori la qualità delle spiegazioni. Tuttavia, l'analisi dei malware si basa spesso su prove strutturate (come i report di VirusTotal) che già racchiudono dati contestuali sufficienti. Gli autori ipotizzano che un recupero indiscriminato in tali scenari possa introdurre "rumore narrativo", contesti distrattivi o resoconti generici che degradano la capacità del modello di estrarre segnali salienti, portando potenzialmente a spiegazioni fuorvianti in pipeline critiche per la sicurezza.

Metodologia

Lo studio conduce una valutazione empirica dell'esplicabilità degli LLM con e senza RAG, utilizzando report strutturati di VirusTotal come input principale.

• Dataset e Architettura: Il dataset comprende 1.702 report di VirusTotal dal corpus MalGPT, contenenti indicatori strutturati come chiamate API e operazioni sul registro. La pipeline RAG utilizza LlamaIndex per l'orchestrazione, ChromaDB per l'archiviazione vettoriale e OpenRouter come gateway LLM. Gli embedding sono generati utilizzando all-MiniLM-L6-v2 e text-embedding-3-large di OpenAI. I documenti sono suddivisi in chunk di 1.024 token con una sovrapposizione di 100 token, e il recupero impiega una ricerca di similarità top-$k$ con una soglia di 0,5.
• Base di Conoscenze: La fonte di recupero include il framework MITRE ATT&CK, linee guida di ricerca (ad esempio, MalGPT, mappature CISA/MITRE), documentazione tecnica di VirusTotal e dataset di intelligence sui malware (tassonomie, CVE).
• Prompt di Sistema: Un prompt strutturato in 10 sezioni impone la coerenza, richiedendo che le output includano verdetto, riepiloghi non tecnici, citazioni delle prove, mappatura della famiglia di malware, raggruppamento degli IoC, riepiloghi comportamentali, punteggi di confidenza e raccomandazioni attuabili.
• Protocollo di Valutazione: Uno studio di ablazione confronta vari LLM (GPT OSS 21B, DeepSeek-R1 671B e GPT-5.1) sotto prompt identici, testandoli con JSON di VirusTotal da soli rispetto a JSON arricchiti con contesto recuperato. Non viene applicato alcun fine-tuning per isolare gli effetti del recupero.
• Metriche: La qualità della spiegazione è misurata utilizzando BERTScore, che valuta la similarità semantica rispetto a una baseline GPT-5.1 (senza RAG). Questa metrica è scelta per la sua robustezza rispetto alla parafrasi e la sensibilità alla deriva semantica causata da passaggi recuperati scarsamente correlati.

Risultati Chiave

Gli esperimenti rivelano che il RAG degrada frequentemente la qualità delle spiegazioni invece di migliorarla quando sono già presenti prove strutturate:

• Degradazione delle Prestazioni: Attraverso diversi modelli, l'aggiunta di contesto recuperato ha generalmente abbassato i punteggi BERTScore. Ad esempio, DeepSeek-R1 ha ottenuto il punteggio più alto (0,8617) senza RAG, mentre le prestazioni sono scese a 0,8583 e 0,8582 con diversi modelli di embedding. Analogamente, GPT OSS 21B ha visto un calo significativo da 0,8407 (senza RAG) a 0,8184 con il recuperatore all-MiniLM-L6-v2.
• Sensibilità degli Embedding: Mentre text-embedding-3-large ha offerto miglioramenti marginali per GPT OSS 21B, non ha apportato alcun beneficio a DeepSeek-R1.
• Causa della Degradazione: Gli autori attribuiscono il declino al recupero di passaggi semanticamente simili ma a bassa utilità (ad esempio, descrizioni generiche di malware) che agiscono come "negativi duri". Questi distrattori spostano l'attenzione del modello verso narrazioni plausibili ma irrilevanti, diluendo i segnali specifici presenti nei report strutturati di VirusTotal.
• Comportamento del Modello: Modelli più potenti (come DeepSeek-R1) sembrano trattare il contesto aggiuntivo come ridondante o leggermente contraddittorio, supportando ulteriormente l'ipotesi che il compito sia di estrazione di segnali piuttosto che di completamento della conoscenza.

Contributi Chiave

1. Sfida Empirica alle Assunzioni RAG: Il lavoro fornisce prove che l'applicazione predefinita del RAG alla spiegazione dei malware è controproducente quando sono disponibili prove strutturate di alta qualità (report di VirusTotal).
2. Riformulazione del Compito: Gli autori sostengono che la spiegazione dei malware è principalmente un compito di estrazione di segnali, non un problema di recupero della conoscenza. Di conseguenza, l'aggiunta di contesto esterno può introdurre carico cognitivo e rischi di errore senza aggiungere valore.
3. Raccomandazioni di Progettazione: Il documento delinea strategie specifiche per mitigare il rumore indotto dal recupero nei flussi di lavoro di sicurezza:
   • Saltare il RAG quando i report strutturati sono sufficienti (utilizzando predittori di sufficienza del contesto).
   • Applicare re-ranker adattati al dominio con limiti $k$ rigorosi per evitare negativi duri.
   • Sostituire il chunking a finestra fissa con chunk centrati sul comportamento o sugli IoC arricchiti con metadati.
   • Esplorare alternative come la Generazione Aumentata dalla Cache (CAG) e l'Ingegneria del Contesto.

Significato e Affermazioni

Il documento afferma che nelle pipeline critiche per la sicurezza, il rischio di bias di automazione aumenta quando le spiegazioni basate su RAG si discostano dalle prove sottostanti. Gli autori affermano che gli analisti traggono maggior beneficio dalla coerenza e dalla tracciabilità rispetto all'espansione delle narrazioni. Dimostrando che il RAG può degradare le prestazioni in domini guidati dal ragionamento strutturato, il lavoro sostiene un cambiamento nella progettazione degli strumenti: allontanarsi dalla sintesi della conoscenza tramite recupero e orientarsi verso l'estrazione strutturata di segnali. I risultati suggeriscono che per compiti in cui la prova sorgente è già esaustiva, il "rumore" introdotto dai meccanismi di recupero supera i potenziali benefici dell'iniezione di conoscenze esterne.