Sintesi Tecnica: AI Slop e Allucinazioni nella Valutazione delle Vulnerabilità

1. Definizione del Problema

L'integrazione dei Large Language Models (LLM) nella valutazione delle vulnerabilità della cybersecurity ha introdotto una "crisi di affidabilità" guidata dalla proliferazione della "AI slop" (scorie generate dall'IA). A differenza dei tradizionali falsi positivi derivanti da un conservativo Static Application Security Testing (SAST) basato su regole, la AI slop consiste in artefatti di sicurezza (report, proof-of-concept, patch) che esibiscono un'alta fluidità linguistica e una plausibilità strutturale, ma mancano di validità semantica o di fondamento eseguibile.

Questi artefatti includono:

• Vulnerabilità allucinate: CVE (Common Vulnerabilities and Exposures) fabbricati, API inesistenti e percorsi di esecuzione sconnessi.
• Sintesi di patch errate: Correzioni che affrontano i sintomi superficiali ignorando le cause radice, o patch che introducono nuove regressioni.
• Riconfigurazione semantica: La trasformazione di conoscenze esistenti o di correzioni "silenti" (non dichiarate) in report che appaiono nuovi e autorevoli.

Questo fenomeno crea un carico cognitivo sulle pipeline di triage umano che ricalca un attacco di tipo Denial-of-Service (DoS). Il problema centrale è un fondamentale gap di ragionamento: gli esperti di sicurezza umani si affidano a un ragionamento deduttivo multi-step causale basato sui vincoli del sistema, mentre gli LLM autoregressivi operano tramite generazione probabilistica di token basata su correlazioni statistiche. Quando le informazioni superano l'orizzonte di ragionamento di un LLM, esso ricorre a continuazioni statisticamente plausibili piuttosto che a fatti verificati.

2. Metodologia

Il documento impiega una revisione sistematica della letteratura e un'analisi concettuale per esaminare le prove empiriche e formalizzare il problema.

• Ricerca Bibliografica: Gli autori hanno interrogato IEEE Xplore, ACM Digital Library e arXiv utilizzando parole chiave relative a LLM e sicurezza. Due revisori indipendenti hanno vagliato i risultati, trattenendo gli studi con prove empiriche di modalità di fallimento degli LLM in contesti di sicurezza.
• Costruzione della Tassonomia: I fallimenti sono stati categorizzati in tre rami primari basati sulla natura del fallimento del ragionamento.
• Analisi del Gap: Il documento mette a confronto i modelli cognitivi umani (deduttivi, preservanti degli invarianti) con i vincoli architettonici degli LLM (probabilistici, limitati dalla finestra di contesto).
• Proposta di Metrica: Gli autori operazionalizzano il gap di ragionamento attraverso un proxy misurabile, il Deductive Coverage Score (DCS), e propongono nuovi strumenti di valutazione (CVE-Bench, Slop-Score).
• Revisione Architetturale: Le strategie di mitigazione esistenti (rilevamento passivo, watermarking) vengono riviste e criticate, seguite da una proposta per architetture di verifica neuro-simbolica attiva.

3. Contributi Chiave

A. Formalizzazione e Tassonomia della AI Slop

Il documento definisce la AI slop nella cybersecurity e stabilisce una tassonomia composta da tre distinte modalità di fallimento:

1. Vulnerabilità Allucinate: Il modello inventa difetti (es. CVE fabbricati, API inesistenti) per soddisfare le aspettative del prompt. Ciò include l'allucinazione siffica (trovare bug in codice sicuro) e il confondimento da bias di token (spostamento del giudizio basato su cambiamenti superficiali della sintassi).
2. Sintesi di Patch Errate: I modelli generano patch che compilano e superano controlli superficiali, ma non risolvono il problema sottostante o introducono nuove regressioni di sicurezza (es. scambiare un CWE con un altro).
3. Riconfigurazione Semantica: I modelli rielaborano informazioni esistenti (incluse le correzioni silenti dai commit open-source) in report "nuovi". Ciò sfrutta la mancanza di una verità di base pubblica per le correzioni non dichiarate, rendendo le affermazte riconfigurata rilevabili tramite validazione basata su lookup.

B. Analisi del Gap di Ragionamento

Il documento identifica la causa principale nella divergenza tra il ragionamento deduttivo umano e la generazione probabilistica degli LLM:

• Esperti Umani: Costruiscono modelli mentali, tracciano il flusso di dati attraverso i confini procedurali e verificano i vincoli. Approcciano i risultati con scetticismo finché non vengono provati.
• LLM: Stimano le probabilità dei token basandosi sulle distribuzioni di addestramento. Assemblano pattern familiari (chiamate API, nomi di variabili) senza verificare un singolo percorso di esecuzione.
• Limitazioni delle Mitigazioni Attuali: Gli autori sostengono che il prompting Chain-of-Thought (CoT) e gli agenti che utilizzano strumenti restringono ma non chiudono questo gap. La CoT spesso produce catene di ragionamento più lunghe ma ugualmente errate, e l'uso di strumenti porta spesso alla "confabulazione dell'uso dello strumento", dove gli agenti interpretano erroneamente gli output degli strumenti stessi.

C. Critica del Rilevamento Passivo e del Watermarking

Il documento sostiene che le attuali strategie di mitigazione mirate alla provenienza (determinare se un testo è stato scritto da una macchina) sono disallineate rispetto alla necessità di correttezza.

• Rilevamento Statistico: Fallisce perché i report di sicurezza sono intrinsecamente formulari (bassa diversità lessicale), causando un alto numero di falsi positivi per i report scritti da umani.
• Watermarking: Incompatibile con la logica di sicurezza; forzare la selezione di token con watermark in domini di codice vincolati spesso rompe la logica o crea payload non validi.

D. Soluzioni Proposte e Strumenti di Valutazione

• Verifica Neuro-Simbolica: Gli autori promuovono un'architettura in cui gli LLM agiscono come generatori di ipotesi, e i loro output sono sottoposti a verifica deterministica (Analisi Statica, Fuzzing Dinamico, Esecuzione Simbolica) prima di raggiungere gli analisti umani.
• Deductive Coverage Score (DCS): Una metrica che quantifica il grado in cui un'affermazione di vulnerabilità è fondata su prove esplicite e verificabili (es. riferimenti specifici al codice, tracce di esecuzione) rispetto all'interpolazione statistica.
• CVE-Bench: Un benchmark progettato per testare la capacità dei sistemi di triage di separare i report fondati dai percorsi di exploit fluenti ma fantasma, utilizzando una verità di base validata tramite esecuzione.
• Slop-Score: Una metrica continua che quantifica il gap tra fluidità linguistica e sostanza verificabile, penalizzando gli artefatti che sono fluidi ma mancano di densità di evidenza o soddisfazione dei vincoli.

4. Risultati e Conclusioni

• Evidenza Empirica: La survey evidenzia che circa il 20% dei report in alcuni programmi di bug bounty (es. HackerOne a metà 2025) è stato identificato come AI slop di bassa qualità, portando alla sospensione di alcuni programmi (es. il programma di bounty di cURL nel 2026) a causa dell'impossibilità di distinguere i report validi dal rumore generato dall'IA.
• Deficit di Fondamento (Grounding): Una revisione delle opere rappresentative (Tabella 1) rivela che nessuno studio fornisce la validazione a livello di esecuzione degli output degli LLM. Il fondamento più forte trovato è il controllo di compilazione o l'analisi statica, che operano ben al di sotto dei requisiti di un rigoroso ragionamento di sicurezza.
• Fallimento dei Ponti Parziali: Sebbene strumenti come ReAct e la Generazione Aumentata dal Recupero (RAG) riducano le allucinazioni fattuali (es. inventare CVE inesistenti), essi non riescono ad affrontare le allucinazioni logiche (trarre inferenze causalmente errate da fatti accurati).

5. Significato e Rivendicazioni

Il documento si pone come una survey, analisi concettuale e roadmap. Il suo significato primario risiede nello spostamento del paradigma di valutazione dalla fluidità linguistica alla verificabilità matematica.

• Fallimento Strutturale: Gli autori affermano che la AI slop non è solo un problema di prestazione, ma un fallimento strutturale in cui la generazione probabilistica sostituisce la verifica causale.
• Affidabilità: La fiducia nel triage guidato dall'IA non può essere ottenuta solo attraverso un miglior prompting o il tracciamento della provenienza. Richiede una verifica neuro-simbolica attiva che mappi ogni componente della pipeline ai sistemi precedenti con limiti documentati (es. i limiti di esplosione del percorso dell'esecuzione simbolica).
• Direzione Futura: Il documento conclude che l'IA affidabile nella cybersecurity emergerà da sistemi che trattano la generazione come il punto di partenza di una pipeline di verifica, garantendo che il giudizio umano sia esercitato solo su affermazioni che siano sopravvissute a test deterministici. Le metriche proposte (DCS, Slop-Score) e i benchmark (CVE-Bench) sono destinati a fornire l'infrastruttura necessaria per eliminare strutturalmente questo fallimento dal sistema.