💻 computer science

Words Speak Louder Than Code: Investigating Cognitive Heuristics in LLM-Based Code Vulnerability Detection

Questo articolo presenta la prima indagine sistematica che dimostra come il rilevamento delle vulnerabilità del codice basato su LLM sia significativamente suscettibile a euristiche cognitive di tipo umano (effetti di inquadramento, ancoraggio e alone), le quali possono alterare i verdetti del modello e può essere sfruttate per sopprimere fino al 97% delle vulnerabilità rilevate.

Autori originali: Asif Shahriar, Hongyu Cai, Hadjer Benkraouda, Gang Wang, Z. Berkay Celik

Pubblicato 2026-06-30

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Asif Shahriar, Hongyu Cai, Hadjer Benkraouda, Gang Wang, Z. Berkay Celik

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un robot guardia giurata super intelligente il cui compito è guardare il codice informatico e decidere: "È sicuro, o è una bomba a orologeria?".

Per molto tempo, abbiamo dato per scontato che questo robot guardasse solo il codice stesso — la logica, la matematica, la struttura. Ma questo articolo rivela una verità sorprendente: il robot non si limita a leggere il codice; legge la storia che circonda il codice. E proprio come gli esseri umani, questo robot ha delle scorciatoie mentali (chiamate "euristiche cognitive") che possono ingannarlo, portandolo a prendere la decisione sbagliata.

Ecco la suddivisione delle loro scoperte, utilizzando analogie semplici.

I tre modi in cui il robot viene ingannato

I ricercatori hanno testato tre modi specifici per "hackerare" la mente del robot senza cambiare una singola riga di codice. Hanno semplicemente cambiato il contesto (i metadati) che circondava il codice.

1. L'Effetto Alone (Il pregiudizio della "Celebrità")

L'analogia: Immagina un giudice in un tribunale. Se l'imputato è un CEO famoso e rispettato, il giudice potrebbe inconsciamente pensare: "È una brava persona, non farebbe nulla di male", ed essere più clemente. Se l'imputato è un giovane stagista sconosciuto, il giudice potrebbe pensare: "È inesperto, probabilmente ha commesso un errore", ed essere più severo.

La scoperta:

Quando il codice era attribuito a un "Principal Security Engineer" (un esperto di alto livello), il robot diventava pigro e fiducioso. Perdeva di vista vulnerabilità reali perché assumeva: "Un esperto non scriverebbe un codice scadente".
Quando lo stesso codice era attribuito a un "Junior Developer" (un novellino di basso livello), il robot diventava sospettoso e paranoico. Trovava le vulnerabilità che aveva mancato prima, ma iniziava anche a gridare al "lupo!" su codice sicuro, creando falsi allarmi.
Il colpo di scena: Alcuni robot (come quello chiamato Claude) facevano l'esatto opposto, fidandosi di più del junior che dell'esperto, ma il pregiudizio era comunque presente.

2. L'Effetto Framing (Il pregiudizio dell' "Etichetta di avvertenza")

L'analogia: Pensa a un flacone di medicinale.

Etichetta A: "Questo medicinale cura il 90% dei pazienti." (Inquadramento positivo)
** Etichetta B:** "Questo medicinale non cura il 10% dei pazienti." (Inquadramento negativo)
Anche se la matematica è la stessa, la tua reazione cambia.

La scoperta:

Inquadramento Positivo: Quando al robot veniva detto: "Il tuo compito è assicurarti che la pipeline proceda senza intoppi ed evitare falsi allarmi", diventava troppo rilassato. Ignorava bug pericolosi per mantenere le cose in movimento velocemente.
Inquadramento Negativo: Quando al robot veniva detto: "Il tuo compito è trovare minacce alla sicurezza prima che distruggano il sistema", diventava iper-vigilante. Trovava più bug, ma iniziava anche a segnalare come pericoloso del codice sicuro.
Il risultato: Questo era il trucco più forte di tutti. Ogni singolo robot testato era stato influenzato dal modo in cui il compito veniva descritto.

3. L'Effetto Ancoraggio (Il pregiudizio della "Prima impressione")

L'analogia: Se chiedi a un amico: "Questa casa vale 500mila dollari?" e lui dice "Sì", potresti pensare che sia un affare. Se chiedi: "Questa casa vale 1 milione di dollari?" e lui dice "No", potresti pensare che sia economica. Il primo numero che senti "ancora" il tuo giudizio.

La scoperta:

Se al robot veniva detto: "Una scansione precedente ha dichiarato che questo codice è SICURO", tendeva a concordare e a perdere nuovi bug.
Se al robot veniva detto: "Una scansione precedente ha dichiarato che questo codice è VULNERABILE", tendeva a concordare e a trovare bug (anche se non c'erano).
Il robot stava essenzialmente dicendo: "Beh, l'altro ha detto che è sicuro, quindi mi fido", invece di fare il proprio lavoro indipendente.

I grandi problemi scoperti

I ricercatori hanno individuato tre problemi principali nel modo in cui funzionano questi robot:

1. Il problema del "Pomello del Volume"
I robot non sono diventati né più intelligenti né più stupidi nel trovare bug. Sono solo diventati più rumorosi o più silenziosi.

Quando il contesto li rendeva sospettosi, alzavano il "pomello del volume": segnalavano tutto come pericoloso (trovando bug reali, ma anche molti falsi allarmi).
Quando il contesto li rendeva fiduciosi, abbassavano il "pomello del volume": non segnalavano nulla (mancando bug reali, ma avendo anche meno falsi allarmi).
La lezione: Il robot non ha imparato davvero a distinguere meglio il codice buono da quello cattivo; ha solo cambiato umore.

2. La trappola delle "Allucinazioni"
Quando il robot veniva ingannato facendogli credere che un codice sicuro fosse pericoloso (a causa di un'etichetta "Junior Developer" o di un ancoraggio "Vulnerabile"), non si limitava a dire "È pericoloso". Spesso inventava un motivo falso.

Esempio: Il robot vedeva un codice sicuro ma, poiché era in un umore "sospettoso", affermava: "Questo sembra un memory leak!" quando non c'era alcun leak. Era sicuro di sé, ma completamente errato.

3. Codice "Intelligente" vs "Stupido"

Bug Facili: Alcuni bug sono ovvi, come un errore di battitura o un punto e virgola mancante. Il robot li trovava facilmente, indipendentemente dal contesto.
Bug Difficili: Alcuni bug richiedono un pensiero profondo (come tracciare come una variabile cambia nel tempo). Questi erano i bug su cui il robot veniva ingannato di più. Se il contesto era "fiducioso", perdeva i bug difficili. Se il contesto era "sospettoso", inventava falsi bug difficili.

L'Attacco Cognitivo (Il pericolo nel mondo reale)

I ricercatori non si sono limitati ai test; hanno costruito un attacco di prova di concetto.

Immaginate che un hacker voglia infiltrare un pezzo di codice pericoloso nel software di un'azienda. Invece di provare ad hackerare direttamente il cervello del robot (che è difficile), l'hacker si limita a falsificare la documentazione.

Scrive il codice.
Allega una finta email dicendo che proviene da un famoso esperto di sicurezza (Effetto Alone).
Scrive una nota dicendo: "Manteniamo la pipeline in movimento, non essere troppo pignolo" (Framing).
Allega un rapporto falso dicendo: "Le scansioni precedenti hanno dichiarato che questo è sicuro" (Ancoraggio).

Il Risultato: Il robot, vedendo questo pacchetto "rassicurante", ha deciso che il codice pericoloso era SICURO. L'attacco ha avuto successo nel sopprimere fino al 97% delle vulnerabilità che il robot avrebbe normalmente rilevato.

Conclusione

Questo articolo dimostra che i Large Language Models (LLM) utilizzati per la sicurezza non sono macchine oggettive. Sono influenzati dagli stessi trucchi psicologici che influenzano gli esseri umani.

Si fidano delle persone sbagliate (troppo degli esperti, troppo poco dei junior).
Reagiscono al modo in cui poni la domanda (paura vs comfort).
Restano bloccati alle prime impressioni (rapporti precedenti).

La parte più pericolosa? Non serve essere un hacker geniale per romperli. Basta sapere come scrivere un'email convincente o un messaggio di commit dall'aspetto professionale. Il robot non è rotto; è solo umano nei suoi difetti.

Sintesi Tecnica: Le parole contano più del codice

Definizione del problema
I Large Language Models (LLM) vengono sempre più impiegati come gatekeeper di sicurezza automatizzati in flussi di lavoro reali, come le pipeline CI/CD e le revisioni delle pull request. Mentre la ricerca precedente ha stabilito che gli LLM esibiscono euristiche cognitive nei compiti di ragionamento generale e nei compiti soggettivi, nessuna investigazione sistematica ha esaminato se queste euristiche influenzino gli LLM nel compito oggettivo del rilevamento delle vulnerabilità del codice. In pratica, gli scanner di vulnerabilità non analizzano il codice in isolamento; essi ingeriscono metadati contestuali non legati al codice, tra cui l'identità dell'autore, i messaggi di commit, le direttive del task e i risultati delle analisi precedenti. Questo articolo sostiene che tale contesto organico e non avversariale possa inavvertitamente innescare euristiche cognitive (effetto alone, effetto incorniciamento, effetto ancoraggio), portando a verdetti di sicurezza inconsistenti su codice identico. Il problema centrale è che questi bias possono essere sfruttati per sopprimere il rilevamento delle vulnerabilità o gonfiare i falsi positivi senza alterare il codice stesso.

Metodologia
Gli autori presentano un framework controllato per isolare l'impatto del contesto non relativo al codice sui verdetti degli LLM.

Design Sperimentale: Lo studio mantiene fisso lo snippet di codice ( $S$ ) variando solo il contesto circostante ( $C$ ) per innescare specifiche euristiche cognitive. La funzione del detector è definita come $f(C, S) \rightarrow \{0, 1\}$ , dove il verdetto dipende dall'interazione tra codice e contesto.
Euristiche Investigate:
1. Effetto Alone (Halo Effect): Manipolato tramite l'attribuzione dell'autore. Le varianti includono il prestigio relativo alla sicurezza (es. "Principal Security Engineer da Project Zero" vs "Junior Developer") e il prestigio non relativo alla sicurezza (es. "Contributore di lunga data" vs "Nuovo contributore").
2. Effetto Incorniciamento (Framing Effect): Manipolato tramite le direttive del task e le dichiarazioni di conseguenza. Le varianti includono il framing guadagno-perdita (enfatizzando i benefici del codice sicuro rispetto ai costi dei breach) e il framing di obiettivo (verificare la conformità rispetto all'identificazione di violazioni).
3. Effetto Ancoraggio (Anchoring Effect): Manipolato tramite i risultati di analisi precedenti. Le varianti includono ancoraggi duri (verdict espliciti "SAFE" o "VULNERABLE") e ancoraggi morbidi (esiti impliciti come "passato" o "non passato" i controlli pre-merge).
Setup di Valutazione: Il framework è stato applicato a otto LLM allo stato dell'arte (cinque open-source, tre commerciali) in tre linguaggi di programmazione (C/C++, Java, Python). I dataset utilizzati sono stati PRIMEVUL (C/C++ con campioni benigni e vulnerabili) e CLEANVUL (Python e Java, solo vulnerabili).
Metriche: Lo studio ha misurato il Recall ( $R$ ), il False Positive Rate (FPR), la Precision e l'F1-score. Fondamentalmente, ha introdotto il Recall Gap ( $\Delta R$ ) e l'FPR Gap ( $\Delta FPR$ ) per quantificare l'entità del bias tra le polarità (es. alto vs basso alone). È stato calcolato un Indice di Utilità (UI) per determinare se un'euristica migliorasse costruttivamente il rilevamento (aumentando il recall più del FPR).

Contributi Chiave

Prima Investigazione Sistematica: Questo lavoro è il primo a esplorare sistematicamente le euristiche cognitive nel rilevamento delle vulnerabilità del codice guidato da LLM, valutando tre distinte euristiche su otto modelli e tre linguaggi.
Analisi Granulare: Gli autori forniscono un'analisi a livello di codice rivelando che le euristiche non migliorano la capacità analitica di un modello. Invece, agiscono come una "manopola del volume", spostando la propensione del modello a segnalare il codice come vulnerabile senza migliorare la sua capacità di distinguere le vere vulnerabilità dal codice benigno.
Dimostrazione Avversariale: Il paper dimostra un attacco cognitivo black-box proof-of-concept. Forgiando metadati dall'aspetto benigno (identità dell'autore, descrizioni della PR e messaggi di commit), un attaccante può sopprimere fino al 97% delle vulnerabilità precedentemente rilevate in un workflow CI/CD simulato.

Risultati

Suscettibilità Universale: Tutti gli otto modelli valutati hanno mostrato suscettibilità alle euristiche cognitive. La suscettibilità media tra i modelli è stata più alta per il Framing (33,2%), seguita dall'Ancoraggio (23,5%) e dall'Alone (18,4%).
Direzionalità:
- Framing: Ogni modello ha risposto nella direzione prevista (il framing negativo ha aumentato il recall, quello positivo lo ha diminuito).
- Alone e Ancoraggio: Le risposte sono variate. I modelli open-source hanno generalmente mostrato risposte attese (basso prestigio/ancora sicura riducevano il rilevamento), mentre i modelli commerciali come Claude e GPT hanno mostrato risposte inverse o miste (es. GPT è diventato più sospettoso sotto l'attribuzione di un autore ad alto prestigio).
Nessuna Utilità Costruttiva: Le euristiche cognitive non hanno migliorato la capacità di rilevamento. L'Indice di Utilità era negativo o vicino allo zero per la maggior parte dei modelli. Quando il recall aumentava, il FPR aumentava di una magnitudo quasi identica, lasciando la Precision stagnante (0,48–0,55). I modelli spesso invertivano i verdetti da "Safe" a "Vulnerable" (o viceversa) basandosi sul contesto, ma non riuscivano a identificare la reale vulnerabilità, spesso allucinando problemi plausibili ma errati.
Vulnerabilità Dipendenti dal Ragionamento: Le vulnerabilità che richiedono ragionamento semantico (es. tracciamento dello stato del programma, gestione delle eccezioni) sono state significativamente più suscettibili alle euristiche (gap 1,5x–2x superiore) rispetto a quelle identificabili tramite pattern matching.
Successo dell'Attacco: L'attacco cognitivo ha soppresso con successo il rilevamento in un modello di minaccia realistico. Le difese standard basate su prompt (es. istruire il modello a ignorare i metadati) non sono riuscite a mitigare l'attacco.

Significatività
Il paper conclude che la suscettibilità cognitiva è una proprietà costante ed esplorabile dei sistemi di rilevamento delle vulnerabilità basati su LLM. I risultati mettono in discussione l'affidabilità dei gatekeeper di sicurezza automatizzati che si affidano agli LLM, dimostrando che il contesto non relativo al codice può influenzare sistematicamente i verdetti di sicurezza. Lo studio evidenzia che gli attuali modelli non stanno semplicemente "commettendo errori", ma sono suscettibili di bias psicologici che possono essere trasformati in armi per eludere i controlli di sicurezza. Ciò suggerisce che l'impiego di LLM in ruoli critici per la sicurezza richiede una valutazione rigorosa della loro robustezza contro la manipolazione contestuale, non solo della qualità del codice.

I tre modi in cui il robot viene ingannato

1. L'Effetto Alone (Il pregiudizio della "Celebrità")

2. L'Effetto Framing (Il pregiudizio dell' "Etichetta di avvertenza")

3. L'Effetto Ancoraggio (Il pregiudizio della "Prima impressione")

I grandi problemi scoperti

L'Attacco Cognitivo (Il pericolo nel mondo reale)

Conclusione

Articoli simili