💻 computer science

Do Machines Struggle Where Humans Do? LLM and Human Comprehension of Obfuscated Code

Questo articolo valuta se i grandi modelli linguistici condividano le modalità di errore umane nella comprensione del codice offuscato, riscontrando che i modelli ottimizzati per il ragionamento si allineano significativamente ai modelli di difficoltà umani attraverso vari livelli di offuscamento, mentre i modelli ottimizzati per l'istruzione non lo fanno.

Autori originali: Jack Le, Anh H. N. Nguyen, Tien N. Nguyen

Pubblicato 2026-07-01

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jack Le, Anh H. N. Nguyen, Tien N. Nguyen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un puzzle. Ora, immagina che qualcuno prenda quel puzzle e faccia due cose:

Rinomini i pezzi: Invece di "Re", "Regina" e "Pedone", i pezzi degli scacchi sono etichettati come "X", "Y" e "Z". O peggio, il "Re" è etichettato come "Pedone" per ingannarti.
Rimescoli le istruzioni: Invece di un percorso chiaro come "Vai avanti, poi gira a sinistra", le istruzioni sono frammentate in piccoli passi disconnessi che richiedono una mappa complessa per capirne l'ordine.

Questo è ciò che l'offuscamento del codice fa ai programmi informatici. Mantiene il programma funzionante esattamente allo stesso modo, ma lo rende incredibilmente difficile da leggere e comprendere per gli esseri umani.

Questo articolo pone una domanda semplice ma profonda: I modelli di IA (Large Language Models) faticano con questi puzzle rimescolati allo stesso modo in cui lo fanno gli umani? O falliscono in un modo completamente diverso e misterioso?

Ecco la ripartizione delle loro scoperte, utilizzando analogie quotidiane:

1. L'IA "Intelligente" vs L'IA "Addestrata"

I ricercatori hanno testato diversi tipi di modelli di IA. Pensateli come diversi tipi di studenti:

I Modelli "Coder/Instruct": Questi sono come studenti che hanno memorizzato un enorme libro di testo di esempi di codice. Sono bravissimi a individuare schemi (come vedere la parola "print" e sapere cosa fare). Ma quando rimescoli il puzzle, si confondono perché il loro "riconoscimento di schemi" si rompe. Non capiscono davvero perché il codice funzioni; sanno solo come appare di solito.
I Modelli di "Ragionamento": Questi sono come studenti che sono stati insegnati come pensare. Non si limitano a memorizzare; cercano di elaborare la logica passo dopo passo.

La Grande Scoperta: I modelli di "Ragionamento" hanno faticato con i puzzle rimescolati esattamente come gli esseri umani. Quando il puzzle diventava più difficile (più offuscato), sia gli umani che le IA di ragionamento diventavano più lenti e commettevano più errori. I modelli "Coder", invece, non sembravano preoccuparsi troppo della difficoltà; fallivano semplicemente in modo casuale o non mostravano un aumento della difficoltà, dimostrando di non stare realmente "pensando" al problema come farebbe un essere umano.

2. La Trappola dell' "Errore Convincente"

Una delle parti più interessanti dello studio riguarda un trucco specifico chiamato Ridenominazione Avversaria.

Lo Scenario: Immagina una funzione che calcola un'aliquota fiscale chiamata calculate_tax. L'offuscatore cambia il nome in calculate_bonus.
La Reazione Umana: Un programmatore umano vede "bonus" e pensa: "Aspetta, questo non ha senso per una tassa", ma potrebbe comunque confondersi se la logica del codice è disordinata.
La Reazione dell'IA: Le IA di "Ragionamento" a volte sono cadute nel tranello. Hanno visto la parola "bonus", hanno assunto che il codice riguardasse l'erogazione di denaro e hanno dato una risposta errata con estrema sicurezza.

L'articolo ha scoperto che questo "errore convincente" accadeva solo quando due cose avvenivano contemporaneamente: il nome era fuorviante E la struttura del codice era confusa. È come se qualcuno vi consegnasse una mappa di una città ma etichettasse l' "Ospedale" come "Pizzeria", e le strade fossero tutti loop a senso unico. Guidereste con sicurezza verso la "Pizzeria" (l'Ospedale) e finireste per perdervi.

3. Il Misuratore del "Tempo di Pensiero"

I ricercatori hanno osservato quanto l'IA "pensasse" prima di rispondere. Hanno misurato questo contando il numero di parole che l'IA generava nel suo "Chain of Thought" (il suo monologo interiore).

Il Parallelismo Umano: Quando gli umani affrontano un puzzle difficile, impiegano più tempo per risolverlo.
Il Parallelismo dell'IA: Quando il puzzle diventava più difficile, l'IA generava monologhi interiori sempre più lunghi.
Il Rovescio della Medaglia: Interessante notare che l'IA non diventava necessariamente migliore nel risolvere i puzzle difficili pensando più a lungo. Anzi, più l'IA pensava, più era probabile che desse la risposta sbagliata. Era come uno studente che fissa un problema di matematica per un'ora, scrivendo pagine di appunti, ma sbaglia comunque la risposta perché il problema stesso è troppo complicato. La lunghezza del pensiero era un segno di difficoltà, non un segno di successo.

4. La Differenza dell' "Esperto"

Lo studio ha anche esaminato esperti umani rispetto ai principianti.

Principianti: Quando il codice era rimescolato, i principianti diventavano molto meno bravi a risolverlo.
Esperti: Sorprendentemente, gli esperti a volte diventavano più bravi a risolvere il codice leggermente rimescolato. Perché? Perché smettevano di fare affidamento sui nomi delle variabili (le etichette "Re" o "Pedone") e iniziavano a guardare strettamente la logica e la struttura.
Il Gap dell'IA: Nessuno dei modelli di IA, nemmeno i più intelligenti, riusciva a replicare questo comportamento da "esperto". Non diventavano migliori con il codice leggermente rimescolato; diventavano semplicemente peggiori. Ciò suggerisce che, sebbene l'IA stia diventando brava nel ragionamento, non ha ancora raggiunto il livello dell'intuizione umana dove può ignorare le etichette fuorvianti e concentrarsi puramente sulla struttura sottostante.

Riassunto: Cosa Significa Tutto Questo?

Le IA comprendono il codice come gli umani? Le IA di "Ragionamento" stanno iniziando a farlo. Si bloccano sugli stessi puzzle difficili degli umani. Le IA "Coder" sono solo macchine di riconoscimento di schemi che falliscono in modo diverso.
Possiamo fidarci dell'IA con codice confuso? Non ciecamente. Se il codice ha nomi strani o strutture confuse, l'IA potrebbe darti una risposta molto sicura, ma completamente errata.
Il Segnale del "Pensiero": Se un'IA inizia a scrivere una spiegazione molto lunga e prolissa per risolvere un problema semplice, non è un segno di genio; è un segno che l'IA sta faticando e potrebbe stare per commettere un errore.

In breve, l'articolo mostra che stiamo costruendo IA che iniziano a "pensare" come gli umani, ma hanno ancora molta strada da fare prima di poter gestire il codice disordinato, confuso e trabocchetto con cui i veri sviluppatori devono confrontarsi ogni giorno.

Sintesi Tecnica: Le macchine faticano dove faticano gli umani? Comprensione di codice offuscato tra LLM e umani

Problematica

L'offuscamento del codice è ampiamente utilizzato per proteggere il software dal reverse engineering, alterando deliberatamente la comprensione umana del codice pur preservandone la semantica del programma. Sebbene la ricerca precedente (nello specifico Nguyen et al. [1]) abbia stabilito che l'offuscamento interrompe i modelli di ragionamento umano — costringendo un passaggio dal processamento intuitivo "System 1" al ragionamento deliberativo "System 2" — rimane poco chiaro se i Large Language Models (LLM) esibiscano modalità di fallimento simili. Il problema centrale affrontato è se gli LLM comprendano il codice offuscato in modo allineato alla comprensione umana o se falliscano attraverso meccanismi differenti. Se i modelli falliscono in modo diverso, le alte prestazioni nei benchmark su compiti standard possono mascherare una competenza fragile che crolla sotto trasformazioni che gli umani sono ancora in grado di navigare.

Metodologia

Gli autori hanno condotto uno studio empirico misto confrontando le prestazioni degli LLM con un baseline umano stabilito da Nguyen et al. [1].

Dataset: Lo studio ha utilizzato due dataset. Il Dataset A (20 snippet di HumanEval-X in Python e JavaScript) è stato utilizzato per confrontare direttamente gli LLM con i partecipanti umani attraverso cinque livelli di offuscamento. Il Dataset B (250 snippet di HumanEval-X, CruxEval-X e LeetCode) è stato utilizzato per l'analisi dei processi di ragionamento (reasoning traces) solo per i modelli.
Livelli di Offuscamento: Sono stati testati cinque livelli:
- L0: Codice originale.
- L1: Ridenimazione degli identificatori (sostituzione di nomi significativi con nomi incoerenti).
- L1b: Ridenimazione avversaria (sostituzione degli identificatori con nomi semanticamente significativi ma fuorvianti).
- L2: Control-flow flattening (decoupling della logica dalla sintassi tramite dispatcher).
- L3: Combinazione di L1 e L2.
Modelli: È stata valutata una gamma diversificata di LLM, inclusi modelli ottimizzati per il ragionamento (es. DeepSeek-R1, SmolLM3), modelli ottimizzati per l'istruzione (instruction-tuned) e modelli ottimizzati per il codice (coder-tuned), con parametri che vanno da 0.5B a 8B.
Framework di Valutazione:
- Metrica Primaria: Accuratezza della predizione dell'output (corrispondenza esatta con la ground truth).
- Lente Teorica: Il Modello a Blocchi di Schulte [2] è stato utilizzato per localizzare i fallimenti a quattro livelli: Atomi (elementi lessicali), Blocchi (regioni semantiche), Relazioni (dipendenze) e Struttura Macro (algoritmo complessivo).
- Analisi del Ragionamento: La lunghezza della traccia di Chain-of-Thought (CoT) è stata utilizzata come proxy dello sforzo mentale. Sono stati analizzati anche i parametri di confidenza (z-scored log-probabilities) e gli "Identifier Spike Fractions" (incertezza a livello di token) per rilevare interpretazioni errate avvenute con alta confidenza.
Design Sperimentale: Gli esperimenti hanno variato le condizioni di prompting (baseline, prompting System 2, interferenza cognitiva, budget di token) per isolare i comportamenti di ragionamento.

Contributi Chiave

Formulazione dell'Allineamento Uomo-Macchina: Il documento stabilisce un framework per misurare l'allineamento tra la comprensione umana e quella delle macchine del codice offuscato, utilizzando i pattern di difficoltà umana come baseline.
Valutazione Sistematica: Uno studio completo degli LLM attraverso molteplici livelli di offuscamento in Python e JavaScript, confrontando il comportamento dei modelli con i pattern di difficoltà umana riportati.
Localizzazione dei Modelli di Fallimento: Utilizzando il Modello a Blocchi e le tracce di ragionamento, gli autori identificano dove emerge l'allineamento e dove la comprensione della macchina diverge da quella umana.
Risultati Empirici: Lo studio riporta che i modelli ottimizzati per il ragionamento approssimano la sensibilità umana alla complessità del codice, mentre i modelli ottimizzati per l'istruzione e per il codice non lo fanno.

Risultati

1. Allineamento con la Difficoltà Umana (RQ1 & RQ2)

Modelli di Ragionamento: I modelli ottimizzati per il ragionamento (es. DeepSeek-R1-Qwen-7B, SmolLM3-3B) mostrano una correlazione positiva significativa ( $\rho \approx 0.30–0.47$ ) con l'accuratezza umana attraverso i livelli di offuscamento. Faticano con gli stessi compiti che gli umani trovano difficili.
Modelli Coder/Instruct: I modelli ottimizzati per l'istruzione e per il codice mostrano una correlazione quasi nulla con le prestazioni umane, indicando che falliscono tramite meccanismi fondamentalmente diversi.
Livelli di Esperienza: I modelli di ragionamento si allineano ai pattern di difficoltà umana in tutti i livelli di esperienza (principiante, intermedio, esperto). Tuttavia, nessun modello riproduce la specifica "inversione degli esperti" dove gli esperti umani performano meglio sotto una moderata ridenimazione avversaria (L1b) rispetto ai principianti.
Architettura vs Dimensione: I modelli di ragionamento superano costantemente i modelli coder e instruct indipendentemente dalle dimensioni. Notevolmente, Phi-4 Mini (4B) ha mostrato il più alto allineamento con il comportamento del compito a livello umano, nonostante la minore accuratezza grezza.

2. Chain-of-Thought (CoT) e Sforzo (RQ3)

Lunghezza della Traccia come Proxy di Difficoltà: Esiste una significativa correlazione negativa tra la lunghezza della traccia CoT e l'accuratezza ( $\rho = -0.52$ ). Tracce più lunghe sono costantemente correlate a risposte errate, suggerendo che la lunghezza della traccia tracci la difficoltà del compito piuttosto che servire come segnale di confusione o di deduzione produttiva.
Scalabilità dello Sforzo: I modelli mostrano un aumento monotono della lunghezza della CoT all'aumentare dell'offuscamento (da L0 a L2), mentre i tempi di risposta umani saltano da L0 a L1 per poi stabilizzarsi. Ciò suggerisce che i modelli scalano lo sforzo computazionale in modo più lineare, mentre gli umani cambiano modalità cognitive.
Limiti di Token: I forti modelli di ragionamento collassano sotto limiti di token rigorosi, confermando che le loro prestazioni dipendono dalla deliberazione "System 2".

3. Ridenimazione Avversaria e Confidenza (RQ4)

Errori ad Alta Confidenza: La ridenimazione avversaria (L1b) innesca risposte errate ad alta confidenza (HCI) solo quando si verificano simultaneamente lo spostamento semantico (nomi fuorvianti) e la disruzione dell'identificatore (alta incertezza/spike del token).
Fallimento al Livello Atomico: Questo modello di fallimento è localizzato al livello "Atomo" del Modello a Blocchi. Gli identificatori fuorvianti interrompono la mappatura tra indizi superficiali e computazione senza necessariamente rompere il ragionamento strutturale.
za
Varianza dei Modelli: La direzione degli spostamenti di confidenza sotto la ridenimazione avversaria dipende dal compito e dal modello. I modelli specializzati nel codice tendono alla soppressione della confidenza, mentre i modelli distillati per il ragionamento mostrano l'opposto.

Significato e Implicazioni

Per l'Ingegneria del Software

Selezione dei Modelli: Per compiti che richiedono la comprensione del codice, il debugging o la revisione, i modelli ottimizzati per il ragionamento sono preferibili non solo per l'accuratezza, ma perché i loro modelli di fallimento si allineano con quelli degli sviluppatori umani. Ciò rende le loro tracce di ragionamento più facili da ispezionare, calibrare e supervisionare.
Rischio di Sovra-affidamento: Lo studio mette in guardia contro l'idea di trattare il ragionamento verboso (lunga CoT) come un segno di affidabilità; sotto un forte offuscamento, le tracce lunghe indicano spesso una difficoltà. Allo stesso modo, le spiegazioni sicure non dovrebbero essere fidate quando gli identificatori sono sospetti (es. in codice offuscato o legacy), poiché ciò può portare a errori ad alta confidenza.

Per la Sicurezza del Software

Efficacia dell'Offuscamento: Gli attuali LLM non rendono obsoleta la tradizionale offuscazione. Trasformazioni come il control-flow flattening e la ridenimazione avversaria creano ancora barriere di comprensione significative per i modelli, preservando il valore protettivo dell'offuscamento contro il reverse engineering assistito da LLM.
Vulnerabilità Avversarie: Gli avversari possono sfruttare la vulnerabilità "a livello di atomo" utilizzando identificatori che sembrano benigni ma sono fuorvianti per causare agli LLM di inferire con sicurezza comportamenti sicuri mentre mancano funzionalità malevole. Ciò evidenzia un punto cieco condiviso tra umani e macchine.
Assistenti per Analisti: I modelli ottimizzati per il ragionamento possono servire come assistenti efficaci per l'analisi del malware perché falliscono in modo più prevedibile (in modi che gli umani possono comprendere), rendendoli più facili da supervisionare nei flussi di lavoro della sicurezza dove una spiegazione errata può avere conseguenze gravi.

Il documento conclude che, sebbene gli LLM siano potenti, la loro "comprensione" del codice offuscato non è uniforme. I modelli ottimizzati per il ragionamento offrono un'approssimazione più stretta dei limiti cognitivi umani, rendendoli più adatti per la collaborazione nell'ingegneria del software e nei compiti di sicurezza dove la supervisione umana è critica.