🤖 AI

Homoglyph-based Adversarial Perturbation of Introductory Computer Science Theory Problems

Questo articolo propone e valuta un metodo che utilizza perturbazioni avversarie basate su omoglifi per modificare problemi introduttivi di teoria dell'informatica senza alterarne il significato semantico, con l'obiettivo di impedire agli studenti di affidarsi a strumenti di intelligenza artificiale per risolvere i compiti assegnati.

Autori originali: Aidan Alexander, Chitrangada Juneja, Napaluck Tontrasathien, Miro Vanek, Reyan Ahmed, Saumya Debray, Sazzadur Rahaman

Pubblicato 2026-05-19

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Aidan Alexander, Chitrangada Juneja, Napaluck Tontrasathien, Miro Vanek, Reyan Ahmed, Saumya Debray, Sazzadur Rahaman

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un insegnante che cerca di assegnare un compito di matematica ai propri studenti. Vuoi che pensino intensamente e risolvano i problemi da soli. Ma ultimamente, gli studenti hanno iniziato a utilizzare assistenti AI super-intelligenti (come ChatGPT o Gemini) per svolgere il lavoro al loro posto. Questi strumenti AI sono così bravi che spesso rispondono alle domande istantaneamente, anche se le domande sono leggermente insidiose.

Gli autori di questo articolo hanno escogitato un trucco astuto per fermare questo comportamento da "studente pigro". Lo chiamano Perturbazione Avversaria Basata su Omoglifi. È un modo elaborato per dire: "Cambiare alcune lettere in una domanda in modo che gli umani possano ancora leggerla, ma l'AI si confonda e fornisca una risposta errata."

Ecco come funziona il loro metodo, scomposto in passaggi semplici:

1. Il Problema: L'AI è Troppo Brava a "Indovinare"

I ricercatori hanno notato che questi strumenti AI sono come studenti che hanno memorizzato l'intero libro di testo. Se chiedi loro un classico problema di matematica (come "Dimostra che un numero razionale moltiplicato per un numero irrazionale è irrazionale"), rispondono istantaneamente perché hanno visto quella domanda esatta un milione di volte nei loro dati di addestramento.

Anche se provi a rovinare un po' la domanda, rimuovendo una parola o cambiando un numero, l'AI è così intelligente che semplicemente "compila gli spazi vuoti" basandosi su ciò che ricorda. È come se chiedessi a un amico che ha memorizzato una ricetta: "Come si fa una torta con... ehm... farina, zucchero e... [vuoto]?". Lui direbbe semplicemente "uova" senza che tu glielo dica, perché conosce la ricetta a memoria.

2. La Soluzione: Il Trucco del "Cavallo di Troia"

Gli autori hanno capito che non potevano semplicemente mescolare il testo; l'AI lo avrebbe corretto. Invece, hanno utilizzato una strategia in due fasi:

Fase A: Cambia la Ricetta (Leggermente). Prima, prendono una domanda standard e la modificano appena abbastanza in modo che non sia più nella memoria dell'AI.
- Esempio: Invece di chiedere di "un numero razionale", potrebbero dire: "Chiamiamo il numero 7x".
- Perché? Questo rende la domanda unica. L'AI non ha mai visto "7x" in questo contesto specifico prima, quindi non può semplicemente estrarre la risposta dalla sua memoria.
Fase B: L'Illusione Visiva (Omoglifi). Successivamente, utilizzano gli omoglifi. Questi sono caratteri che sembrano esattamente come lettere o numeri normali, ma sono in realtà simboli diversi provenienti da altre lingue o font.
- Analogia: Immagina il numero 7. Ora immagina un simbolo che sembra esattamente un 7 ai tuoi occhi, ma per un computer è un carattere completamente diverso (come un simbolo strano di un alfabeto diverso).
- Sostituiscono un numero normale (come il 7) con questo "finto 7".

3. Il Risultato: L'AI Viene Ingannata

Quando l'AI vede questo "finto 7", si confonde. Non riconosce il simbolo, quindi va nel panico e cerca di indovinare cosa dovrebbe essere. Poiché l'AI è distorta verso le domande originali dei libri di testo che ha memorizzato, ignora il "finto 7" e semplicemente assume che tu intendessi il "7" originale (o a volte lo cancella semplicemente).

L'Esperienza Umana: Uno studente guarda il foglio e vede "7x". Lo legge correttamente e risolve il problema di matematica.
L'Esperienza AI: L'AI vede un simbolo strano che non capisce. Indovina male, ignora la matematica e fornisce una risposta completamente errata.

4. Quanti Cambiamenti Sono Necessari?

La parte migliore è che non devi riscrivere l'intera domanda. I ricercatori hanno scoperto che cambiare solo uno o due caratteri è solitamente sufficiente per rompere l'AI.

Se cambi troppe cose, l'AI potrebbe effettivamente capire il pattern.
Ma se cambi solo una cosa minuscola (come scambiare un "6" con un "6" che gli assomiglia), l'AI inciampa su di esso, mentre lo studente umano passa oltre senza problemi.

5. Uno Strumento per gli Insegnanti

Gli autori non hanno scritto solo un articolo; hanno costruito un semplice strumento interattivo.

Gli insegnanti possono caricare le loro domande per i compiti.
Possono fare clic su un numero o una lettera che vogliono cambiare.
Lo strumento mostra loro un elenco di caratteri "che si assomigliano" (omoglifi).
Ne scelgono uno e lo strumento lo sostituisce.
Ora, il compito è al sicuro dalle baruffe con l'AI, ma rimane facile da leggere per gli studenti.

Riepilogo

Pensa a questo metodo come a mettere un camuffamento visivo su un compito scolastico. All'occhio umano, il compito sembra normale. Ma per l'AI, che si basa sul riconoscimento di pattern specifici, il compito è diventato un puzzle che non può risolvere. Costringe lo studente a fare effettivamente il lavoro, invece di lasciare che sia un robot a farlo per lui.

Riepilogo Tecnico: Perturbazione Avversaria Basata su Omoglifi di Problemi Teorici Introduttivi di Informatica

Enunciato del Problema
L'adozione diffusa dei Modelli Linguistici di Grande Dimensione (LLM) come ChatGPT, Gemini e Claude pone una sfida significativa all'integrità accademica, in particolare nei corsi introduttivi di Informatica e Matematica Discreta. Gli studenti possono utilizzare questi strumenti per completare gli incarichi senza impegnarsi con il materiale, fallendo così nel raggiungere gli obiettivi di apprendimento del corso. Le attuali strategie di applicazione, come il rilevamento di contenuti generati dall'intelligenza artificiale, sono inaffidabili e soggette a false accuse. Inoltre, gli approcci avversari standard spesso falliscono contro gli LLM moderni perché questi modelli sono robusti rispetto a semplici perturbazioni dei caratteri; essi frequentemente "riparano" gli prompt modificati affidandosi a pattern memorizzati dai loro dati di addestramento, che spesso includono problemi ampiamente utilizzati nei libri di testo.

Metodologia
Gli autori propongono un metodo in quattro passaggi per creare perturbazioni avversarie che rendano gli prompt degli incarichi inefficaci per gli LLM, rimanendo visivamente identici per gli esseri umani. L'approccio opera sotto il "modello dello studente pigro", assumendo che gli studenti copino e incollino direttamente gli prompt nelle interfacce degli LLM.

Identificazione del Bias: Il metodo inizia identificando le parti di una domanda in cui l'LLM mostra un forte bias verso i dati originali di addestramento. Anche se aggettivi critici o numeri vengono rimossi, il modello spesso allucina le informazioni mancanti basandosi sulla sua familiarità con la fonte (ad esempio, inserendo "razionale" in un prompt su "numeri non nulli" perché il problema originale del libro di testo lo conteneva).
Modifica Semantica: Se la domanda originale manca di caratteri numerici specifici o espressioni matematiche, il metodo modifica il prompt per introdurli senza alterare il significato semantico o la difficoltà per uno studente umano. Ad esempio, un'affermazione generale sui numeri irrazionali viene riformulata per includere variabili specifiche (ad esempio, $x$ e $y$ ) o coefficienti (ad esempio, $7x$ ). Questo crea una variazione del problema meno probabile che esista verbatim nel dataset di addestramento del modello.
Selezione degli Omoglifi: Gli autori selezionano omoglifi specifici (caratteri che assomigliano ai caratteri alfanumerici standard ma hanno punti di codice Unicode diversi) che sono facilmente leggibili dagli esseri umani ma non riconosciuti dagli LLM. Il processo di selezione comporta il testare se l'LLM fallisce nell'identificare l'omoglifo come il carattere inteso.
Applicazione della Perturbazione: Gli omoglifi selezionati vengono utilizzati per sostituire caratteri chiave (tipicamente coefficienti numerici o simboli coinvolti nell'aritmetica) nel prompt modificato. Questo interrompe il processo di tokenizzazione dell'LLM. Poiché il modello non riconosce l'omoglifo, non può mapparlo sul token corretto. Di conseguenza, il modello o ignora il carattere perturbato o lo sostituisce con un token verso cui è bias (spesso il carattere originale dai dati di addestramento), portando a una soluzione errata.

Contributi Chiave

Strategia di Perturbazione Avversaria: Un approccio innovativo che combina la modifica semantica con attacchi basati su omoglifi per aggirare la robustezza degli LLM moderni rispetto a semplici alterazioni del testo.
Sfruttamento del Bias del Modello: Il metodo sfrutta la tendenza degli LLM a "riparare" gli prompt basandosi sui dati di addestramento memorizzati, trasformando questa caratteristica contro il modello introducendo una struttura di problema modificata che il modello tenta di "correggere" in modo errato.
Strumento Interattivo: Lo sviluppo di uno strumento user-friendly che permette agli istruttori di caricare file di omoglifi, selezionare caratteri e generare domande perturbate in modo efficiente.
Validazione Empirica: Una valutazione sistematica utilizzando 69 domande basate su testo da un curriculum standard di Matematica Discreta (derivato da Discrete Mathematics and Its Applications di Rosen).

Risultati Sperimentali
Lo studio ha testato il metodo su 69 domande di compiti per casa puramente testuali utilizzando ChatGPT e Gemini.

Efficacia: Il metodo ha ingannato con successo entrambi i modelli su tutte le domande testate.
Efficienza: Le perturbazioni richieste sono state minime. In media, sono stati necessari solo 1,54 tentativi per ChatGPT e 1,67 per Gemini per trovare una perturbazione riuscita.
Conteggio dei Caratteri: Il numero medio di caratteri perturbati per domanda è stato di circa 3,09 per ChatGPT e 3,01 per Gemini. In molti casi, perturbare un singolo carattere (ad esempio, cambiare un coefficiente numerico come "8" in un omoglifo di "6") è stato sufficiente a far fallire il modello.
Osservazioni sulla Densità di Perturbazione: Gli autori hanno notato che una perturbazione eccessiva (cambiare più caratteri) poteva talvolta ridurre l'efficacia, poiché il modello potrebbe interpretare gli omoglifi come un nuovo fattore comune piuttosto che non riconoscerli. Al contrario, una perturbazione minima ha spesso prodotto risultati migliori.
Limiti: Il metodo è più efficace sui caratteri numerici coinvolti nell'aritmetica. È stato riscontrato che perturbare caratteri che servono puramente come segnaposto simbolici (ad esempio, "0" e "1" in una definizione di linguaggio formale come $\{0^n1^{2n}\}$ ) è inefficace.

Significato e Affermazioni
Il documento afferma che questo metodo offre un deterrente pratico e non punitivo per la frode assistita dall'IA nei corsi di informatica teorica. Modificando gli prompt in modo che siano visivamente indistinguibili per gli esseri umani ma semanticamente confusi per gli LLM, gli istruttori possono garantire che gli studenti debbano impegnarsi con il materiale per risolvere i problemi. Gli autori sottolineano che questo approccio amplia le opzioni per la strategia "disabilita i contenuti generati dall'IA", fornendo una difesa proattiva che non si affida ad algoritmi di rilevamento inaffidabili. Il lavoro è modesto nella portata, concentrandosi specificamente su problemi teorici introduttivi e dimostrando che anche LLM altamente robusti possono essere compromessi da perturbazioni minime attentamente selezionate.