Convergent assessment cannot be policed: a residual-entropy bound on authorship attribution and its consequences for integrity in quantitative disciplines

Immagina di essere un detective che cerca di risolvere un mistero: "Chi ha scritto questo?". Nel mondo delle scuole e delle università, questa è la domanda suprema dell'integrità accademica. Per anni, lo strumento principale che i detective hanno utilizzato è stato un tipo speciale di "scansione delle impronte digitali" progettata per storie lunghe e fluide — i saggi. Questi scanner cercano abitudini minuscole e uniche nel modo in cui una persona scrive, come l'uso della virgola o la struttura delle frasi. Ma ecco il colpo di scena: i chatbot AI stanno diventando così bravi a scrivere queste storie che gli scanner stanno facendo fatica. Le scuole stanno cercando di risolvere il problema applicando la stessa logica dello "scanner per saggi" a tutto il resto che gli studenti fanno, come problemi di matematica, quiz a scelta multipla e compiti di programmazione.

Per capire perché questo possa essere un vicolo cieato, dobbiamo guardare a due idee semplici. Primo, pensa all' "informazione" come alla quantità di dettaglio unico in un messaggio. Un lungo saggio è come un'impronta digitale disordinata e unica; ha tantissimi piccoli dettagli che possono indicare chi l'ha creato. Una risposta matematica, come il numero "42", è come una pallina di marmo perfetta e liscia. Se due persone risolvono lo stesso problema correttamente, producono entrambe esattamente lo stesso "42". Non c'è disordine, non c'è un'impronta digitale unica e non c'è dettaglio extra da ispezionare. Secondo, pensa all' "attribuzione di paternità" come all'atto di usare quei dettagli unici per provare chi ha svolto il lavoro. Se non ci sono dettagli unici fin dall'inizio, nessuna tecnologia sofisticata può inventarli magicamente. Questo articolo pone una domanda audace: cosa succede quando proviamo a usare uno scanner per impronte digitali su una pallina di marmo perfettamente liscia?

La Grande Scoperta del Documento: Il Probleo della "Pallina di Marmo Liscia"

Questo articolo di ricerca, intitolato "Convergent assessment cannot be policed" (La valutazione convergente non può essere controllata), sostiene che le scuole stiano commettendo un errore fondamentale. Stanno cercando di usare le regole basate sui saggi per controllare la matematica, la scienza e i test a scelta multipla, ma l'autore afferma che questo è impossibile. Non è che i rilevatori di AI siano scarsi o che gli strumenti debbano essere migliorati; è che il tipo di lavoro in sé non contiene abbastanza informazioni per identificare l'autore.

L'autore introduce un concetto chiamato "entropia residua". Immagina di stare cucinando dei biscotti. Se chiedi a uno studente di "scrivere una storia su un biscotto", potrebbe scrivere una poesia, una storia horror o una ricetta. Ci sono milioni di modi per farlo, e ogni versione ha un "impronta digitale" unica dello scrittore. Questa è alta entropia. Ma se chiedi a uno studente di "risolvere per X" e la risposta è "5", c'è un solo modo corretto per scrivere quella risposta. Che sia un genio umano, uno studente in difficoltà o un robot super intelligente, il risultato è esattamente lo stesso "5". L'autore chiama questo entropia residua zero. Una volta che la risposta è corretta, non rimane altro che zero variazione da analizzare.

Il documento prova matematicamente che non si può estrarre più informazione di quella che è effettivamente presente. Se la risposta è solo una singola lettera o un numero, non c'è alcun "segnale" da trovare. Cercare di usare i rilevatori di AI su questi formati è come cercare di trovare un'impronta digitale su un pezzo di vetro perfettamente liscio e vuoto. Non importa quanto sia potente il tuo microscopio, non troverai alcuna impronta perché il vetro non ne ha una.

Le Tre Zone di Rischio

L'autore ha utilizzato i dati di 19 diversi studi in 13 materie per mappare dove si collocano i diversi compiti scolastici. Ha scoperto tre "zone" o regimi distinti:

1. La Zona Esposta (La Zona di Pericolo): Questa include domande a scelta multipla, brevi risposte numeriche e set di problemi standard. In questa zona, l'AI è incredibilmente brava (spesso con punteggi superiori al 96% nelle scelte multiple), ma le risposte hanno uno zero segnale di paternità. Il documento sostiene che in questa zona, semplicemente non puoi dire se l'ha fatto un essere umano o un robot. Non è una questione di "difficile da dire"; è che la domanda "Chi ha fatto questo?" non ha risposta.
2. La Zona Latente (La Sala d'Attesa): Questa include problemi numerici brevi in cui l'AI attualmente non è abbastanza brava da superare facilmente il test. Sono "sicuri" solo perché l'AI non è ancora abbastanza intelligente. Ma l'autore avverte che questo è un orologio che ticchetta. Una volta che l'AI diventerà più brava in questi compiti, la "sicurezza" scomparirà istantaneamente perché non esiste comunque alcun segnale di paternità su cui fare affidamento.
3. La Zona Rilevabile (La Zona Sicura): Questa include lunghi saggi, scrittura riflessiva e complessi progetti di programmazione. Qui, le risposte sono così varie ed uniche che i rilevatori di AI possono funzionare. Il documento nota che la ricerca sul rilevamento dell'AI nel codice è in realtà efficace perché il codice possiede abbastanza dettagli di "impronta digitale", a differenza di una semplice risposta matematica.

I Numeri Scioccanti

Quando l'autore ha applicato questa logica a un tipico programma universitario di scienze e ingegneria, i risultati sono stati sorprendenti. Ha scoperto che il 38% dei voti finali in questi programmi proviene da compiti nella "Zona Esposta" (come scelta multipla e set di problemi). Al contrario, solo il 5% dei programmi umanistici cade in questa trappola.

Se si alza lo standard di prova a quello necessario per un caso giudiziario penale (un livello molto alto), il numero di compiti esposti nei programmi di scienza e ingegneria sale al 52%. Ciò significa che per più della metà del voto finale di uno studente di scienze, la scuola non ha modo di provare chi abbia effettivamente svolto il lavoro, e non esiste alcuno strumento in grado di farlo.

Cosa Significa per le Scuole

Il documento esclude esplicitamente l'idea che si possa semplicemente comprare un software migliore per risolvere il problema. L'autore afferma chiaramente che nessun miglioramento nella tecnologia di rilevamento può risolvere il problema per le domande a scelta multipla o i problemi matematici perché l'informazione semplicemente non è lì per essere trovata. Cercare di accusare uno studente di aver usato l'AI non autorizzata in un quiz di matematica basandosi sul "rilevamento dell'AI" non è solo inefficace; l'autore sostiene che sia matematicamente impossibile da provare.

Inveve, il documento suggerisce che le scuole debbano cambiare completamente strategia:

• Smettere di cercare di controllare l'incontrollabile: Non usate i rilevatori di paternità su domande a scelta multipla o matematica a risposta breve. È una perdita di tempo e porta ad accuse ingiuste.
• Cambiare le regole del gioco: Se volete sapere chi ha fatto il lavoro, dovete cambiare il compito. Usate esami supervisionati (dove un insegnante vi osserva), chiedete agli studenti di spiegare il loro ragionamento di persona, o progettate domande che siano specifiche per la classe locale in modo che l'AI non possa semplicemente cercare la risposta.
• Accettare i limiti: Per la "Zona Esposta", l'unica vera sicurezza è impedire l'uso dell'AI fin dall'inizio (come in una stanza chiusa), non cercare di coglierla dopo i fatti.

In breve, il documento conclude che l'attuale approccio "taglia unica" all'integrità accademica è rotto. Non si può usare uno strumento progettato per i saggi per controllare i problemi di matematica. Per una vasta fetta dell'istruzione scientifica e ingegneristica, la domanda non è "Come catturiamo i cheater?", ma piuttosto "Come progettiamo i nostri test in modo che la questione dell'uso non autorizzato dell'AI non abbia nemmeno senso?".