CleanScore: Black-Box Benchmark Audits with Negative Controls and Sensitivity Bounds

Nella corsa alla costruzione di macchine più intelligenti, i ricercatori si affidano a test standard per misurare quanto bene un'intelligenza artificiale sia in grado di risolvere problemi. Questi test sono come gli esami scolastici: un insieme di domande con risposte note che un modello deve risolvere per ottenere un punteggio. Più alto è il punteggio, più la macchina è considerata capace. Tuttavia, un'ombra è caduta su questi risultati. Poiché questi test vengono pubblicati online, le domande e le risposte sono spesso disponibili su internet, dove le macchine apprendono. Cresce il timore che punteggi elevati non dimostrino sempre che una macchina sia intelligente; potrebbero semplicemente dimostrare che ha memorizzato le domande del test durante il suo addestramento. Se una macchina ha già visto le esatte domande in precedenza, il suo punteggio è gonfiato, e la classifica dei diversi modelli diventa una competizione di memoria piuttosto che di ragionamento.

Questo crea un problema difficile per chiunque cerchi di giudicare queste macchine equamente. La maggior parte dei modelli potenti sono "scatole nere", il che significa che i loro dati di addestramento interni sono segreti. Un auditor non può semplicemente guardare dentro la macchina per vedere se ha memorizzato una specifica domanda. Può solo vedere il punteggio finale. Per anni, il modo migliore per controllare la memorizzazione è stato riscrivere le domande. Se una macchina comprende davvero la matematica o la scienza alla base di un problema, dovrebbe risolvere una versione riformulata altrettanto bene dell'originale. Se fallisce nella versione riformulata, è probabile che abbia solo memorizzato l'originale. Ma questo metodo ha un difetto nascosto: assume che se una macchina risolve correttamente la domanda riformulata, abbia appreso il concetto. Se la macchina risolve correttamente la domanda riformulata semplicemente perché ha memorizzato la chiave delle risposte, il test non riesce a rilevare la memorizzazione.

Un team di ricercatori si è messo in viaggio per costruire un modo migliore per auditare questi punteggi senza dover vedere l'interno della scatola nera. Hanno sviluppato un metodo chiamato CleanScore, che tratta ogni domanda del test come un genitore con tre figli: la domanda pubblica originale e due versioni fresche, scritte privatamente, che mantengono gli stessi numeri e fatti ma usano parole diverse. I ricercatori hanno chiesto a cinque diversi modelli open-source di risolvere 200 domande da due importanti benchmark, uno focalizzato sulla matematica e l'altro sulla scienza. Per ogni domanda, hanno confrontato quanto bene i modelli si comportassero sulla versione pubblica originale rispetto alle due versioni fresche e riscritte. Se i modelli avessero ottenuto punteggi costantemente più alti sulla versione pubblica, ciò avrebbe suggerito che avessero memorizzato il test.

L'audit non ha trovato prove di questo tipo di memorizzazione. In tutti e cinque i modelli e in entrambi i benchmark, i punteggi sulle domande pubbliche non erano significativamente più alti dei punteggi sulle domande fresche e riscritte. I ricercatori hanno calcolato che qualsiasi vantaggio derivante dal vedere la formulazione pubblica era probabilmente inferiore ai cinque punti percentuali. Questo risultato è rimasto valido anche dopo che il team ha corretto un errore tecnico nella loro configurazione iniziale, in cui alcuni modelli venivano interrotti prima di finire le loro risposte. Lo studio ha incluso anche un "controllo negativo", un insieme di domande che i modelli non avevano mai visto e che non avrebbero potuto memorizzare, per garantire che il processo di riscrittura non stesse rendendo le domande più difficili o più facili. I risultati hanno dimostrato che il processo di riscrittura era equo, e che la mancanza di un divario di punteggio era un reperto reale, non un artefatto del design del test.

Tuttavia, la parte più sorprendente dello studio è arrivata da una serie di esperimenti progettati per vedere cosa l'audit avrebbe ignorato. I ricercatori hanno deliberatamente addestrato quattro diversi modelli sulla formulazione esatta di 100 delle domande del test. Hanno poi eseguito lo stesso audit per vedere se avrebbe rilevato la memorizzazione. Sul benchmark matematico, i modelli che avevano memorizzato le domande hanno migliorato la loro accuratezza di 26 punti sulla formulazione memorizzata. Ma quando testati sulle versioni fresche e riscritte delle stesse domande, sono migliorati di 20 punti. L'audit, che osserva solo la differenza tra l'originale e la riscrittura, ha rilevato un divario di soli circa sei punti. In altre altre parole, l'audit ha rilevato solo una piccola frazione della memorizzazione. La stragrande maggioranza del vantaggio — la parte derivante dalla comprensione del problema piuttosto che dalla semplice memorizzazione delle parole — era invisibile al test.

Questa cecità è stata ancora più estrema sul benchmark scientifico. In un esperimento, i ricercatori hanno addestrato un modello su 100 domande di scienze e poi hanno testato le versioni riscritte. Il modello ha migliorato la sua accuratezza di 49 punti sulle domande memorizzate. Poiché le versioni riscritte mantenevano esattamente le stesse opzioni di risposta multipla, il modello ha ottenuto un punteggio perfetto anche nelle versioni riscritte, semplicemente riconoscendo la stringa della risposta corretta che aveva memorizzato. L'audit ha calcolato un divario di meno due punti, non rilevando di fatto alcuna memorizzazione. Il modello aveva imparato le risposte, ma il design del test, che manteneva fisse le opzioni di risposta, ha permesso a quella conoscenza di nascondersi in piena vista.

I ricercatori hanno concluso che, sebbene il loro metodo misurasse con successo se un modello si stesse affidando alla specifica formulazione superficiale di una domanda, non poteva misurare l'ammontare totale della contaminazione. Un modello potrebbe essere pesantemente addestrato su un dataset e apparire comunque "pulito" se le domande del test venissero riscritte in modo da preservare il nucleo della risposta. Lo studio ha dimostrato che, per i cinque modelli auditati, non c'era una forte evidenza che avessero memorizzato la specifica formulazione delle domande del test. Ma ha anche provato che un punteggio "pulito" non garantisce che un modello non abbia visto il materiale in precedenza; garantisce solo che il modello non si sia affidato alla formulazione esatta. L'audit ha misurato con successo l'inflazione superficiale, ma non ha potuto escludere che i modelli avessero appreso il materiale in un modo che sopravviveva alla riscrittura.

Lo studio ha anche evidenziato i limiti di quanto possa essere piccolo un audit. I ricercatori hanno scoperto che, per rilevare in modo affidabile un vantaggio significativo, un audit deve testare almeno 200 domande. Con meno domande, l'incertezza statistica è così grande che il test non può distinguere tra un vero vantaggio e il rumore casuale. Hanno anche dimostrato che, sebbene sia possibile classificare correttamente i modelli con meno domande, determinare l'esatto ordine delle prestazioni richiede un campione molto più ampio. Il lavoro funge da esperimento rigoroso e registrato che stabilisce un nuovo standard per il modo in cui si parla di incertezza nei test dell'IA. Non dichiara i modelli innocenti da ogni tipo di memorizzazione, ma fornisce una dichiarazione chiara ed onesta su ciò che i dati possono e non possono mostrare quando sono disponibili solo i punteggi finali.