There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items
Questo articolo dimostra che le moderne classifiche degli LLM sono fondamentalmente inaffidabili perché le configurazioni degli harness di valutazione (come la formulazione dei prompt e i metodi di punteggio) sono i principali fattori di varianza delle prestazioni, determinando spesso il ranking dei modelli più delle loro effettive capacità.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo in rapida evoluzione dell'intelligenza artificiale, i ricercatori si affidano a test standardizzati per misurare quanto bene i programmi per computer comprendano il linguaggio. Questi test, spesso chiamati benchmark, presentano una serie di domande a scelta multipla a un modello e registrano quante risposte esso indovina. Il punteggio risultante viene trattato come un fatto definitivo sull'intelligenza della macchina, permettendo agli scienziati di classificare diversi modelli l'uno rispetto all'altro e dichiarare un vincitore. Per anni, la comunità ha operato sotto l'assunto che, sebbene le prestazioni di un modello possano fluttuare leggermente a causa del caso, la classifica complessiva rifletta una verità stabile sulle capacità della tecnologia. La questione se un modello sia veramente più intelligente di un altro è stata risolta guardando un singolo numero: la percentuale di risposte corrette.
Tuttavia, una nuova indagine suggerisce che questo singolo numero racconta una storia molto più complicata. Lo studio rivela che il punteggio che un modello riceve non è solo una misura della sua intelligenza, ma anche un prodotto delle specifiche regole utilizzate per valutarlo. Queste regole, note come "evaluation harness" (impalcatura di valutazione), includono scelte che sembrano banali in superficie: l'ordine in cui le opzioni di risposta sono elencate, la formulazione esatta delle istruzioni date alla macchina e il metodo utilizzato per decidere se una risposta è corretta. Sebbene queste scelte siano spesso fatte arbitrariamente o per comodità, il ricercatore ha scoperto che cambiarle può riscrivere completamente la classifica, trasformando un modello classificato all'ultimo posto nel miglior esecutore, o viceversa. Le conclusioni implicano che il modo attuale in cui classifichiamo l'intelligenza artificiale è molto meno stabile di quanto precedentemente creduto, e che il "miglior" modello dipende interamente da come il test viene somministrato.
Per scoprire questa instabilità nascosta, un ricercatore dell'Università della California, San Diego, ha progettato un enorme esperimento che trattava le regole di test stesse come una variabile. Invece di eseguire un singolo test e accettarne il risultato, ha creato una griglia di ventisei diversi modi per somministrare lo stesso esame. Ha preso dodici diversi modelli linguistici provenienti da quattro grandi famiglie e ha chiesto loro di rispondere alle stesse 3.679 domande a scelta multipla. Per ogni singola domanda, ha sottoposto i modelli a ogni possibile combinazione di regole di test. Questo includeva rimescolare l'ordine delle opzioni di risposta, cambiare il modo in cui le domande venivano formulate e passare tra due diversi metodi per valutare le risposte: uno in cui il modello genera una risposta testuale, e un altro in cui il computer calcola la probabilità matematica di ogni opzione.
I risultati sono stati sorprendenti. Quando il ricercatore ha esaminato il punteggio di un singolo modello, non ha trovato un singolo punto di accuratezza. Ha invece trovato un'ampia fascia di punteggi possibili. Per uno dei modelli con le migliori prestazioni, il punteggio variava da un minimo del 31 percento a un massimo dell'89 percento, a seconda esclusivamente di quale dei ventisei set di regole veniva utilizzato. Ciò significa che la stessa macchina, con lo stesso codice interno e la stessa conoscenza, poteva essere accreditata di aver dato quasi tutte le risposte corrette o di aver fallito anche un terzo di esse, semplicemente perché l'amministratore del test ha cambiato l'ordine delle lettere o lo stile del prompt. In media, l'85 percento delle risposte che un modello gli veniva accreditato come corrette secondo le regole standard potevano essere segnate come errate sotto un altro, ugualmente valido, set di regole.
La scoperta più critica è stata che queste fluttuazioni non erano rumore casuale distribuito uniformemente nel test. L'instabilità era concentrata precisamente sulle domande che separavano i modelli l'uno dall'altro. Quando il ricercatore ha esaminato le domande che due modelli vicini rispondevano correttamente o erroneamente indipendentemente dalle regole, i modelli erano essenzialmente in parità. Le differenze che creavano le classifiche esistevano solo nelle domande in cui i modelli erano incerti. Infatti, per le coppie di modelli classificati l'uno accanto all'altro, quasi tutto il divario nei loro punteggi — circa il 96 percento in media — era trasportato da queste domande instabili. Se si fossero rimosse le domande che cambiavano da un lato all'altro, le classifiche sarebbero svanite e i modelli sarebbero diventati indistinguibili.
Questa fragilità significava che l'identità del "vincitore" non era una proprietà fissa dei modelli, ma una scelta fatta dal valutatore. Sotto un set di regole, un modello specifico poteva occupare il primo posto, mentre sotto un altro set di regole, un modello completamente diverso poteva vincere. In questo studio, quattro modelli diversi sono stati in grado di raggiungere il primo posto a seconda della configurazione utilizzata. Un modello che terminava l'undicesimo posto su dodici secondo le regole standard è balzato al primo posto sotto un diverso metodo di valutazione. Il ricercatore ha osservato che la scelta di come valutare la risposta — ovvero leggere il testo scritto dal modello o calcolare le probenze — era il fattore più potente, causando più cambiamenti nelle classifiche di quanto non facessero l'ordine delle opzioni o la formulazione del prompt.
Lo studio ha anche esaminato una tendenza popolare nel campo: comprimere questi grandi test in un insieme più piccolo di domande più "informative" per risparmiare tempo. La logica era che poche centinaia di domande ben scelte potessero rappresentare l'intero test. Il ricercatore ha scoperto che questa pratica rende il problema peggiore. Le domande selezionate per essere le più informative sono esattamente quelle che sono più sensibili alle regole di test. Mantenendo solo queste domande difficili e ad alto rischio, i benchmark compressi diventano ancora più volatili rispetto ai test completi che sostituiscono. Un test più piccolo non fornisce un quadro più chiaro; fornisce un quadro più fragile, dove la classifica è ancora più probabile che cambi in base a piccoli aggiustamenti della configurazione.
In definitiva, l'articolo sostiene che l'attuale pratica di riportare un singolo numero come la verità sull'abilità di un modello è fuorviante. Il punteggio non è una proprietà del modello da solo; è una proprietà del modello che interagisce con un set specifico di regole. Il ricercatore suggerisce che i futi report dovrebbero smettere di trattare la classifica come una gerarchia fissa e iniziare a presentare l'intervallo di punteggi possibili. Propone che, quando si confrontano i modelli, gli scienziati dovrebbero concentrarsi sulle domande in cui i modelli sono stabili e concordano, piuttosto che su quelle in cui le regole dettano il risultato. Finché la comunità non concorderà su un unico modo immutabile di eseguire questi test, le classifiche rimarranno un riflesso delle scelte del valutatore piuttosto che una misura definitiva dell'intelligenza artificiale.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.