Position: Evaluation Scores Are Perishable Knowledge Claims

La trappola del punteggio: perché la "media" può essere una bugia

Immaginate di essere un detective che cerca di risolvere un mistero usando gli indizi di tre diversi testimoni. Un testimone è un robot super accurato che non mente mai, ma ha visto il crimine solo da lontano. Un altro è un essere umano chiacchierone che ha visto tutto da vicino, ma a volte inventa cose per sembrare interessante. Il terzo è uno specchio che si limita a ripetere ciò che dice il sospettato. Se fate la "media" delle loro storie, potreste ottenere una versione dei fatti ordinata e intermedia che sembra perfettamente ragionevole. Ma ecco il trucco: se il testimone umano dice che il sospettato indossava un cappello rosso (quando in realtà ne indossava uno blu), quel singolo dettaglio errato rovina l'intera storia, indipendentemente da quanto fosse perfetta la descrizione del tempo fatta dal robot. Nel mondo dell'Intelligenza Artificiale, specificamente quando cerchiamo di misurare quanto siano intelligenti questi cervelli informatici, spesso commettiamo esattamente questo errore. Trattiamo i punteggi dei test come semplici problemi matematici dove possiamo semplicemente sommarli e dividerli per il numero di test per ottenere un "voto finale". Ma gli autori di questo articolo sostengono che questi punteggi non sono solo numeri; sono affermazioni sulla verità che hanno date di scadenza, limiti specifici di applicabilità e diversi livelli di affidabilità. Se ignoriamo queste regole nascoste e ci limitiamo ad fare la media di tutto, finiamo per incorrere nella "Inflazione della Fiducia" (Trust Inflation) — un modo elegante per dire che diventiamo eccessivamente fiduciosi in un sistema che potrebbe in realtà essere rotto nei modi più pericolosi.

L'idea centrale del paper: Smettere di fare la media, iniziare a controllare l'anello debole

Il paper, scritto da Sankalp e Shlok Gilda, sostiene che l'attuale modo in cui classifichiamo i modelli di IA è fondamentalmente fallace perché tratta tutti i risultati dei test come se fossero ugualmente forti e permanenti. Gli autori chiamano questo problema Inflazione della Fiducia. Accade quando mescoliamo diversi tipi di prove — come controlli informatici automatizzati, opinioni umane e giudici IA — in un unico punteggio "medio". Il problema è che un singolo punto debole può distruggere l'intero quadro, ma la media nasconde quella debolezza.

Per spiegare questo, gli autori usano una semplice analogia: immaginate una catena. La forza dell'intera catena non è determinata dalla forza media di tutti i suoi anelli; è determinata dall'anello più debole. Se avete una catena in cui 99 anelli sono di acciaio e uno è di carta, l'intera catena si spezzerà sotto il peso di una piuma. Allo stesso modo, se un modello di IA è bravo a scrivere poesie ma terribile nel dire la verità (fattualità), un punteggio "medio" potrebbe farlo apparire come un buon poliedrico. Ma nel mondo reale, se quell'IA viene utilizzata per dare consigli medici, la sua incapacità di dire la verità è un disastro, indipendentemente da quanto siano belle le sue poesie.

Il paper suggerisce di smettere di usare la "media" come nostro metodo predefinito. Inveve, dovremmo usare un approccio basato sull' "anello più debole", specialmente per compiti critici per la sicurezza. Ciò significa che se un'IA fallisce anche un solo test importante, la sua valutazione complessiva dovrebbe scendere per riflettere quel fallimento, invece di essere sostenuta dai suoi altri buoni punteggi.

Le tre regole della verità dell'IA

Gli autori propongono che ogni punteggio di test dell'IA debba arrivare con un "etichetta" che ci dice tre cose specifiche, proprio come una confezione alimentare che ti dice cosa c'è dentro, da dove viene e quando scade:

1. Formalità (Quanto è forte la prova?): Non tutti i test sono creati uguali. Il paper crea un sistema a "livelli" (tier).

   • Livello F0 (Il più debole): Include i punteggi derivanti da altri modelli di IA che giudicano il lavoro o opinioni raccolte tramite crowdsourcing. Gli autori suggeriscono che questi possono essere considerati affidabili solo fino a un tetto di affidabilità di 0,70, perché i giudici IA spesso tendono a preferire risposte lunghe e sofisticate anche quando sono errate.
   • Livelli F1 e F2 (Più forti): Questi sono controlli informatici strutturati o test umani controllati. Sono più affidabili, ma anche i test umani hanno dei limiti (affidabilità fino a 0,95).
   • Livello F3 (Il più forte): Questa è una dimostrazione matematica formale. Questa è l'unica che può raggiungere una perfetta affidabilità di 1,00.
   • La Regola: Se mescoli un punteggio di Livello F0 con un punteggio di Livello F2, l'intero risultato è limitato al livello F0 (0,70). Non puoi rendere forte un test debole semplicemente aggiungendo un test forte.

2. Ambito (Dove si applica?): Un punteggio di un test è vero solo per la specifica situazione in cui è stato testato. Se un'IA è testata su domande in inglese, quel punteggio non significa che sia brava in spagnolo. Se è testata sulla conoscenza generale, non significa che sia brava in consulenza legale. Il paper sostiene che i punteggi dovrebbero dichiarare esplicitamente i propri limiti affinché non si utilizzi accidentalmente l'IA nel posto sbagliato.

3. Finestre di Validità (Quando scade?): I punteggi dei test hanno una durata di vita. Proprio come il latte, vanno a male. Gli autori sottolineano che una volta che un modello di IA ha visto le domande del test durante il suo addestramento (un problema chiamato "contaminazione"), il punteggio diventa privo di significato. Suggeriscono che ogni punteggio debba avere una data di scadenza. Un'opinione generata da un'IA potrebbe essere valida solo per poche settimane, mentre una dimostrazione matematica formale potrebbe durare per sempre.

Prove del mondo reale: L' "Inflazione della Fiducia" in azione

Gli autori non si sono limitati alla teoria; hanno costruito un vero sistema di test per agenti di IA e hanno scoperto alcuni bug spaventosi.

• Il Bug Silenzioso: Hanno scoperto che un disallineamento tra i loro linguaggi di codice informatico ha causato la registrazione di ogni singolo fallimento come un successo. Il sistema stava mentendo loro, gonfiando i punteggi senza che nessuno se ne accorgesse. Questa è l'inflazione della fiducia a livello infrastrutturale.
• La bugia della "Media": Hanno testato questa teoria su una famosa classifica pubblica chiamata HELM. Hanno esaminato 54 dei migliori modelli di IA in 10 scenari diversi.
  • Quando hanno classificato i modelli in base al punteggio medio, i primi 5 modelli erano un gruppo specifico.
  • Quando li hanno classificati in base all' anello più debole (il punteggio più basso in qualsiasi categoria), i primi 5 modelli erano un gruppo completamente diverso.
  • Infatti, la sovrapposizione tra i due elenchi dei primi 5 era pari a zero. I modelli che sembravano i migliori "poliedrici" secondo il vecchio metodo della media erano in realtà quelli con le più grandi debolezze nascoste. I modelli che sembravano "medi" con il vecchio metodo erano in realtà i più affidabili perché non presentavano fallimenti catastrofici.

Cosa significa per il futuro

Il paper si conclude con un appello all'azione per la comunità dell'IA. Vogliono che smettiamo di nascondere la matematica dietro i punteggi.

• Mostrate il vostro lavoro: Ogni punteggio dovrebbe portare un'etichetta che indichi quanto è forte la prova, a cosa si applica e quando scade.
• Scegliete il vostro veleno: Se dobbiamo combinare i punteggi, dobbiamo ammettere quale metodo stiamo usando. Siamo ottimisti (usando la media) o conservativi (usando l'anello più debole)? Il paper sostiene che per la sicurezza dovremmo optare di default per il metodo conservativo dell' "anello più debole", ma almeno dovremmo ammettere di aver fatto questa scelta.
• Controllo delle versioni: Proprio come il codice software, il modo in cui registriamo i risultati dei test dovrebbe essere versionato in modo da non confrontare accidentalmente mele con arance.

Gli autori ammettono che questo è un "position paper", il che significa che stanno proponendo un nuovo modo di pensare basato su una solida logica e sull'esperienza ingegneristica, piuttosto che su un enorme nuovo esperimento che provi tutto al 100%. Riconoscono che essere troppo conservativi potrebbe far sembrare meno validi dei buoni modelli, ma sostengono che sia meglio essere prudenti piuttosto che distribuire un sistema che sembra ottimo in media ma che fallisce in un modo che danneggia le persone. Rendendo trasparente lo "status epistemico" (la veridicità e i limiti) dei punteggi, possiamo prendere decisioni migliori su quali sistemi di IA fidarci.