Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards
Questo articolo rivela che un significativo disaccordo tra annotatori esperti e della crowd a livello di singolo elemento è mascherato dalle piccole dimensioni delle classifiche, creando un falso senso di stabilità nelle posizioni dei modelli che non si generalizza all'aumentare del numero di modelli.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nella corsa a costruire un'intelligenza artificiale più intelligente, i ricercatori si affidano a un'idea semplice ma potente: per sapere se una macchina sta migliorando, bisogna chiedere a un essere umano di giudicare il suo lavoro. Questo processo, noto come benchmark di preferenza, consiste nel mostrare a un essere umano due diverse risposte generate da un'IA e chiedere quale sia la migliore. La raccolta di questi voti umani diventa il "gold standard", un punto di riferimento affidabile rispetto al quale vengono misurati tutti i nuovi modelli. Per anni, il settore ha operato su un'assunzione tacita: che non importi quali umani vengano assunti per fare da giudici. La convinzione prevalente è che, sebbene i singoli individui possano commettere errori casuali, il gruppo nel suo insieme sia uno strumento affidabile, capace di misurare una verità singola e stabile su ciò che rende buona una risposta. Se questa assunzione è corretta, allora l'identità specifica dei giudici è solo un dettaglio minore, come il marchio della penna usata per scrivere il punteggio.
Ma una nuova indagine suggerisce che questo dettaglio è in realtà la parte più importante dell'equazione. I ricercatori hanno voluto testare se la scelta dei giudici umani conti davvero, eseguendo lo stesso insieme di confronti tra IA due volte, utilizzando due gruppi di persone completamente diversi. Un gruppo era composto da comuni lavoratori delle piattaforme di crowdworking, il tipo di persone assunte a migliaia per compiti online. L'altro gruppo era invece composto da esperti di settore selezionati, individui con conoscenze specializzate nel campo. I ricercatori hanno preso un enorme dataset di migliaia di confronti tra IA e hanno chiesto a entrambi i gruppi di votare i vincitori. Hanno scoperto che i due gruppi di umani non concordavano tra loro quasi quanto il settore presupponeva. In quasi un caso su quattro, i due gruppi hanno scelto vincitori a maggioranza differenti. In quasi un caso su dieci, i lavoratori del crowdworking e gli esperti hanno scelto vincitori opposti, dichiarando il perdente di un gruppo come il campione dell'altro.
Nonostante questo massiccio disaccordo a livello di singoli elementi, il risultato finale appariva ingannevolmente stabile. Quando i ricercatori hanno utilizzato questi voti contrastanti per classificare i sei modelli di IA oggetto dello studio, la classifica finale era identica indipendentemente da quale gruppo di umani avesse effettuato il giudizio. L'ordine dei modelli non è cambiato affatto. Questo ha creato un quadro confuso: i giudici urlavano risposte diverse, eppure il tabellone dei punteggi rimaneva silenzioso. I ricercatori hanno capito che questa stabilità non era segno di un sistema robusto, ma piuttosto un fortuito incidente causato dal piccolo numero di modelli messi a confronto. Poiché i modelli erano distanziati in termini di prestazioni, i piccoli spostamenti nel voto causati dal cambio dei giudici non sono stati sufficienti a far superare un modello a un altro.
Per testare quanto fosse fragile questa stabilità, i ricercatori hanno eseguito delle simulazioni per vedere cosa sarebbe accaduto se la classifica fosse stata più grande, contenendo le decine di modelli che sono comuni nelle competizioni reali. I risultati sono stati drastici. Mentre una classifica di sei modelli rimaneva invariata, una classifica con soli dieci modelli vedeva un modello scalzato nell'ottantasei percento dei casi. Con venti modelli, la probabilità di un rimescolamento era vicina al cento percento. Lo studio ha concluso che la pratica attuale del settore di riportare piccole classifiche è sicura solo perché i modelli sono pochi e distanti tra loro. Se il settore pubblicasse un'arena di modelli più ampia e realistica, la scelta dei giudici umani rimescolerebbe immediatamente le posizioni. Il "gold standard" non è una verità fissa; è un bersaglio mobile che si sposta a seconda di chi viene assunto per tenere il metro.
L'indagine non si è fermata ai giudici umani. I ricercatori hanno anche esaminato come i giudici basati sull'intelligenza artificiale, che vengono sempre più utilizzati per automatizzare queste classifiche, gestiscono il disaccordo tra i gruppi umani. Hanno testato tre diversi giudici IA, inclusi modelli di diverse aziende, per vedere con quale gruppo di umani concordassero di più. Ogni singolo giudice IA si è allineato significativamente di più con i lavoratori del crowdworking rispetto agli esperti. Ciò suggerisce che i giudici IA abbiano imparato a mimare le preferenze dei lavoratori del crowdworking, probabilmente perché i dati usati per addestrarli provenivano da simili lavoratori tramite crowdworking. I ricercatori hanno scoperto che l'accordo di un giudice IA con gli umani non è solo una misura della sua intelligenza, ma anche un riflesso delle decisioni di assunzione prese anni fa durante la raccolta dei dati di addestramento.
Lo studio ha anche rivelato che il modo in cui questi giudici IA vengono istruiti (prompting) può cambiare le loro opinioni più di quanto faccia la scelta dei giudici umani. Quando i ricercatori hanno cambiato l'ordine in cui le risposte venivano presentate, i giudici IA hanno invertito le loro decisioni in quasi la metà dei casi (nello specifico il 44,6% per un modello). Inoltre, quando i ricercatori hanno cambiato solo il formato dell'output (chiedendo un oggetto JSON invece di un semplice token) mantenendo tutto il resto invariato, lo stesso giudice concordava con se stesso solo nel 47,2% dei casi, mostrando uno spostamento sistematico in una direzione. Questa sensibilità all'ordine di presentazione e alla formattazione è una fonte di errore molto più grande rispetto alla differenza tra opinioni di esperti e di lavoratori del crowdworking. I ricercatori sostengono che l'intero settore debba cambiare il modo in cui riporta questi risultati. Limitarsi a dichiarare che un modello concorda con gli umani in una certa percentuale di casi è incompleto senza specificare quali umani siano stati utilizzati. La sicurezza delle attuali classifiche è un'illusione creata da campioni piccoli, e l'affidabilità delle future classifiche dipende interamente dal riconoscere che la scelta degli annotatori non è un dettaglio minore, ma una variabile fondamentale che modella il risultato.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.