Apples to Apples? Towards Comparable Crosslingual Language Model Evaluation
Questo articolo dimostra che le metriche normalizzate ampiamente utilizzate per la valutazione dei modelli linguistici cross-lingua introducono bias dovuti alle differenze di tokenizzazione e ortografia, e propone che il log-likelihood negativo a livello di frase su sequenze semanticamente equivalenti offra un'alternativa più coerente ed equa per confrontare i modelli tra diverse lingue.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo in rapida evoluzione dell'intelligenza artificiale, i computer stanno imparando a parlare e scrivere in decine di lingue umane. Queste menti digitali, note come modelli linguistici, sono addestrate su vaste biblioteche di testo per prevedere quale parola verrà dopo in una frase. Man mano che questi sistemi diventano più potenti, i ricercatori affrontano una sfida critica: come facciamo a sapere se un modello è davvero bravo in una lingua specifica, o se è solo bravo nel modo in cui quella lingua è scritta su un computer? Per rispondere a questo, gli scienziati devono misurare quanto bene un modello comprenda il significato di un testo, non solo quanto efficientemente possa elaborare i caratteri o i simboli grezzi. Il problema è che gli strumenti attualmente utilizzati per misurare questa comprensione contengono spesso trappole nascoste. Possono essere influenzati dal numero di lettere in una parola, dallo script specifico utilizzato per scrivere una lingua, o dal modo in cui il computer scompone una frase in piccoli pezzi per l'elaborazione. Se questi strumenti sono distorti, potrebbero far apparire un modello brillante in una lingua e goffo in un'altra, non a causa della sua reale intelligenza, ma a causa di peculiarità tecniche nel modo in cui i dati vengono gestiti. Ciò rende quasi impossibile confrontare equamente quanto un'intelligenza artificiale sia performante attraverso le diverse lingue del mondo.
Un team di ricercatori della Georgetown University ed EleutherAI si è posto l'obiettivo di risolvere questo enigma testando proprio gli strumenti utilizzati per giudicare questi modelli. Hanno costruito un esperimento controllato utilizzando cinquanta modelli informatici separati, ciascuno addestrato esclusivamente su una di dieci diverse lingue. Per garantire un test equo, hanno addestrato questi modelli su dati paralleli, il che significa che i modelli hanno appreso da testi che esprimevano esattamente lo stesso significato in lingue diverse. Hanno poi testato questi modelli utilizzando sei diversi metodi di misurazione comunemente usati nel settore. Alcuni di questi metodi contano il numero totale di piccoli blocchi costruttivi, o token, che un modello utilizza per comprendere una frase. Altri contano il numero di byte, che sono le unità digitali di archiviazione, o il numero di singoli caratteri sullo schermo. I ricercatori hanno anche testato un metodo che semplicemente somma la difficoltà totale che un modello ha nel prevedere un'intera frase, senza dividere tale difficoltà per la lunghezza del testo.
I risultati hanno rivelato una verità sorprendente su come funzionano queste misurazioni. I metodi che dividono le prestazioni di un modello per il numero di token, byte o caratteri si sono rivelati profondamente difettosi quando si confrontano lingue diverse. Queste metriche favorivano costantemente le lingue che naturalmente utilizzano meno caratteri o byte per esprimere la stessa idea, come il cinese, penalizzando al contempo le lingue che richiedono sequenze di simboli più lunghe. In un esempio sorprendente, un modello addestrato solo sull'inglese è risultato "migliore" sul russo rispetto all'inglese quando misurato con questi metodi difettosi, semplicemente perché il computer ha scomposto il testo russo in più pezzi, abbassando artificialmente il punteggio. Questo accadeva anche se il modello non aveva mai visto il russo prima d'ora e vi performava scarsamente nella realtà. Lo studio ha dimostrato che queste popolari metriche non stavano misurando l'effettiva intelligenza o comprensione del modello; stavano solo riflettendo le scelte ingegneristiche effettuate quando il computer è stato configurato per leggere il testo.
Al contrario, il metodo che ha sommato la difficoltà totale di una frase senza dividerla per la lunghezza si è dimostrato l'unico approccio equo. Questa misura, che i ricercatori chiamano log-likelihood negativa a livello di frase, osservava lo sforzo totale che il modello impiegava per comprendere l'intero significato di un testo. Poiché non cercava di normalizzare il punteggio in base alla lunghezza del testo in termini di lettere o archiviazione digitale, rimaneva stabile indipendentemente dallo script della lingua o dalla dimensione del vocabolario del computer. Quando i ricercatori hanno testato questo metodo su grandi modelli multilingue del mondo reale, è stato l'unico parametro in grado di identificare correttamente quali lingue i modelli avessero appreso meglio, corrispondendo alla composizione nota dei loro dati di addestramento. Gli altri metodi continuavano a produrre classifiche distorte dai dettagli tecnici di come il testo veniva archiviato ed elaborato.
I ricercatori hanno anche indagato se queste misurazioni rimanessero coerenti quando lo stesso significato veniva espresso in modi diversi. Hanno scoperto che, mentre alcune metriche fluttuavano selvaggiamente a seconda della traduzione o parafrasi utilizzata, il metodo a livello di frase rimaneva costante. Ciò suggerisce che la stabilità apparente degli altri metodi fosse un'illusione creata dalla loro sensibilità ai dettagli superficiali piuttosto che da un segno di vera affidabilità. Lo studio conclude che, per comprendere veramente come l'intelligenza artificiale funzioni attraverso diverse culture e lingue, gli scienziati devono smettere di fare affidamento su metriche che contano token, byte o caratteri. Inve แทน, devono utilizzare misure che rispettino il significato totale del testo, garantendo che la valutazione rifletta l'effettivo apprendimento del modello piuttosto che le peculiarità della sua rappresentazione digitale. Questo cambiamento è essenziale per costruire sistemi che siano veramente equi ed efficaci per tutti, indipendentemente dalla lingua che parlano.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.