Sintesi Tecnica: La Verità Non Conosce Lingua: Valutare la Veridicità Oltre l'Inglese

Definizione del Problema

La valutazione della veridicità nei Large Language Models (LLM) è stata prevalentemente limitata all'inglese, utilizzando principalmente il benchmark TruthfulQA. Sebbene TruthfulQA sia lo standard per valutare come gli LLM imitino le falsità umane, la sua disponibilità esclusiva in inglese limita la comprensità di sapere se gli LLM mantengano la veridicità attraverso diverse lingue, in particolare quelle a basse risorse. I tentativi esistenti di tradurre il dataset sono stati informali (traduzione automatica) piuttosto che professionali, mancando di una rigorosa valutazione dell'utilità del dataset per le lingue non inglesi. Inoltre, è necessario determinare se il contesto culturale e temporale inerente alle domande originali in inglese influenzi le valutazioni della veridicità quando tradotte, e se le attuali metriche di valutazione automatica (come i test a scelta multipla) siano sufficienti per la valutazione della veridicità translingue.

Metodologia

Questo studio introduce un'estensione tradotta professionalmente del benchmark TruthfulQA in quattro lingue: basco, catalano, galiziano e spagnolo. Il processo di traduzione ha coinvolto professionisti madrelingua ed è stato conforme a linee guida specifiche per mantenere il parallelismo pur gestendo le sfumature culturali (ad esempio, traduzione letterale di proverbi, prestito di acronimi e generalizzazione di termini specifici della cultura).

Configurazione Sperimentale

Gli autori hanno valutato 12 LLM open-source allo stato dell'arte delle famiglie Llama 3/3.1 e Gemma 2, con parametri che vanno da 7B a 70B. Sono state testate sia le varianti base che quelle istruite (instruction-tuned).

Sono stati impiegati tre metodi di valutazione:

1. Valutazione Umana: Una valutazione manuale di 400 risposte (100 domande × 4 modelli) per veridicità e informatività utilizzando etichette binarie.
2. Scelta Multipla (MC2): Lo standard di metrica automatica utilizzato nelle classifiche (leaderboard), che calcola la probabilità di risposte corrette rispetto a quelle errate.
3. LLM-as-a-Judge: Una valutazione della generazione automatica in cui un modello giudice sottoposto a fine-tuning (specificamente Gemma 2 9B Instruct, addestrato su dati tradotti automaticamente) valuta la veridicità delle risposte generate. Questo metodo è stato selezionato in base alla sua alta correlazione con i giudizi umani.

Inoltre, lo studio ha confrontato il dataset tradotto professionalmente con una versione generata tramite Traduzione Automatica (MT) utilizzando Claude 3.5 Sonnet per valutare la fattibilità della MT per la scalabilità dei benchmark di veridicità. Il dataset è stato inoltre analizzato dividendo le domande in categorie universali (indipendenti da tempo/contesto) e dipendenti dal contesto/tempo.

Contributi Chiave

1. Dataset TruthfulQA Multilingue: La prima versione tradotta professionalmente di TruthfulQA che copre basco, catalano, galiziano e spagnolo, colmando il divario nella valutazione delle lingue a basse risorse.
2. Framework di Valutazione: Un confronto completo dei metodi di valutazione, che dimostra come l'approccio LLM-as-a-Judge correli significativamente meglio con i giudizi umani rispetto alle metriche a scelta multipla (MC2) in tutte le lingue.
3. Analisi dell'Informatività: L'identificazione del fatto che i modelli base spesso producono risposte non informative (ad esempio, "Non ho commenti"), il che gonfia artificialmente i punteggi di veridicità nelle metriche standard. Lo studio evidenzia la necessità di valutare separatamente l'informatività, in particolare per i modelli base.
4. Fattibilità della Traduzione: Evidenza che suggerisce come la traduzione automatica di alta qualità sia un'alternativa valida e scalabile alla traduzione professionale per estendere i benchmark di veridicità ad ulteriori lingue, a condizione che il motore di traduzione sia allo stato dell'arte.

Risultati

• Disparità Linguistiche: Gli LLM generalmente performano meglio in inglese e peggio in basco (la lingua con meno risorse). Tuttavia, la discrepanza complessiva nei punteggi di veridicità tra le lingue è minore di quanto anticipato.
• Performance dei Modelli:
  • I modelli istruiti (instruction-tuned) superano costantemente i modelli base in termini di veridicità.
  • I modelli più grandi (ad es. 70B) tendono a superare i corrispettivi più piccoli all'interno della stessa famiglia, contrastando con alcuni risultati precedenti in cui la dimensione del modello non correla con la veridicità.
  • I modelli Gemma 2 hanno dimostrato una veridicità superiore rispetto ai modelli Llama 3 attraverso le lingue.
• Metriche di Valutazione: Il metodo LLM-as-a-Judge ha mostrato un accordo maggiore con i valutatori umani (Kappa di Cohen) rispetto a MC2. Notevolmente, un giudice addestrato su dati inglesi ha performato meglio di MC2 anche valutando lingue non inglesi, sebbene un giudice addestrato su dati multilingue abbia ottenuto i risultati migliori.
• Domande Universali vs Contestuali: I modelli performano significativamente meglio sulle domande di conoscenza universale (avvicinandosi al 90% di accuratezza) rispetto alle domande dipendenti dal tempo e dal contesto. Ciò suggerisce che i benchmark statici privi di varietà contestuale possano portare alla saturazione delle performance e non riescano a riflettere le sfide della disinformazione nel mondo reale.
• Traduzione Automatica: I test statistici hanno confermato l'assenza di differenze significative nei punteggi di veridicità tra i dataset tradotti professionalmente e quelli tradotti automaticamente, supportando l'uso della MT per l'espansione del dataset.

Significato e Rivendicazioni

L'articolo sostiene che, sebbene l'inglese rimanga la lingua in cui gli LLM mostrano la massima veridicità e coerenza, il divario tra l'inglese e le altre lingue non è così vasto come temuto in precedenza. Lo studio mette in discussione l'assunto che le metriche a scelta multipla siano sufficienti per la valutazione della veridicità, promuovendo approcci LLM-as-a-Judge che catturano meglio le sfumature del testo generato.

Gli autori sottolineano che l'informatività è un fattore critico e spesso trascurato; senza di essa, le metriche di veridicità per i modelli base possono essere erroneamente alte a causa di risposte non impegnative. Inoltre, i risultati indicano che le domande universali sono sempre più facili da rispondere correttamente per i moderni LLM, suggerendo che i futuri benchmark di veridicità debbano incorporare la variabilità culturale e temporale per rimanere rigorosi e rilevanti.

Infine, l'articolo postula che la traduzione automatica offra una via scalabile e conveniente per estendere i benchmark di veridicità a una gamma più ampia di lingue, democratizzando potenzialmente la valutazione della sicurezza e dell'affidabilità degli LLM oltre il mondo anglofono. Tuttavia, gli autori notano con modestia i limiti riguardanti l'ambito specifico delle lingue iberiche e la natura statica del dataset, che potrebbe non catturare appieno la disinformazione dinamica del mondo reale.