TailNLG: A Multilingual Benchmark Addressing Verbalization of Long-Tail Entities

1. Il Problema

La verbalizzazione automatica di conoscenze strutturate (Data-to-Text) è fondamentale per rendere i Knowledge Graph (KG) accessibili agli utenti non esperti e per supportare sistemi di generazione basati sul recupero (RAG). Sebbene i recenti progressi nei Large Language Models (LLM) abbiano migliorato la copertura multilingue, esiste una lacuna significativa nella comprensione dei bias legati alla verbalizzazione di entità rare, note come entità "long-tail".

Le entità long-tail (es. artisti meno famosi, personaggi storici minori) sono sottorappresentate nei dati di addestramento rispetto alle entità "head" (molto popolari). Studi precedenti hanno dimostrato che gli LLM faticano con entità rare in compiti come il linking di entità o il question answering, ma non era stato ancora condotto uno studio sistematico su come questi modelli gestiscano la generazione di testo (verbalizzazione) per tali entità, né se esistano differenze legate alla lingua.

2. Metodologia e Contributi Chiave

Il lavoro introduce TailNLG, il primo benchmark multilingue specifico per la verbalizzazione di entità long-tail, e presenta un'analisi empirica delle prestazioni degli LLM.

A. Costruzione del Benchmark TailNLG

• Origine dei Dati: I dati sono estratti da Wikidata.
• Lingue: Inglese, Italiano e Spagnolo.
• Definizione delle Entità: Le entità sono classificate in due categorie basate su due criteri:
  1. Numero di claim (relazioni): Utilizzando una soglia di taglio Pareto (top 20% delle entità che coprono l'80% dei claim) per distinguere le entità "Head" dalle "Long-tail".
  2. Presenza su Wikipedia: Le entità long-tail sono ulteriormente filtrate per includere quelle presenti su Wikipedia solo in una delle tre lingue target (es. solo in inglese, non in italiano/spagnolo), garantendo la rarità cross-lingua.
• Struttura: Il dataset contiene unità dati composte da triple RDF (soggetto, predicato, oggetto) con diverse configurazioni strutturali (catena, sibling, miste).
• Qualità dei Dati:
  • Sono state create 1.845 unità dati totali.
  • Gold Standard: 616 verbalizzazioni create manualmente da madrelingua nativi.
  • Silver Standard: 1.232 traduzioni ottenute tramite Machine Translation (DeepL) e corrette tramite Automatic Post-Editing (APE) utilizzando modelli come xCOMET e xTOWER, con validazione umana su un campione.
  • Il dataset include 1.224 entità long-tail e 654 entità head.

B. Sperimentazione

• Modelli Testati: Tre famiglie di LLM instruction-tuned multilingue open-source, valutati in due dimensioni di parametri ciascuna:
  • Llama (3B, 8B)
  • Qwen (3B, 7B)
  • Gemma (4B, 12B)
• Setup: Valutazione in modalità zero-shot (senza esempi nel prompt) per evitare influenze esterne.
• Metriche di Valutazione:
  • Similarità Semantica: BERTScore (BERTScorer).
  • Similarità Superficiale: BLEU, chrF++, ROUGE (1, 2, L).
  • Incertezza del Modello: Perplexity (PPL), utilizzata come proxy per la confidenza del modello (valori più alti indicano maggiore incertezza).

3. Risultati Principali

L'analisi ha risposto a due domande di ricerca (RQ):

RQ1: Gli LLM performano diversamente sulle entità rare e la lingua ha un impatto?

• Bias contro le entità Long-tail: Esiste un bias sistematico. Le metriche basate su embedding (BERTScore) sono significativamente più basse per le entità long-tail rispetto a quelle head.
• Incertezza (PPL): La Perplexity è quasi sempre più alta per le entità long-tail, indicando che i modelli hanno maggiore difficoltà e incertezza nella generazione di testo per queste entità.
• Impatto della Lingua: Le prestazioni sono generalmente migliori in inglese. L'italiano e lo spagnolo mostrano PPL più alti e metriche di qualità inferiori, suggerendo un bias linguistico e difficoltà con morfologie più ricche (es. accordi di genere/numero).
• Discrepanza delle Metriche: Le metriche di sovrapposizione superficiale (BLEU, ROUGE) mostrano risultati incoerenti, talvolta premiando le entità long-tail. Questo è dovuto al fatto che i modelli tendono a essere più verbosi o a deviare dalla struttura di riferimento quando generano entità note (head), creando una divergenza lessicale che penalizza le metriche di sovrapposizione, mentre le metriche semantiche (BERTScore) catturano meglio la perdita di qualità semantica nelle entità rare.

RQ2: Come si confronta TailNLG con WebNLG (benchmark consolidato)?

• Prestazioni Superiori su WebNLG: Tutti i modelli ottengono punteggi significativamente migliori su WebNLG (composto da entità più comuni) rispetto a TailNLG.
• Conferma dell'Incertezza: Il PPL è drasticamente più basso su WebNLG, confermando che i modelli sono più familiari con queste entità, probabilmente a causa dell'esposizione durante il pre-training.
• Limiti delle Metriche: Le metriche di valutazione standard non riescono a catturare sistematicamente il bias verso le entità long-tail, rendendo necessarie nuove framework di valutazione.

4. Significato e Conclusioni

Il paper dimostra che gli attuali LLM soffrono di un bias duplice:

1. Bias delle Entità: Le prestazioni crollano per le entità long-tail, rendendo la generazione di testo meno affidabile per conoscenze di nicchia.
2. Bias Linguistico: Le prestazioni variano significativamente tra le lingue, con l'inglese che ottiene risultati superiori rispetto a lingue con morfologia più complessa come l'italiano.

Implicazioni:

• Le metriche di valutazione tradizionali (BLEU, ROUGE) possono essere fuorvianti quando si valuta la verbalizzazione di entità rare, poiché non catturano l'incertezza del modello o la perdita di coerenza semantica.
• È necessario sviluppare framework di valutazione più robusti che integrino misure di incertezza (come il PPL) per garantire equità e affidabilità nei sistemi RAG e nell'accessibilità dei Knowledge Graph.
• Il dataset TailNLG fornisce una risorsa fondamentale per la ricerca futura su come mitigare questi bias e migliorare la generalizzazione degli LLM su dati a bassa frequenza.

In sintesi, il lavoro evidenzia che, nonostante i progressi, gli LLM non sono ancora equamente capaci di gestire la diversità della conoscenza umana, fallendo sistematicamente quando si tratta di entità meno rappresentate nei dati di addestramento.