TailNLG: A Multilingual Benchmark Addressing Verbalization of Long-Tail Entities

Probleemstelling

Het automatisch vertalen van gestructureerde kennis (zoals kennisgrafieken) naar menselijk leesbare tekst (Data-to-Text) is essentieel voor de toegankelijkheid van informatie en voor Retrieval-Augmented Generation (RAG) systemen. Hoewel er recente vooruitgang is geboekt in meertalige Data-to-Text generatie, is er weinig aandacht besteed aan bias bij de verbaalisatie van zeldzame entiteiten, bekend als long-tail entiteiten.

Bestaande benchmarks zoals WebNLG focussen vaak op veelvoorkomende (head) entiteiten. Er is echter onzekerheid over hoe Large Language Models (LLMs) presteren wanneer ze geconfronteerd worden met zeldzame entiteiten die minder vaak in trainingsdata voorkomen. Bestaand onderzoek suggereert dat LLMs moeite hebben met zeldzame entiteiten in taken zoals entiteitenkoppeling en feitelijke kennisrepresentatie, maar er ontbreekt een systematische studie specifiek gericht op de verbaalisatie van deze long-tail entiteiten in meertalige contexten.

Methodologie

1. Introductie van TailNLG Benchmark
De auteurs introduceren TailNLG, het eerste systematische meertalige benchmark voor RDF-to-Text generatie dat specifiek long-tail entiteiten bestrijkt.

• Data Bron: De dataset is afgeleid van Wikidata en bevat RDF-tripels (onderwerp, relatie, object).
• Talen: Engels, Italiaans en Spaans.
• Entiteitsselectie: Entiteiten worden ingedeeld op basis van hun populariteit (aantal claims/relaties in Wikidata).
  • Head-entiteiten: Behoren tot de top 20% van de entiteiten die 80% van alle claims vertegenwoordigen (Pareto-cut-off).
  • Long-tail entiteiten: Vallen onder deze drempel en hebben vaak slechts één Wikipedia-pagina in één van de drie doeltalen.
• Dataset Samenstelling: De dataset bevat 1.845 data-eenheden (tripelsets), verdeeld over 1.120 "Gold" (menselijk gecontroleerde) en 725 "Silver" (machine-vertaalde en automatisch nagelezen) voorbeelden. De verbaalisatie is tot stand gekomen via een mens-in-de-lus proces met native sprekers, gevolgd door machinevertaling (DeepL) en automatische post-editing (APE) met modellen zoals xCOMET en xTOWER om fouten te corrigeren.

2. Experimenteel Opzet

• Modellen: Drie families van state-of-the-art meertalige instructie-getrainde LLMs werden getest in een zero-shot setting (zonder voorbeelden in de prompt):
  • Llama-3 (3B en 8B parameters)
  • Qwen2.5 (3B en 7B parameters)
  • Gemma-3 (4B en 12B parameters)
• Vergelijking: De prestaties op TailNLG (long-tail vs. head) werden vergeleken met de prestaties op de gevestigde WebNLG benchmark (voornamelijk head-entiteiten).

3. Evaluatiemetrics
Om bias en onzekerheid te meten, werden drie categorieën van metrics gebruikt:

• Semantische similariteit: BERTScore (BERTScorer variant).
• Tekstuele overlap: BLEU, chrF++, en ROUGE (1, 2, L).
• Modelonzekerheid: Perplexity (PPL). Een hogere PPL duidt op hogere onzekerheid van het model bij het genereren van tekst.

Kernbijdragen

1. TailNLG Dataset: De creatie van het eerste meertalige benchmark specifiek ontworpen om de verbaalisatie van long-tail entiteiten te evalueren, inclusief een gedetailleerde scheiding tussen head- en tail-entiteiten.
2. Systematisch Bias-onderzoek: Het is de eerste studie die inzicht geeft in hoe LLMs presteren bij de verbaalisatie van zeldzame entiteiten in vergelijking met veelvoorkomende entiteiten, zowel binnen TailNLG als in vergelijking met WebNLG.
3. Evaluatie van Onzekerheid: Het gebruik van Perplexity (PPL) als proxy voor modelonzekerheid om aan te tonen dat modellen minder zeker zijn bij het genereren van tekst over zeldzame entiteiten.
4. Meertalige Analyse: Het in kaart brengen van taal-specifieke bias, waarbij wordt aangetoond dat prestaties variëren tussen Engels, Italiaans en Spaans.

Resultaten

De experimentele resultaten tonen een consistent patroon van bias tegen long-tail entiteiten:

• Prestatieverschil (Head vs. Tail): LLMs presteren systematisch slechter bij long-tail entiteiten.
  • Embedding-metrics (BERTScore): Scoren significant lager voor long-tail entiteiten dan voor head-entiteiten.
  • Overlap-metrics (BLEU, ROUGE): De resultaten zijn hierin minder eenduidig; soms scoren long-tail entiteiten hoger, wat de auteurs toeschrijven aan het feit dat modellen bij head-entiteiten soms extra informatie toevoegen die afwijkt van de referentie, terwijl ze bij long-tail entiteiten conservatiever zijn.
• Modelonzekerheid (PPL): Er is een duidelijke correlatie tussen entiteitsraraarheid en modelonzekerheid.
  • Voor de meeste modellen (Llama, Qwen) is de PPL significant hoger voor long-tail entiteiten, wat aangeeft dat het genereren van tekst over deze entiteiten moeilijker is voor het model.
  • Dit bevestigt dat modellen minder vertrouwen hebben in hun output voor zeldzame entiteiten.
• Vergelijking met WebNLG: Modellen presteren over het algemeen beter op de WebNLG benchmark (bestaande uit bekende entiteiten) dan op TailNLG. De PPL is lager en de semantische scores zijn hoger voor WebNLG, wat suggereert dat deze entiteiten beter vertegenwoordigd zijn in de pre-traindata.
• Taalbias: Prestaties zijn over het algemeen het hoogst in het Engels. Italiaanse en Spaanse outputs tonen vaak meer fouten, zoals grammaticale onnauwkeurigheden (bijv. geslachtsongebruikelijkheid) en toevoegingen of weglatingen.
• Gold vs. Silver: Interessant genoeg presteren modellen vaak beter op "Silver" data (machine-vertaalde referenties) dan op "Gold" data. Dit suggereert dat modellen beter zijn afgestemd op machine-gegenereerde tekst, wat implicaties heeft voor de evaluatiemethodiek.

Betekenis en Conclusie

Het artikel benadrukt dat huidige LLMs een systematische bias vertonen tegenover long-tail entiteiten in Data-to-Text taken. Dit heeft belangrijke gevolgen voor de betrouwbaarheid van RAG-systemen en kennisgraf-toepassingen, waar zeldzame maar cruciale informatie vaak ondervertegenwoordigd is in de output.

Belangrijkste conclusies:

1. Bestaande metrics zijn onvoldoende: Traditionele overlap-metrics (zoals BLEU) vangen de bias niet consistent op; Perplexity (PPL) blijkt een robuustere indicator voor de moeilijkheidsgraad en onzekerheid bij long-tail entiteiten.
2. Noodzaak voor nieuwe benchmarks: Er is een dringende behoefte aan benchmarks zoals TailNLG om de eerlijkheid en robuustheid van LLMs te testen op zeldzame entiteiten, niet alleen op populaire onderwerpen.
3. Toekomstige richting: De auteurs pleiten voor het uitbreiden van benchmarks met meer talen en het meenemen van culturele context in de definitie van "long-tail", aangezien een puur kwantitatieve benadering (aantal claims) culturele ondervertegenwoordiging kan maskeren.

Samenvattend biedt TailNLG een kritisch inzicht in de beperkingen van huidige generatiemodellen en stelt het een nieuwe standaard voor het evalueren van eerlijkheid en prestaties in meertalige Data-to-Text systemen.