TailNLG: A Multilingual Benchmark Addressing Verbalization of Long-Tail Entities

1. Problématique

La verbalisation automatique de connaissances structurées (Data-to-Text), en particulier la conversion de triples RDF (Sujet, Prédicat, Objet) en texte naturel, est essentielle pour rendre les graphes de connaissances accessibles aux non-experts et soutenir les systèmes de génération augmentée par la récupération (RAG).

Cependant, la littérature actuelle présente une lacune majeure : l'absence d'étude systématique sur le traitement des entités "longue traîne" (long-tail entities). Ces entités, rares et peu représentées dans les données d'entraînement (par exemple, des personnalités moins connues ou des concepts spécifiques), subissent souvent des biais dans les modèles de langage (LLM). Bien que des travaux antérieurs aient montré que les LLMs peinent avec les entités rares dans des tâches comme le lien d'entités ou la réponse à des questions, leur capacité à verbaliser ces entités dans un cadre multilingue reste inexplorée. Il existe un risque que les modèles produisent des textes moins précis, moins fluides ou plus incertains pour ces entités par rapport aux entités "tête" (très connues).

2. Méthodologie

Pour combler ce vide, les auteurs ont conçu une approche rigoureuse en trois étapes principales :

A. Création du Benchmark TailNLG

Les auteurs ont développé TailNLG, le premier benchmark multilingue dédié à la verbalisation d'entités longue traîne.

• Sources de données : Les données proviennent de Wikidata.
• Définition des entités : Une entité est classée comme "longue traîne" si son nombre de revendications (relations) est inférieur à un seuil défini par une coupure de Pareto (les 20 % des entités qui représentent 80 % des revendications sont considérées comme "tête", le reste comme "longue traîne").
• Langues : Anglais, Italien et Espagnol.
• Structure : Le dataset contient des unités de données (sets de triples RDF) avec des configurations variées (chaînes, frères, mixtes).
• Qualité des références (Gold/Silver) :
  • Une partie des verbalisations a été réalisée manuellement par des locuteurs natifs (Gold).
  • Le reste a été généré via traduction automatique (DeepL) et post-édition automatique assistée par l'homme (Silver), utilisant des modèles comme xCOMET pour la détection d'erreurs et xTOWER pour la correction.
• Volume : 1 845 unités de données au total (1 120 Silver, 725 Gold).

B. Protocole Expérimental

• Modèles évalués : Trois familles de LLMs multilingues open-source et instructés, testés à deux tailles de paramètres chacune :
  • Llama-3 (3B et 8B)
  • Qwen2.5 (3B et 7B)
  • Gemma-3 (4B et 12B)
• Configuration : Évaluation en zero-shot (sans exemples dans le prompt) pour éviter les biais d'apprentissage.
• Tâche : Générer un paragraphe naturel à partir de triples RDF.

C. Métriques d'Évaluation

Pour capturer différentes dimensions de la performance, les auteurs utilisent :

1. Similarité sémantique : BERTScore (version redimensionnée multilingue).
2. Similarité textuelle (surface) : BLEU, chrF++, et ROUGE (1, 2, L).
3. Incertain du modèle (Perplexité - PPL) : Calculée sur les entités elles-mêmes pour mesurer la confiance du modèle. Un PPL plus élevé indique une plus grande incertitude.
4. Tests statistiques : Test de Mann-Whitney U pour vérifier la significativité des différences entre entités "tête" et "longue traîne".

3. Contributions Clés

1. TailNLG Benchmark : Introduction du premier dataset structuré pour évaluer spécifiquement la verbalisation d'entités rares en trois langues, comblant le manque de ressources pour étudier les biais de fréquence.
2. Analyse des biais d'entités : Démonstration empirique que les LLMs souffrent d'un biais systématique contre les entités longue traîne, se traduisant par une qualité de génération inférieure et une incertitude accrue.
3. Évaluation des métriques : Mise en évidence de l'inadéquation des métriques traditionnelles (comme BLEU ou ROUGE) pour détecter ces biais, car elles montrent parfois des résultats contradictoires ou non significatifs par rapport à la perplexité.
4. Impact linguistique : Analyse montrant que les biais varient selon la langue, avec une performance généralement supérieure en anglais par rapport à l'italien et l'espagnol, probablement due à la richesse morphologique et à la représentation dans les données d'entraînement.

4. Résultats Principaux

Les résultats confirment les hypothèses de départ avec des preuves statistiques solides :

• Biais contre les entités longue traîne :
  • Perplexité (PPL) : Les modèles affichent systématiquement une perplexité plus élevée (donc moins de confiance) pour les entités longue traîne par rapport aux entités tête. Cela indique que la prédiction de texte pour ces entités est plus difficile.
  • Similarité sémantique (BERTScore) : Les scores sont généralement plus bas pour les entités longue traîne, suggérant une moindre fidélité sémantique par rapport à la référence.
• Incohérence des métriques de surface :
  • Contrairement à la perplexité, les métriques de chevauchement (BLEU, ROUGE) montrent des résultats mitigés. Dans certains cas, les entités longue traîne obtiennent même des scores plus élevés.
  • Explication : Les modèles ont tendance à être plus verbeux ou à ajouter des informations contextuelles pour les entités "tête" (bien connues), ce qui peut les éloigner de la référence exacte (Gold), pénalisant ainsi les métriques de chevauchement. À l'inverse, pour les entités rares, les modèles peuvent être plus concis, augmentant artificiellement le score de chevauchement sans garantir la qualité sémantique.
• Comparaison avec WebNLG :
  • Les modèles performent nettement mieux sur le benchmark existant WebNLG (composé d'entités plus courantes) que sur TailNLG. La perplexité est plus faible et les scores de similarité plus élevés sur WebNLG, confirmant que les modèles sont mieux entraînés sur des entités fréquentes.
• Impact de la langue :
  • L'anglais obtient les meilleurs scores. L'italien et l'espagnol montrent plus d'erreurs (désaccords de genre, omissions), suggérant un biais linguistique en plus du biais d'entité.
• Qualité des données (Gold vs Silver) :
  • Les modèles semblent mieux s'aligner sur les données "Silver" (traduites automatiquement) que sur les données "Gold" (manuelles), ce qui suggère que les pipelines de traduction automatique peuvent parfois produire des sorties plus "attendues" par les LLMs, bien que cela ne remplace pas la nécessité de données de haute qualité.

5. Signification et Perspectives

Cette étude met en lumière une limitation critique des LLMs actuels : leur incapacité à traiter équitablement les connaissances rares.

• Pour la recherche : Elle démontre que les métriques d'évaluation standard (BLEU/ROUGE) sont insuffisantes pour détecter les biais de fréquence dans la génération de texte. La perplexité (PPL) s'avère être un indicateur plus fiable de la difficulté du modèle.
• Pour les applications : Dans des systèmes RAG ou des applications de vulgarisation de données, l'utilisation de LLMs pour décrire des entités peu connues risque de produire des résultats moins fiables ou incertains.
• Travaux futurs : Les auteurs prévoient d'enrichir le benchmark avec davantage de langues et d'intégrer des dimensions culturelles pour affiner la définition des entités "longue traîne", au-delà de la simple fréquence statistique.

En conclusion, TailNLG fournit une base essentielle pour évaluer et améliorer l'équité et la robustesse des systèmes de génération de texte face aux connaissances minoritaires.