Résumé technique : Granuscore, une mesure sans référence de la granularité pour l'analyse de texte et la réponse aux questions

Énoncé du problème

Le langage naturel transmet des informations à différents niveaux d'abstraction, allant de références fines (par exemple, « Tony Hawk ») à des descriptions grossières (par exemple, « un sportif »). Bien que la granularité soit fondamentale pour la communication humaine et qu'elle ait un impact significatif sur les systèmes de dialogue, l'accessibilité et la compréhension de la lecture, les méthodes existantes pour la mesurer sont limitées. Les approches actuelles reposent généralement sur des caractéristiques de surface comme la longueur des phrases ou la spécificité, ou elles dépendent de taxonomies construites manuellement (par exemple, WordNet, Wikidata) qui souffrent d'une couverture limitée et ne peuvent pas traiter efficacement des textes libres. Il manque une mesure évolutive et sans référence capable de quantifier la granularité au niveau de la phrase à travers divers domaines.

Méthodologie : Granuscore

Les auteurs présentent Granuscore, une mesure sans référence qui exploite les propriétés structurelles d'un espace d'incorporation hiérarchique pour estimer la granularité sémantique. Des scores plus faibles indiquent des expressions plus fines, tandis que des scores plus élevés indiquent des expressions plus grossières.

Architecture de base

1. Espace d'incorporation hiérarchique : La méthode s'appuie sur le modèle Hierarchy Transformer (HiT) (Chen et al., 2024), qui représente les structures hiérarchiques dans un espace d'incorporation hyperbolique (boule de Poincaré). Dans cette géométrie, la distance radiale par rapport à l'origine ($Dist_0$) est corrélée à la profondeur hiérarchique : les concepts spécifiques se situent plus loin du centre, tandis que les concepts généraux se situent plus près.
2. Extraction de caractéristiques :
   • Signal global : Le modèle extrait $Dist_0$ comme signal principal de la profondeur hiérarchique.
   • Signaux relationnels : Pour capturer la structure globale au-delà de la similarité locale, l'incorporation d'entrée est comparée à un ensemble d'entités ancre. Le système calcule les similarités cosinus et les distances de variété par paires entre l'entrée et ces ancres.
3. Modèle de notation : Une forêt de décision à gradient (LightGBM) est entraînée pour mapper les caractéristiques brutes de similarité et de distance sur un score de granularité scalaire.
4. Calibration : Les scores bruts sont convertis en scores de percentile à l'aide d'une distribution de calibration fixe basée sur l'ensemble des noms de WordNet (environ 119 000 concepts), garantissant que l'échelle est indépendante de l'annotateur.
5. Gestion des mots multiples : Pour les phrases ou les textes plus longs, le système décompose l'entrée en unités référentielles (groupes nominaux) à l'aide d'un séparateur basé sur SPACY. Le score final de la phrase est la moyenne des 80 % inférieurs des scores d'unité afin de réduire l'influence des valeurs aberrantes.

Données d'entraînement

Le modèle est entraîné sur GRANOLA-EQ, un ensemble de données contenant des questions et des ensembles de réponses se référant à la même entité à différents niveaux de granularité. Les cibles d'entraînement sont normalisées sur une échelle continue de 1 (le plus fin) à 4 (le plus grossier). La procédure d'entraînement impose une séparation stricte des données pour éviter les fuites, garantissant qu'aucune réalisation de granularité n'apparaît dans plusieurs partitions.

Contributions clés

1. Introduction de Granuscore : Une nouvelle métrique sans référence qui exploite les propriétés de l'espace d'incorporation hiérarchique pour mesurer la granularité sans dépendre de vocabulaires prédéfinis ou de taxonomies manuelles.
2. Validation empirique et conceptuelle :
   • GRANOLA-EQ : Granuscore récupère de manière fiable les ordonnancements hiérarchiques annotés par des humains.
   • Contextes discursifs : Il capture les différences de granularité attendues entre les sections d'articles scientifiques (par exemple, un langage plus grossier dans les introductions par rapport à un langage plus fin dans les travaux connexes).
   • Spécificité des phrases : Il explique la variation non linéaire de la spécificité des phrases à travers les domaines (critiques de films, tweets, actualités) au-delà de ce que la longueur des phrases seule peut prédire.
3. Application à la réponse aux questions (QA) : Les auteurs analysent quatre benchmarks de QA (FACTS PARAMETRIC, SIMPLEQA, SQUAD, TRUTHFULQA) à travers six modèles de langage. Ils identifient des schémas cohérents où :
   • Les ensembles de données avec une granularité plus faible (détails plus fins) sont plus difficiles pour les modèles.
   • Les sorties incorrectes des modèles ont tendance à avoir une granularité plus faible que les sorties correctes.
   • L'« écart de granularité » (différence entre la sortie du modèle et la réponse de référence) est corrélé à l'échec de la réponse.
4. Reproductibilité : L'outil est publié sous forme de package pip pour faciliter la recherche ultérieure et l'utilisation en production.

Résultats

• Ordonnancement de la granularité : Sur l'ensemble de test GRANOLA-EQ, la variante la plus performante (HiT Dist0 + Ancres aléatoires) a atteint 83,76 % de précision globale par paires et 89,03 % de précision par paires intra-entrée. Cela surpasse nettement les bases de référence telles que le nombre de mots (~50 %), WordNet (limité par la couverture) et les incorporations de phrases standard (MiniLM).
• Analyse discursive : Les sections d'introduction des articles scientifiques présentaient des scores Granuscore significativement plus élevés (plus grossiers) que les sections de travaux connexes (plus fins), en accord avec les attentes rhétoriques ($p \le 5,49 \times 10^{-37}$).
• Spécificité des phrases : L'ajout de Granuscore aux modèles additifs généralisés (GAM) a amélioré la déviance expliquée des prédictions de spécificité des phrases de 7 à 50 % à travers les domaines, démontrant une relation non linéaire où un score Granuscore plus faible est corrélé à une spécificité plus élevée.
• Performance en QA : Une corrélation claire a été observée entre la granularité de l'ensemble de données et la justesse du modèle. Les modèles ont mieux performé sur les ensembles de données avec des scores Granuscore plus élevés (réponses plus grossières). De plus, les modèles qui ont échoué à répondre ou ont répondu incorrectement ont tendance à produire des sorties avec une granularité plus faible que leurs homologues corrects, suggérant une difficulté à adapter la granularie de la sortie aux niveaux de confiance.

Importance et affirmations

L'article présente Granuscore comme un outil évolutif et largement applicable pour analyser la granularité des textes. Son importance principale réside dans la fourniture d'un cadre principiel pour :

• Caractériser la difficulté des ensembles de données : La granularité offre une métrique pour la difficulté des ensembles de données de QA qui est distincte des propriétés superficielles comme la longueur de la réponse.
• Analyser le comportement des modèles : Il révèle que les modèles ont du mal à ajuster la granularité de la réponse en fonction de la confiance, produisant souvent des réponses incorrectes trop fines ou échouant à fournir des alternatives grossières et fiables en cas d'incertitude.
• Applications futures : Les auteurs suggèrent que Granuscore pourrait servir de signal d'entraînement pour encourager les modèles à aligner la granularité de la sortie avec leur confiance (par exemple, répondre de manière grossière en cas d'incertitude) et soutenir des tâches d'adaptation linguistique contrôlée comme la simplification et le résumé.

Les auteurs reconnaissent des limites, notant la dépendance à la hiérarchie WordNet pour le modèle d'incorporation sous-jacent, ce qui peut limiter les performances dans les domaines mal représentés dans WordNet. Ils notent également que, bien que la validation empirique soit robuste dans plusieurs contextes, aucune étude humaine dédiée comparant directement les scores Granuscore aux jugements explicites de granularité humaine n'a été menée.