Résumé Technique : HieraRAG – Un cadre hiérarchique pour la génération de questions synthétiques

Énoncé du Problème

L'évaluation des systèmes de Génération Augmentée par Récupération (RAG) nécessite des bancs d'essai capables de capturer diverses caractéristiques de questions. Cependant, les praticiens manquent de directives empiriques sur quelles dimensions de variation de questions inclure et, surtout, à quel niveau de granularité (par exemple, catégories grossières vs fines) ces dimensions doivent être définies. Les bancs d'essai existants appliquent souvent une granularité incohérente : certains catégorisent par type de réponse mais manquent de contrôle de la complexité, tandis que d'autres couvrent des formats de tâches sans variation linguistique systématique. Sans preuve empirique, les concepteurs risquent soit de sous-échantillonner des modes de défaillance critiques, soit de diluer les signaux d'évaluation avec des distinctions fines redondantes qui augmentent les coûts de génération sans ajouter de valeur diagnostique.

Méthodologie

Les auteurs proposent HieraRAG, un cadre hiérarchique conçu pour étudier systématiquement l'impact de la granularité des questions sur l'évaluation RAG. La méthodologie comprend trois composantes centrales :

1. Cadre de Catégorisation Hiérarchique

Le cadre définit trois dimensions illustratives de la variation des questions, chacune évaluée à trois niveaux de granularité :

• Complexité de la Question (QC - Question Complexity) : Demande cognitive allant de la recherche de faits au raisonnement multi-étapes (multi-hop).
• Type de Réponse (AT - Answer Type) : Format de réponse attendu, de l'extraction directe à la génération synthétique.
• Variation Linguistique (LV - Linguistic Variation) : Alignement lexical entre la question et le document, de la correspondance verbatim au paraphrasage.

Chaque dimension est subdivisée en niveaux Grossier (2 catégories), Moyen (4 catégories) et Fin (8 catégories). Par exemple, la Complexité de la Question passe de "Simple/Complexe" (Grossier) à "Simple fait/Multi-faits/Transversal/Comparatif" (Moyen) puis à des types spécifiques comme "Extraction de segment", "Raisonnement multi-étapes" et "Synthèse comparative" (Fin).

2. Génération de Données Synthétiques et Configuration Expérimentale

• Source de Données : 5 872 paires question-réponse (QA) synthétiques ont été générées à partir du corpus FineWeb-10BT en utilisant DataMorgana (exploitant Claude 3.5 Sonnet).
• Pipeline RAG : Le système a été évalué sur un pipeline standard à deux étapes :
  • Récupération (Retrieval) : BM25 (via PyTerrier) récupérant $k=10$ documents à partir de segments de 512 jetons.
  • Génération : Falcon-3-10B-Instruct (température 0.6) avec instruction de refuser si l'information est insuffisante.
• Conception Expérimentale :
  • RQ1 : Évaluation de 4 dimensions (QC, AT, LV et Phrasage) à une granularité grossière pour identifier les dimensions les plus discriminantes.
  • RQ2 : Évaluation de QC, AT et LV à travers les trois niveaux de granularité (2, 4, 8 catégories) pour déterminer la granularité optimale.
  • RQ3 : Un plan factoriel $2 \times 2$ croisant la Variation Linguistique (Similaire vs Distante) avec la Complexité de la Question (Simple vs Complexe) pour tester les interactions.

3. Métriques d'Évaluation

• Métriques de Performance : Précision Moyenne Moyenne (MAP), nDCG@10, Rappel@10 pour la récupération ; Similitude Cosinus (CS), ROUGE-1 et BLEU pour la qualité de la génération.
• Pouvoir Discriminant : Défini comme l'écart-type de la qualité de génération (CS) entre les catégories au sein d'un niveau de granularité. Un écart-type élevé indique que les catégories révèlent des distinctions de performance significatives.
• Ratio de Cohérence ($\rho_{coherence}$) : Une nouvelle métrique inspirée des coefficients de silhouette de clustering pour valider la structure hiérarchique. Elle mesure si les catégories "sœurs" fines fournissent des signaux non redondants tout en restant verticalement cohérentes avec leur catégorie parente :
  $$\rho_{coherence} = \frac{\sigma_{sib}}{\delta_{vert} + \epsilon}$$
  Où $\sigma_{sib}$ est l'écart-type entre les sœurs (discrimination horizontale) et $\delta_{vert}$ est la différence absolue entre les moyennes parent et enfant (cohérence verticale). Un $\rho$ élevé indique des divisions bien calibrées ; un $\rho$ faible suggère une structure médiocre ou une redondance.
• Validation Humaine : Deux annotateurs ont évalué 110 paires QA stratifiées pour la correction, l'hallucination et l'alignement des catégories.

Résultats Clés

RQ1 : Dimensions les plus Discriminantes

Au niveau grossier, la Variation Linguistique (LV) est la dimension la plus discriminante (Plage = 0,077), malgré un rendement absolide le plus faible (MAP=0,369). Le Type de Réponse (AT) a obtenu la meilleure performance absolue (MAP=0,506) mais a montré une plus faible discrimination. La Complexité de la Question (QC) a montré la plus faible discrimination au niveau grossier (Plage = 0,010).

RQ2 : Impact de la Granularité

La granularité optimale varie considérablement selon la dimension :

• Complexité de la Question (QC) : Bénéficie de distinctions fines. Le pouvoir discriminant a augmenté de manière monotone du niveau Grossier (0,007) au niveau Fin (0,053), soit une augmentation de 7,5x. Cela suggère que distinguer les types de raisonnement spécifiques (ex: simple saut vs multi-sauts) capture des variations de performance manquées par les étiquettes grossières "Simple/Complexe".
• Type de Réponse (AT) & Variation Linguistique (LV) : Atteignent un pic à la granularité moyenne (4 catégories).
  • AT a culminé à 0,044 (Moyen) et a décliné à 0,037 (Fin).
  • LV a culminé à 0,047 (Moyen) et a décliné à 0,031 (Fin).
    Pour ces dimensions, les divisions plus fines ajoutent du bruit plutôt que du signal.

Validation Structurelle (Ratio de Cohérence)

Le Ratio de Cohérence a révélé des différences structurelles expliquant les résultats :

• AT présentait une cohérence moyenne élevée (ex: la division summary_or_explanation avait $\rho=3,31$), indiquant que ses catégories fines subdivisaient proprement le parent.
• QC avait une faible cohérence moyenne (0,40). Bien que les 8 catégories fines aient réussi à partitionner l'espace de performance (haut pouvoir discriminant), elles ne subdivisaient pas proprement leurs parents de niveau moyen, suggérant que la hiérarchie n'est pas strictement taxonomique.
• LV a montré un mauvais calibrage dans la division conceptual_rephrase ($\rho=0,04$), où les enfants fins s'écartaient substantiellement du profil de performance du parent.
• Une corrélation préliminaire ($r_{pb}=0,24$) a été observée entre le Ratio de Cohérence et l'accord humain sur les assignations de catégories, suggérant que la métrique peut servir de proxy automatisé pour la séparation sémantique.

RQ3 : Effets d'Interaction

L'interaction entre LV et QC était largement additive plutôt qu'interactive.

• Le décalage de vocabulaire (LV Distante) a provoqué une chute significative des performances quelle que soit la complexité (le MAP est passé de ~0,55 à ~0,20).
• Les distinctions de complexité n'étaient pertinentes que lorsque la récupération réussissait (LV Similaire). Lorsque la récupération échouait à cause d'un décalage de vocabulaire, la complexité devenait non pertinente.

Signification et Revendications

L'article affirme fournir une procédure portable plutôt que des vérités universelles sur la performance RAG. Ses principales contributions sont :

1. Un Cadre Hiérarchique : Une méthode pour déterminer la granularité d'évaluation optimale dans les bancs d'essai RAG, démontrant qu'une granularité "taille unique" est sous-optimale.
2. Le Ratio de Cohérence : Une métrique de validation pour aider les praticiens à déterminer si les divisions fines sont structurellement saines avant la génération de benchmarks à grande échelle.
3. Preuve Empirique : Dans la configuration spécifique BM25 + Falcon-3-10B, les auteurs montrent que différentes caractéristiques de questions nécessitent différents niveaux de granularité pour une évaluation diagnostique (Fin pour la Complexité, Moyen pour le Type de Réponse et la Variation Linguistique).
4. Jeu de Données et Code : La publication de 5 872 questions synthétiques organisées hiérarchiquement et du code associé pour la réplication.

Les auteurs notent explicitement les limites : les conclusions sont spécifiques au récupérateur BM25 et au générateur Falcon utilisés ; l'assignation à une seule dimension dans RQ1/RQ2 laisse d'autres dimensions comme des variables confondantes non contrôlées ; et la corrélation entre le Ratio de Cohérence et l'accord humain n'était pas statistiquement significative ($p=0,21$). Par conséquent, le papier positionne HieraRAG comme un outil permettant aux praticiens de diagnostiquer et de calibrer leurs propres paramètres d'évaluation RAG plutôt que de prescrire un standard de benchmark fixe.