Résumé Technique : KNIGHT

Énoncé du Problème

L'avancement rapide des modèles de langage de grande taille (LLM) les a rendus centraux dans des applications telles que la génération augmentée par récupération (RAG). Cependant, l'évaluation de ces systèmes se heurte à un goulot d'étranglement important : le temps, le coût et l'expertise requis pour construire des ensembles de données d'évaluation spécialisés et de haute qualité. Les ensembles de données d'évaluation publics existants sont souvent rares en raison de restrictions propriétaires, tandis que les benchmarks standards comme MMLU sont largement statiques, difficiles à mettre à jour et manquent de contrôle précis de l'instructeur sur la difficulté par sujet ou sur les structures de raisonnement multi-sauts. De plus, les efforts antérieurs de génération automatisée de jeux de données manquent de cadres open-source, largement adoptés et reproductibles, capables de générer des questions avec une difficulté contrôlée sans ré-ingérer de manière répétée de longs textes sources.

Méthodologie

Les auteurs introduisent KNIGHT (Knowledge-graph-driven Natural Item Generation with Adaptive Hardness Tuning), un cadre entièrement automatisé conçu pour synthétiser des jeux de données de questions à choix multiples (QCM) à grande échelle et spécifiques à un sujet, à partir de collections de documents et d'ontologies externes. Le cadre fonctionne via un pipeline en quatre étapes :

1. Construction du Graphe de Connaissances (KG) : Étant donné un sujet défini par l'utilisateur $\tau$, le système construit un graphe de propriétés dirigé $G=(V, E, R)$ via une boucle de récupération-génération-filtrage.

   • Récupération et Synthèse : Il récupère des preuves classées à partir de sources (ex: Wikipédia) et utilise un LLM pour générer un glossaire structuré en huit points (description) pour l'entité de départ.
   • Induction de Triplets : Le système extrait des triplets sujet-prédicat-objet de ces descriptions, en filtrant les doublons quasi-identiques.
   • **Curation et Expansion : en tant que module de curation, il applique des vérifications de type (instanciées avec Wikidata), des vérifications de cohérence par inférence de langage naturel (NLI) et un filtrage de politique de contenu. Le graphe s'étend en largeur jusqu'à une limite de profondeur définie par l'utilisateur $d_{max}$, créant une représentation compacte et réutilisable des entités et des relations.

2. Synthèse de QCM : Le système génère des questions en parcourant des chemins multi-sauts au sein du KG construit.

   • Il échantillonne des chemins de longueur (profondeur) et d'orientation (direct ou inverse) configurables.
   • Les glossaires des nœuds et les étiquettes de relation sont verbalisés dans un modèle de contexte, qui incite un LLM à générer un énoncé de question, une seule réponse correcte et trois distracteurs sémantiquement proches.

3. Calibrage de la Difficulté : La difficulté est explicitement contrôlée via la longueur du chemin (nombre de sauts) et le niveau d'abstraction au sein du KG. Le système valide que les chemins plus longs sont corrélés à une augmentation de l'incertitude du modèle (entropie) et de la difficulté perçue par l'humain.

4. Validation et Filtrage : Un LLM validateur évalue les items candidats selon cinq critères adaptés des meilleures pratiques de rédaction de questions :

   • Fluidité grammaticale.
   • Unicité de la réponse correcte (absence d'ambiguïté).
   • Unicité des options (distracteurs non chevauchants).
   • Répondabilité à partir des preuves fournies (servant de proxy pour l'hallucination).
   • Pertinence du sujet.
     Les items échouant à l'un de ces critères sont écartés.

Le cadre est instancié en utilisant Wikipédia/Wikidata comme ontologie mais est conçu pour être agnostique vis-à-vis du domaine et de l'ontologie. Il utilise GPT-4o-mini pour tous les appels LLM afin de maintenir un paramètre d'évaluation conscient du coût et des tokens.

Contributions Clés

• Représentation de KG Réutilisable : KNIGHT introduit une méthode pour construire un KG spécifique à un sujet une seule fois et le mettre en cache, permettant la génération de multiples variantes de questions (différents niveaux de difficulté, formats et cibles) sans ré-injecter de manière répétée de longs documents sources. Cela réduit considérablement l'utilisation de tokens et le coût par rapport à un prompting naïf ou aux baselines RAG standards.
• Contrôle Adaptatif de la Dureté : En exploitant la profondeur du graphe et la structure des chemins, KNIGHT permet un contrôle explicite de la difficulté des questions, facilitant la création d'évaluations alignées sur un curriculum avec des exigences de raisonnement multi-sauts.
• Pipeline d'Évaluation Complet : Le cadre intègre l'extraction basée sur le RAG, la génération guidée par le KG et la validation par LLM dans un pipeline modulaire qui atténue l'hallucination et garantit la validité pédagogique.
• Implémentation Open-Source : Les auteurs fournissent un package public sur PyPI et GitHub, offrant une alternative reproductible et efficace en termes de tokens par rapport aux benchmarks statiques.

Résultats Expérimentaux

Les auteurs ont évalué KNIGHT sur six jeux de données en Histoire, Biologie et Mathématiques, couvrant deux niveaux de difficulté (Niveau 1 et Niveau 3). Ils ont comparé le KNIGHT complet à des ablations : Plain (sans preuve), RAG (preuve uniquement), RAG+KG (preuve + KG, sans validateur), et RAG+Val (preuve + validateur, sans KG).

• Métriques de Qualité : KNIGHT a obtenu des scores élevés en qualité linguistique (fluidité, grammaire) et a nettement surpassé les baselines en termes de métriques de validité. Il a produit les taux les plus bas d'items "inanswerable" (proxy d'hallucination), de clés ambiguës et d'options dupliquées.
• Calibrage de la Difficulté : L'analyse de l'entropie prédictive utilisant un modèle de sonde fixe (LLaMA 3.2-3B) a montré que KNIGHT a réussi à générer des items plus difficiles au Niveau 3 (entropie plus élevée, précision de la sonde plus faible) par rapport au Niveau 1. Crucialement, l'augmentation de la difficulté n'a pas dégradé la validité des items.
• Qualité des Distracteurs : L'approche guidée par le KG (RAG+KG) a été identifiée comme le principal moteur de la génération de distracteurs compétitifs (entropie plus élevée), tandis que le RAG seul ou la validation seule n'ont pas réussi à induire une séparation de difficulté significative.
• Utilité du Benchmark : Le classement des modèles sur les jeux de données KNIGHT s'aligne étroitement sur les benchmarks établis comme MMLU, ARC et CSQA, suggérant que les jeux de données générés capturent les facteurs de compétence en QA générale.
• Efficacité : Le cadre a démontré une efficacité de tokens, utilisant en moyenne ~600 tokens par question en réutilisant le KG mis en cache, comparativement aux coûts plus élevés de la ré-ingestion de contextes longs dans les approches RAG standards. Les temps de génération sur du matériel courant (Google Colab T4) étaient pratiques (quelques minutes à environ 40 minutes par jeu de données).

Signification et Revendications

Le papier positionne KNIGHT non pas simplement comme un nouveau jeu de données, mais comme un générateur de benchmarks scalable et à bas coût. Sa principale signification réside dans le traitement du goulot d'étranglement de la curation de données pour l'évaluation des LLM. En découplant la phase coûteuse d'extraction de connaissances (construction du KG) de la phase de génération, KNIGHT permet :

1. Rafraîchissement Rapide : Contrairement aux benchmarks statiques qui nécessitent un effort d'expert substantiel pour être mis à jour, KNIGHT permet des mises à jour fréquentes et spécifiques à un sujet.
2. Contrôle de l'Instructeur : Il offre un contrôle explicite sur la difficulté et la structure multi-sauts, ce qui manque souvent aux suites à large couverture statiques.
3. Rentabilité : Il offre une alternative efficace en termes de tokens aux pipelines de prompting naïfs, rendant l'évaluation de haute qualité accessible sans coûts de calcul prohibitifs.

Les auteurs concluent que KNIGHT complète les benchmarks larges existants en offrant un outil flexible, reproductible et adaptable au domaine pour créer des ensembles d'évaluation rigoureux et fondés sur des faits. Ils reconnaissent les limites concernant la généralisation aux domaines de calcul intensif (ex: physique) et la présence résiduelle d'hallucinations, mais affirment que le cadre améliore substantiellement la validité par rapport aux approches de type recherche seule.