From Learning Resources to Competencies: LLM-Based Tagging with Evidence and Graph Constraints

Résumé technique : Des ressources d'apprentissage aux compétences : Étiquetage basé sur les LLM avec preuves et contraintes de graphe

Formulation du problème
L'article aborde le défi de l'alignement automatique de ressources hétérogènes d'un Système de Gestion de l'Apprentissage (LMS) (par exemple, PDF, diapositives, quiz, devoirs) avec des cadres de compétences institutionnels structurés. Bien que l'étiquetage manuel soit précis, il est laborieux et difficile à mettre à l'échelle. Les méthodes entièrement automatiques manquent souvent de transparence, ce qui les rend inadaptées à l'audit éducatif. Le problème central est défini comme le calcul d'une cartographie de compétences au niveau des ressources $M: R \to 2^C$ (où $R$ est un ensemble de ressources et $C$ un ensemble de nœuds de compétences dans un graphe orienté $G$) qui soit à la fois précise et traçable grâce à des segments de preuve vérifiables au sein du texte.

Méthodologie : Le pipeline LBG
Les auteurs proposent un pipeline de bout en bout, nommé LBG (LLM+BM25+Graphe), qui opère au niveau des fragments avant d'agréger au niveau des ressources. Le processus se compose de quatre étapes distinctes :

1. Représentation et fragmentation des ressources :
   Les ressources LMS hétérogènes sont décomposées en fragments pédagogiques ($\phi(r)$) basés sur des structures rédigées par l'enseignant (par exemple, sections, diapositives, éléments de quiz). Si la structure explicite fait défaut, une segmentation de repli utilise les limites de paragraphes et de phrases. Chaque fragment conserve des métadonnées de provenance pour permettre un audit ultérieur.

2. Génération de candidats (Récupération) :
   Pour contraindre l'espace de prédiction et éviter une génération non contrainte, le système récupère un ensemble borné des $K$ meilleures compétences candidates ($Cand(x)$) pour chaque fragment $x$. Cela est réalisé en comparant le texte du fragment aux profils de compétences (contenant des étiquettes, des descriptions, des synonymes et un contexte de graphe) à l'aide d'un classement lexical (BM25).

3. Étiquetage basé sur les LLM avec preuves :
   Un Grand Modèle de Langage (LLM), spécifiquement gpt-4o-mini, agit comme un module de décision sémantique contraint. Étant donné un fragment et son ensemble de candidats récupérés, le LLM :

   • Sélectionne les compétences pertinentes exclusivement à partir de l'ensemble de candidats.
   • Attribue un score de confiance.
   • Extrait un segment de preuve vérifiable (décalages de caractères) du texte du fragment soutenant la sélection.
     Les sorties sont formatées selon un schéma JSON strict pour garantir une parsabilité par machine.

4. Réconciliation et agrégation conscientes du graphe :
   Les prédictions au niveau des fragments sont affinées en utilisant les relations structurelles du graphe de compétences $G$ (par exemple, prérequis, relations hiérarchiques). Cette étape effectue :

   • Contrôle de la granularité : Réduction des co-attributions redondantes entre les nœuds parents et enfants.
   • Vérifications de cohérence des prérequis : Signalement des étiquettes potentiellement incohérentes (par exemple, une compétence avancée prédite sans preuve de ses prérequis) sans imposer de correction automatique.
   • Dédoublonnage : Fusion des prédictions se chevauchant.
     Enfin, les scores des fragments sont agrégés (par somme pondérée ou maximum) pour produire un score de compétence au niveau des ressources, qui est ensuite seuillé pour générer la cartographie finale.

Contributions clés

• Étiquetage ancré sur des preuves : Contrairement à la classification standard, le pipeline exige que le modèle produise des segments de texte spécifiques justifiant chaque étiquette, facilitant ainsi l'audit humain et la transparence.
• Espace de décision contraint : En intégrant la récupération (BM25) avec la sélection par LLM, la méthode atténue le problème des LLM hallucinant des compétences ou performant mal sur des cadres locaux moins représentés.
• Réconciliation consciente du graphe : L'approche utilise explicitement la topologie du graphe de compétences (prérequis et hiérarchies) pour post-traiter les prédictions, garantissant une cohérence structurelle dans la sortie finale.
• Pipeline de bout en bout : Le système comble le fossé entre le contenu brut du LMS et l'analyse structurée des compétences, opérant efficacement sur des types de ressources hétérogènes.

Résultats expérimentaux
L'approche a été évaluée sur un ensemble de données du département d'informatique de l'Université de Technologie de Compiègne (UTC), comprenant 430 ressources, 26 unités d'enseignement et 22 compétences. L'évaluation a utilisé une validation croisée à 5 plis au niveau de l'unité d'enseignement.

• Performance : Le pipeline LBG a atteint un Micro-F1 de 0,571 et un Macro-F1 de 0,504 au niveau des fragments, et un Macro-F1 de 0,507 au niveau des ressources.
• Avantage comparatif : LBG a surpassé :
  • Les LLM Zero-shot et Few-shot : Qui manquaient de contraintes de récupération et de réconciliation de graphe.
  • Les bases de référence par récupération/similarité : Y compris BM25, les bi-encodeurs denses et SBERT, qui peinaient à convertir les listes classées en prédictions multi-étiquettes.
  • Les classificateurs supervisés : Y compris LogReg, LinearSVC et un Transformer supervisé, qui généralisaient moins efficacement sur des unités d'enseignement non vues.
• Validité des preuves : LBG a obtenu la validité de segment la plus élevée (0,511) parmi les méthodes produisant des segments, indiquant que l'approche contrainte stabilise l'extraction de preuves mécaniquement traçables.
• Qualité du classement : Le pipeline a atteint un Mean Reciprocal Rank (MRR) de 0,82, nettement supérieur aux bases de référence, suggérant que les compétences correctes sont classées hautement dans la liste des candidats.

Signification et affirmations
L'article affirme que la combinaison de l'étiquetage par LLM contraint par la récupération avec une réconciliation basée sur le graphe offre une solution robuste pour l'analyse de curriculum fondée sur les compétences. Les auteurs soulignent que leur méthode produit des segments de preuve mécaniquement traçables, ce qui est crucial pour l'audit humain et l'analyse éducative, répondant ainsi à la nature « boîte noire » des sorties standard des LLM.

Les résultats suggèrent que, bien que les LLM montrent des promesses pour l'étiquetage des compétences, leurs performances sur des cadres locaux sont considérablement améliorées en contraignant l'espace des étiquettes via la récupération et en imposant une cohérence structurelle via des contraintes de graphe. Les auteurs notent que leur approche est agnostique au modèle et que la conception du pipeline prend en charge les applications LMS en aval telles que la récupération basée sur les compétences, l'alignement des évaluations et l'analyse de la couverture du curriculum.

Limites
Les auteurs reconnaissent modestement plusieurs limites :

• L'évaluation est restreinte à un seul cadre institutionnel (Informatique UTC) et à des ressources textuelles uniquement.
• La métrique de validité des preuves teste la traçabilité mécanique des décalages plutôt que la fidélité sémantique (c'est-à-dire si le texte justifie réellement l'étiquette).
• Le système repose sur le texte des profils de compétences pour la récupération, ce qui peut limiter les performances sur des compétences hautement ambiguës ou implicites sans contraintes de graphe plus riches.
• Des travaux futurs sont nécessaires pour valider l'approche sur des taxonomies plus vastes et multilingues (par exemple, ESCO, ROME) et pour améliorer la génération de candidats.