From Learning Resources to Competencies: LLM-Based Tagging with Evidence and Graph Constraints

Technische Samenvatting: Van Leermiddelen naar Competenties: LLM-gebaseerde Tagging met Bewijs en Grafische Beperkingen

Probleemformulering
Het artikel behandelt de uitdaging om heterogene bronnen van een Learning Management System (LMS) (bijvoorbeeld PDF's, presentaties, toetsen, opdrachten) automatisch uit te lijnen met gestructureerde institutionele competentieramen. Hoewel handmatig taggen accuraat is, is het arbeidsintensief en moeilijk schaalbaar. Volledig automatische methoden missen vaak transparantie, waardoor ze ongeschikt zijn voor educatieve audits. Het kernprobleem wordt gedefinieerd als het berekenen van een bron-georiënteerde competentie-mapping $M: R \to 2^C$ (waarbij $R$ een verzameling bronnen is en $C$ een verzameling competentienodes in een gerichte graaf $G$) die zowel accuraat is als traceerbaar via verifieerbare bewijsfragmenten binnen de tekst.

Methodologie: De LBG-pijplijn
De auteurs stellen een end-to-end pijplijn voor, genaamd LBG (LLM+BM25+Graf), die werkt op fragmentniveau voordat deze wordt geaggregeerd naar bron-niveau. Het proces bestaat uit vier distincte fasen:

1. Bronrepresentatie en Fragmentatie:
   Heterogene LMS-bronnen worden ontleed in pedagogische fragmenten ($\phi(r)$) op basis van door docenten opgestelde structuren (bijvoorbeeld secties, dia's, toetsvragen). Als expliciete structuur ontbreekt, gebruikt de fallback-segmentatie alinea- en zengrenzen. Elk fragment behoudt provenance-metadata om latere audits mogelijk te maken.

2. Generatie van Kandidaten (Retrieval):
   Om de voorspellingsruimte te beperken en ongecontroleerde generatie te voorkomen, haalt het systeem een beperkte set van top-$K$ kandidaat-competenties ($Cand(x)$) op voor elk fragment $x$. Dit wordt bereikt door de fragmenttekst te vergelijken met competentieprofielen (bevattende labels, beschrijvingen, synoniemen en grafische context) met behulp van lexicaal ranken (BM25).

3. LLM-gebaseerde Tagging met Bewijs:
   Een Large Language Model (LLM), specifiek gpt-4o-mini, fungeert als een beperkt semantisch beslismodule. Gegeven een fragment en de opgehaalde kandidaatset, doet het LLM het volgende:

   • Selecteert relevante competenties uitsluitend uit de kandidaatset.
   • Wijs een betrouwbaarheidsscore toe.
   • Extrahert een verifieerbaar bewijsfragment (karakteroffsets) uit de fragmenttekst dat de selectie ondersteunt.
     De uitvoer wordt opgemaakt in een strikt JSON-schema om machine-parsbaarheid te waarborgen.

4. Graf-bewuste Reconciliatie en Aggregatie:
   Voorspellingen op fragmentniveau worden verfijnd met behulp van de structurele relaties van de competentiegraf $G$ (bijvoorbeeld voorvereisten, hiërarchische relaties). Deze fase voert het volgende uit:

   • Granulariteitscontrole: Het verminderen van redundante co-toewijzingen tussen ouder- en kindnodes.
   • Controle op coherentie van voorvereisten: Het markeren van mogelijk inconsistente tags (bijvoorbeeld een geavanceerde competentie voorspeld zonder bewijs van de voorvereisten ervan) zonder automatische correctie af te dwingen.
   • Duplicatieverwijdering: Het samenvoegen van overlappende voorspellingen.
     Tot slot worden fragment-scores geaggregeerd (via gewogen som of maximum) om een competentiescore op bron-niveau te produceren, die wordt gethreshold om de uiteindelijke mapping te genereren.

Belangrijkste Bijdragen

• Bewijs-gegronde Tagging: In tegenstelling tot standaard classificatie vereist de pijplijn dat het model specifieke tekstfragmenten uitvoert die elke tag rechtvaardigen, wat menselijke audits en transparantie faciliteert.
• Beperkte Beslissingsruimte: Door het integreren van retrieval (BM25) met LLM-selectie, mitigeert de methode het probleem van LLM's die competenties hallucineren of slecht presteren op lokale, minder vertegenwoordigde kaders.
• Graf-bewuste Reconciliatie: De aanpak maakt expliciet gebruik van de topologie van de competentiegraf (voorvereisten en hiërarchieën) om voorspellingen na te bewerken, waardoor structurele consistentie in de uiteindelijke uitvoer wordt gewaarborgd.
• End-to-End Pijplijn: Het systeem overbrugt de kloof tussen ruwe LMS-inhoud en gestructureerde competentie-analyse, en werkt effectief over heterogene bronnen.

Experimentele Resultaten
De aanpak werd geëvalueerd op een dataset van de afdeling Informatica van de Université de Technologie de Compiègne (UTC), bestaande uit 430 bronnen, 26 cursusunits en 22 competenties. De evaluatie gebruikte 5-voudige cross-validatie op het niveau van de cursusunit.

• Prestaties: De LBG-pijplijn behaalde een Micro-F1 van 0,571 en Macro-F1 van 0,504 op fragmentniveau, en een Macro-F1 van 0,507 op bron-niveau.
• Vergelijkend Voordeel: LBG presteerde beter dan:
  • Zero-shot en Few-shot LLM's: Die geen retrieval-beperkingen en grafische reconciliatie hadden.
  • Retrieval/Similariteit-baselines: Inclusief BM25, Dense bi-encoders en SBERT, die moeite hadden bij het omzetten van gerankte lijsten naar multi-label voorspellingen.
  • Supervised Classifiers: Inclusief LogReg, LinearSVC en een Supervised Transformer, die minder effectief generaliseerden over onbekende cursusunits.
• Validiteit van Bewijs: LBG behaalde de hoogste Span Validity (0,511) onder methoden die spans produceren, wat aangeeft dat de beperkte aanpak de extractie van mechanisch traceerbaar bewijs stabiliseert.
• Kwaliteit van Ranking: De pijplijn behaalde een Mean Reciprocal Rank (MRR) van 0,82, significant hoger dan baselines, wat suggereert dat correcte competenties hoog worden gerankt in de kandidaatlijst.

Betekenis en Aanspraken
Het artikel stelt dat het combineren van retrieval-beperkte LLM-tagging met graf-gebaseerde reconciliatie een robuuste oplossing biedt voor competentiegebaseerde curriculum-analyse. De auteurs benadrukken dat hun methode mechanisch traceerbare bewijsfragmenten produceert, wat cruciaal is voor menselijke audits en educatieve analyse, en ingaat op het "black box"-karakter van standaard LLM-uitvoer.

De resultaten suggereren dat hoewel LLM's veelbelovend zijn voor vaardigheidstags, hun prestaties op lokale kaders aanzienlijk worden verbeterd door de labelruimte te beperken via retrieval en structurele consistentie af te dwingen via grafische beperkingen. De auteurs merken op dat hun aanpak model-agnostisch is en dat het pijplijndesign downstream LMS-toepassingen ondersteunt, zoals competentiegebaseerde retrieval, afstemming van beoordelingen en analyse van curriculumdekking.

Beperkingen
De auteurs erkennen bescheiden enkele beperkingen:

• De evaluatie is beperkt tot één institutioneel kader (UTC Informatica) en alleen tekstbronnen.
• De metriek voor bewijsvaliditeit test mechanische offset-traceerbaarheid in plaats van semantische trouw (d.w.z. of de tekst de tag daadwerkelijk rechtvaardigt).
• Het systeem is afhankelijk van de tekst van competentieprofielen voor retrieval, wat de prestaties kan beperken bij sterk ambigu of impliciete competenties zonder rijkere grafische beperkingen.
• Toekomstig werk is nodig om de aanpak te valideren op grotere, meertalige taxonomieën (bijvoorbeeld ESCO, ROME) en om de generatie van kandidaten te verbeteren.