🤖 AI

From Learning Resources to Competencies: LLM-Based Tagging with Evidence and Graph Constraints

Dieser Beitrag stellt eine End-to-End-Pipeline vor, die große Sprachmodelle nutzt, die durch Kompetenzgraphen und Evidenzspannen eingeschränkt sind, um Lernressourcen automatisch und transparent mit strukturierten Kompetenzen zu versehen, wobei eine überlegene Leistung im Vergleich zu bestehenden Baselines erreicht wird und gleichzeitig eine vom Menschen überprüfbare Curriculum-Analyse ermöglicht wird.

Ursprüngliche Autoren: Ngoc Luyen Le, Marie-Hélène Abel, Bertrand Laforge

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ngoc Luyen Le, Marie-Hélène Abel, Bertrand Laforge

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Bibliothekar einer riesigen, chaotischen digitalen Bibliothek, in der jedes Buch, jedes Video und jeder Quiz eine „Lernressource" darstellt. Ihr Ziel ist es, Studierenden zu helfen, die richtigen Materialien zu finden, um bestimmte Fähigkeiten (sogenannte „Kompetenzen") zu erlernen, wie etwa „Lineare Algebra" oder „Rhetorik".

Derzeit muss ein menschlicher Bibliothekar jede einzelne Seite jedes Dokuments lesen und manuell notieren, welche Fähigkeiten es vermittelt. Dies ist langsam, langweilig und fehleranfällig. Wenn der Bibliothekar eine Seite übersieht, findet der Student möglicherweise nie die Hilfe, die er benötigt.

Diese Arbeit schlägt eine neue, intelligentere Methode für diese Verschlagwortungsaufgabe vor, bei der ein Team aus drei Spezialisten zusammenarbeitet: ein Sucher, ein Intelligenter Leser und ein Logikprüfer.

Das Problem: Der „Black-Box"-Bibliothekar

Frühere Versuche, Künstliche Intelligenz (KI) für diese Verschlagwortung einzusetzen, hatten zwei große Probleme:

Es war zu viel Arbeit für Menschen: Sie mussten alles manuell überprüfen.
Die KI war eine „Black Box": Wenn die KI sagte: „Dieses PDF vermittelt 'Wahrscheinlichkeitsrechnung'", konnte sie nicht erklären, warum. Sie gab einfach eine Antwort. Wenn die Antwort falsch war, wusste niemand, wo die KI einen Fehler gemacht hatte, was das Vertrauen erschwerte.

Die Lösung: Die „LBG"-Pipeline

Die Autoren entwickelten ein System namens LBG (LLM + BM25 + Graph). Stellen Sie es sich als eine dreistufige Montagelinie vor, die unordentliche Kursmaterialien in eine perfekt organisierte Kompetenzkarte verwandelt.

Schritt 1: Der Sucher (Retrieval)

Bevor die KI versucht, die Fähigkeiten zu erraten, betrachtet sie zunächst ein „Menü" möglicher Fähigkeiten.

Die Metapher: Stellen Sie sich vor, Sie versuchen, eine Frucht zu beschreiben. Anstatt aus dem gesamten Wörterbuch der Welt zu raten (das „Auto", „Wolke" und „Toaster" enthält), bitten Sie zuerst eine Suchmaschine, die 20 Früchte zu finden, die dem ähneln, was Sie sehen.
Funktionsweise: Das System scannt das Dokument und verwendet ein schnelles Suchwerkzeug (BM25), um eine kurze Liste der wahrscheinlichsten Fähigkeiten (Kandidaten) aus der offiziellen Kompetenzliste der Universität zu extrahieren. Dies verhindert, dass die KI wilde Vermutungen anstellt.

Schritt 2: Der Intelligente Leser (Das LLM)

Nun betrachtet ein Large Language Model (der „Intelligente Leser") das Dokument und diese kurze Liste von Kandidaten.

Die Metapher: Dies ist wie ein strenger Redakteur, der nur aus den 20 Früchten wählen darf, die der Sucher gefunden hat. Der Redakteur liest einen bestimmten Absatz, wählt die beste Frucht aus der Liste aus und muss auf den exakten Satz verweisen, der dies beweist.
Die Innovation: Die KI sagt nicht einfach nur „Wahrscheinlichkeitsrechnung". Sie sagt: „Dieser Absatz vermittelt Wahrscheinlichkeitsrechnung, und hier ist der spezifische Satz: 'Die Chance, eine Sechs zu würfeln, beträgt 1 zu 6.'" Dies erzeugt eine „Beweiskette".

Schritt 3: Der Logikprüfer (Graph Constraints)

Schließlich überprüft das System den „Stammbaum" der Fähigkeiten.

Die Metapher: Stellen Sie sich einen Stammbaum vor, in dem „Fortgeschrittene Analysis" das Kind von „Grundlegende Mathematik" ist. Wenn der Logikprüfer sieht, dass ein Dokument mit „Fortgeschrittene Analysis" verschlagwortet ist, aber keine Erwähnung von „Grundlegende Mathematik" enthält, warnt er. Er löscht das Tag nicht unbedingt, prüft aber, ob die Logik Sinn ergibt. Er bereinigt auch Duplikate (z. B. wenn die KI „Mathematik" und „Analysis" für denselben winzigen Satz verschlagwortet hat, könnte er beschließen, nur die spezifischere zu behalten).

Die Ergebnisse: Wie gut hat es funktioniert?

Das Team testete dieses System an einem echten Informatikdepartment einer Universität und deckte dabei 430 verschiedene Kursmaterialien (PDFs, Quizze, Folien) und 22 verschiedene Fähigkeiten ab.

Genauigkeit: Das LBG-System war am besten darin, Dokumente korrekt mit Fähigkeiten abzugleichen. Es schlug:
- KI, die ohne Hilfe einfach riet (Zero-shot).
- KI, die einige Beispiele erhielt, aber keine Suchhilfe (Few-shot).
- Traditionelle Suchmaschinen, die nur nach ähnlichen Wörtern suchten.
- Alte Computerprogramme, die auf vergangenen Daten trainiert wurden.
Vertrauen: Da das System auf den exakten Satz (den Beweis) verweisen musste, war es für Menschen viel einfacher, die Arbeit zu überprüfen. Das von ihm erzeugte „Beweismaterial" war mechanisch valide (die Sätze existierten tatsächlich im Text).
Effizienz: Es funktionierte gut, selbst wenn das System zwischen vielen Optionen raten musste, was beweist, dass das Eingrenzen der Auswahl zuerst (Schritt 1) und das spätere Überprüfen der Logik (Schritt 3) die KI intelligenter machen.

Das Fazit

Diese Arbeit zeigt, dass Sie keine superintelligente, magische KI benötigen, um Lernmaterialien zu verschlagworten. Stattdessen erzielen Sie bessere Ergebnisse, indem Sie der KI ein begrenztes Menü zur Auswahl geben, sie zwingen, ihre Arbeit zu zeigen (den Beweis), und einen Logikprüfer einsetzen, der sicherstellt, dass die Fähigkeiten zusammen Sinn ergeben.

Dies schafft ein System, das nicht nur genau, sondern auch transparent ist und es Lehrkräften und Studierenden ermöglicht, den Tags zu vertrauen, da sie genau sehen können, wo die KI den Beweis fand.

Technisches Fazit: Von Lernressourcen zu Kompetenzen: LLM-basierte Tagging mit Evidenz und Graphen-Constraints

Problemformulierung
Der Beitrag adressiert die Herausforderung, heterogene Ressourcen eines Learning Management Systems (LMS) (z. B. PDFs, Folien, Quizfragen, Aufgaben) automatisch mit strukturierten institutionellen Kompetenzrahmenwerken in Einklang zu bringen. Während manuelles Taggen zwar präzise ist, aber arbeitsintensiv und schwer skalierbar ist, fehlt vollständig automatisierten Methoden oft die Transparenz, was sie für die Bildungsprüfung ungeeignet macht. Das Kernproblem wird definiert als die Berechnung einer ressourcenniveau-spezifischen Kompetenzzuordnung $M: R \to 2^C$ (wobei $R$ eine Menge von Ressourcen und $C$ eine Menge von Kompetenzknoten in einem gerichteten Graphen $G$ ist), die sowohl präzise als auch durch verifizierbare Evidenzspannen innerhalb des Textes nachvollziehbar ist.

Methodik: Die LBG-Pipeline
Die Autoren schlagen eine End-to-End-Pipeline vor, die als LBG (LLM+BM25+Graph) bezeichnet wird und auf Fragmentebene operiert, bevor sie auf Ressourcenebene aggregiert wird. Der Prozess besteht aus vier distincten Stufen:

Ressourcendarstellung und Fragmentierung:
Heterogene LMS-Ressourcen werden basierend auf von Dozenten erstellten Strukturen (z. B. Abschnitte, Folien, Quiz-Elemente) in pädagogische Fragmente ( $\phi(r)$ ) zerlegt. Fehlt eine explizite Struktur, erfolgt eine Segmentierung als Fallback anhand von Absatz- und Satzgrenzen. Jedes Fragment behält Metadaten zur Herkunft bei, um eine spätere Prüfung zu ermöglichen.
Kandidatengenerierung (Retrieval):
Um den Vorhersageraum einzuschränken und unkontrollierte Generierung zu vermeiden, sucht das System für jedes Fragment $x$ eine begrenzte Menge der Top- $K$ -Kandidatenkompetenzen ($Cand(x)$) zurück. Dies wird erreicht, indem der Fragmenttext mittels lexikalischer Rangfolge (BM25) mit Kompetenzprofilen (enthaltend Labels, Beschreibungen, Synonyme und Graphenkontext) verglichen wird.
LLM-basiertes Tagging mit Evidenz:
Ein Large Language Model (LLM), speziell gpt-4o-mini, fungiert als eingeschränktes semantisches Entscheidungsmodul. Gegeben ein Fragment und seine zurückgewonnene Kandidatenmenge, führt das LLM folgende Schritte aus:
- Es wählt relevante Kompetenzen ausschließlich aus der Kandidatenmenge aus.
- Es weist einen Konfidenzwert zu.
- Es extrahiert eine verifizierbare Evidenzspanne (Zeichenoffsets) aus dem Fragmenttext, die die Auswahl stützt.
  Die Ausgaben werden in einem strengen JSON-Schema formatiert, um eine maschinelle Parsbarkeit sicherzustellen.
Graphenbewusste Rekonkiliation und Aggregation:
Vorhersagen auf Fragmentebene werden unter Verwendung der strukturellen Beziehungen des Kompetenzgraphen $G$ (z. B. Voraussetzungen, hierarchische Beziehungen) verfeinert. Diese Stufe führt Folgendes durch:
- Granularitätskontrolle: Reduzierung redundanter gleichzeitiger Zuordnungen zwischen Eltern- und Kindknoten.
- Konsistenzprüfungen für Voraussetzungen: Markierung potenziell inkonsistenter Tags (z. B. eine fortgeschrittene Kompetenz, die ohne Evidenz ihrer Voraussetzungen vorhergesagt wurde), ohne eine automatische Korrektur zu erzwingen.
- Deduplizierung: Zusammenführung überlappender Vorhersagen.
  Schließlich werden Fragmentwerte aggregiert (via gewichteter Summe oder Maximum), um eine Kompetenzbewertung auf Ressourcenebene zu erzeugen, die durch einen Schwellenwert zur Generierung der endgültigen Zuordnung verwendet wird.

Hauptbeiträge

Evidenzbasiertes Tagging: Im Gegensatz zur Standardklassifikation verlangt die Pipeline vom Modell die Ausgabe spezifischer Textspannen, die jedes Tag rechtfertigen, was menschliche Prüfungen und Transparenz ermöglicht.
Eingeschränkter Entscheidungsraum: Durch die Integration von Retrieval (BM25) mit LLM-Auswahl mildert die Methode das Problem, dass LLMs Kompetenzen halluzinieren oder bei lokalen, weniger repräsentierten Rahmenwerken schlecht abschneiden.
Graphenbewusste Rekonkiliation: Der Ansatz nutzt explizit die Topologie des Kompetenzgraphen (Voraussetzungen und Hierarchien), um Vorhersagen nachzubearbeiten und strukturelle Konsistenz im endgültigen Output sicherzustellen.
End-to-End-Pipeline: Das System schließt die Lücke zwischen rohen LMS-Inhalten und strukturierten Kompetenzanalysen und operiert effektiv über heterogene Ressourcentypen hinweg.

Experimentelle Ergebnisse
Der Ansatz wurde an einem Datensatz des Fachbereichs Informatik der Université de Technologie de Compiègne (UTC) evaluiert, der 430 Ressourcen, 26 Kurseinheiten und 22 Kompetenzen umfasst. Die Evaluation verwendete eine 5-fache Kreuzvalidierung auf Ebene der Kurseinheiten.

Leistung: Die LBG-Pipeline erreichte auf Fragmentebene ein Micro-F1 von 0,571 und ein Macro-F1 von 0,504 sowie auf Ressourcenebene ein Macro-F1 von 0,507.
Vergleichsvorteil: LBG schnitt besser ab als:
- Zero-Shot- und Few-Shot-LLMs: denen Retrieval-Constraints und Graphen-Rekonkiliation fehlten.
- Retrieval-/Ähnlichkeits-Baselines: einschließlich BM25, dichter Bi-Encoder und SBERT, die Schwierigkeiten hatten, rangierte Listen in Multi-Label-Vorhersagen umzuwandeln.
- Überwachte Klassifikatoren: einschließlich LogReg, LinearSVC und eines überwachten Transformers, die sich über nicht gesehene Kurseinheiten hinweg weniger effektiv generalisierten.
Evidenzvalidität: LBG erreichte die höchste Span-Validität (0,511) unter spannerzeugenden Methoden, was darauf hindeutet, dass der eingeschränkte Ansatz die Extraktion mechanisch nachvollziehbarer Evidenz stabilisiert.
Rangfolgequalität: Die Pipeline erreichte eine Mean Reciprocal Rank (MRR) von 0,82, deutlich höher als bei Baselines, was darauf hindeutet, dass korrekte Kompetenzen in der Kandidatenliste hoch rangiert werden.

Bedeutung und Behauptungen
Der Beitrag behauptet, dass die Kombination von retrieval-eingeschränktem LLM-Tagging mit graphenbasierter Rekonkiliation eine robuste Lösung für kompetenzbasierte Curriculum-Analytik bietet. Die Autoren betonen, dass ihre Methode mechanisch nachvollziehbare Evidenzspannen erzeugt, was für menschliche Prüfungen und Bildungsanalysen entscheidend ist und die „Black-Box"-Natur standardmäßiger LLM-Ausgaben adressiert.

Die Ergebnisse deuten darauf hin, dass LLMs zwar vielversprechend für das Skill-Tagging sind, ihre Leistung bei lokalen Rahmenwerken jedoch durch Einschränkung des Labelraums via Retrieval und Erzwingung struktureller Konsistenz via Graphen-Constraints signifikant verbessert wird. Die Autoren weisen darauf hin, dass ihr Ansatz modellagnostisch ist und das Pipelinedesign Downstream-Anwendungen im LMS wie kompetenzbasiertes Retrieval, Abstimmung von Bewertungen und Analyse der Curriculum-Abdeckung unterstützt.

Limitationen
Die Autoren räumen bescheiden mehrere Limitationen ein:

Die Evaluation ist auf einen einzelnen institutionellen Rahmen (UTC Informatik) und rein textbasierte Ressourcen beschränkt.
Die Evidenzvaliditätsmetrik testet die mechanische Offset-Nachverfolgbarkeit und nicht die semantische Treue (d. h. ob der Text das Tag tatsächlich rechtfertigt).
Das System verlässt sich für das Retrieval auf Kompetenzprofiltexte, was die Leistung bei hochgradig mehrdeutigen oder impliziten Kompetenzen ohne reichhaltigere Graphen-Constraints einschränken kann.
Zukünftige Arbeiten sind erforderlich, um den Ansatz an größeren, mehrsprachigen Taxonomien (z. B. ESCO, ROME) zu validieren und die Kandidatengenerierung zu verbessern.