🤖 AI

RAGEAR: Retrieval-Augmented Graph-Enhanced Academic Recommender

RAGEAR is een neurosymbolisch academisch aanbevelingssysteem dat cursusaanbevelingen verbetert door dichte retrieval van fijnmazige college-transcripten te integreren met een symbolische Kennisgrafiek, waarbij gebruik wordt gemaakt van een nieuwe grafbewuste aggregatiefunctie om metadata-only en transcript-gebaseerde basismodellen te overtreffen in rangschikkingskwaliteit.

Oorspronkelijke auteurs: Francesco Granata, Lorenzo Lamazzi, Misael Mongiovì, Francesco Poggi, Valeria Secchini

Gepubliceerd 2026-05-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Francesco Granata, Lorenzo Lamazzi, Misael Mongiovì, Francesco Poggi, Valeria Secchini

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student bent die probeert het juiste universitaire vak te kiezen. Je hebt een specifieke interesse in gedachten—misschien wil je leren "hoe je beveiligde software bouwt" of "hoe je data analyseert voor juridische zaken". Maar wanneer je naar de officiële studiegids kijkt, zijn de titels en beschrijvingen vaag. Eén vak heet "Geavanceerd Programmeren", een ander "Datastructuren". Geen van beide titels geeft duidelijk aan of ze het specifieke onderwerp behandelen waar je om geeft.

Dit is het probleem dat het RAGEAR-systeem probeert op te lossen. Denk aan RAGEAR als een superintelligente, hybride bibliothecaris die niet alleen de boektitels op het schap leest; ze leest daadwerkelijk elke enkele pagina van elk boek om het exacte antwoord op je vraag te vinden.

Hier is hoe het werkt, opgesplitst in eenvoudige onderdelen:

1. De Twee Hersenen: De "Scanner" en de "Kaart"

RAGEAR gebruikt twee verschillende "hersenen" die samenwerken:

De Scanner (Het Neuronale Deel): Stel je een robot voor die elke enkele lezingtranscriptie (de tekstversie van de videocolleges) van elk vak heeft gelezen. Wanneer je een vraag stelt, scant deze robot duizenden pagina's tekst om de specifieke zinnen of alinea's te vinden die overeenkomen met je idee. Het geeft niets om de vaktitel; het geeft om de daadwerkelijke woorden die in de klas zijn gesproken.
De Kaart (Het Symbolische Deel): Dit is een gigantische, gestructureerde kaart van de universiteit. Het weet dat "Vak A" bestaat uit "Les 1", "Les 2" en "Les 3". Het kent ook de regels: "Je hebt 3 studiepunten nodig", "Dit is voor informaticastudenten" en "Je moet eerst Wiskunde 101 volgen". Deze kaart zorgt ervoor dat de aanbevelingen logisch zijn binnen de structuur van de universiteit.

2. Het Probleem met Alleen "Samenvatten"

In het verleden zou een robot, als hij 10 overeenkomende zinnen in een vak vond, gewoon zeggen: "Dit vak is goed omdat het 10 matches heeft."

RAGEAR besefte dat dit niet genoeg is. Stel je twee vakken voor:

Vak A: Heeft 10 overeenkomende zinnen, maar ze zitten allemaal opgepropt in één enkel 5-minuten videofragment.
Vak B: Heeft 10 overeenkomende zinnen, maar ze zijn gelijkmatig verspreid over 10 verschillende colleges gedurende het hele semester.

Vak B is waarschijnlijk een betere match omdat het onderwerp een belangrijk onderdeel is van de hele les, en niet slechts een klein zijtje. De speciale truc van RAGEAR is een "Graph-Aware Aggregation" (grafbewuste aggregatie) functie. Denk hierbij aan een kwaliteitscontrolemanager die niet alleen controleert hoeveel matches je hebt gevonden, maar ook waar ze zich bevinden. Het geeft een hogere score aan vakken waar de relevante informatie verspreid is over veel lessen en dicht bij de top van de zoekresultaten verschijnt.

3. Hoe Het In De Praktijk Werkt

Je typt een vraag: "Ik wil leren over de juridische kant van gegevensprivacy."
De Scanner leest: Het duikt de transcripties in en vindt specifieke zinnen in verschillende vakken die praten over "GDPR", "datawetten" en "privacyvoorschriften".
De Kaart organiseert: Het groepeert deze zinnen terug naar hun oorspronkelijke vakken en lessen.
De Score wordt berekend: RAGEAR berekent een eindscore. Het belooft vakken die:
- Veel relevante tekst hebben.
- De meest relevante tekst hebben die vroeg in de zoekresultaten verschijnt.
- De relevante tekst hebben die in veel verschillende lessen verschijnt (wat aangeeft dat het een kernonderwerp is, en geen toeval).
Het Resultaat: Je krijgt een lijst met vakken, en het systeem toont je zelfs de exacte zinnen uit de colleges die ervoor zorgden dat het dat vak aanbeval, zodat je kunt zien waarom het een goede match is.

4. Heeft Het Gewerkt?

De onderzoekers testten dit systeem tegen twee andere methoden:

Methode 1 (De Oude Manier): Alleen kijken naar vaktitels en korte beschrijvingen (zoals alleen de boekomslag lezen).
Methode 2 (De Eenvoudige Manier): De transcripties lezen, maar gewoon de matches optellen zonder te controleren of ze verspreid waren over het vak.

De Resultaten:

Het lezen van de volledige transcripties (Methode 2) was al veel beter dan alleen het lezen van de titels (Methode 1).
Maar RAGEAR (het volledige systeem met de "kwaliteitscontrole" scoring) was het beste van allemaal. Het was bijzonder goed in het plaatsen van de meest relevante vakken helemaal bovenaan de lijst.

Samenvatting

RAGEAR is als een persoonlijke academische gids die de volledige bibliotheek met college-aantekeningen voor je leest. In plaats van te raden welk vak misschien goed is op basis van een titel, vindt het de specifieke momenten in de colleges die overeenkomen met je interesses, controleert het of die momenten verspreid zijn over de les, en geeft het je de best mogelijke aanbeveling met het bewijs waarom het ze heeft gekozen.

Technische Samenvatting: RAGEAR – Retrieval-Augmented Graph-Enhanced Academic Recommender

Probleemstelling

Aanbevelingssystemen voor academische cursussen staan voor een aanzienlijke uitdaging: studenten uiten hun leerinteresses vaak via natuurlijke taalvragen die niet overeenkomen met de formele terminologie in officiële cursusinformatie (titels, samenvattingen, syllabi). Traditionele aanbevelers die uitsluitend vertrouwen op cursusinformatie op cursusbasis kunnen weliswaar brede thematische overeenkomsten vastleggen, maar falen in het identificeren van fijnmazig conceptueel bewijs dat uitsluitend aanwezig is in daadwerkelijk instructiemateriaal. Hoewel online universiteiten over rijke bronnen beschikken, zoals volledige videocolleges en transcripties, vereist het benutten van deze gegevens een overstap van grove representaties op cursusbasis naar fijnmazige retrieval, gevolgd door een mechanisme om deze gefragmenteerde bewijzen terug te aggregeren tot betekenisvolle rangschikkingen op cursusbasis.

Methodologie

RAGEAR (Retrieval-Augmented Graph-Enhanced Academic Recommender) is een hybride neurosymbolisch systeem dat is ontworpen om deze beperkingen aan te pakken. Het integreert een neurale retrieval-component met een symbolische Kennisgraf (KG) om de kloof te overbruggen tussen ongestructureerde college-inhoud en gestructureerde academische beperkingen.

1. Systeemarchitectuur

Het systeem werkt via vier hoofdcomponenten:

Gebruikersinterface: Verzamelt vragen in natuurlijke taal over academische interesses of leerdoelen.
Kennisgraf (Symbolische Component): Een op een ontologie gebaseerde KG modelleert het academische domein, inclusief studenten, studieplannen, cursussen, lessen, studiepunten, vooropleidingen en academische disciplines. Cruciaal is dat het de instructiehiërarchie representeert: Cursus $\rightarrow$ Les $\rightarrow$ Transcriptiechunk. Deze structuur maakt deterministische symbolische filtering mogelijk (bijvoorbeeld op studiepunten of vooropleidingen) en vormt de structurele ruggengraat voor het aggregeren van retrieval-bewijzen.
Dense Retrieval Module (Neurale Component): Deze module voert dense retrieval uit over gesegmenteerde college-transcripties. Met behulp van het multilingual-e5-large sentence-transformer-model codeert het zowel de studentenquery als transcriptiechunks (coherente tekstuele eenheden die zijn afgestemd op videotijdstippen). Het retourneert de top- $k$ (specifiek top-200) chunks op basis van semantische gelijkenisscores.
Aanbevelingsalgoritme: Deze component propageert gelijkenisscores op chunk-niveau naar cursusbasis met behulp van een nieuwe grafbewuste aggregatiefunctie.

2. De RAGEAR Aggregatiefunctie

De kernmethodologische bijdrage is een scorefunctie, $RS(C, q)$, die een aanbevelingsscore op cursusbasis berekent door drie distincte componenten te vermenigvuldigen:

$RS(C, q) = GE(C, q) \cdot RE(C, q) \cdot LC(C, q)$

Globaal Bewijs ($GE$): Meet het aandeel van de totale geretrieveerde gelijkenis dat is toegewezen aan chunks die tot een specifieke cursus $C$ behoren. Dit is een genormaliseerde SumP-aggregatie die het basisvolume van bewijs vertegenwoordigt.
Geraangschikt Bewijs ($RE$): Weegt chunks op basis van hun rang in de retrieval-lijst. Hoger gerangschikte chunks (die meer lijken op de query) dragen significanter bij. Deze component gebruikt een gladmakende parameter $t_q$ om ervoor te zorgen dat hoog gerangschikt bewijs de score domineert.
Lesdekkingsgraad ($LC$): Evalueert de verdeling van relevant bewijs over de lessen van de cursus. Het belooft cursussen waarbij relevante chunks verspreid zijn over meerdere lessen in plaats van geconcentreerd in een enkel fragment. Dit wordt genormaliseerd op het totale aantal lessen om bias ten opzichte van langere cursussen te voorkomen.

Deze vermenigvuldigende benadering geeft de voorkeur aan cursussen die niet alleen een hoog volume aan relevante inhoud hebben, maar ook sterk gerangschikt bewijs bezitten dat structureel door het curriculum is verspreid.

Belangrijkste Bijdragen

Hybride Neurosymbolische Architectuur: Het artikel presenteert een systeem dat uniek dense retrieval over volledige college-transcripties combineert met een op een ontologie gebaseerde Kennisgraf. Dit stelt het systeem in staat fijnmazig instructiemateriaal te benutten terwijl het gestructureerde academische beperkingen respecteert (bijvoorbeeld studieplannen, vooropleidingen).
Grafbewuste Aggregatiefunctie: De auteurs stellen een nieuwe methode voor voor het propageren van retrieval-scores op chunk-niveau naar aanbevelingen op cursusbasis. In tegenstelling tot eenvoudige sommatiemethoden, houdt deze functie expliciet rekening met de rangkracht van geretrieveerde chunks en hun verdeling over de les-hiërarchie.
Empirische Evaluatie: De studie biedt een rigoureuze evaluatie die drie benaderingen vergelijkt:
- Dense retrieval uitsluitend op metadata.
- Genormaliseerde SumP-aggregatie op basis van transcripties (een baseline die dezelfde retrieval-scores gebruikt maar met eenvoudigere aggregatie).
- De volledige RAGEAR-aggregatie.

Resultaten

Het systeem werd geëvalueerd aan de hand van 152 studenten-achtige queries met een combinatie van menselijke evaluatie (op een subset) en een grootschalige relevantie-evaluatie op basis van een LLM (met GPT-4.1 nano, gevalideerd voor hoge overeenstemming met menselijke beoordelaars).

Transcripties versus Metadata: Het gebruik van volledige college-transcripties presteerde aanzienlijk beter dan retrieval uitsluitend op metadata over alle metrieken heen (Precision@1, nDCG@5, MAP@5), wat aantoont dat fijnmazig instructiemateriaal waardevolle informatie bevat die niet in cursusbeschrijvingen is vastgelegd.
RAGEAR versus SumP Baseline: De volledige RAGEAR-aggregatie verbeterde de rangschikingskwaliteit verder ten opzichte van de Transcript Normalized SumP-baseline.
- Precision@1 steeg met 10,69% ten opzichte van de metadata-baseline en 2,8% ten opzichte van de SumP-baseline.
- nDCG@1 verbeterde met 7,21% ten opzichte van de metadata-baseline.
- MAP@5 zag een verbetering van 17,09% ten opzichte van de metadata-baseline.
Prestaties van Top-Rangschikking: De winst was het meest uitgesproken voor aanbevelingen aan de top van de lijst (k=1, 3, 5), wat aangeeft dat de voorgestelde aggregatiefunctie bijzonder effectief is in het plaatsen van de meest relevante cursussen helemaal bovenaan de lijst.

Betekenis en Beweringen

Het artikel beweert dat RAGEAR de levensvatbaarheid aantoont van het combineren van symbolische structurele modellering met fijnmazige semantische retrieval voor academische begeleiding. De auteurs stellen dat hun primaire bijdrage niet alleen het gebruik van transcripties is, maar de specifieke grafbewuste aggregatiestrategie die chunk-niveau bewijs effectief synthetiseert tot rangschikkingen op cursusbasis.

De resultaten suggereren dat:

College-transcripties een sterkere basis vormen voor aanbevelingen dan alleen metadata.
Het aggregeren van bewijs door rekening te houden met zowel de rang van geretrieveerde chunks als hun verdeling over lessen, leidt tot superieure rangschikingskwaliteit in vergelijking met eenvoudige sommatiemethoden.

De auteurs houden een bescheiden houding ten opzichte van de evaluatie, waarbij zij opmerken dat de op LLM gebaseerde beoordeling dient als een gecontroleerde proxy voor grootschalige vergelijking in plaats van een vervanging voor longitudinale gebruikersstudies met daadwerkelijke studenten. Zij benadrukken dat de symbolische filtercomponent deterministisch is en dat de evaluatie specifiek gericht was op het vermogen van de rangschikkingcomponent om relevantie te verbeteren. Toekomstig werk is gericht op het integreren van het systeem in operationele diensten en het uitbreiden van evaluaties naar bredere academische programma's.