Technische Samenvatting: Een lokaal geïmplementeerd RAG-gebaseerd academisch adviesysteem voor cursusselectie

Probleemstelling

Studenten hebben vaak moeite met het construeren van optimale cursussequenties vanwege informatieoverbelasting, beperkingen in herkenning en de complexiteit van vereisten die te vinden zijn in uitgebreide syllabi. Daartegenover staan onderwijsinstellingen die uitdagingen ervaren bij het bieden van adequate, gepersonaliseerde academische begeleiding vanwege beperkte middelen en de zware werkdruk van menselijke adviseurs. Hoewel AI-gestuurde chatbots een potentiële oplossing bieden, missen standaard generatieve AI-modellen toegang tot instellingsspecifieke, actuele syllabusgegevens, en vereist het trainen van specifieke modellen computationele middelen die buiten het bereik van veel organisaties liggen. Bovendien maken bestaande Retrieval-Augmented Generation (RAG)-systemen vaak gebruik van fixed-size chunking-strategieën die er niet in slagen de semantische integriteit van semi-gestructureerde syllabusdocumenten (bijv. tabellen, metadata, sectietitels) te behouden, wat leidt tot een verslechterde kwaliteit van de retrieval.

Methodologie

De auteurs stellen Syllabot voor, een lokaal geïmplementeerd RAG-systeem ontworpen om studenten te ondersteunen bij cursusselectie met behulp van syllabusinformatie, terwijl de privacy van gegevens gewaarborgd blijft.

Systeemarchitectuur

Het systeem werkt volgens een vierfasige workflow:

1. Preprocessing: Syllabusdocumenten worden omgezet in header-gebaseerde chunks verrijkt met metadata (bronpad en beknopte syllabusinformatie).
2. Indexing: Chunks worden geïndexeerd voor retrieval.
3. Retrieval: Gegeven een studentenquery voert het systeem relevante chunks op drie manieren terug via één van de volgende strategieën:
   • BM25: Lexicale retrieval met gebruik van Janome voor Japanse tokenisatie.
   • Semantic Retrieval: Embedding-gebaseerde retrieval met multilingual-e5-large en Pinecone.
   • Hybrid Retrieval: Een combinatie van lexicale en semantische resultaten gefuseerd via Reciprocal Rank Fusion (RRF).
4. Generation: Een lokaal uitgevoerd Large Language Model (LLM), specifiek RakutenAI-7B-instruct, genereert antwoorden uitsluitend op basis van de opgehaalde context. De temperatuur is ingesteld op 0.0 om consistentie te waarborgen.

Evaluatiekader

Om de prestaties rigoureus te beoordelen, introduceert de studie een retrieval-georiënteerde query-taxonomie gebaseerd op retrieval-complexiteit (gedefinieerd door het aantal vereiste "gold chunks" en lexicale overlap):

• Lexical Match Queries: Enkele gold chunk, hoge keyword overlap.
• Semantic Paraphrase Queries: Enkele gold chunk, lage keyword overlap.
• Multi-evidence Synthesis Queries: Meerdere gold chunks vereist.
• Out-of-scope Queries: Geen gold chunks (gebruikt om weigeringsgedrag te testen).

Evaluatiequeries werden automatisch gegenereerd vanuit vooraf gedefinieerde gold chunks met behulp van een LLM. Het systeem werd geëvalueerd met behulp van:

• Retrieval Metrics: Gold Chunk Precision@K en Recall@K.
• Generation Metrics: Faithfulness (verankering in context) en Answer Relevance.
• Boundary Metric: Refusal Rate op out-of-scope queries.

Belangrijkste Bijdragen

1. Systeemimplementatie: Een privacy-bewarend, lokaal geïmplementeerd RAG-systeem voor academisch advies dat de afhankelijkheid van externe cloud-API's vermindert.
2. Taxonomie & Generatie: Een nieuwe retrieval-georiënteerde query-taxonomie en een geautomatiseerde methode voor het genereren van evaluatiequeries met gold chunk-labels, wat een granulaire analyse van de complexiteit van de retrieval mogelijk maakt.
3. Evaluatiemetrieken: De voorstel van Gold Chunk Precision@K en Recall@K om direct het vermogen van de retriever te meten om noodzakelijke bewijslast te verzamelen.
4. Empirische Analyse: Een uitgebreide evaluatie die aantoont dat de effectiviteit van de retrieval-strategie significant varieert op basis van het type en de complexiteit van de query.

Experimentele Resultaten

De studie maakte gebruik van een corpus van 97 Japanse universitaire cursussen en een evaluatieset van 100 queries.

• Baseline: Een LLM-only baseline (zonder RAG) weigerde 93,3% van de beantwoorde queries, wat de noodzaak van externe syllabusgegevens voor dit domein bevestigt.
• Retrieval Prestaties:
  • Lexical Match: Dense (semantische) retrieval presteerde competitief en behaalde de hoogste Precision@K, wat de aanname uitdaagt dat BM25 superieur is voor keyword-rijke queries in deze corpus.
  • Semantic Paraphrase: Zoals verwacht presteerden dense en hybride retrieval aanzienlijk beter dan BM25.
  • Multi-evidence Synthesis: Hybride retrieval vertoonde geen duidelijk voordeel ten opzichte van dense retrieval; beide presteerden beter dan BM25 op het gebied van Recall, hoewel de Precision van BM25 snel daalde naarmate Top-k toenam.
  • Hybride Beperking: Fixed-weight hybride fusie (RRF) presteerde niet consistent beter dan dense retrieval, wat suggereert dat non-gold chunks van de ene strategie de andere kunnen verwateren.
• Generatiekwaliteit: Naarmate het aantal opgehaalde chunks (Top-k) toenam, nam de Faithfulness af na Top-10, wat aangeeft dat excessieve context ruis introduceert die de prestaties van het lichtgewicht lokale LLM verslechtert.
• Boundary Capability: De weigeringspercentages voor out-of-scope queries daalden naarmate Top-k toenam. Het model werd vatbaarder voor het hallucineren van plausibele maar ononderbouwde antwoorden wanneer het werd voorzien van grotere, potentieel oppervlakkig gerelateerde contexten.

Betekenis en Claims

Het paper claimt dat Syllabot succesvol aantoont dat lokaal geïmplementeerde RAG-systemen levensvatbaar zijn voor academisch advies, en een privacy-bewuste alternatief biedt voor cloud-gebaseerde oplossingen. De studie benadrukt dat retrieval-complexiteit de effectiviteit van de strategie bepaalt; een "one-size-fits-all" retrieval-aanpak is suboptimaal. Specifiek betogen de auteurs dat hoewel dense retrieval goed presteerde in hun syllabus-corpus, vaste hybride strategieën mogelijk niet noodzakelijk of optimaal zijn.

De auteurs erkennen bescheiden de beperkingen, waarbij zij opmerken dat lexicale retrieval (BM25) voordelen behoudt voor documenten met onderscheidende termen en dat huidige evaluatiemetrieken zoals "Answer Relevance" correcte weigeringen kunnen bestraffen of plausibele maar onjuiste antwoorden kunnen belonen. Bijgevolg concludeert het paper dat toekomstig werk zich moet richten op evidence-oriented retrieval (het identificeren van chunks die bewijs leveren in plaats van alleen semantische gelijkenis) en evidence-based generation evaluatie om de risico's op hallucinaties in academische adviessystemen verder te verminderen.