Technische Samenvatting: Een Comparatieve Studie van Taalmodellen voor Khmer Retrieval-Augmented Question Answering

Probleemstelling

Retrieval-Augmented Generation (RAG) heeft zich ontwikkeld tot een cruciaal paradigma om output van Large Language Models (LLM) te verankeren in opgehaalde bewijsstukken, waardoor hallucinaties worden verminderd en de feitelijke nauwkeurigheid wordt verbeterd. De effectiviteit van RAG blijft echter grotendeels ononderzocht voor taakgebieden met beperkte middelen en niet-Latijnse scripts zoals Khmer. Khmer stelt unieke uitdagingen, waaronder een complex Abugida-script, beperkte geannoteerde bronnen, zwakke standaardisatie voor woordsegmentatie en de aanwezigheid van Optical Character Recognition (OCR)-ruis. In institutionele contexten, zoals telecommunicatie, worden deze uitdagingen versterkt door de behoefte aan betrouwbare, document-gebaseerde antwoorden. Bestaande evaluatiepraktijken worden sterk bepaald door Engelstalige settings en vertalen zich niet vlekkeloos naar deze omgevingen. Bijgevolg blijft het onduidelijk welke retrieval-modellen, lokaal inzetbare generators en geautomatiseerde evaluatiesignalen het meest geschikt zijn voor RAG-systemen in de Khmer-taal.

Methodologie

De auteurs presenteren een systematische studie van een privacybehoudend RAG-pipeline ontworpen voor lokaal gehoste implementatie over Khmer-documenten uit de telecommunicatiedomein. De experimentele opzet volgt een standaard twee-traps pipeline:

1. Datasetconstructie:

   • Corpus: Meer dan 7.000 chunks afgeleid van open-source ICT-documenten (kennisgevingen, wetten, richtlijnen, enz.), voornamelijk in Khmer met ingebedde Engelse technische termen.
   • Benchmarks: Een samengestelde "gouden dataset" van 200 vraag-antwoordparen afgeleid uit het corpus, die realistische burgervragen bestrijken. Elke vermelding bevat de vraag, een door domeinexperts vastgesteld grondwaarheid-antwoord en metadata.

2. Retriever-evaluatie:

   • Drie dense embedding-modellen werden gebenchmarkt voor het ophalen van top-$k$ chunks: BGE-M3 (567M), Jina-Embeddings-v3 (570M) en Qwen3-Embedding (597M).
   • De prestaties werden gemeten met standaard Informatieretrieval (IR)-metrieken: Hit Rate@k, File-level Hit Rate@k, Mean Reciprocal Rank (MRR@k) en Precision@k.

3. Generator-evaluatie:

   • Met gebruik van BGE-M3 (geïdentificeerd als de superieure retriever) werden vijf generator-backends geëvalueerd: Qwen3 (8B), Qwen3.5 (9B), Sailor2-8B-Chat, SeaLLMs-v3-7B-Chat en Llama-SEA-LION-v2-8B-IT.
   • De modellen omvatten zowel algemene meertalige LLM's als die specifiek gericht zijn op Zuidoost-Aziatische talen.

4. Evaluatiemetrieken:

   • Zes door RAGAS geïnspireerde metrieken werden toegepast, waarbij GPT-4o-mini werd gebruikt als LLM-rechter en BGE-M3 voor semantische similariteitsberekeningen:
     • Faithfulness (Betrouwbaarheid): Ratio van gegenereerde statements die aanwezig zijn in de opgehaalde context.
     • Answer Relevance (Antwoordrelevantie): Cosine-similariteit tussen de gebruikersvraag en gegenereerde vragen afgeleid van het antwoord.
     • Context Relevance (Contextrelevantie): Semantische similariteit tussen de vraag en de opgehaalde context.
     • Factual Correctness (Feitelijke juistheid): F1-score van statements die als waar/onwaar worden geclassificeerd tegenover de grondwaarheid.
     • Answer Similarity (Antwoordsimilariteit): Embedding-similariteit tussen het gegenereerde antwoord en de grondwaarheid.
     • Answer Correctness (Antwoordcorrectheid): Een gewogen som van feitelijke juistheid en antwoordsimilariteit.

Belangrijkste Bijdragen

1. Retriever-benchmarking: De studie biedt de eerste dense retrieval-benchmark voor Khmer-documenten, met analyse van effectiviteit op ruige, domein-diverse institutionele tekst.
2. Generator-vergelijking: Het vergelijkt vijf lokaal inzetbare generator-modellen om te beoordelen of regionale specialisatie (op Zuidoost-Azië gerichte modellen) meetbare winst oplevert ten opzichte van algemene meertalige modellen voor Khmer-QA.
3. Aanpassing van metrieken: Het artikel onderzoekt de bruikbaarheid en beperkingen van zes aangepaste RAGAS-stijl metrieken in een setting met beperkte middelen en niet-Latijnse scripts, en biedt empirisch bewijs over hun gedrag voor Khmer.

Resultaten

Retrieval-prestaties

BGE-M3 presteerde consistent beter dan Jina-Embeddings-v3 en Qwen3-Embedding over alle retrieval-metrieken.

• Hit Rate@3: BGE-M3 behaalde 0,285, meer dan het dubbele van Jina v3 (0,135) en significant hoger dan Qwen3-Embedding (0,175).
• File Hit Rate@3: BGE-M3 haalde een chunk uit het juiste bronbestand op in 70% van de gevallen, vergeleken met 48,5% voor Jina v3 en 52,5% voor Qwen3-Embedding.
• Observatie: Interessant genoeg behaalde Jina v3 de hoogste top-1 cosine-similariteit (0,759) maar de slechtste retrieval-nauwkeurigheid, wat benadrukt dat ruwe cosine-similariteit geen betrouwbare indicator is van retrieval-kwaliteit voor Khmer.

Generator-prestaties

Geen enkel model domineerde over alle metrieken; de prestaties varieerden op basis van de specifieke evaluatie-dimensie:

• Faithfulness: Qwen3.5-9B behaalde de hoogste score (0,859), gevolgd door SeaLLMs-v3-7B-Chat (0,846). Llama-SEA-LION-v2-8B-IT scoorde het laagst (0,556).
• Answer Relevance: SeaLLMs-v3-7B-Chat presteerde het best (0,867), wat suggereert dat regionale specialisatie helpt bij thematische responsiviteit.
• Context Relevance: Scores lagen zeer dicht bij elkaar (0,717–0,726) over alle modellen, wat bevestigt dat deze metriek voornamelijk wordt gedreven door de retriever (BGE-M3) en niet door de generator.
• Factual Correctness: Qwen3-8B behaalde de hoogste score (0,380), beter dan Qwen3.5-9B (0,303). Dit duidt op een trade-off waarbij het nieuwere, grotere Qwen3.5-model beter verankerd is in de context, terwijl het iets kleinere Qwen3-8B feitelijke details nauwkeuriger reproduceert.
• Answer Similarity & Correctness: SeaLLMs-v3-7B-Chat leidde zowel in Answer Similarity (0,836) als Answer Correctness (0,599), wat de beste algehele balans aangeeft tussen semantische nabijheid en feitelijke adequaatheid.

Betekenis en Claims

Het artikel beweert dat de bevindingen kritieke knelpunten en nuances blootleggen bij het implementeren van RAG voor talen met beperkte middelen:

1. Keuze van Retriever is een Groot Knelpunt: De bescheiden Hit Rate@3 (0,285) zelfs voor de beste retriever geeft aan dat de kwaliteit van retrieval de primaire beperking blijft voor de algehele systeemprestatie. De studie demonstreert dat methoden die in het Engels zijn gevalideerd (bijvoorbeeld het vertrouwen op ruwe cosine-similariteit) niet als identiek gedragend voor Khmer kunnen worden aangenomen.
2. Betrouwbaarheid van Metrieken: De auteurs betogen dat oordeel-gebaseerde metrieken (Faithfulness en Factual Correctness) betrouwbaardere evaluatiesignalen bieden voor Khmer-tekst dan similariteit-gebaseerde metrieken (Answer Relevance, Answer Similarity), die gevoelig zijn voor embedding-keuzes en inherente beperkingen van cosine-similariteit. Dit sluit aan bij bevindingen in de telecommunicatiedomein met betrekking tot expertoordeel.
3. Modelspecialisatie is Nuancéerd: Regionale specialisatie garandeert niet uniform superieure prestaties. Waar SeaLLMs uitblonk in relevantie en similariteit, was Qwen3.5 superieur in verankering en Qwen3-8B in feitelijke precisie. De impact van regionale targeting is sterk model-specifiek en geen gegarandeerd voordeel voor een hele familie.
4. Praktische Implementatie: De studie biedt bewijs voor practitioners dat modelselectie gedreven moet worden door specifieke doelstellingen: Qwen3.5 voor verankering, Qwen3-8B voor feitelijke nauwkeurigheid en SeaLLMs voor algehele semantische kwaliteit.

Het artikel concludeert met het benoemen van beperkingen, waaronder de afhankelijkheid van geautomatiseerde evaluatie (zonder specifieke menselijke evaluatie voor Khmer), vaste retrieval-parameters en potentiële bias van Engelstalige embedding-modellen die in de evaluatiepipeline werden gebruikt. Voor toekomstig werk wordt voorgesteld om te focussen op hybride retrieval, Khmer-specifieke tokenisatie en studies met menselijke evaluatie.