An End-to-End Ukrainian RAG for Local Deployment. Optimized Hybrid Search and Lightweight Generation

Dit artikel presenteert een efficiënt, lokaal inzetbaar RAG-systeem voor het beantwoorden van vragen over Oekraïense documenten, dat door een geoptimaliseerde hybride zoekmethode en een lichtgewicht, specifiek getraind taalmodel een tweede plaats behaalde in de UNLP 2026 Shared Task.

De kern

Stel je voor: je hebt een gigantische bibliotheek vol met duizenden Oekraïense boeken, maar je mag geen internet gebruiken en je hebt alleen een oude, trage computer. Je moet een vraag stellen, en het antwoord moet niet alleen kloppen, maar je moet ook precies kunnen aanwijzen op welke pagina het staat.

Dit is precies de uitdaging waar deze onderzoekers voor stonden. Ze hebben een systeem gebouwd dat dit razendsnel en foutloos doet. Laten we kijken hoe ze dat hebben gedaan met een paar simpele vergelijkingen.

1. De "Slimme Bibliothecaris" (Hybrid Search)

Stel je voor dat je vraagt: "Wat is de bijwerking van medicijn X?"

In plaats van elk boek één voor één te lezen (wat veel te lang duurt), gebruikt hun systeem twee methoden tegelijk:

• De 'Zoekmachine-methode' (Sparse Retrieval): Dit is als een snelle index achterin een boek. Het zoekt direct naar het exacte woord "medicijn X". Het is razendsnel, maar begrijpt de context niet.
• De 'Betekenis-methode' (Dense Retrieval): Dit is als een super-slimme bibliothecaris die begrijpt dat als jij vraagt naar "bijwerkingen", je eigenlijk bedoelt "wat doet dit middel met je lichaam?". Hij zoekt naar de betekenis, niet alleen naar de letters.

Door deze twee te combineren, vindt het systeem in een fractie van een seconde het juiste boek én de juiste pagina.

2. De "Samenvatting-Expert" (Synthetic Data)

Om de computer echt slim te maken in het Oekraïens, hadden ze veel oefenmateriaal nodig. Maar handmatig duizenden vragen en antwoorden typen duurt jaren.

Wat deden ze? Ze lieten een andere, zeer krachtige AI (een soort "super-leraar") de boeken lezen en zelf duizenden oefenvragen bedenken. Het was alsof ze een leger aan virtuele studenten inzetten om de leerboeken door te nemen en een gigantische stapel oefenexamens te maken. Hierdoor werd hun eigen systeem een expert in het herkennen van de juiste antwoorden.

3. De "Compacte Professor" (Lightweight Generation)

Normaal gesproken zijn de slimste AI-modellen zo groot als een wolkenkrabber; ze hebben enorme supercomputers nodig om te kunnen "denken". Maar deze onderzoekers moesten werken op een oude, beperkte computer (een P100 GPU).

Ze hebben de AI daarom "gecomprimeerd". Denk aan een professor die normaal gesproken een hele bibliotheek aan kennis in zijn hoofd heeft, maar die we hebben getraind om alleen de essentie te onthouden die nodig is voor dit specifieke werk. Het is alsof je een enorme encyclopedie omzet in een handzaam zakboekje: het is kleiner en lichter, maar voor de vragen die gesteld worden, is het nog steeds net zo slim.

De conclusie

Het resultaat? Dit systeem won de tweede prijs in een wereldwijde wedstrijd. Het bewijst dat je geen peperdure supercomputers nodig hebt om extreem slimme, betrouwbare en privacy-vriendelijke AI te hebben die zelfs in een taal als het Oekraïens perfect functioneert. Het is een kleine, krachtige machine die in je eigen zak (of op je eigen computer) kan draaien, zonder dat hij hoeft te "liegen" (hallucineren), omdat hij altijd kan aanwijzen waar hij de informatie vandaan heeft gehaald.

Technische samenvatting

Technische Samenvatting: Een End-to-End Oekraïense RAG voor Lokale Implementatie

Probleemstelling

Het onderzoek richt zich op de uitdagingen van Retrieval-Augmented Generation (RAG) voor de Oekraïense taal, specifiek binnen de context van de UNLP 2026 Shared Task. De kernproblemen zijn:

1. Taalbarrières: De meeste Large Language Models (LLMs) zijn geoptimaliseerd voor het Engels. Voor Oekraïense tekst (Cyrillisch schrift) fragmenteren standaard tokenizers woorden in veel te veel sub-tokens, wat leidt tot inefficiënt geheugengebruik, tragere inferentie en lagere nauwkeurigheid.
2. Hardwarebeperkingen: Het systeem moet volledig offline draaien op beperkte hardware (één enkele NVIDIA P100 GPU) binnen een strikte tijdslimiet van 9 uur.
3. Hallucinaties: LLM's hebben de neiging tot het genereren van onjuiste informatie wanneer ze worden geconfronteerd met specifieke of recente feiten die niet in hun trainingsdata zitten.

Methodologie

De auteurs hebben een modulaire pipeline ontwikkeld die bestaat uit drie hoofdfasen:

1. Data-voorbereiding en Synthetische Data-generatie:

• Extractie: Gebruik van pymupdf4llm om PDF-documenten om te zetten naar Markdown, waardoor de structurele integriteit (tabellen, koppen) behouden blijft.
• Synthetische Dataset: Om het gebrek aan trainingsdata op te lossen, hebben de auteurs een pipeline gebouwd die met behulp van gpt-4o-mini circa 7.000 synthetische meerkeuzevragen (MCQs) genereert uit de bronteksten. Dit dient voor het fine-tunen van zowel de reranker als het generatieve model.

2. Hybride Retrieval Pipeline (Twee fasen):

• Document-niveau: Een hybride zoekmethode die Dense Retrieval (via Perplexity embeddings) combineert met Sparse Retrieval (BM25). Als de resultaten van beide methoden verschillen, wordt een jina-reranker-v3 ingezet om het juiste document te identificeren.
• Pagina-niveau: Zodra het document is gevonden, wordt het opgedeeld in tekstfragmenten (chunks) van maximaal 500 tekens. Er wordt gebruikgemaakt van Reciprocal Rank Fusion (RRF) om vector-scores en BM25-scores te combineren, gevolgd door een fine-tuned bge-reranker-v2-m3 om de top-8 meest relevante fragmenten te selecteren.

3. Generatie en Grounding:

• Model: Er wordt gebruikgemaakt van MamayLM-12B (gebaseerd op Gemma 3), een model dat specifiek is geoptimaliseerd voor de Oekraïense taal.
• Fine-tuning: Het model is via LoRA (Low-Rank Adaptation) getraind om niet alleen het juiste antwoord te geven, maar ook direct de bronpagina te citeren (bijv. "A 2").
• Optimalisatie: Voor lokale implementatie is het model gecomprimeerd middels 4-bit GGUF-kwantisatie via llama.cpp, waardoor het binnen de geheugenlimieten van de P100 GPU past.

Belangrijkste Bijdragen

• Een gespecialiseerd twee-fasen hybride zoekalgoritme (document- en paginaniveau).
• Een effectieve methode voor het genereren van synthetische Oekraïense QA-datasets voor modeltraining.
• Een geoptimaliseerd en gekwantiseerd LLM dat hoge prestaties levert op beperkte, lokale hardware zonder de nauwkeurigheid op te offeren.

Resultaten

Het systeem behaalde de 2e plaats in de UNLP 2026 Shared Task.

• Score: Een score van 0,942 op de private testset.
• Efficiëntie: Het systeem voldeed exact aan de strikte tijdslimiet van 9 uur op de P100 GPU.
• Retrieval-prestaties: De twee-fasen zoekstrategie bereikte een bijna perfecte nauwkeurigheid bij het identificeren van documenten en een recall@3 van 0,92 op paginaniveau.

Betekenis

Dit werk bewijst dat hoogwaardige, verifieerbare en feitelijk juiste AI-systemen voor minderheidstalen (zoals Oekraïens) mogelijk zijn op lokale, beperkte hardware. Door de nadruk te leggen op RAG en hybride zoekmethoden, wordt de afhankelijkheid van enorme, cloud-gebaseerde modellen verminderd, wat cruciaal is voor dataprivacy en de inzetbaarheid in omgevingen met beperkte connectiviteit of rekenkracht.