An End-to-End Ukrainian RAG for Local Deployment. Optimized Hybrid Search and Lightweight Generation

Dieses Paper beschreibt ein hocheffizientes, lokal einsetzbares RAG-System für die Beantwortung ukrainischer Dokumente, das durch eine zweistufige hybride Suche und ein auf synthetischen Daten feinabgestimmtes, komprimiertes Sprachmodell den zweiten Platz bei der UNLP 2026 Shared Task erreichte.

Das Wesentliche

Der digitale Bibliothekar: Wie man einer KI das Ukrainische beibringt

Stellen Sie sich vor, Sie schicken einen extrem intelligenten, aber etwas vergesslichen Assistenten in eine riesige, staubige Bibliothek. Dieser Assistent spricht zwar viele Sprachen, aber er hat ein Problem: Er ist ein Experte für die Welt, aber er kennt die Details in den speziellen ukrainischen Fachbüchern, die in dieser Bibliothek stehen, nicht auswendig. Wenn Sie ihn etwas fragen, neigt er dazu, höflich zu raten – was in der Wissenschaft aber fatal ist (man nennt das „Halluzinieren“).

Die Forscher (Trokhymovych, Oliinyk und Nyzhnyk) haben nun ein System gebaut, das diesen Assistenten in einen perfekten digitalen Bibliothekar verwandelt. Und das Beste: Er braucht dafür keinen Supercomputer, sondern läuft auf einem ganz normalen, etwas älteren Laptop.

Hier ist ihr „Geheimrezept“ in drei Schritten:

1. Die Zwei-Stufen-Suche (Das „Suchen & Finden“-Prinzip)

Stellen Sie sich vor, Sie suchen ein bestimmtes Rezept in einem riesigen Regal. Der neue Assistent arbeitet nicht wild umher, sondern nutzt eine zweistufige Strategie:

• Schritt A (Das richtige Buch finden): Zuerst scannt er die Buchrücken. Er nutzt zwei Methoden gleichzeitig: Er schaut auf die Bedeutung (Semantik) und er sucht nach exakten Schlagworten (wie ein Index). Das ist wie ein Detektiv, der sowohl den Geruch einer Spur verfolgt als auch nach Fingerabdrücken sucht. So findet er blitzschnell das richtige Buch.
• Schritt B (Die richtige Seite finden): Wenn er das Buch hat, blättert er nicht wahllos. Er zerlegt das Buch in kleine, logische Schnipsel (wie Post-its). Er nutzt eine spezielle Technik, um sicherzustellen, dass er nicht mitten im Satz aufhört, sondern immer einen ganzen Gedanken mitnimmt. Dann findet er die exakte Seite, auf der die Antwort steht.

2. Das Spezialtraining (Die „Sprach-Schule“)

Die meisten großen KIs sind wie Studenten, die zwar viel gelesen haben, aber hauptsächlich englische Romane. Wenn sie Ukrainisch lesen, „stolpern“ sie über die Wörter, weil die Buchstaben und die Grammatik für sie ungewohnt sind. Das macht sie langsam und ungenau.

Die Forscher haben dem Assistenten eine Intensivsprachschule verpasst. Sie haben ihm tausende künstlich erzeugte Übungsaufgaben (Fragen und Antworten) auf Ukrainisch gegeben. Dadurch hat er gelernt, nicht nur die Sprache zu verstehen, sondern auch, wie man präzise und fachgerecht auf Ukrainisch antwortet.

3. Die Komprimierung (Der „Koffer-Trick“)

Ein hochintelligenter Assistent ist normalerweise riesig und schwerfällig – er braucht einen riesigen LKW (einen Supercomputer), um sich fortzubewegen. Die Forscher haben jedoch eine Technik namens „Quantisierung“ angewandt.

Stellen Sie sich vor, Sie müssten Ihr ganzes Haus in einen Reisekoffer packen. Sie nehmen nicht jedes einzelne Staubkorn mit, sondern packen nur das Wesentliche, das sehr dicht gepackt ist. Das Modell wurde „schlank“ gemacht, sodass es trotz seiner hohen Intelligenz auf eine kleine, begrenzte Hardware (eine einzelne Grafikkarte) passt, ohne dabei zu dumm zu werden.

Das Ergebnis

Dieses System hat bei einem großen Wettbewerb (UNLP 2026) den 2. Platz belegt.

Warum ist das wichtig?
Es zeigt, dass wir keine riesigen, teuren Cloud-Server aus den USA brauchen, um hochpräzise, sichere und sprachlich korrekte KI-Systeme für Sprachen wie Ukrainisch zu betreiben. Man kann die Intelligenz direkt „vor Ort“ (lokal) haben – sicher, schnell und effizient.

Technische Zusammenfassung

Technische Zusammenfassung: Ein End-to-End ukrainisches RAG-System für die lokale Bereitstellung

Problemstellung

Das Paper adressiert die Herausforderungen bei der Implementierung von Retrieval-Augmented Generation (RAG) für Sprachen mit mittleren Ressourcen, speziell für die ukrainische Sprache. Die Hauptprobleme sind:

1. Sprachspezifische Ineffizienz: Standard-Tokenizer fragmentieren kyrillische Texte in zu viele Subword-Einheiten, was den Speicherverbrauch erhöht, die Inferenz verlangsamt und die Genauigkeit verringert.
2. Hardware-Beschränkungen: Die Notwendigkeit, hochpräzise Antworten auf spezialisierten Domänenwissen zu liefern, unterliegt strengen Ressourcenlimits (lokale Ausführung auf einer einzelnen NVIDIA P100 GPU innerhalb eines 9-Stunden-Fensters).
3. Halluzinationen: LLMs neigen bei spezifischem oder neuem Wissen zu Fehlern, was eine präzise Verankerung (Grounding) in verifizierbaren Dokumenten erfordert.

Methodik

Die Autoren entwickelten eine modulare Pipeline, die auf einem zweistufigen Suchverfahren und einem spezialisierten Sprachmodell basiert:

1. Datenaufbereitung:

   • Verwendung von pymupdf4llm zur layout-bewussten Extraktion von PDFs in Markdown, um Tabellen und Strukturen zu erhalten.
   • Lexikalische Vorverarbeitung mittels Lemmatisierung (pymorphy3) und Entfernung von Stoppwörtern zur Rauschreduzierung.

2. Hybrid-Retrieval-Pipeline (Zweistufig):

   • Dokumenten-Ebene: Identifikation des relevantesten Dokuments durch eine Kombination aus Dense Retrieval (Perplexity-Embeddings) und Sparse Retrieval (BM25). Bei Unklarheiten wird ein Reranker (jina-reranker-v3) eingesetzt.
   • Seiten-Ebene: Innerhalb des Dokuments erfolgt ein syntaktisches Chunking (max. 500 Zeichen). Die Suche kombiniert Vektor-Ähnlichkeit und BM25 mittels Reciprocal Rank Fusion (RRF). Ein spezialisierter Cross-Encoder (bge-reranker-v2-m3) verfeinert die Top-8-Kandidaten.

3. Modell-Training und Generierung:

   • Synthetische Daten: Da Trainingsdaten knapp waren, wurde eine Pipeline mit gpt-4o-mini erstellt, um ca. 7.000 Multiple-Choice-Fragen (MCQs) aus den Quelldokumenten zu generieren.
   • Fine-Tuning: Das Modell MamayLM-12B (basierend auf Gemma 3) wurde mittels Low-Rank Adaptation (LoRA) darauf trainiert, nicht nur die richtige Antwort zu geben, sondern auch die entsprechende Seitenzahl zu nennen (Grounding).
   • Optimierung: Zur lokalen Bereitstellung wurde das Modell mittels 4-Bit-Quantisierung (GGUF-Format via llama.cpp) komprimiert.

Wichtigste Beiträge (Key Contributions)

• Spezialisierte zweistufige Hybrid-Suche: Ein effizientes System zur Identifikation von Dokumenten und spezifischen Textstellen.
• Synthetische Datengenerierung: Eine Methode zur Erstellung hochwertiger ukrainischer QA-Datensätze für das Fine-Tuning.
• Optimiertes lokales LLM: Ein auf ukrainische Linguistik und schnelle lokale Inferenz (durch Quantisierung und LoRA) zugeschnittenes Modell.

Ergebnisse

Das System erreichte den 2. Platz beim UNLP 2026 Shared Task.

• Metriken: Auf dem privaten Testset wurde ein Score von 0,942 erreicht.
• Effizienz: Die Pipeline erfüllte die strengen Hardware-Vorgaben und konnte die gesamte Testmenge innerhalb des 9-Stunden-Limits auf einer P100 GPU verarbeiten.
• Präzision: Die zweistufige Suche erreichte eine nahezu perfekte Genauigkeit bei der Dokumentenidentifikation und einen Recall@3 von 0,92 auf Seitenebene.

Bedeutung (Significance)

Die Arbeit beweist, dass hochpräzise, verifizierbare und sprachspezifische KI-Systeme auch auf ressourcenbeschränkter Hardware und offline betrieben werden können. Dies ist von entscheidender Bedeutung für Anwendungen, die hohe Anforderungen an den Datenschutz (Data Privacy) und die Informationsintegrität stellen, insbesondere in Sprachen, die von den großen kommerziellen LLM-Anbietern oft vernachlässigt werden.