An End-to-End Ukrainian RAG for Local Deployment. Optimized Hybrid Search and Lightweight Generation

Ce papier présente un système RAG optimisé pour l'ukrainien, utilisant une recherche hybride en deux étapes et un modèle compressé pour permettre une génération de réponses précises et locales sur du matériel à ressources limitées.

L'essentiel

Le Défi : Le Bibliothécaire qui ne parle pas bien le Français (ou l'Ukrainien !)

Imaginez que vous entriez dans une immense bibliothèque nationale. Vous avez une question très précise sur un vieux traité de médecine ukrainien. Vous demandez de l'aide à un assistant très intelligent, mais il y a deux problèmes :

1. Il est un peu distrait : Parfois, il invente des réponses pour avoir l'air de savoir (c'est ce qu'on appelle des "hallucinations").
2. Il est "anglophone" : Il a été élevé avec des livres en anglais. Quand vous lui parlez en ukrainien, il comprend l'idée générale, mais il s'épuise à traduire chaque mot, ce qui le rend lent et parfois maladroit.

De plus, vous n'avez pas le droit d'utiliser Internet ou de gros supercalculateurs. Vous devez travailler avec un petit ordinateur portable, un peu comme si vous deviez ranger toute la bibliothèque avec une seule petite lampe de poche.

La Solution : Le Système "RAG" (Le Chercheur de Précision)

Les auteurs de ce papier ont créé un système ultra-efficace pour résoudre ce problème. Au lieu de demander à l'intelligence artificielle (IA) de répondre de mémoire, ils lui ont donné une méthode de travail en trois étapes, un peu comme un détective privé.

1. La Recherche en deux temps (Le Filtre Magique)

Au lieu de lire tous les livres de la bibliothèque d'un coup (ce qui prendrait des années), le système utilise une technique de "double filtrage" :

• Étape A (Le scanner rapide) : Il parcourt les étagères pour trouver le bon livre. C'est comme si vous balayiez la pièce du regard pour repérer la couleur de la couverture.
• Étape B (La loupe de précision) : Une fois le livre trouvé, il ne lit pas tout. Il cherche la page exacte et le paragraphe précis. C'est comme si, avec votre loupe, vous ne cherchiez que le mot spécifique dans une petite zone.

2. L'Entraînement sur mesure (Le Coach Linguistique)

Comme l'IA de base n'était pas une experte en ukrainien, les chercheurs ont créé un "entraînement spécial". Ils ont utilisé une autre IA très puissante pour générer des milliers de questions et de réponses artificielles en ukrainien.
C'est comme si on donnait à l'assistant des milliers de fiches de révision ultra-ciblées pour qu'il devienne un expert de la langue et de la structure des documents locaux.

3. La Compression (Le Mode "Sac à Dos")

Pour que tout cela tienne sur un petit ordinateur (le GPU P100 mentionné), ils ont utilisé la quantification.
Imaginez que vous deviez emporter une bibliothèque entière en voyage. Au lieu de prendre chaque livre en version grand format, vous les transformez en versions "poche" très légères. On perd un tout petit peu de détails, mais on peut enfin tout transporter dans son sac à dos et travailler n'importe où, sans connexion internet.

Le Résultat : Une Médaille d'Argent !

Le système a été testé lors d'un grand concours mondial (le UNLP 2026). Malgré les limites de puissance et la difficulté de la langue, leur méthode a terminé 2ème sur le podium.

En résumé : Ils ont prouvé qu'on n'a pas besoin d'un supercalculateur géant pour avoir une IA intelligente et fiable. Avec une bonne méthode de recherche et un entraînement ciblé, on peut avoir un expert local, rapide et très précis, capable de lire et de comprendre des documents complexes directement sur une machine ordinaire.

Résumé technique

Résumé Technique : Un système RAG de bout en bout pour l'ukrainien en déploiement local

Ce document présente la solution développée par une équipe de chercheurs pour la tâche partagée UNLP 2026, qui a obtenu la 2ème place du classement. L'objectif était de construire un système de génération augmentée par récupération (RAG) capable de répondre à des questions à choix multiples en ukrainien, tout en respectant des contraintes matérielles extrêmement strictes.

1. Problématique

Le défi repose sur trois piliers principaux :

• Spécificité linguistique : Les modèles de langage (LLM) sont majoritairement optimisés pour l'anglais. Pour l'ukrainien, les tokeniseurs standards fragmentent excessivement le texte cyrillique, ce qui sature la mémoire, ralentit l'inférence et dégrade la précision.
• Fiabilité et Hallucinations : Les LLM ont tendance à inventer des faits lorsqu'ils manquent de connaissances spécifiques. Le système doit donc fournir des réponses ancrées (grounded) dans des documents vérifiables.
• Contraintes de déploiement : L'inférence devait être réalisée entièrement hors ligne sur un seul GPU NVIDIA P100, avec une limite de temps de 9 heures pour l'ensemble du corpus, interdisant l'usage d'API tierces (comme OpenAI).

2. Méthodologie

Les auteurs ont conçu une architecture modulaire optimisée pour l'efficacité et la précision :

A. Pipeline de Récupération Hybride à deux étapes :

1. Niveau Document : Une recherche hybride combine la recherche dense (via les embeddings Perplexity) et la recherche parcimonieuse (BM25). Si les deux méthodes ne concordent pas, un ré-ordonnanceur (reranker) de type Jina est utilisé pour identifier le document pertinent.
2. Niveau Page : Une fois le document identifié, le texte est découpé en fragments (chunks) de 500 caractères respectant la structure Markdown. Une fusion de rangs réciproques (RRF) combine les scores vectoriels et BM25, suivie d'un ré-ordonnancement final par un modèle cross-encoder (BAAI/bge-reranker-v2-m3) pour sélectionner les 8 meilleurs fragments.

B. Génération et Fine-tuning :

• Modèle de base : Utilisation de MamayLM-12B, un modèle optimisé pour l'ukrainien basé sur l'architecture Gemma 3.
• Données synthétiques : Pour pallier le manque de données, les auteurs ont utilisé GPT-4o-mini pour générer un jeu de données synthétique de 7 000 questions à choix multiples à partir des documents sources.
• Adaptation (LoRA) : Le modèle a été affiné via Low-Rank Adaptation pour accomplir une tâche double : choisir la bonne réponse ET citer le numéro de la page source (ancrage).
• Optimisation de l'inférence : Pour tenir sur le GPU P100, le modèle a été quantifié en 4-bit (format GGUF) via la bibliothèque llama.cpp.

3. Contributions Clés

1. Système de recherche hybride spécialisé : Un pipeline de récupération à deux niveaux (document puis page) garantissant une précision quasi parfaite dans l'identification des sources.
2. Méthodologie de génération de données : Un pipeline automatisé pour créer des jeux de données d'entraînement de haute qualité en ukrainien à partir de documents PDF.
3. Modèle de génération léger et ancré : Un LLM de 12B paramètres, optimisé pour l'inférence locale rapide, capable de justifier ses réponses par des références documentaires.

4. Résultats

• Performance : Le système a obtenu un score de 0,942 sur le test privé (leaderboard final), démontrant une excellente capacité de généralisation à des domaines inconnus.
• Efficacité : Le pipeline a respecté la limite stricte de 9 heures sur un GPU P100.
• Précision de récupération : Le rappel à la page (page-level recall@3) a atteint 0,92 sur l'ensemble de développement.

5. Signification et Portée

Cette recherche démontre qu'il est possible de déployer des systèmes d'IA de haute précision pour des langues à ressources moyennes (comme l'ukrainien) sur du matériel grand public ou ancien, sans dépendre du cloud. L'approche souligne que, dans un système RAG, la précision de la recherche est tout aussi cruciale, sinon plus, que la puissance brute du modèle génératif. L'accent mis sur l'inférence locale garantit également une confidentialité des données et une réduction de l'empreinte environnementale.