💬 NLP

A Comparative Study of Language Models for Khmer Retrieval-Augmented Question Answering

Cet article présente une étude comparative d'un système de génération augmentée par la recherche pour des documents télécoms en langue khmère, identifiant BGE-M3 comme le meilleur récupérateur et démontrant que, bien qu'aucun modèle générateur unique ne domine toutes les métriques de performance, différents modèles excellent dans des domaines spécifiques tels que la fidélité, l'exactitude factuelle ou la similarité sémantique.

Auteurs originaux : Sereiwathna Ros, Phannet Pov, Ratanaktepi Chhor, Kimleang Ly, Wan-Sup Cho, Saksonita Khoeurn

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sereiwathna Ros, Phannet Pov, Ratanaktepi Chhor, Kimleang Ly, Wan-Sup Cho, Saksonita Khoeurn

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de répondre à une question très précise sur les lois télécoms cambodgiennes, mais que vous ne connaissez pas la réponse par cœur. Vous disposez d'une immense bibliothèque de documents (le « récupérateur ») et d'un assistant très intelligent et bavard (le « générateur ») capable de lire ces documents et de rédiger une réponse pour vous.

Ce papier est comparable à un test de goût et une évaluation de performance de différents outils utilisés pour construire ce système, spécifiquement pour la langue khmère (la langue du Cambodge). Étant donné que le khmer utilise un alphabet unique et dispose de moins de ressources numériques que l'anglais, les chercheurs voulaient déterminer quels outils fonctionnent le mieux ensemble.

Voici le détail de leur expérience, expliqué simplement :

1. Le Bibliothécaire (Le Récupérateur)

Premièrement, l'équipe avait besoin d'un « Bibliothécaire » dont le travail consiste à trouver les bonnes pages dans la bibliothèque lorsque vous posez une question. Ils ont testé trois bibliothécaires différents (modèles d'IA) :

BGE-M3
Jina-Embeddings-v3
Qwen3-Embedding

Le Résultat : BGE-M3 était le gagnant clair. C'était comme avoir un bibliothécaire qui connaît réellement le système de classification décimale de Dewey.

Lorsqu'on lui demandait de trouver le bon document, BGE-M3 trouvait le fichier source correct 70 % du temps.
Les deux autres bibliothécaires ne trouvaient le bon fichier que 50 % du temps.
Un retournement intéressant : L'un des bibliothécaires perdants (Jina) a obtenu le score de « similarité » le plus élevé (comme s'il disait : « Ces deux pages se ressemblent beaucoup ! »), mais c'était en réalité la mauvaise page. Cela a appris aux chercheurs qu'un score de similarité élevé ne signifie pas toujours que la réponse s'y trouve réellement.

2. L'Auteur (Le Générateur)

Une fois que le Bibliothécaire a trouvé les bonnes pages, l'« Auteur » (un grand modèle de langage) les lit et rédige la réponse finale. L'équipe a testé cinq auteurs différents :

Qwen3 et Qwen3.5 (Auteurs multilingues généraux)
Sailor2 (Spécialisé pour l'Asie du Sud-Est)
SeaLLMs (Spécialisé pour l'Asie du Sud-Est)
Llama-SEA-LION (Spécialisé pour l'Asie du Sud-Est)

Ils ne se sont pas contentés de demander : « La réponse est-elle bonne ? ». Ils ont utilisé six méthodes différentes pour noter les auteurs, comme un enseignant utilisant une grille d'évaluation :

Fidélité (L'auteur s'est-il tenu aux faits ?) : Qwen3.5 était le plus honnête. Il inventait rarement des choses et s'en tenait strictement à ce que disaient les documents.
Exactitude factuelle (L'auteur a-t-il obtenu les chiffres et les noms corrects ?) : Qwen3 était le meilleur pour obtenir les détails spécifiques (comme les numéros de téléphone ou les codes de loi) exactement corrects.
Pertinence et Similarité (La réponse ressemblait-elle à ce qu'un humain dirait ?) : SeaLLMs était le meilleur pour paraître naturel et correspondre au style des réponses « de référence ».
Le Perdant : Llama-SEA-LION a eu le plus de difficultés, inventant souvent des faits ou ignorant les documents.

3. Les Principales Conclusions

Les chercheurs ont constaté qu'il n'existe pas de « robot » parfait unique. Cela dépend de ce dont vous avez besoin :

Si vous avez besoin de confiance (s'assurer que l'IA ne ment pas), utilisez Qwen3.5.
Si vous avez besoin de précision (obtenir les chiffres exacts), utilisez Qwen3.
Si vous voulez que la réponse sonne naturelle et corresponde à la formulation humaine, utilisez SeaLLMs.

Le Goulot d'Étranglement :
Le plus gros problème n'était pas l'Auteur ; c'était le Bibliothécaire. Même le meilleur Bibliothécaire (BGE-M3) ne trouvait le bon document que 28 % du temps lorsqu'il examinait les trois premiers résultats. Cela signifie que tout le système est freiné car il est difficile de trouver la bonne information dès le départ.

4. La Mise en Garde

Le papier admet quelques limites :

Le Test : Ils n'ont testé que 200 questions. Bien que soigneusement choisies, cela pourrait ne pas couvrir toutes les questions possibles qu'un citoyen pourrait poser.
Le Juge : Ils ont utilisé une autre IA (GPT-4o-mini) pour noter les réponses, et non de vrais humains. Bien que cela soit standard, le retour humain serait le test ultime.
La Configuration : Certains auteurs ont été testés sur des configurations informatiques différentes, ce qui pourrait avoir légèrement faussé les résultats.

Résumé

En bref, construire un système intelligent de réponse aux questions en khmer revient à construire une équipe de relais. Vous avez besoin d'un excellent coureur pour trouver le témoin (le Bibliothécaire) et d'un excellent coureur pour le porter jusqu'à la ligne d'arrivée (l'Auteur). Les chercheurs ont constaté que BGE-M3 est le meilleur coureur pour trouver le témoin, mais que le meilleur coureur pour le porter dépend de ce que vous valorisez : l'honnêteté, la précision ou le style. Plus important encore, la course est actuellement ralentie car trouver le témoin reste très difficile.

Résumé Technique : Une Étude Comparative des Modèles de Langage pour la Réponse aux Questions par Génération Augmentée par la Récupération en Khmer

Énoncé du Problème

La Génération Augmentée par la Récupération (RAG) est apparue comme un paradigme essentiel pour ancrer les sorties des Modèles de Langage (LLM) dans des preuves récupérées, réduisant ainsi les hallucinations et améliorant la précision factuelle. Cependant, l'efficacité de la RAG reste largement inexplorée pour les langues à ressources limitées et non utilisant l'alphabet latin, comme le khmer. Le khmer présente des défis uniques, notamment un script abugida complexe, des ressources annotées limitées, une faible standardisation de la segmentation des mots et la présence de bruit lié à la Reconnaissance Optique de Caractères (OCR). Dans des contextes institutionnels, tels que les télécommunications, ces défis sont exacerbés par la nécessité de réponses fiables et ancrées dans des documents. Les pratiques d'évaluation existantes sont fortement façonnées par des contextes centrés sur l'anglais et ne se transfèrent pas proprement à ces environnements. Par conséquent, il reste incertain quels modèles de récupération, générateurs déployables localement et signaux d'évaluation automatisés sont les plus adaptés aux systèmes de RAG en langue khmère.

Méthodologie

Les auteurs présentent une étude systématique d'un pipeline RAG respectant la vie privée, conçu pour un déploiement local sur des documents du domaine des télécommunications en khmer. La configuration expérimentale suit un pipeline standard en deux étapes :

Construction de l'ensemble de données :
- Corpus : Plus de 7 000 fragments dérivés de documents TIC open source (notifications, lois, directives, etc.), majoritairement en khmer avec des termes techniques anglais intégrés.
- Référence : Un ensemble de données « golden » (référence de vérité) de 200 paires question-réponse dérivées du corpus, couvrant des requêtes réalistes de citoyens. Chaque entrée comprend la question, une réponse de vérité terrain experte du domaine et des métadonnées.
Évaluation du récupérateur :
- Trois modèles d'embedding denses ont été comparés pour récupérer les $k$ meilleurs fragments : BGE-M3 (567M), Jina-Embeddings-v3 (570M) et Qwen3-Embedding (597M).
- La performance a été mesurée à l'aide de métriques standard de Récupération d'Information (IR) : Taux de réussite (Hit Rate)@k, Taux de réussite au niveau du fichier@k, Réciproque Moyenne des Rangs (MRR@k) et Précision@k.
Évaluation du générateur :
- En utilisant BGE-M3 (identifié comme le récupérateur supérieur), cinq backends de générateurs ont été évalués : Qwen3 (8B), Qwen3.5 (9B), Sailor2-8B-Chat, SeaLLMs-v3-7B-Chat et Llama-SEA-LION-v2-8B-IT.
- Les modèles comprenaient à la fois des LLM multilingles à usage général et ceux spécifiquement axés sur les langues d'Asie du Sud-Est.
Métriques d'évaluation :
- Six métriques inspirées de RAGAS ont été employées, utilisant GPT-4o-mini comme juge LLM et BGE-M3 pour les calculs de similarité sémantique :
  - Fidélité : Ratio des affirmations générées présentes dans le contexte récupéré.
  - Pertinence de la réponse : Similarité cosinus entre la question de l'utilisateur et les questions générées dérivées de la réponse.
  - Pertinence du contexte : Similarité sémantique entre la question et le contexte récupéré.
  - Exactitude factuelle : Score F1 des affirmations classées comme vraies/fausses par rapport à la vérité terrain.
  - Similarité de la réponse : Similarité d'embedding entre la réponse générée et la vérité terrain.
  - Correction de la réponse : Une somme pondérée de l'exactitude factuelle et de la similarité de la réponse.

Contributions Clés

Benchmark de récupération : L'étude fournit le premier benchmark de récupération dense pour les documents en khmer, analysant l'efficacité sur des textes institutionnels bruyants et diversifiés par domaine.
Comparaison des générateurs : Elle compare cinq modèles de générateurs déployables localement pour évaluer si la spécialisation régionale (modèles axés sur l'Asie du Sud-Est) produit des gains mesurables par rapport aux modèles multilingues à usage général pour les questions-réponses en khmer.
Adaptation des métriques : L'article examine l'utilité et les limites de six métriques adaptées de type RAGAS dans un contexte à ressources limitées et non latin, offrant des preuves empiriques sur leur comportement pour le khmer.

Résultats

Performance de Récupération

BGE-M3 a constamment surpassé Jina-Embeddings-v3 et Qwen3-Embedding sur toutes les métriques de récupération.

Hit Rate@3 : BGE-M3 a obtenu 0,285, soit plus du double de Jina v3 (0,135) et significativement supérieur à Qwen3-Embedding (0,175).
File Hit Rate@3 : BGE-M3 a récupéré un fragment du fichier source correct 70 % du temps, contre 48,5 % pour Jina v3 et 52,5 % pour Qwen3-Embedding.
Observation : Fait intéressant, Jina v3 a obtenu la plus haute similarité cosinus top-1 (0,759) mais la pire précision de récupération, soulignant que la similarité cosinus brute n'est pas un indicateur fiable de la qualité de récupération pour le khmer.

Performance du Générateur

Aucun modèle unique n'a dominé sur toutes les métriques ; la performance variait selon la dimension d'évaluation spécifique :

Fidélité : Qwen3.5-9B a obtenu le score le plus élevé (0,859), suivi de près par SeaLLMs-v3-7B-Chat (0,846). Llama-SEA-LION-v2-8B-IT a obtenu le score le plus bas (0,556).
Pertinence de la réponse : SeaLLMs-v3-7B-Chat a obtenu les meilleurs résultats (0,867), suggérant que la spécialisation régionale aide la réactivité thématique.
Pertinence du contexte : Les scores étaient étroitement regroupés (0,717–0,726) pour tous les modèles, confirmant que cette métrique est principalement pilotée par le récupérateur (BGE-M3) plutôt que par le générateur.
Exactitude factuelle : Qwen3-8B a obtenu le score le plus élevé (0,380), surpassant Qwen3.5-9B (0,303). Cela indique un compromis où le modèle Qwen3.5 plus récent et plus grand s'ancre mieux dans le contexte, tandis que le Qwen3-8B légèrement plus petit reproduit les détails factuels plus précisément.
Similarité et Correction de la réponse : SeaLLMs-v3-7B-Chat a mené à la fois en Similarité de la réponse (0,836) et en Correction de la réponse (0,599), indiquant le meilleur équilibre global entre proximité sémantique et adéquation factuelle.

Importance et Revendications

L'article affirme que ses résultats mettent en évidence des goulots d'étranglement et des nuances critiques dans le déploiement de la RAG pour les langues à ressources limitées :

Le choix du récupérateur est un goulot d'étranglement majeur : Le Hit Rate@3 modeste (0,285) même pour le meilleur récupérateur indique que la qualité de récupération reste la contrainte principale sur la performance globale du système. L'étude démontre que les méthodes validées en anglais (par exemple, s'appuyant sur la similarité cosinus brute) ne peuvent pas être supposées se comporter de manière identique pour le khmer.
Fiabilité des métriques : Les auteurs soutiennent que les métriques basées sur des verdicts (Fidélité et Exactitude factuelle) fournissent des signaux d'évaluation plus fiables pour le texte khmer que les métriques basées sur la similarité (Pertinence de la réponse, Similarité de la réponse), qui sont sensibles aux choix d'embedding et aux limitations inhérentes de la similarité cosinus. Cela s'aligne sur les constatations dans le domaine des télécommunications concernant le jugement d'experts.
La spécialisation des modèles est nuancée : La spécialisation régionale ne garantit pas uniformément des performances supérieures. Bien que SeaLLMs ait excellé en pertinence et en similarité, Qwen3.5 était supérieur pour l'ancrage, et Qwen3-8B pour la précision factuelle. L'impact du ciblage régional est fortement spécifique au modèle plutôt qu'un avantage garanti à l'échelle de la famille.
Déploiement pratique : L'étude offre des preuves aux praticiens que la sélection de modèles doit être guidée par des objectifs spécifiques : Qwen3.5 pour l'ancrage, Qwen3-8B pour l'exactitude factuelle, et SeaLLMs pour la qualité sémantique globale.

L'article conclut en notant des limites, notamment la dépendance à une évaluation automatisée (sans évaluation humaine dédiée pour le khmer), des paramètres de récupération fixes et des biais potentiels provenant de modèles d'embedding centrés sur l'anglais utilisés dans le pipeline d'évaluation. Des travaux futurs sont proposés pour se concentrer sur la récupération hybride, la tokenisation spécifique au khmer et des études d'évaluation humaine.