💬 NLP

A Comparative Study of Language Models for Khmer Retrieval-Augmented Question Answering

تقدم هذه الورقة دراسة مقارنة لنظام توليد مدعوم بالاسترجاع للمستندات الخاصة بقطاع الاتصالات باللغة الخميرية، حيث حددت نموذج BGE-M3 كأفضل نموذج استرجاع، وأثبتت أنه في حين لا يهيمن نموذج توليد واحد على جميع مقاييس الأداء، إلا أن النماذج المختلفة تتفوق في مجالات محددة مثل الأمانة، أو الصحة الواقعية، أو التشابه الدلالي.

المؤلفون الأصليون: Sereiwathna Ros, Phannet Pov, Ratanaktepi Chhor, Kimleang Ly, Wan-Sup Cho, Saksonita Khoeurn

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sereiwathna Ros, Phannet Pov, Ratanaktepi Chhor, Kimleang Ly, Wan-Sup Cho, Saksonita Khoeurn

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول الإجابة على سؤال محدد للغاية حول قوانين الاتصالات في كمبوديا، لكنك لا تملك الإجابة في ذاكرتك. لديك مكتبة ضخمة من المستندات ("المسترجع") ومساعد ذكي ولبق ("المولد") يمكنه قراءة تلك المستندات وكتابة إجابة لك.

هذه الورقة البحثية تشبه اختبار تذوق ومراجعة أداء لأدوات مختلفة تُستخدم لبناء هذا النظام، وتحديداً لـ اللغة الخميرية (لغة كمبوديا). ولأن اللغة الخميرية تستخدم خطاً فريداً وتمتلك موارد رقمية أقل من اللغة الإنجليزية، أراد الباحثون معرفة أي الأدوات تعمل بشكل أفضل معاً.

إليك تفصيل تجربتهم، مشروحاً ببساة:

1. أمين المكتبة (المسترجع)

أولاً، احتاج الفريق إلى "أمين مكتبة" مهمته هي العثور على الصفحات الصحيحة في المكتبة عندما تطرح سؤالاً. لقد اختبروا ثلاثة أمناء مكتبة مختلفين (نماذج ذكاء اصطناعي):

BGE-M3
Jina-Embeddings-v3
Qwen3-Embedding

النتيجة: كان BGE-M3 هو الفائز الواضح. كان الأمر يشبه امتلاك أمين مكتبة يعرف بالفعل نظام ديوي العشري.

عندما طُلب منه العثود إلى المستند الصحيح، وجد BGE-M3 الملف المصدر الصحيح بنسبة 70% من المرات.
أما أمينا المكتبة الآخران فقد وجدا الملف الصحيح بنسبة 50% فقط تقريباً.
تحول مثير للاهتمام: أحد الأمناء الخاسرين (Jina) أعطى أعلى "درجة تشابه" (مثل قول: "هاتان الصفحتان متشابهتان جداً!")، لكن الصفحة كانت خاطئة في الواقع. علّم هذا الباحثين أن درجة التشابه العالية لا تعني دائماً أن الإجابة موجودة هناك بالفعل.

2. الكاتب (المولد)

بمجرد أن يجد أمين المكتبة الصفحات الصحيحة، يقوم "الكاتب" (نموذج لغوي كبير) بقراءتها وكتابة الإجابة النهائية. اختبر الفريق خمسة كتاب مختلفين:

Qwen3 و Qwen3.5 (كتاب متعدد اللغات بشكل عام)
Sailor2 (متخصص في جنوب شرق آسيا)
SeaLLMs (متخصص في جنوب شرق آسيا)
Llama-SEA-LION (متخصص في جنوب شرق آسيا)

لم يكتفوا بسؤال: "هل الإجابة جيدة؟"، بل استخدموا ست طرق مختلفة لتقييم الكتاب، مثل معلم يستخدم نموذج إجابة:

الأمانة (هل التزم الكاتب بالحقائق؟): كان Qwen3.5 الأكثر أمانة. نادراً ما اخترع أشياء من عنده والتزم بدقة بما ورد في المستندات.
الصحة الواقعية (هل حصل الكاتب على الأرقام والأسماء بشكل صحيح؟): كان Qwen3 الأفضل في الحصول على التفاصيل المحددة (مثل أرقام الهواتف أو رموز القوانين) بدقة تامة.
الصلة والتشابه (هل بدت الإجابة كأنها ما سيقوله البشر؟): كان SeaLLMs الأفضل في الظهور بمظهر طبيعي ومطابقة أسلوب الإجابات "المعيارية الذهبية".
الخاسر: عانى Llama-SEA-LION أكثر من غيره، حيث كان غالباً ما يخترع حقائق أو يتجاهل المستندات.

3. النتائج الرئيسية الكبرى

وجد الباحثون أنه لا يوجد "روبوت مثالي" واحد. الأمر يعتمد على ما تحتاه:

إذا كنت بحاجة إلى الثقة (التأكد من أن الذكاء الاصطناعي لا يكذب)، فاستخدم Qwen3.5.
إذا كنت بحاجة إلى الدقة (الحصول على الأرقام الدقيقة)، فاستخدم Qwen3.
إذا كنت تريد أن تبدو الإجابة طبيعية وتطابق الصياغة البشرية، فاستخدم SeaLLMs.

عنق الزجاجة:
المشكلة الكبرى لم تكن في "الكاتب"؛ بل كانت في "أمين المكتبة". فحتى أفضل أمين مكتبة (BGE-M3) لم يجد المستند الصحيح إلا بنسبة 28% تقريباً عند البحث في أفضل 3 نتائج. وهذا يعني أن النظام بأكمله مقيد لأن العثور على المعلومات الصحيحة في المقام الأول أمر صعب.

4. ملاحظة (العيب)

تعترف الورقة ببعض القيود:

الاختبار: اختبروا 200 سؤال فقط. ورغم أنها مختارة بعناية، إلا أنها قد لا تغطي كل سؤال ممكن قد يطرحه المواطن.
المقيم: استخدموا ذكاءً اصطناعياً آخر (GPT-4o-mini) لتقييم الإجابات، وليس بشر حقيقيين. ورغم أن هذا أمر معتاد، إلا أن التعليقات البشرية ستكون الاختبار النهائي.
الإعداد: تم اختبار بعض الكتاب على إعدادات حاسوبية مختلفة، مما قد يؤدي إلى انحراف طفيف في النتائج.

الملخص

باختصار، بناء نظام للإجابة على الأسئلة باللغة الخميرية يشبه بناء فريق سباق تتابع. أنت بحاجة إلى عداء رائع ليجد العصا (أمين المكتبة) وعداء رائع ليحملها إلى خط النهاية (الكاتب). وجد الباحثون أن BGE-M3 هو أفضل عداء للعثور على العصا، لكن أفضل عداء لحملها يعتمد على ما إذا كنت تقدر الأمانة، أو الدقة، أو الأسلوب. والأهم من ذلك، أن السباق بطيء حالياً لأن العثور على العصا لا يزال أمراً صعباً للغاية.

ملخص تقني: دراسة مقارنة لنماذج اللغة في استرجاع الأسئلة والأجوبة باللغة الخميرية المعزز بالاسترجاع (RAG)

بيان المشكلة

برزت تقنية التوليد المعزز بالاسترجاع (RAG) كنموذج حيوي لربط مخرجات النماذج اللغوية الكبيرة (LLM) بالأدلة المسترجعة، مما يقلل من الهلوسة ويحسن الدقة الواقعية. ومع ذلك، لا تزال فعالية تقنية RAG غير مفحوصة إلى حد كبير للغات ذات الموارد المحدودة وغير اللاتينية مثل اللغة الخميرية (Khmer). تواجه اللغة الخميرية تحديات فريدة، بما في ذلك نظام كتابة "أبوغيدا" (Abugida) معقد، وموارد مشروحة محدودة، وضعف في معايير تقسيم الكلمات، ووجود ضجيج ناتج عن التعرف الضوئي على الحروف (OCR). وفي البيئات المؤسسية، مثل قطاع الاتصالات، تتفاقم هذه التحديات بسبب الحاجة إلى استجابات موثوقة ومستندة إلى الوثائق. إن ممارسات التقييم الحالية مشكلة بشدة وفق سياقات متمحورة حول اللغة الإنجليزية ولا تنتقل بسلاسة إلى هذه البيئات. وبناءً على ذلك، لا يزال من غير الواضح أي نماذج الاسترجاع، أو المولدات القابلة للنشر محلياً، أو إشارات التقييم الآلي هي الأكثر ملاءمة لأنظمة RAG باللغة الخميرية.

المنهجية

يقدم المؤلفون دراسة منهجية لمسار RAG يحافظ على الخصوصية، مصمم للنشر المحلي عبر وثائق قطاع الاتصالات باللغة الخميرية. يتبع الإعداد التجريبي مساراً قياسياً يتكون من مرحلتين:

بناء مجموعة البيانات:
- المتن (Corpus): أكثر من 7,000 قطعة مستمدة من وثائق مفتوحة المصدر في مجال تكنولوجيا المعلومات والاتصالات (إخطارات، قوانين، إرشادات، إلخ)، معظمها باللغة الخميرية مع مصطلحات تقنية إنجليزية مدرجة.
- المعيار المرجعي (Benchmark): "مجموعة ذهبية" منقحة تضم 200 زوج من الأسئلة والأجوبة مشتقة من المتن، تغطي استفسارات المواطنين الواقعية. يتضمن كل مدخل السؤال، وإجابة نموذجية من خبير في المجال، والبيانات الوصفية.
تقييم المسترجع (Retriever Evaluation):
- تم اختبار ثلاثة نماذج تضمين كثيفة لاسترجاع أفضل $k$ من القطع: BGE-M3 (567 مليون)، وJina-Embeddings-v3 (570 مليون)، وQwen3-Embedding (597 مليون).
- تم قياس الأداء باستخدام مقاييس استرجاع المعلومات (IR) القياسية: معدل الإصابة عند k (Hit Rate@k)، ومعدل إصابة مستوى الملف عند k، ومتوسط الرتبة المقلوبة (MRR@k)، والدقة عند k (Precision@k).
تقييم المولد (Generator Evaluation):
- باستخدام BGE-M3 (الذي تم تحديده كمسترجع متفوق)، تم تقييم خمس خلفيات للمولدات: Qwen3 (8B)، وQwen3.5 (9B)، وSailor2-8B-Chat، وSeaLLMs-v3-7B-Chat، وLlama-SEA-LION-v2-8B-IT.
- شملت النماذج كلاً من النماذج اللغوية الكبيرة متعددة اللغات عامة الأغراض، وتلك التي تركز خصيصاً على لغات جنوب شرق آسيا.
مقاييس التقييم:
- تم استخدام ستة مقاييس مستوحاة من RAGAS، مع استخدام GPT-4o-mini كحكم لغوي (LLM judge) وBGE-M3 لحساب التشابه الدلالي:
  - الأمانة (Faithfulness): نسبة العبارات المولدة الموجودة في السياق المسترجع.
  - صلة الإجابة (Answer Relevance): التشابه الجيبي (Cosine similarity) بين سؤال المستخدم والأسئلة المستنتجة من الإجابة.
  - صلة السياق (Context Relevance): التشابه الدلالي بين السؤال والسياق المسترجع.
  - الصحة الواقعية (Factual Correctness): درجة F1-score للعبارات المصنفة كصحيحة/خاطئة مقابل الحقيقة الأرضية.
  - تشابه الإجابة (Answer Similarity): تشابه التضمين بين الإجابة المولدة والحقيقة الأرضية.
  - صحة الإجابة (Answer Correctness): مجموع مرجح للصحة الواقعية وتشابه الإجابة.

المساهمات الرئيسية

معيار الاسترجاع: تقدم الدراسة أول معيار استرجاع كثيف للوثائق الخميرية، مع تحليل الفعالية على النصوص المؤسسية الصاخبة والمتنوعة في المجال.
مقارنة المولدات: تقارن الدراسة بين خمسة نماذج مولدة قابلة للنشر محلياً لتقييم ما إذا كان التخصص الإقليمي (النماذج التي تركز على جنوب شرق آسيا) يحقق مكاسب ملموسة مقارنة بالنماذج متعددة اللغات عامة الأغراض للأسئلة والأجوبة باللغة الخميرية.
تكييف المقاييس: تفحص الورقة فائدة وحدود ستة مقاييس مكيفة من نمط RAGAS في بيئة ذات موارد محدودة وغير لاتينية، مما يقدم دليلاً تجريبياً على سلوكها بالنسبة للغة الخميرية.

النتائج

أداء الاسترجاع

تفوق BGE-M3 باستمرار على Jina-Embeddings-v3 وQwen3-Embedding في جميع مقاييس الاسترجاع.

معدل الإصابة عند 3 (Hit Rate@3): حقق BGE-M3 نسبة 0.285، وهي أكثر من ضعف Jina v3 (0.135) وأعلى بكثير من Qwen3-Embedding (0.175).
معدل إصابة مستوى الملف عند 3 (File Hit Rate@3): استرجع BGE-M3 قطعة من ملف المصدر الصحيح بنسبة 70% من الوقت، مقارنة بـ 48.5% لـ Jina v3 و52.5% لـ Qwen3-Embedding.
ملاحظة: من المثير للاهتمام أن Jina v3 حقق أعلى تشابه جيبي (cosine similarity) عند القمة (0.759) ولكنه سجل أسوأ دقة استرجاع، مما يسلط الض الضوء على أن التشابه الجيبي الخام ليس مؤشراً موثوقاً لجودة الاسترجاع للغة الخميرية.

أداء المولد

لم يهيمن نموذج واحد على جميع المقاييس؛ حيث تباين الأداء بناءً على بُعد التقييم المحدد:

الأمانة (Faithfulness): حقق Qwen3.5-9B أعلى درجة (0.859)، يليه عن قرب SeaLLMs-v3-7B-Chat (0.846). وسجل Llama-SEA-LION-v2-8B-IT أدنى درجة (0.556).
صلة الإجابة (Answer Relevance): قدم SeaLLMs-v3-7B-Chat أفضل أداء (0.867)، مما يشير إلى أن التخصص الإقليمي يساعد في الاستجابة الموضوعية.
صلة السياق (Context Relevance): كانت الدرجات متقاربة جداً (0.717–0.726) عبر جميع النماذج، مما يؤكد أن هذا المقياس مدفوع أساساً بالمسترجع (BGE-M3) وليس بالمولد.
الصحة الواقعية (Factual Correctness): حقق Qwen3-8B أعلى درجة (0.380)، متفوقاً على Qwen3.5-9B (0.303). يشير هذا إلى وجود مقايضة حيث يرتكز النموذج الأحدث والأكبر (Qwen3.5) بشكل أفضل في السياق، بينما يعيد النموذج الأصغر قليلاً (Qwen3-8B) التفاصيل الواقعية بدقة أكبر.
تشابه الإجابة وصحة الإجابة: تصدر SeaLLMs-v3-7B-Chat في كل من تشابه الإجابة (0.836) وصحة الإجابة (0.599)، مما يشير إلى أفضل توازن بين القرب الدلالي والكفاية الواقعية.

الأهمية والادعاءات

تدعي الورقة أن نتائجها تسلط الضوء على الاختناقات والفروق الدقيقة الحرجة في نشر تقنية RAG للغات ذات الموارد المحدودة:

اختيار المسترجع هو اختناق رئيسي: يشير معدل الإصابة المتواضع عند 3 (0.285) حتى لأفضل مسترجع إلى أن جودة الاسترجاء تظل القيد الأساسي على الأداء العام للنظام. وتوضح الدراسة أن الطرق التي تم التحقق من صحتها في اللغة الإنجليزية (مثل الاعتماد على التشابه الجيبي الخام) لا يمكن افتراض سلوكها بشكل متطابق للغة الخميرية.
موثوقية المقاييس: يرى المؤلفون أن المقاييس القائمة على الحكم (الأمانة والصحة الواقعية) توفر إشارات تقييم أكثر موثوقية للنصوص الخميرية من المقاييس القائمة على التشابه (صلة الإجابة، تشابه الإجابة)، والتي تتأثر باختيار التضمين والقيود المتأصلة في التشابه الجيبي. وهذا يتوافق مع النتائج في قطاع الاتصالات فيما يتعلق بتقدير الخبراء.
التخصص الإقليمي دقيق ومتباين: لا يضمن التخصص الإقليمي التفوق بشكل موحد. فبينما تفوق SeaLLMs في الصلة والتشابه، كان Qwen3.5 متفوقاً في الارتكاز، وQwen3-8B في الدقة الواقعية. إن تأثير الاستهداف الإقليمي يعتمد بقوة على النموذج نفسه بدلاً من كونه ميزة مضمونة لعائلة النماذج ككل.
النشر العملي: تقدم الدراسة دليلاً للممارسين بأن اختيار النموذج يجب أن يكون مدفوعاً بأهداف محددة: Qwen3.5 للارتكاز في السياق، وQwen3-8B للدقة الواقعية، وSeaLLMs للجودة الدلالية الشاملة.

تختتم الورقة بالإشارة إلى القيود، بما في ذلك الاعتماد على التقييم الآلي (بدون تقييم بشري مخصص للغة الخميرية)، ومعلمات الاسترجاع الثابتة، والتحيزات المحتملة من نماذج التضمين المتمحورة حول اللغة الإنجليزية المستخدمة في مسار التقييم. ويُقترح للعمل المستقبلي التركيز على الاسترجاع الهجين، وتقطيع النصوص (tokenization) الخاص باللغة الخميرية، ودراسات التقييم البشري.