Agri-Query: A Case Study on RAG vs. Long-Context LLMs for Cross-Lingual Technical Question Answering

إليك ملخص تقني مفصل لورقة البحث بعنوان "Agri-Query: دراسة حالة حول مقارنة استرجاع المعلومات المعزز (RAG) مقابل النماذج اللغوية الكبيرة ذات السياق الطويل (Long-Context LLMs) للإجابة على الأسئلة التقنية عبر اللغات."

1. بيان المشكلة

تتناول الورقة تحدي نشر النماذج اللغوية الكبيرة (LLMs) لـ الإجابة على الأسئلة التقنية (QA) في المجالات الصناعية المتخصصة، وتحديداً في الآلات الزراعية. وتشمل التحديات الرئيسية المحددة ما يلي:

• تعقيد الوثائق: كتيبات الآلات الزراعية الحديثة واسعة النطاق (حوالي 59 ألف توكن)، وتغطي جوانب ميكانيكية وإلكترونية وزراعية.
• الاسترجاع عبر اللغات: يجب على الشركات المصنعة صيانة الكتيبات بلغات متعددة (الإنجليزية، الفرنسية، الألمانية)، ولكن قد يستعلم المشغلون بلغة تختلف عن اللغة الأصلية للكتيب.
• مشكلة "الإبرة في كومة القش": غالباً ما توجد الإجابات في صفحة واحدة محددة ضمن وثيقة ضخمة، مما يجعل عملية الاسترجاع صعبة.
• مخاطر الهلوسة: في المجالات الحساسة لسلامة العمليات، يجب أن تحدد النماذج بدقة متى تكون المعلومات غير موجودة (أسئلة غير قابلة للإجابة) بدلاً من اختلاق إجابات.
• المفاضلة الهيكلية: هناك نقاش مستمر بين استخدام نماذج السياق الطويل (LC) (تغذية النموذج بالوثيقة كاملة) مقابل الاسترجاع المعزز بالتوليد (RAG) (استرجاع أجزاء محددة أولاً).

2. المنهجية

قام المؤلفون ببناء معيار تقييم يسمى Agri-Query لتقييم تسعة نماذج لغوية كبيرة مفتوحة المصدر ونموذج واحد مملوك (Gemini 2.5 Flash).

أ. مجموعة البيانات والإعداد

• المادة المصدرية: دليل المستخدم الخاص بآلة نثر الأسمدة Kverneland Exacta-TLX Geospread GS3، المتوفر باللغات الإنجليزية والفرنسية والألمانية. كل نسخة تتكون من حوالي 165 صفحة (~59 ألف توكن) بتنسيقات متطابقة.
• مجموعة بيانات الأسئلة والأجوبة: 108 سؤالاً تم إعدادها من قبل خبراء في المجال:
  • 54 سؤالاً قابلاً للإجابة: أسئلة واقعية تتطلب استخراج بيانات محددة.
    _ 54 سؤالاً غير قابل للإجابة: أسئلة غير موجودة في النص لاختبار الهلوسة.
  • التصميم عبر اللغات: تم طرح جميع الأسئلة باللغة الإنجليزية، بينما كانت أهداف الاسترجاع هي النسخ الإنجليزية والفرنسية والألمانية من الدليل.
• مقياس التقييم: إطار عمل "النموذج اللغوي كحكم" (LLM-as-a-Judge) (باستخدام Gemma 2 وGemma 3) لمقارنة مخرجات النماذج مع الإجابات النموذجية، وحساب الدقة (Accuracy)، وF1، والدقة (Precision)، والاستدعاء (Recall)، والنوعية (Specificity).

ب. النهج التجريبي

قارنت الدراسة بين بنيتين أساسيتين:

1. السياق الطويل المباشر (LC): يتم توجيه النماذج بالدليل كاملاً (أو أقسام كبيرة مع إضافة صفحات "ضوضاء") دون عملية استرجاع. تراوحت أحجام السياق من 1 ألف إلى 59 ألف توكن.
2. الاسترجاع المعزز بالتوليد (RAG): يتم تزويد النماذج فقط بأفضل 3 أجزاء مسترجعة. تم اختبار ثلاث استراتيجيات استرجاع:
   • الكلمات المفتاحية (BM25): مطابقة تعتمد على التكرار.
   • الدلالي (Embedding): مطابقة قائمة على المتجهات باستخدام gte-Qwen2-7B-instruct.
   • الهجين (Hybrid): مزيج من البحث بالكلمات المفتاحية (BM25) والبحث الدلالي، مع الدمج باستخدام دمج الرتب التبادلية (RRF).

3. المساهمات الرئيسية

• معيار متخصص: إنشاء معيار تقييم صارم وعبر اللغات للإجابة على الأسئلة في مجال الآلات الزراعية الصناعية، بما في ذلك مجموعة كبيرة من الأسئلة غير القابلة للإجابة لاختبار السلامة.
• التحليل المقارن: مقارنة تجريبية مباشرة بين النماذج اللغوية الكبيرة ذات السياق الطويل وبين استراتيجيات RAG المختلفة في سيناريو تقني واقعي.
• إطار عمل مفتوح: إطلاق إطار عمل قابل لإعادة الإنتاج (GitHub) لإعداد البيانات، وتنفيذ RAG، والتقييم، مما يسهل الأبحاث المستقبلية في الذكاء الاصطناعي الصناعي.
• رؤى عبر اللغات: إثبات أن الاستعلامات باللغة الإنجليزية يمكن أن تسترجع المعلومات بفعالية من الوثائق التقنية غير الإنجليزية عند اقترانها بنماذج تضمين (Embedding) قوية متعددة اللغات.

4. النتائج الرئيسية

أ. RAG مقابل السياق الطويل

• تفوق الـ RAG الهجين: تفوق نظام RAG الهجين باستمرار على التوجيه المباشر للسياق الطويل عبر جميع النماذج.
  • Gemini 2.5 Flash (RAG): حقق 88.0% دقة و 88.9% F1 في اللغة الإنجليزية.
  • Gemini 2.5 Flash (Full Context): انخفض إلى 69.4% دقة و 74.4% F1.
• قابلية النماذج الصغيرة: حققت النماذج الأصغر (مثل Qwen 2.5 7B و Llama 3.2 3B) دقة عالية (أكثر من 85%) باستخدام RAG الهجين، بينما فشلت بشكل كبير عند تغذيتها بسياق الدليل الكامل.
• ظاهرة "الضياع في المنتصف": كشفت اختبارات السياق الطويل عن ظاهرة "الضياع في المنتصف" (Lost in the Middle) الواضحة، حيث واجهت النماذج صعوبة في تحديد الحقائق الموجودة في منتصف الوثائق الطويلة، مما أدى إلى تدهور الأداء مع زيادة حجم السياق.

ب. الأداء عبر اللغات

• القوة والمتانة: حافظ RAG الهجين على أداء عالٍ عندما تمت مطابقة الاستعلامات الإنجليزية مع الأدلة الفرنسية والألمانية.
  • مثال: حقق Qwen 2.5 7B دقة بنسبة 85.2% على الفرنسية و 79.6% على الألمانية باستخدام RAG الهيدي، وهي نتائج مقاربة لأدائه في الإنجليزية.
• أهمية التضمين (Embedding): كان استخدام نموذج تضمين قوي متعدد اللغات (gte-Qwen2-7B-instruct) أمراً حاسماً لسد الفجوة اللغوية، حيث تفوق على الاسترجاع بالكلمات المفتاحية فقط في السيناريوهات عبر اللغات.

ج. أوضاع الفشل

• الهلوسة (الإيجابيات الكاذبة): أظهرت النماذج الأصغر (مثل Llama 3.2 1B) "نوعية" (Specificity) منخفضة (0.204)، مما يعني أنها كانت تخترع إجابات للأسئلة غير القابلة للإجابة بشكل متكرر.
• فشل الاسترجاع: بينما قلل RAG الهجين من هذه المشكلة، إلا أن الاسترجاء بالكلمات المفتاحية البحتة فشل عند استخدام المترادفات، بينما فات الاسترجاع الدلالي البحت أحياناً بعض المصطلحات التقنية الدقيقة.

5. الأهمية والآثار المترتبة

• التوصية العملية: بالنسبة للوثائق التقنية في الصناعات الحساسة للسلامة، فإن بنية RAG الهجين هي البنية المفضلة على الاعتماد فقط على نوافذ السياق الطويل. فهي توفر دقة أعلى، وتحكماً أفضل في الهلوسة، وتسمح باستخدام نماذج أصغر وأقل تكلفة.
• كفاءة الموارد: يتيح RAG الحصول على إجابات عالية الأداء على الأجهزة محدودة الموارد (مثل وحدة معالجة رسومات واحدة) من خلال تجنب العبء الهائل على الذاكرة لمعالجة سياقات تتجاوز 100 ألف توكن.
• القابلية للتطبيق العالمي: تثبت الدراسة أن أنظمة الدعم الصناعية متعددة اللغات يمكن بناؤها بحيث يستعلم المشغلون بلغتهم الأم (أو الإنجليزية) مقابل أدلة بلغات أخرى، بشرب أن تكون طبقة الاسترجاع قوية.
• السلامة أولاً: يسلط تضمين الأسئلة غير القابلة للإجابة الضوء على أن حجم النموذج وحده لا يضمن السلامة؛ بل إن الخيارات الهيكلية (RAG) ومقاييس التقييم (النوعية/Specificity) ضرورية لمنع المعلومات المضللة الخطيرة.

في الختام، تُظهر الورقة أنه بينما تتحسن النماذج اللغوية الكبيرة ذات السياق الطويل، فإن الاسترجاع المعزز بالتوليد (وتحديداً RAG الهجين) يظل الحل الأكثر تفوقاً، وقوة، وفعالية من حيث التكلفة للإجابة الدقيقة والتقنية عبر اللغات في البيئات الصناعية.