ملخص تقني: تقييم منهجي لتقنيات التوليد المعزز بالاسترجاع والنماذج اللغوية في العمليات الفضائية

بيان المشكلة

أدى التوسع السريع في الأنشطة الفضائية إلى تراكم غير مسبوق للوثائق التقنية، والإرشادات التشغيلية، والأدبيات العلمية. ويخلق هذا الحجم تحديات كبيرة أمام اتخاذ القرارات في الوقت المناسب في العمليات الفضائية، حيث يجب على فرق المهام الاعتماد على معلومات متخصصة للغاية ومتطورة باستمرار. تعتمد تدفقات العمل التشغيلية الحالية غالباً على فحص الوثائق يدوياً وعلى سلاسل أدوات قديمة، مما يؤدي إلى عمليات غير فعالة، ومعرضة للخطأ، وتتطلب جهداً إدراكياً كبيًراً. وبينما توفر النماذج اللغوية الكبيرة (LLMs) إمكانات لتقليل العبء الإدراكي، إلا أنها تواجه صعوبة في المهام المتخصصة في المجال وتتعرض لظاهرة "الهلوسة" عندما لا تكون مرتكزة على مصادر موثوقة. علاوة على ذلك، فإن الطبيعة الحساسة لبيانات المهام غالباً ما تمنع استخدام الخدمات السحابية، مما يستلي زم الحاجة إلى حلول قابلة للنشر ضمن بيئات مغلقة وآمنة.

المنهجية

تقدم هذه الورقة تقييماً منهجياً لخطوط أنابيب التوليد المعزز بالاسترجاع (RAG) المصممة للعمليات الفضائية، مع التركيز على مجالين فرعيين ممثلين: وثائق تخفيف الحطام الفضائي ومجموعة بيانات الأسئلة والأجوبة الخاصة بمهمة وكالة الفضاء الأوروبية (ESA). وتوسع الدراسة العمل السابق لـ Belo وآخرون [1] من خلال الخطوات المنهجية التالية:

1. بناء مجموعة البيانات: قام المؤلفون بتوسيع مجموعة البيانات الحالية عبر إضافة عينات من الفقرات غير ذات الصلة لكل استعلام لإنشاء مجموعة بيانات تتعلق بصلة السياق. وقد استخدموا استراتيجيتين لاستخراج العينات السلبية: أخذ العينات السلبية العشوائية (أخذ عينات من فقرات غير ذات صلة داخل نفس المجال) وأخذ العينات السلبية من داخل الوثيقة (أخذ عينات من فقرات من نفس الوثيقة ولكنها غير مرتبطة بالاستعلام).
2. التحقق من صحة إعادة الترتيب (Reranker): تم تقييم ثلاثة نماذج إعادة ترتيب مفتوحة المصدر (BGE-M3، وGTE-reranker-base، وJina-reranker-v2) كأدوات لتصنيف صلة السياق. وقد استُخدمت كبديل للحقيقة الأرضية (ground truth) لتقييم أداء الاسترجاع، نظراً لمحدودية مجموعات البيانات الاصطناعية في التقييم المباشر للاسترجاع.
3. قياس أداء الاسترجاع: تم اختبار ثمانية نماذج تضمين (embedding models) متطورة وخوارزمية BM25 كأدوات استرجاع. واستخدم التقييم أربعة مقاييس (الاستدعاء Recall، والدقة Precision، ومعامل NDCG، ومعامل Kendall Tau) عبر استراتيجيتين لتقطيع النصوص (512 رمزاً مقابل 2,000 رمز).
4. تحليل الأثر: حللت الدراسة تأثير إعادة الترتيب وحجم القطعة النصية على درجات الصلة التي تمنحها النماذج اللغوية الكبيرة.
5. تقييم توليد الإجابات: تم تقييم الدقة الواقعية وجودة الإجابات المولدة باستخدام مجموعة بيانات ESA (المعروفة بـ SpaceQA) التي تحتوي على 60 ثلاثية (سؤال-فقرة-إجابة). كما تم اختبار نموذج Llama 3 8B تحت ظروف "ضوضائية" (عبر إدخال أربع فقرات غير ذات صلة عشوائياً) لتقييم مدى متانة النموذج.

المساهمات الرئيسية

تقدم الورقة أربع مساهمات رئيسية في مجال العمليات الفضائية وتقييم تقنية RAG:

1. مجموعة بيانات محسنة: إنشاء مجموعة بيانات لصلة السياق عبر تعزيز العمل السابق بعينات من الفقرات غير ذات الصلة، مما يسمح بتقييم أكثر صرامة لمكونات الاسترجاع وإعادة الترتيب.
2. التحقق من نماذج إعادة الترتيب: تقييم ثلاثة نماذج لإعادة الترتيب، مما أثبت فعاليتها في التمييز بين السياقات ذات الصلة وغير ذات الصلة، والتحقق من فائدتها كبديل للحقيقة الأرضية لتقييم الاسترجاع.
3. قياس شامل لأداء الاسترجاع: قياس أداء ثمانية نماذج تضمين وخوارزمية BM25 عبر مقاييس متعددة واستراتيجيات تقطيع مختلفة (512 مقابل 2,000 رمز)، مما يوفر رؤى حول التكوينات المثلى للاسترجاع.
4. تقييم جودة الإجابات: تقييم الدقة الواقعية وجودة الإجابة (الأمانة، والصلة، والمتانة تجاه الضوضاء) باستخدام مجموعة بيانات ESA SpaceQA، بما في ذلك تحليل أوضاع الفشل في الإجابات المولدة.

النتائج

أسفر التقييم عن عدة نتائج رئيسية فيما يتعلق بأداء مكونات RAG في المجال الفضائي:

• أداء إعادة الترتيب: أظهرت جميع نماذج إعادة الترتيب المختبرة أداءً قوياً في التصنيف (درجات F1-Score > 0.93)، مما يؤكد موثوقيتها في التمييز بين السياقات ذات الصلة.
• نماذج الاسترجاع: أظهر كل من BM25 وQwen2-1.5B Instruct الأداء الأكثر اتساقاً عبر جميع المقاييس وقيم k. وفي المقابل، كان STS-MPNet v2 وE5 Large هما الأسوأ أداءً. وتشير الدراسة إلى أن خطوط الأنابيب التي تستخدم إعادة الترتيب يجب أن تعطي الأولوية للمسترجعات ذات الاستدعاء العالي (مثل BM25)، بينما يجب على الخطوط التي تعتمد فقط على المسترجعات إعطاء الأولوية للنماذج ذات الـ NDCG العالي (مثل BGE-M3 أو Qwen2).
• تأثير إعادة الترتيب وحجم القطعة النصية: قللت عملية إعادة الترتيب باستمرار من نسبة الوثائق غير ذات الصلة وزادت من نسبة الوثائق عالية الصلة عبر جميع نطاقات top-k. ووجدت الدراسة أن القطع النصية المكونة من 512 رمزاً مع إعادة الترتيب وفرت الإعداد الأكثر فعالية؛ حيث قللت القطع القصيرة من الضوضاء، مما سمح لنموذج إعادة الترتيب برفع نسبة الوثائق عالية الصلة بشكل أكثر فعالية مقارنة بالقطع ذات الـ 2,000 رمز.
• توليد الإجابات: حقق نموذج Llama 3 8B دقة في الإجابة بلغت 56/60 عند تزويده بسياق ذي صلة، مقارنة بـ 3/60 فقط بدون استرجاع (RAG). وأظهر النموذج متانة عالية تجاه الضوضاء (4.52/5.0) وأمانة قوية (3.92/5.0).
• تحليل الفشل: حدثت الإجابات غير الصحيحة أساساً عندما كانت العلاقة بين السؤال والفقرة الداعمة ضعيفة أو ضمنية (على سبيل المثال، نقص ذكر الكيانات أو الحاجة إلى استنتاجات جسرية). وكان النموذج يميل إلى تبني ردود تحفظية بدلاً من التخمين، مما قلل من الهلوسة ولكنه حد من قدرته على الإجابة على الأسئلة غير المباشرة.

الأهمية والادعاءات

تدعي الورقة أن خطوط أنابيب RAG يمكن أن تعزز بشكل كبير الوصول إلى المعرفة، وتقلل من عدم اليقين، وتدعم اتخاذ القرار في العمليات الفضائية المعقدة. وتوضح النتائج أن النماذج مفتوحة المصدر الحالية واعدة للنشر المحكوم في البيئات الفضائية، لا سيما عند:

• استخدام الأطر مفتوحة المصدر للحفاظ على خصوصية البيانات وأمنها داخل البيئات المغلقة.
• استخدام إعادة الترتيب (Reranking) لتعظيم صلة السياق.
• استخدام أحجام قطع نصية أصغر (512 رمزاً) لتقليل الضوضاء.

ويؤكد المؤلفون أنه على الرغم من أن النتలు تشير إلى الاتجاه العام وليست نهائية بسبب صغر حجم مجموعة التقييم (60 مثالاً)، إلا أن الدراسة توفر معياراً مرجعياً أولياً حاسماً. كما تسلط الضة على أن تصميم الاسترجاع، بما في ذلك استراتيجيات التقطيع وتضمين البيانات الوصفية (metadata)، يلعب دوراً حاسماً في الأداء العام للنظام. ويشدد العمل على ضرية ترسيخ مخرجات النماذج اللغية الكبيرة في مصادر موثوقة لتحسين الدقة الواقعية والموثوقية، وبالتالي التخفيف من مخاطر الهلوسة في العمليات الفضائية الحرجة التي تتعلق بالسلامة.