Evidence-Aware Abstention in Low-Resource Scientific RAG: A Persian Retrieval-Stage Study

في عالم الذكاء الاصطناعي الحديث، يُطلب من الحواسيب بشكل متزايد الإجابة على أسئلة معقدة من خلال قراءة مكتبات ضخمة من الوثائق. هذه العملية، المعروفة باسم "التوليد المعزز بالاسترجاع"، تعمل من خلال جعل الكمبيوتر يبحث أولاً عن نص ذي صلة ثم يستخدم ذلك النص لصياغة إجابة. والهدف هو منع الآلة من الاعتماد حصرياً على ذاكرتها الداخلية، التي قد تكون قديمة أو غير صحيحة، وبدلاً من ذلك، جعل استجاباتها مرتكزة على أدلة حقيقية وموثقة. ومع ذلك، تظل هناك مشكلة حرجة: مجرد عثور الكمبيوتر على وثيقة لا يعني بالضرورة أن تلك الوثيقة تحتوي بالفعل على الإجابة. فإذا كانت الأدلة ضعيفة، أو مفقودة، أو غير ذات صلة، يجب على النظام، من الناحية المثالية، أن يعرف متى يتوقف ويعترف بأنه لا يعرف، بدلاً من التخمين وتقديم إجابة خاطئة أو غير مدعومة. وهذا أمر صعب للغاية في مجالات مثل العلوم، حيث الدقة أمر حيوي، وفي اللغات ذات الموارد الرقمية الأقل، حيث تكون الأدوات المخصة للتحقق من جودة المعلومات أقل تطوراً.

لقد وضع الباحث أصغر حسين من جامعة الإسلامية بهاوالبور حلًا لهذه المشكلة المحددة للغة الفارسية ضمن مجال الإجابة على الأسئلة العلمية. ركز الفريق على مجموعة بيانات تسمى "PersianSciQA"، والتي تحتوي على آلاف الأسئلة العلمية المقترنة بملخصات من أوراق بحثية. لم يكن عملهم يتعلق ببناء نظام كامل وشامل يكتب مقالات طويلة، بل بالخطوة الأولى الحاسمة: تقرير ما إذا كان ينبغي للكمبيوتر الإجابة على السؤال أم لا. لقد طرحوا سؤالاً بسيطاً ولكنه عميق: هل يمكن لنظام أن يتعلم التعرف على متى تكون الأدلة التي وجدها قوية بما يكفي لدعم إجابة، ومتى تكون ضعيفة جداً، مما يستدعي من النظام الامتناع عن الإجابة؟ ومن خلال معاملة هذا كعملية من خطوتين — أولاً العثور على المعلومات، ثم تحديد ما إذا كانت جيدة بما يكفي — أنشأ الباحثون آلية أمان لمنع الكمبيوتر من التصريح بثقة بأشياء لا يستطيع إثباتها.

للبد beginnings، كان على الفريق التأكد من أن أساسهم متين. قاموا بمراجعة البيانات المتاحة، والتحقق من الأخطاء والتناقضات التي قد تحرف النتائج. واكتشفوا أنه على الرغم من أن البيانات كانت نظيفة إلى حد كبير، إلا أن هناك تباينات كبيرة بين النسخ المختلفة من مجموعة البيانات، حيث تم تخصيص آلاف السجلات لمجموعات تدريب أو اختبار مختلفة عما اقترحته وثائقها المصدرية. كما وجدوا عدداً صغيراً من السجلات حيث تم تصنيف الإجابات التي أنشأها الكمبيوتر كأخطاء. ومن خلال تنظيف وتنظيم هذه البيانات بعناًية، أنشأوا خط أساس موثوقاً. ثم اختبروا طريقة بحث قياسية، تُعرف باسم "BM25"، وهي خوارزمية كلاسيكية لإيجاد تطابقات النصوص. وأظهرت النتائج أن طريقة البحث عملت بشكل استثنائي جيد للأسئلة التي كانت فيها الصلة بالنص المصدر قوية جداً، حيث نجحت في العثور على الوثيقة الصحيحة ضمن أفضل عشر نتائج في ما يقرب من 98 بالمائة من تلك الحالات. ومع ذلك، بالنسبة للأسئلة ذات الروابط الأضعف، انخفض معدل النجاح إلى حوالي 78 بالمائة، مما يسلط الضوء على الفجوة بين العثور على وثيقة ذات صلة والعثور على الوثيقة الصحيحة.

بعد إنشاء خط الأساس للبحث، انتقل الباحثون إلى جوهر دراستهم: بناء صانع قرار خفيف الوزن. صُمم هذا النظام للنظر في نتائج البحث وتقرير ما إذا كان سيجيب أم سيلزم الصمت. وبدلاً من الاعتماد على نماذج معقدة وثقيلة تتطلب قدرات حوسبة هائلة، استخدموا نموذجاً إحصائياً بسيطاً يحلل أدلة محددة. شملت هذه الأدلة الدرجات التي منحها محرك البحث للوثائق، وعدد الكلمات المشتركة بين السؤال والنص الموجود، والتركيبة اللغوية للوثائق. كان الهدف هو معرفة ما إذا كان بإمكان إضافة هذه الطبقات الإضافية من المعلومات مساعدة النظام على التمييز بين إجابة رصينة وتخمين مهتز. واختبروا ذلك على مجموعة من الأسئلة التي كانت قابلية الإجابة عليها معروفة، وقاسوا عدد المرات التي يحاول فيها النظام الإجابة بشكل غير صحيح على سؤال يفتقر إلى أدلة كافية.

كشفت النتائج أن النظام يمكنه بالفعل أن يتعلم أن يكون أكثر حذراً ودقة. عندما استخدم الباحثون درجات البحث الخام فقط لاتخاذ القرارات، حاول النظام لا يزال الإجابة على أسئلة لا ينبغي له الإجابة عليها، مما أدى إلى معدل إجابات غير مدعومة بنحو 40 بالمائة عندما تم ضبط النظام للإجابة على حوالي ربع الأسئلة. ومع ذلك، عندما أضافوا ميزات الأدلة اللفظية — أي النظر في مدى تطابق كلمات السؤال مع كلمات النص الموجود — تحسن الأداء بشكل ملحوظ. ومع هذا النموذج المعزز، انخفض معدل الإجابات غير المدعومة إلى حوالي 31 بالمائة عند نفس مستوى النشاط. وكان هذا التحسن ذا دلالة إحصائية، مما يعني أنه من غير المرجح أن يكون مجرد صدفة عشوائية. ووجد الباحثون أن ميزات مطابقة الكلمات كانت المحرك الرئيسي لهذا النجاح، بينما قدمت الميزات اللغوية الأخرى دفعة طفيفة فقط.

وعلى نحو حاسم، أوضحت الدراسة أيضاً ما لم تحققه. كان الباحثون شفافين في أن عملهم اقتصر على مرحلة الاسترجاع؛ إذ لم يكن لديهم وصول إلى النماذج اللغوية الكبيرة المطلوبة لتوليد إجابات كاملة تشبه إجابات البشر في هذه البيئة المحددة. لذلك، تقيس نتائجهم جودة قرار الإجابة، وليس الدقة الواقعية لفقرة مولدة. كما أشاروا أيضاً إلى أن تحليلهم اللغوي لم يكن اختباراً حقيقياً للقدرات متعددة اللغات، حيث كانت البيانات باللغة الفارسية بشكل ساحق، مع وجود ضئيل جداً للغات أخرى. وبالرغم من هذه الحدود، فإن هذا العمل يوفر إطاراً واضحاً وقابلاً للتكرار للمرحلة التالية من البحث. إنه يثبت أنه حتى في البيئات العلمية ذات الموارد المحدودة، يمكن تعليم النظام التعرف على حدود أدلته. ومن خلال تعلم الامتناع عن الإجابة عندما تكون الأدلة ضعيفة، يصبح النظام أكثر موثوقية، مما يضمن أنه عندما يتحدث، يكون مدعوماً بالوثائق التي وجدها. ويقدم هذا النهج مساراً عملياً للمضي قدماً في بناء ذكاء اصطناعي أكثر موثوقية في اللغات والمجالات التي تندر فيها البيانات.