Candidate Evidence Reranking and Risk-Aware Answer Selection in Multi-Hop Retrieval-Augmented Generation

في المشهد المعاصر للذكاء الاصطناعي، يبرز تحدٍ شائع يتمثل في تعليم الآلات كيفية الإجابة على الأسئلة المعقدة التي تتطلب ربط الحقائق من أماكن مختلفة. تخيل طالباً يحاول حل لغز حيث تتوزع أدلته عبر مكتبة تضم آلاف الكتب. يعمل نظام يُعرف باسم "التوليد المعزز بالاسترجاع" (Retrieval-Augmented Generation) كأنه أمين مكتبة يبحث أولاً عن الصفحات ذات الصلة ثم يسلمها إلى كاتب لصياغة الإجابة. يعمل هذا النهج بشكل جيد عندما تكون الإجابة مخبأة في وثيقة واحدة، ولكنه غالباً ما يتعثر عندما يتطلب الحل ربط حقيقة من كتاب ما بحقيقة في كتاب آخر. لا تكمن الصعوبة في العثور على الصفحات الصحيحة فحسب؛ بل في تحديد أي الصفحات يجب قراءتها عندما يكون الوقت والاهتمام محدودين. فحتى لو تم العثور على المعلومات الصحيحة، فقد تكون مدفونة في قائمة طويلة من النتائج، ولا تصل أبداً إلى مكتب الكاتب. وهذا يخلق عنق زجاجة حيث يمتلك النظام المعرفة اللازمة ولكنه يفشل في استخدامها بفعالية لأن الأدلة الأكثر أهمية مصنفة في مرتبة منخفضة جداً بحيث لا تُرى.

لقد تصدى الباحثون في جامعة قوانغتشو للبرمجيات لهذا الاختناق تحديداً من خلال تطوير طريقة جديدة لتنظيم واختيار المعلومات بشكل أفضل بعد العثور عليها بالفعل. وبدلاً من محاولة العث تفيد المزيد من الوثائق، وهو النهج المعتاد، ركزوا على جعل النظام يستفيد بشكل أفضل من الوثائق التي جمعها بالفعل. لقد بنوا عملية مكونة من خطوتين لتنقيح كيفية تعامل النظام مع نتائج بحثه الأولية. تتضمن الخطوة الأولى إعادة ترتيب قائمة الوثائق المحتملة. لاحظ الباحثون أن وثيقة ما قد تكون ذات صلة عالية ولكنها مصنفة ترتيبياً بشكل ضعيف لأنها ظهرت في مسار بحث واحد فقط، بينما قد تُصنف وثائق أقل فائدة في مرتبة أعلى لأنها ظهرت في مسارات متعددة. نظامهم الجديد، الذي يسم يسمونه "إعادة ترتيب الأدلة المرشحة" (candidate evidence reranking)، ينظر إلى المجموعة الكاملة من الوثائق التي تم العثور عليها ويعيد تقييمها بناءً على مدى مطابقتها للسؤال ومدى ملاءمتها للهيكل المنطقي للقصة. وهذا يسمح للأدلة الأكثر أهمية بالقفز إلى رأس القائمة، مما يضمن قراءتها من قبل مولد الإجابات.

تركز الخطوة الثانية من عمليتهم على الإجابات نفسها. فعندما يولد النظام استجابة، فإنه غالباً ما ينتج عدة نسخ مختلفة بناءً على مسارات بحث مختلفة. هناك غريزة شائعة تتمثل في مجرد اختيار الإجابة التي تظهر بشكل متكرر، بافتراض أن الأغلبية يجب أن تكون على حق. ومع ذلك، وجد الباحثون أن هذا النهج يمكن أن يكون محفوفاً بالمخاطر؛ فقد ترتكب مجموعة من مسارات البحث نفس الخطأ، بينما قد يحمل مسار واحد أقل شيوعاً الإجابة الصحيحة المدعومة بأدلة أفضل. ولحل هذه المشكلة، ابتكروا نظام اختيار "واعٍ بالمخاطر". يعمل هذا النظام كأنه محرر دقيق يقارن الإجابات الجديدة بأفضل تخمين حالي. هو لا يكتفي بمجرد عد الأصوات؛ بل يقدر ما إذا كان الانتقال إلى إجابة جديدة سيؤدي على الأرجح إلى تحسين النتيجة أو التسبب في ضرر. فهو لا يقبل التغيير إلا إذا كانت الفائدة المحتملة تفوق بوضوح خطر جعل الإجابة أسوأ.

اختبر الفريق إطار العمل ثنائي الطبقات هذا على ثلاث مجموعات مختلفة من الأسئلة المعقدة المصممة لتتطلب تفكيراً متعدد الخطوات. ووجدوا أنه من خلال إعادة ترتيب الوثائق، نجح النظام في جلب المعلومات الداعمة الصحيحة إلى أعلى خمسة مراكز بشكل أكثر تكراراً مما سبق. وفي إحدى مجموعات البيانات، أدى هذا التحسن في اختيار الوثائق إلى زيادة ملحوصة في دقة الإجابات النهائية. وعندما دمجوا إعادة ترتيب الوثائق مع الاختيار الدقيق للإجابات، تحسنت النتائج بشكل أكبر. وفي الاختبارات الأكثر صعوبة، حسن النظام المتكامل دقة الإجابات بما يصل إلى أربع نقاط مئوية مقارنة بالطريقة القياسية. قد يبدو هذا الرقم صغيراً، لكنه في عالم التفكير المعقد، يمثل تحولاً كبيراً في الموثوقية. كما قارن الباحثون طريقتهم بتقنيات أبسط، مثل مجرد دمج القوائم بناءً على الترتيب أو اتباع تصويت الأغلبية ببساطة. ووجدوا أن هذه الطرق الأبسط غالباً ما تفشل في التقاط الفروق الدقيقة المطلوبة للأسئلة الصعبة، بل إنها أحياناً تقلل من جودة الإجابات من خلال اتباع الحشد بشكل أعمى.

إن الرؤية الأساسية من هذا العمل هي أن العثور على المعلومات ليس سوى نصف المعركة؛ والنصف الآخر هو اتخاذ القرار بشأن ما يجب فعله بها بمجرد العثور عليها. لقد أظهر الباحثون أنه حتى عندما تكون الوثائق الصحيحة موجودة في ذاكرة النظام، يمكن التغاضي عنها إذا لم يتم تحسين الترتيب. وبالمثل، فإن امتلاك إجابات متعددة لا يضمن اختيار الإجابة الصحيحة إذا كانت عملية الاختيار تعتمد فقط على الشعبية. ومن خلال التعامل مع تنظيم الأدلة واختيار الإجابات كخطوتين متميزتين وحرجتين، يصبح النظام أكثر فعالية في حل المشكلات التي تتطلب ربط النقاط عبر مصادر مختلفة. تشير الدراسة إلى أن التحسينات المستقبلية في الذكاء الاصطناعي لمهام التفكير قد تعتمد أقل على إيجاد المزيد من البيانات وأكثر على طرق أذكى لتنظيم واختيار البيانات المتاحة بالفعل. يقدم هذا النهج مساراً عملياً للأنظمة التي تحتاج إلى أن تكون دقيقة وموثوقة عند التعامل مع الأسئلة المعقدة في العالم الحقيقي.