GTA-RAG: Graph-Trajectory-Augmented Reinforcement Learning for Multi-Turn Retrieval-Augmented Reasoning
يقدم هذا البحث GTA-RAG، وهو إطار عمل للتعلم المعزز مدعوم بمسارات الرسوم البيانية، يقوم بتوليف مسارات استعلام وإجابة متعددة القفزات قابلة للتنفيذ من رسوم بيانية لكيانات ومستندات لتوفير إشراف كثيف على مستوى المسار، مما يحسن بشكل كبير كلاً من تغطية سلسلة الأدلة ودقة الإجابة في الاستدلال القائم على الاسترجاع المعزز متعدد الدورات مقارنة بالنماذج المرجعية الحالية القائمة على التعلم المعزز.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المكتبة الرقمية الشاسعة للمعرفة البشرية، أصبحت نماذج اللغات الكبيرة أدوات قوية لإيجاد الإجابات. هذه الأنظمة، التي تدرّبت على كميات هائلة من النصوص، يمكنها توليد استجابات سلسة لأي سؤال تقريبًا. ومع ذلك، فإنها تواجه صعوبة أحيانًا عندما يتطلب السؤال تجميع حقائق من أماكن مختلفة، مثل ربط موقع محدد بسيرة ذاتية لشخص ما من خلال سلسلة من التفاصيل الوسيطة. ولحل هذه المشكلة، طور الباحثون طريقة تسمى "التوليد المعزز بالاسترجاع" (retrieval-augmented generation). تتيح هذه الطريقة للنموذج التوقف عن التفكير، والبحث في قاعدة بيانات عن وثائق ذات صلة، واستخدام تلك الحقائق الجديدة لبناء إجابته. إن الأمر يشبه إعطاء طالب كتابًا مدرسيًا ليستشيره أثناء تأدية الاختبار، بدلاً من الاعتماد فقط على الذاكرة.
تنشأ المشكلة عندما تتطلب الإجابة خطوات متعددة. فقد يجد البحث البسيط وثيقة تذكر اسمًا، ولكنها لا تذكر الحقيقة المحددة اللازمة لحل اللغز. يجب على النموذج بعد ذلك طرح سؤال متابعة، وإيجاد وثيقة أخرى، والربط بينهما. وقد اعتمدت المحاولات الأخيرة لتعليم الحواسيب كيفية القيام بهذا البحث متعدد الخطوات على طريقة تدريب يتم فيها مكافأة الكمبيوتر فقط عندما يحصل على الإجابة النهائية الصحيحة. وهذا يخلق مشكلة خفية: قد يخمن الكمبيوتر الإجابة الصحيحة عن طريق الحظ أو باستخدام حقائق كان يعرفها بالفعل، دون أن يجد فعليًا الوثائق المحددة التي تثبت صحة الإجابة. إنه يتعلم تجاوز العملية المقصودة بدلاً من تعلم المادة نفسها.
قدم فريق من الباحثين إطار عمل جديدًا يسمى GTA-RAG لإصلاح هذه المشكلة. فبدلاً من الانتظار لمعرفة ما إذا كانت الإجابة النهائية صحيحة أم لا، صمموا نظامًا يكافئ الكمبيوتر عن إيجاد الأدلة الصحيحة على طول الطريق. لقد بنوا خريطة لقاعدة معرفتهم، تربط الوثائق بالأشخاص والأماكن والأشياء المذكورة بداخلها. ومن هذه الخريطة، أنشأوا آلاف المسائل التدريبية حيث كان المسار المؤدي إلى الإجابة محددًا بوضوح. ثم دربوا الكمبيوتر على اتباع هذه المسارات، ومكافأته في كل مرة ينجح فيها في استرجاع قطعة جديدة من اللغز. تضمن هذه الطريقة أن يتعلم الكمبيوتر كيفية البحث عن الوثائق المحددة التي يحتاجها، بدلاً من مجرد تخمين النتيجة النهائية.
اختبر الباحثون هذا النهج على مجموعة متنوعة من الأسئلة الصعبة التي تتطلب ربط حقائق متعددة معًا. وقارنوا نظامهم الجديد بطرق متقدمة أخرى تم تدريبها باستخدام نظام المكافأة القديم القائم على "الإجابة فقط". وأظهرت النتائج فرقًا واضحًا؛ فعند استخدام الطريقة الجديدة، كان الكمبيوتر أفضل بكثير في إيجاد سلسلة الأدلة الكاملة اللازمة لدعم الإجابة. وفي الاختبارات التي تضمنت أسئلة معقدة متعددة الخطوات، حسن النظام قدرته على تحديد مواقع الوثائق الصحيحة بهامش كبير، حيث وصل معدل التغطية إلى أكثر من 82 بالمائة للأدلة الضرورية، مقارنة بنحو 68 بالمائة للطرق الأقدم.
ومن الأهمية بمكان أن الدراسة وجدت أن هذا التحسن لم يأتِ من قيام الكمبيوتر بمزيد من محاولات البحث أو إضاعة الوقت في طرق مسدودة. في الواقع، وجد النظام الجديد المعلومات الصحيحة في كثير من الأحيان بعدد أقل من عمليات البحث. لقد تعلم أن يكون أكثر دقة، مدركًا الوثيقة التي يجب البحث عنها بالضبط في كل خطوة. كما تحقق الباحثون من أن الكمبيوتر لم يكن يحفظ الأسئلة التدريبية فحسب؛ فعند اختباره على أسئلة جديدة غير مسبوقة، استمر في الأداء بشكل أفضل، مما أثبت أنه تعلم حقًا مهارة جمع الأدلة. وقد نجح النظام حتى عندما كان الكمبيوتر أصغر حجمًا، مما يشير إلى أن طريقة التدريب أكثر أهمية من حجم "الدماغ" الذي يقف وراءه.
كان أحد أهم النتائج هو أن النظام توقف عن اتخاذ طرق مختصرة. ففي طرق التدريب السابقة، كان بإمكان الكمبيوتر أحيانًا الوصول إلى الإجابة الصحيحة حتى لو تجاهل الوثائق الأكثر أهمية، ببساطة لأنه خمن الإجابة بشكل صحيح. جعلت طريقة التدريب الجديدة من المستحيل الحصول على درجة عالية دون استرجاع سلسلة الأدلة الكاملة. لاحظ الباحثون أن الكمبيوتر أصبح أكثر أمانة للحقائق، حيث ضمن أن كل إجابة مدعومة بالوثائق التي وجدها بالفعل. ويمثل هذا التحول من التخمين إلى الاستدلال القائم على الأدلة خطوة كبيرة نحو ذكاء اصطناعي يحتاج إلى أن يكون موثوقًا ودقيقًا.
يعتمد نجاح هذا النهج على نوع محدد من الخرائط التي تربط الوثائق بالكيانات التي تحتويها. بنى الباحثون هذه الخريطة من خلال القراءة في مجموعات النصوص الخاصة بهم واستخراج الحقائق، مثل "توماس جيفرسون عاش في مونتيسيلو". ثم استخدموا هذه الخريطة لتوليد أسئلة تدريبية تعتمد إجابتها على اتباع مسار محدد عبر الوثائق. وقبل استخدام هذه الأسئلة التدريبية لتدريب الكمبيوتر، أجروا فحصًا للتأكد من أن الكمبيوتر يمكنه بالفعل العثور على الوثائق التي من المفترض أن يجدها. وضمنت خطوة التحقق هذه أن التدريب كان قائمًا على مهام واقعية وقابلة للتحقيق.
اختبر الباحثون نظامهم على خمس مجموعات مختلفة من الأسئلة، تراوحت من الاستفسارات الواقعية البسيطة إلى الألغاز المعقدة التي تتطلب ثلاث خطوات أو أكثر من الاستدلال. وفي الأسئلة البسيطة، أدى النظام الجديد أداءً يضاهي أفضل الطرق الموجودة. ومع ذلك، في الأسئلة المعقدة متعددة الخطوات، تفوق عليهم بشكل ملحوظ. فعلى سبيل المثال، في مجموعة بيانات تسمى HotpotQA، والمعروفة بأسئلتها الصعبة متعددة القفزات، حقق النظام الجديد درجة 52.9، متفوقًا على أفضل طريقة قائمة على التعلم التعزيزي بفارق واضح. واتسعت هذه الفجوة عند اختبار النظام على مجموعات بيانات معقدة أخرى، مما أثبت أن التحسن كان ثابتًا عبر أنواع مختلفة من المشكلات الصعبة.
بحثت الدراسة أيضًا فيما يحدث عندما نزيل أجزاء محددة من نظامنا الجديد. فعندما توقفنا عن مكافأة الكمبيوتر عن إيجاد الأدلة على طول الطريق واكتفينا بمكافأة الإجابة النهائية فقط، انخفضت قدرة النظام على إيجاد سلسلة الوثائق الكاملة بشكل حاد. وأكد هذا أن نظام المكافأة الجديد كان المحرك الرئيسي للتحسن. وبالمثل، عندما أزلنا الخطوة التي تتحقق مما إذا كانت الوثائق قابلة للاسترجاع فعليًا، انخفض أداء النظام، مما أظهر أن عملية التحقق كانت ضرورية لإنشاء بيانات تدريب عالية الجودة. أثبتت هذه الاختبارات أن الإطار بأكمله يعمل معًا لخلق متعلم أكثر فاعلية.
يشير هذا العمل إلى أن الطريقة التي نعلم بها الكمبيوتر كيفية البحث عن المعلومات لا تقل أهمية عن المعلومات نفسها. فمن خلال تقديم توجيه واضح وخطوة بخطوة حول كيفية العثور على الأدلة، بدلاً من مجرد الحكم على النتيجة النهائية، يمكن للباحثين تدريب النماذج لتكون أكثر موثوقية ودقة. لا يعتمد النظام على امتلاك الكمبيوتر لكمية هائلة من المعرفة الداخلية؛ بل يعلمه كيفية استخدام الأدوات الخارجية بفعالية. وهذا أمر مهم بشكل خاص للتطبيقات التي تكون فيها الدقة حرجة، مثل التشخيص الطبي أو البحث القانوني، حيث يمكن أن تكون التخمينات الخاطئة ذات عواقب وخيمة.
يقر الباحثون بأن طريقتهم تعتمد على جودة الخريطة التي بنوها. فإذا كانت الخريطة غير مكتملة أو تحتوي على أخطاء، فقد لا يتمكن الكمبيوتر من تعلم المسارات الصحيحة. كما أشاروا إلى أن تجاربهم ركزت على الأسئلة مفتوحة المجال، ويبقى من الواضح مدى نجاح هذا النهج في المجالات الأكثر تخصصًا أو مع أنواع مختلفة من البيانات. ومع ذلك، فإن النتائج المحققة حتى الآن واعدة، وتظهر أن النهج المنظم يمكن أن يؤدي إلى تحسينات كبيرة في كيفية تعامل الذكاء الاصطناعي مع مهام الاستدلال المعقدة.
في النهاية، تثبت الدراسة أن تعليم الكمبيوتر التفكير كباحث هو أمر ممكن. فمن خلال مكافأة عملية جمع الأدلة، وليس فقط الاستنتاج النهائي، يتعلم النظام أن يكون دقيقًا وشاملًا. إنه يتوقف عن التخمين ويبدأ في التحقق. يمثل هذا التحول انتقالًا نحو ذكاء اصطناعي أكثر جدارة بالثقة، ذكاء يبني إجاباته على أساس متين من الحقائق بدلاً من الاعتماد على الاحتمالات وحدها. لقد أتاح الباحثون الكود الخاص بهم، مما يسمح للآخرين بالبناء على هذا العمل وتطوير كيفية تفاعل الآلات مع معرفة العالم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.