Beyond Sequential Hybrid Retrieval: A Parallel Framework for Accurate and Scalable RAG
تقدم هذه الورقة البحثية PH-RAG، وهو إطار عمل استرجاع هجين متوازي ينفذ الاسترجاع المتناثر والكثيف في آن واحد مع الدمج وإعادة التصنيف لتحقيق دقة هي الأفضل في حالتها وتحسين زمن الاستجابة في الإجابة على الأسئلة مفتوحة المجال، متفوقاً بذلك على النماذج الوكيلية المعقدة دون الحاجة إلى رسوم بيانية للمعرفة أو نقاد تكراريين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لقد أصبحت الحواسيب الحديثة بارعة بشكل ملحوظ في الكتابة والتحدث، حيث تحاكي المحادثة البشرية بطلاقة مذهلة. ومع ذلك، تعاني هذه العقول الرقمية من خلل جوهري: فهي محاصرة في الماضي. فمعرفتها مجمدة في اللحظة التي تم تدريبها فيها، مما يعني أنها لا تستطيع معرفة الأحداث التي وقعت بالأمس، كما لا يمكنها بسهولة الوصول إلى التفاصيل المحددة والواسعة لوثائق شركة داخلية أو مجموعة كاملة لمكتبة ما. وعندما تُسأل سؤالاً لا تستطيع الإجابة عليه من ذاكرتها، فإنها غالباً ما تخترع حقائق، فتنشئ قصصاً تبدو واثقة ولكنها كاذبة تماماً. ولإصلاح ذلك، طور المهندسون طريقة تسمى "التوليد المعزز بالاسترجاع" (retrieval-augmented generation). فبدلاً من الاعتماد فقط على ذاكرتها الداخلية، يقوم الحاسوب أولاً بالبحث في قاعدة بيانات من الوثائق الحقيقية، ويجد الصفحات الأكثر صلة، ثم يستخدم تلك الصفحات كمرجع لبناء إجابته. وهذا يحافظ على صدق الآلة وتحديث معلوماتها.
ومع ذلك، فإن البحث عن المعلومات الصحيحة أصعب مما يبدو. هناك طريقتان رئيسيتان تبحث بهما الحواسيب عن الإجابات. إحدى الطريقتين، والتي تُسمى غالباً "الاسترجاع المتناثر" (sparse retrieval)، تعمل مثل فهرس بطاقات المكتبة التقليدي، حيث تطابق الكلمات الدقيقة في السؤال مع الكلمات الموجودة في الصفحة. وهي ممتازة في إيجاد الأسماء أو التواريخ أو المصطلحات التقنية المحددة، لكنها تفشل إذا طرح المستخدم سؤالاً باستخدام كلمات مختلفة عن تلك الموجودة في الوثيقة. أما الطريقة الثانية، المعروفة باسم "الاسترجاء الكثيف" (dense retrieval)، فتستخدم نهجاً أكثر حدسية؛ فهي تفهم المعنى الكامن وراء الكلمات، مما يسمح لها بإيجاد وثيقة تناقش نفس المفهوم حتى لو لم تستخدم نفس المفردات تماماً. لسنوات، حاول الباحثون الجمع بين هاتين الطريقتين للحصول على أفضل ما في العالمين، لكنهم فعلوا ذلك عادةً عبر تشغيل بحث تلو الآخر. هذا النهج المتسلسل يخلق عنق زجاجة، مما يؤدي إلى إبطاء النظام مع نمو حجم البيانات.
اقترح فريق من الباحثين من باكستان طريقة مختلفة للتعامل مع هذا التحدي. فقد بنوا نظاماً يشغل كلتا طريقتي البحث في الوقت نفسه، بدلاً من تشغيلهما واحدة تلو الأخرى. تخيل أميناً للمكتبة يرسل مساعدين اثنين للعثور على كتاب: أحدهما يفحص فهرس البطاقات بحثاً عن عناوين دقيقة، بينما يستخدم الآخر فهمه لموضوع القصة لمسح الرفوف. في الإعداد التقليدي، ينتظر أمين المكتبة عودة المساعد الأول قبل إرسال الثاني. وفي هذا النظام الجديد، يتم إرسال كلا المساعدين في وقت واحد، وينتظر أمين المكتبة فقط المساعد الذي يستغرق وقتاً أطول للانتهاء. هذا النهج المتوازي، الذي يطلق عليه الباحثون اسم "PH-RAG"، يسمح للحاسوب بجمع المعلومات بسرعة أكبر بكثير دون التضحية بالدقة.
اختبر الباحثون نظامهم باستخدام مجموعة تضم أكثر من خمسة آلاف مقال من ويكيبيديا ومجموعة من ألف سؤال في المسابقات الثقافية. ووجدوا أنه من خلال تشغيل طريقتي البحث بالتوازي ثم دمج النتائج بعناًية، استطاع نظامهم إيجاد الإجابة الصحيحة في كثير من الأحيان أكثر من الأنظمة السابقة الأكثر تعقيداً. وتحديداً، نجح أسلوبهم في وضع الإجابة الصحيحة في أعلى القائمة بنسبة 65.6 بالمئة. وكان هذا تحسناً طفيفاً عن نظام رائد يعتمد على شبكة معقدة من العلاقات بين الحقائق، تُعرف باسم "رسم المعرفة البياني" (knowledge graph). حقق النظام الجديد هذه الدقة الأعلى مع كونه أبسط بكثير في البناء والتشغيل، مما يثبت أنك لست بحاجة إلى هيكل ضخم ومعقد للحصول على نتائج جيدة إذا استخدمت الأدوات الصحيحة بكفاءة.
كان جزء رئيسي من نجاحهم هو كيفية دمج قوائم النتائج من طريقتي البحث المختلفتين. لم يكتفوا ببساطة باختيار الإجابة الأعلى من قائمة أو من الأخرى، بل استخدموا استراتيجية أعطت وزناً أكبر للطريقة التي تفهم المعنى، مع الحفاظ في الوقت نفسه على دور كبير للطريقة التي تجد الكلمات الدقيقة. سمح هذا المزيج للنظام بالإمساك بالإجابات التي فاتت أي طريقة منهما لو عملت بمفردها. وبعد دمج القوائم، قام النظام بمراجعة نهائية دقيقة لأفضل عشرة مرشحين؛ حيث أعاد تقييم كل إجابة محتملة مقابل السؤال الأصلي لضمان وضع المطابقة الأفضل في المقدمة. لم تغير هذه الخطوة النهائية الوثائق التي تم العثور عليها، لكنها ضمنت تقديم الوثيقة الأكثر صلة أولاً، وهو أمر بالغ الأهمية عندما يكون لدى الحاسوب مساحة محدودة للقراءة قبل أن يبدأ في الكتابة.
كما درس الباحثون عن كثب مدى سرعة عمل نظامهم مع نمو حجم المكتبة. ووجدوا أنه بالنسبة لمجموعات الوثائق الصغيرة، كان فرق السرعة بين تشغيل عمليات البحث واحداً تلو الآخر وتشغيلها معاً ضئيلاً. ومع ذلك، عندما نمت المجموعة لتصل إلى ما بين خمسة آلاف وعشرين ألف وثيقة، أصبح النظام المتوازي أسرع بشكل ملحوظ، حيث قلل وقت الانتظار بنسبة تصل إلى 64 بالمئة. وذلك لأن الطريقة التي تبحث عن الكلمات الدقيقة تستغرق وقتاً أطول مع كبر حجم المكتبة، بينما تظل الطريقة التي تفهم المعنى سريعة نسبياً. ومن خلال تشغيلهما معاً، يتجنب النظام انتظار الطريقة الأبطأ لتنتهي قبل بدء الطريقة الأسرع. وتشير الدراسة إلى أنه بالنسبة لمعظم التطبيقات الواقعية التي تتضمن مجموعات نصية متوسطة الحجم، فإن تشغيل عمليات البحث بالتوازي يعد وسيلة فعالة للغاية لتحسين كل من السرعة والدقة دون الحاجة إلى بناء آلة أكثر تعقيداً.
تتحدى هذه النتائج الفكرة القائلة بأن الأنظمة الأكثر تعقيداً هي دائماً الأفضل. فقد قارن الباحثون نهجهم بنظام يستخدم "رسم المعرفة البياني" ووكيل ذكاء اصطناعي يتحقق مراراً من عمله الخاص. وبينما يعد ذلك النظام المعقد قوياً، إلا أن الطريقة المتوازية الجديدة الجديدة طابقت أو تجاوزت أداءه في الأسئلة القياسية باستخدام تصميم أبسط بكثير. وهذا يشير إلى أنه بالنسبة للعديد من المهام اليومية، مثل الإجابة على أسئلة حول المعرفة العامة أو سياسات الشركة، يمكن لنظام بسيط ومصمم جيداً أن يتفوق على العمليات المعقدة متعددة الخطوات. لا تدعي الدراسة أنها حلت كل مشكلة في علوم الحاسوب، خاصة تلك المتعلقة بالأسئلة التي تتطلب ربط حقائق متعددة عبر وثائق مختلفة، لكنها تثبت أنه من خلال التنسيق الدقيق للأدوات الموجودة وتشغيلها بالتوازي، يمكننا بناء أنظمة تكون أسرع وأكثر موثوقية، مما يوفر مساراً عملياً لجعل الذكاء الاصطناعي أكثر فائدة في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.