Automating Multi-Hop RAG Evaluation via TRIAD: From Context Extraction to Validated Dataset Generation
تقدم هذه الورقة البحثية TRIAD، وهو إطار عمل مؤتمت ثلاثي المراحل يقوم بتوليد والتحقق من صحة مجموعات بيانات الأسئلة والأجوبة متعددة القفزات ذات النطاق المحدد مع سياقات مصنفة حسب الصلة لتقييم أنظمة التوليد المعزز بالاسترجاع (RAG) بفعالية على البيانات المملوكة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، يبرز تحدٍ شائع يتمثل في تعليم الحواسيب كيفية الإجابة على الأسئلة باستخدام مكتبة ضخمة من المستندات التي لم ترها من قبل. تخيل أمين مكتبة يمكنه العثور فوراً على الكتاب المناسب لأي استعلام، ولكن الإجابة تتطلب أحياناً قراءة ثلاثة كتب مختلفة والربط بين المعلومات الواردة فيها. هذه هي المهمة الجوهرية لنظام يُعرف باسم "التوليد المعزز بالاسترجاع" (Retrieval-Augmented Generation). تعمل هذه الأنظمة من خلال البحث أولاً في مجموعة من النصوص للعثين على المعلومات ذات الصلة، ثم استخدام نموذج لغوي قوي لتركيب تلك المعلومات في إجابة واضحة. وبينما أصبحت هذه الأدوات ضرورية للشركات التي تتعامل مع بياناتها الخاصة، لا تزال هناك عقبة رئيسية: كيف تختبر ما إذا كانت تعمل حقاً بشكل جيد؟ للقيام بذلك، يحتاج الخبراء إلى مجموعة من الأسئلة ذات إجابات صحيحة معروفة، لكن إنشاء هذه الأسئلة يدوياً عملية بطيئة ومكلفة وصعبة التكيف مع صناعات محددة.
قام الباحثان لورينز بريمه وآدم جاتوت من جامعة إنسبلوك بتطوير طريقة جديدة تسمى "TRIAD" لحل هذه المشكلة. يعتمد نهجهما على أتمتة إنشاء أسئلة معقدة ومتعددة الخطوات مصممة خصيصاً لأي مجموعة مستندات قد تستخدمها الشركة. وبدلاً من الاعتماد على خبراء بشريين لكتابة آلاف الأسئلة، يستخدم نظام "TRIAD" الذكاء الاصطناعي لإنشائها، والتحقق من جودتها، وتجهيزها للاختبار. تم تصميم النظام لإنشاء أسئلة لا يمكن الإجابة عليها بمجرد النظر في مستند واحد؛ بل تتطلب من الحاسوب التنقل بين قطع مختلفة من المعلومات، تماماً مثل المحقق الذي يربط بين الأدلة من ملفات منفصلة لحل قضية ما. ووجد الباحثون أن هذه الطريقة المؤتمتة تنتج أسئلة عالية الجودة وفعالة في كشف نقاط القوة والضعف في أنظمة الذكاء الاصطناعي المختلفة، حيث تُظهر اتجاهات أداء مشابهة لأفضل الاختبارات التي صنعها البشر والمتاحة حالياً، حتى وإن كانت الدرجات المطلقة أقل قليلاً.
تبدأ العملية بمرحلة التوليد، حيث يختار النظام مستنداً يبدأ به من مكتبة المستخدم، ثم يجد مستندات أخرى مرتبطة به ارتباطاً وثيقاً. بعد ذلك، يبحث الذكاء الاصطناعي عن موضوع مشترك يربط هذه المستندات معاً، ليعمل بمثابة جسر. وبمجرد إنشاء هذا الاتصال، يصيغ النظام سؤالاً يتطلب معلومات من جميع المستندات المرتبطة للإجابة عليه. على سبيل المثال، قد يطلب مقارنة بين كيانين موجودين في نصوص مختلفة، أو قد يتطلب سلسلة من الخطوات حيث تكشف الإجابة على الجزء الأول من السؤال عن مفتاح الجزء الثاني. ولضمان متانة الأسئلة، يقوم النظام أيضاً بإنشاء أسئلة "غير قابلة للإجابة"، حيث تكون المعلومات اللازمة مفقودة تماماً من المكتبة. هذا يختبر ما إذا كان الذكاء الاصطناه سيقوم بتأليف إجابة بثقة أم سيعترف بشكل صحيح بأنه لا يعرف الإجابة.
بمجرد إنشاء السؤال، يدخل مرحلة تحقق صارمة. هنا، يعمل ذكاء اصطناعي ثانٍ كحكم، حيث يفحص السؤال للتأكد من أن الإجابة موجودة بالفعل في المستندات المقدمة وأن السؤال يتطلب حقاً خطوات متعددة لحله. إذا أمكن الإجابة على السؤال بالنظر في مستند واحد فقط، فسيتم رفضه باعتباره بسيطاً للغاية. وإذا كانت الإجابة خاطئة أو المنطق معيباً، يعيد النظام السؤال للمراجعة. وتستمر حلقة التغذية الراجعة هذه حتى يستوفي السؤال معايير الجودة العالية. وقد وجد الباحثون أن هذه العملية كانت فعالة للغاية؛ فبعد توليد مئات الأسئلة، تم قبول حوالي 66 إلى 68 بالمائة منها كإجابات صالحة، ومن بين الأسئلة التي رُفضت، تم تحديد الغالبية العظمى منها كأخطاء بشكل صحيح. وقد أكد المراجعون البشريون الذين فحصوا عينة من الأسئلة النهائية أن أكثر من 90 بالمائة منها كانت قابلة للإجابة، وصحيحة، وتتطلب التفكير متعدد الخطوات المقصود.
تتضمن الخطوة الأخيرة إعداد مجموعة البيانات للاختبار. يضيف النظام مستندات إضافية غير ذات صلة بالسؤال، لتعمل كمشتتات لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي تجاهلها والعثور على المعلومات الصحيحة. كما يحدد مستوى الصعوبة بناءً على عدد المستندات ذات الصلة المطلوبة لحل اللغز. ولإثبات نجاح طريقتهم، اختبر الباحثون سبعة تكوينات مختلفة من أنظمة الذكاء الاصطناعي باستخدام الأسئلة التي أنشأوها. وقارنوا النتائج مقابل معايير معروفة وصنعها البشر مثل "HotpotQA" و"MuSiQue". وأظهرت النتائج أنه بينما كان أداء أنظمة الذكاء الاصطناعي أفضل قليلاً على الأسئلة الجديدة مقارنة بالقديمة، إلا أن الاتجاهات النسبية كانت متطابقة. فالأنظمة التي كان أداؤها جيداً في الاختبارات التقليدية كان أداؤها جيداً أيضاً في الاختبارات الجديدة، والأنظمة التي واجهت صعوبة في نوع معين من الأسئلة واجهت صعوبة في النوع الآخر. وهذا يشير إلى أن الطريقة المؤتمتة نجحت في التقاط نفس التحديات التي تفرضها الاختبارات التي يصنعها البشر.
أحد أهم جوانب هذا العمل هو قدرته على التعامل مع الأسئلة غير القابلة للإجابة. في التجارب، اختبر الباحثون عدد المرات التي قد يقوم فيها الذكاء الاصطناعي بـ "الهلوسة"، أو تأليف إجابة عندما لا تكون المعلومات موجودة في المكتبة. وأظهرت النتائج أن معظم الأنظمة حددت بشكل صحيح أن السؤال لا يمكن الإجابة عليه، حيث تجاوزت معدلات الكشف 99 بالمائة في بعض النماذج. وهذه قدرة حاسمة للتطبيقات الواقعية، حيث يجب على النظام معرفة متى يتوقف ويقول إنه لا يعرف، بدلاً من تقديم ثقة زائفة. كما لاحظ الباحثون أن الأسئلة المولدة لم تكن مقتصرة على موضوع أو مصدر معين؛ بل يمكن تكييفها مع أي مجموعة من المستندات، من السجلات الطبية إلى العقود القانونية.
تخلص الدراسة إلى أن "TRIAD" يوفر طريقة عملية وموثوقة لبناء مجموعات بيانات التقييم للأنظمة المتخصصة في الذكاء الاصطناعي دون التكلفة الباهظة للإنشاء اليدوي. وبينما يقر الباحثون بأن طريقتهم تعتمد على نفس التكنولوجيا الأساسية التي تشغل الأنظمة التي يتم اختبارها، وأن الأسئلة قد تكون أسهل قليلاً في العثور عليها مقارنة بالمجموعات التي يصنعها البشر، فإن اتساق النتائج عبر الإعدادات المختلفة يعد أمراً مطمئناً. لا تدعي هذه الطريقة استبدال الحكم البشري بالكامل، لكنها توفر أساساً متيناً لاختبار وتحسين أنظمة الذكاء الاصطناعي في المجالات التي تبرز فيها الحاجة إليها. ومن خلال أتمتة إنشاء هذه الاختبارات المعقدة، تفتح هذه الطة الباب أمام تقييم أكثر صرامة وتكراراً للذكاء الاصطناعي في الصناعات التي تعتبر فيها الدقة أمراً بالغ الأهمية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.