A Multi-Agent Framework for Diagnosis and Plan Repair in Knowledge Graph Question Answering
تقترح هذه الورقة إطار عمل TRACE، وهو إطار متعدد الوكلاء يعزز الإجابة على أسئلة الرسوم البيانية المعرفية من خلال التشخيص والإصلاح الديناميكي لخطط الاستدلال الخاصة بالنماذج اللغوية الكبيرة عبر استرجاع الأدلة والتحقق المستهدف، مما يقلل من الهلوسة ويحسن الدقة مقارنة بالنهج الاستاتيكية الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، تعلمت الحواسيب القراءة والكتابة والتفكير بطلاقة كانت تبدو مستحيلة في السابق. هذه الأنظمة، المعروفة باسم النماذج اللغوية الكبيرة، يمكنها الإجابة على أسئلة معقدة من خلال الاستناد إلى الكم الهائل من النصوص التي درستها. ومع ذلك، فإن هذه القوة هي أيضًا نقطة ضعف؛ فبسبب اعتماد هذه النماذج على ما حفظته، يمكنها أحيانًا اختلاق حقائق أو التصريح بثقة بأشياء غير صحيحة ببساطة، وهي مشكلة يسميها الباحثون "الهلوسة". ولإصلاح ذلك، بدأ العلماء بربط هذه النماذج برسوم بيانية معرفية (knowledge graphs)، وهي قواعد بيانات منظمة للحقائق تعمل كخريطة موثوقة للعالم. ورغم أن هذا الجمع يساعد، إلا أن الأساليب الحالية غالبًا ما تتبع مسارًا جامدًا: فهي تولد خطة، ثم تبحث عن الحقائق، ثم تمضي قدمًا. وإذا احتوت الخطة على خطأ في مرحلة مبكرة، فإن النظام غالبًا ما يفشل في ملاحظته، ويستمر في المسار الخاطئ حتى تكون الإجابة النهائية خاطئة. لقد كان التحدي يكمن في إنشاء نظام لا يمكنه البحث عن الحقائق فحسب، بل يمكنه أيضًا التوقف، ومراجعة عمله، وتصحيح نفسه عندما لا تتطابق الأدلة مع توقعاته.
لقد عالج فريق من الباحثين هذا التحدي بإطار عمل جديد يسمى TRACE، صُمم لجعل الذكاء الاصطناعي أكثر موثوقية عند الإجابة على الأسئلة المعقدة. وبدلاً من ترك الكمبيوتر يتسابق عبر سلسلة من الخطوات، يقوم TRACE بتفكيك العملية إلى حلقة دقيقة من التخطيط والتحقق والإصلاح. يبدأ النظام بطلب من النموذج اللغوي الكبير لإنشاء خطة منظمة، وهي في الأساس مسودة خطوة بخطوة لكيفية نيته إيجاد الإجابة. ثم تُسلم هذه الخطة إلى وكيل متخصص يذهب إلى الرسم البياني المعرفي لإيجاد الأدلة لكل خطوة محددة. ويعمل وكيل ثالث كمدقق صارم، حيث يقارن الملاحظات المتوقعة للنموذج مقابل الحقائق الفعلية المستخرجة من قاعدة البيانات. إذا تطابقت الحقائق، يمضي النظام قدمًا. وإذا لم تتطابق، يقوم النظام بتفعيل آلية إصلاح تشخص بدقة ما الذي سار بشكل خاطئ وتعدل الخطة وفقًا لذلك.
اختبر الباحثون هذا النهج على ثلاث مجموعات مختلفة من الأسئلة الصعبة التي تتطلب ربط قطع متعددة من المعلومات. ووجدوا أن TRACE تفوق باستمرار على الأساليب الأخرى التي تعتمد على الوكلاء للتفاعل مع الرسوم البيانية المعرفية. وعند استخدام نموذج قوي يُعرف باسم GPT-4، حقق إطار العمل الجديد درجة مطابقة تامة بلغت 80.0 بالمائة، مما يعني أنه أصاب الإجابة الصحيحة 80 بالمائة من المرات، مقارنة بـ 78.0 بالمائة لأفضل طريقة تالية. والأهم من ذلك، أظهر النظام تحسنًا ملحوظًا في جودة إجاباته الجزئية، حيث سجل 66.8 مقارنة بـ 48.8 للمنافس. يشير هذا إلى أنه حتى عندما لا يحصل النظام على الإجابة المثالية، فإنه يكون أقرب بكثير إلى الحقيقة من الأساليب السابقة. كما أظهرت الدراسة أن هذا النهج يعمل بشكل جيد مع النماذج الأصغر والأقل قوة، مما يساعدها على تجنب الفخ الشائع المتمثل في اختلاق الحقائق.
ما يميز TRACE هو كيفية تعامله مع الأخطاء. في الأنظمة التقليدية، إذا ارتكب النموذج خطأً في الخطوة الأولى من سلسلة الاستدلال، فإن هذا الخطأ غالبًا ما ينتشر، مما يؤدي إلى استنتاج خاطئ تمامًا. يمنع TRACE ذلك من خلال معاملة الرسم البياني المعرفي كنقطة تفتيش عند كل خطوة. فإذا حاول النظام القول إن رسامًا مشهورًا توفي في مدينة معينة، بينما تظهر قاعدة البيانات أنه توفي في مدينة أخرى، يتوقف النظام فورًا. فهو لا يتجاهل التعارض فحسب، بل يفعل استراتيجية إصلاح. واعتمادًا على نوع الخطأ، قد يقوم النظام ببساطة باستبدال الحقيقة الخاطئة بالحقيقة الصحيحة، أو العودة إلى خطوة سابقة لتجربة مسار مختلف، أو تقسيم السؤال إلى أجزاء أصغر وأكثر قابلية للإدارة لضمان عدم إغفال أي قيود. وتتم عملية الإصلاح هذه بتوجيه من نظام تسجيل يقيم أي استراتيجية إصلاح تقدم المسار الأكثر موثوقية، مما يضمن أن الإجابة النهائية تستند إلى أدلة مثبتة بدلاً من التخمين.
نظر الباحثون أيضًا في تكلفة تشغيل هذا النظام الأكثر دقة. ولأن العملية تتضمن التحقق من الخطة وربما إصلاحها، فقد يتوقع المرء أنها ستستهلك طاقة حوسبة أكبر بكثير. ومع ذلك، وجدت الدراسة أن TRACE يستخدم في الواقع عددًا أقل من الكلمات، أو الرموز (tokens)، للوصول إلى إجابة مقارنة بالأساليب المتقدمة الأخرى. وبينما يقوم بعدد أكبر قليلاً من الاستدعاءات للنموذج مقارنة بأحد المنافسين، فإن الحجم الإجمالي للنصوص المعالجة أقل، مما يجعل النظام أكثر كفاءة بشكل عام. يأتي هذا المكسب في الكفاءة من قدرة النظام على التوقف مبكرًا عند اكتشاف طريق مسدود، بدلاً من إهدار الموارد في اتباع مسار معيب حتى نهايته. وتشير النتائج إلى أنه من خلال بناء آلية للتصحيح الذاتي والتحقق، يمكن للذكاء الاصطناعي أن يصبح ليس فقط أكثر ذكاءً، بل أيضًا أكثر كفاءة وموثوقية في استدلاله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.