Neuro-Symbolic Question Answering Architecture Integrating Ontology-Constrained Query Generation
تقدم الورقة البحثية ORACOLO، وهي بنية هندسية للإجابة على الأسئلة تعتمد على النهج العصبي الرمزي وتدمج توليد استعلامات SPARQL المقيدة بالأنطولوجيا مع نظام استرجاع كثيف كبديل احتياطي، مما يظهر تحسناً كبيزاً في الدقة الواقعية مقارنة بالاسترجاع الكثيف الصرف مع الحفاظ على مستوى مماثل من الأمانة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، أصبحت النماذج اللغوية الكبيرة بارعة بشكل ملحوظ في كتابة النصوص؛ إذ يمكنها الإجابة على الأسئلة، وتلخيص القصص، وإجراء المحادثات من خلال التنبؤ بالكلمة التالية في الجملة بناءً على الأنماط التي تعلمتها من كميات هائلة من البيانات. ومع ذلك، تعاني هذه النماذج من نقطة ضعف جوهرية: فهي لا تدرك الفرق بين الحقيقة الصحيحة والجملة التي تبدو منطقية فحسب. ولإصلاح ذلك، طور المهندسون طريقة تسمى "التوليد المعزز بالاسترجاع". تمنح هذه الطريقة النموذج مجموعة من المستندات ليقرأها قبل أن يجيب، مما يجبره على تأصيل استجابته في أدلة حقيقية بدلاً من الاعتماد فقط على ذاكرته الخاصة. ومع ذلك، تبرز مشكلة جديدة مع هذه الطريقة؛ فعندما يبحث النظام عن الأدلة، فإنه غالباً ما يجد فقرة نصية تكون فيها الإجابة مدفونة داخل جملة ما. وعندها يجب على النموذج أن يعمل كالمحقق، مستخرجاً الحقيقة المحددة من وسط النثر. وفي القيام بذلك، يمكنه بسهولة أن يسيء فهم السياق أو يعيد بناء القيمة بشكل غير صحيح، مما يؤدي إلى إجابات بليغة ولكنها خاطئة بشكل طفيف.
ولحل هذه المشكلة، بنى باحثون في جامعة ساليرنو في إيطاليا نظاماً جديداً يسمى "أوراكولو" (ORACOLO). أرادوا معرفة ما إذا كان بإمكانهم جعل البحث عن الحقائق أكثر دقة باستخدام خريطة معرفية رسمية، تُعرف باسم "الأنطولوجيا" (Ontology)، بدلاً من مجرد البحث عبر النصوص العادية. والأنطولوجيا هي قاعدة بيانات مهيكلة حيث تُخزن الحقائق كروابط واضحة ومعزولة، مثل فهرس بطاقات المكتبة حيث يُدرج كل كتاب مع مؤلفه وسنة نشره بتنسيق صارم. والتحدي يكمكم في أن هذه الفهارس يصعب على الأشخاص العاديين الاستعلام عنها لأنها تتطلب لغة متخصصة ورسمية. وقد جمع الفريق بين أفضل ما في العالمين: استخدموا شبكة عصبية، وهي نوع من الذكاء الاصطناعي الجيد في فهم اللغة البشرية، لترجمة سؤال المستخدم إلى استعلام رسمي. ثم استخدموا محركاً رمزياً، وهو برنامج حاسوبي صارم، لتنفيذ ذلك الاستعلام مقابل الخريطة المهيكلة. إذا أعادت الخريطة إجابة واضحة، استخدمها النظام. وإذا لم تعد الخريطة بأي شيء، يلجأ النظام إلى الطريقة التقليدية المتمثلة في البحث عبر فقرات النصوص. سمح هذا النهج الهجين لهم باختبار ما إذا كانت الخريطة المهيكلة يمكن أن توفر حقائق أكثر دقة من البحث النصي، حتى عندما يستخدم كلا الأسلوبين نفس النموذج اللغوي لكتابة الإجابة النهائية.
اختبر الباحثون هذا النظام على فهرس مكتبة حقيقي من مكتبة جامعة لوغانو في سويسرا. احتوى هذا الفهرس على ما يقرب من مائة ألف حقيقة عن الكتب، بما في ذلك العناوين، والمؤلفين، وتواريخ النشر، وملخصات المحتوى. أنشأوا مجموعة من الأسئلة بناءً على هذا الفهرس، تراوحت من الطلبات البسيطة مثل "من كتب هذا الكتاب؟" إلى سلاسل معلومات أكثر تعقيداً. ثم قارنوا نظامهم الجديد بنسخة قياسية تعتمد فقط على البحث النصي، مع ضمان أن كلا النظامين يستخدمان نفس النموذج اللغوي تماماً لتوليد الإجابة النهائية. كانت هذه خطوة حاسمة، لأنها تعني أن أي فرق في النتائج يجب أن يكون ناتجاً عن كيفية العثور على المعلومات، وليس من ذكاء الكاتب. وأظهرت النتائج تحسناً واضحاً في الدقة؛ فقد حدد النظام الجديد حقائق معينة في الإجابة بشكل صحيح في كثير من الأحيان أكثر من النظام الذي يعتمد على النص فقط. وبينما تمكن النظام الذي يعتمد على النص فقط من الحصول على الإجابة الصحيحة بنسبة 29% من الوقت تقريباً، رفع النظام الجديد هذه النسبة إلى ما يقرب من 47%.
كشفت الدراسة أن هذا التحسن جاء تحديداً من القدرة على استرجاع الحقائق الدقيقة. فعندما يسأل السؤال عن معلومة واحدة، مثل اسم مؤلف أو سنة نشر، كان النظام الجديد أفضل بشكل ملحوظ. كما أدى أداءً جيداً عندما يتطلب السؤال ربط قطعتين من المعلومات معاً. ومع ذلك، اختفى التفوق عندما يتطلب السؤال من النظام الاستنتاج من الحقائق، مثل استنباط موضوع من محتوى كتاب ما؛ ففي تلك الحالات، كان كلا النظامين يؤديان بشكل مماثل. يشير هذا إلى أن البنية الجديدة لا تجعل الكمبيوتر أكثر ذكاءً في التفكير، بل تجعله أفضل في العثور على المواد الخام الدقيقة التي يحتاجها ليفكر بها. كما أثبت النظام أيضاً أن الخريطة المهيكلة لم تجعل الإجابات أكثر "أمانة" للأدلة بطريقة لم يفعلها البحث النصي؛ فكلا النظامين كانا متساويين في الالتزام بالمعلومات المعطاة لهما. كان الفرق ببساطة هو أن النظام الجديد قد أُعطي معلومات أكثر دقة ووضوحاً منذ البداية.
كانت إحدى النتائج الرئيسية للبحث هي كيفية تعامل النظام مع أخطائه الخاصة. اكتشف الباحثون أن الخريطة الرسمية لا تعمل دائماً؛ ففي حوالي 24% من الحالات، فشلت عملية الترجمة من اللغة البشرية إلى الاستعلام الرسمي، أو لم يرجع الاستعلام أي نتائج. وفي هذه اللحظات، لم يستسلم النظام، بل رصد الفشل وانتقل فوراً إلى طريقة البحث النصي لإيجاد إجابة. هذا الشبكة الأمنية تعني أن النظام يمكنه تقديم استجابة حتى عندما لا تستطيع الخريطة الصارمة توفير إجابة. ومع ذلك، وجد الباحثون أيضاً أن النظام كان أكثر دقة عندما تعمل الخريطة الرسمية بشكل صحيح؛ فعندما اعتمد النظام على التراجع إلى البحث النصي، كان التحسن في الدقة أصغر بكثير. وقد أكد هذا أن الخريطة المهيكلة كانت هي مصدر الدقة، بينما كان البحث النصي بمثابة نسخة احتياطية موثوقة.
كشفت الدراسة أيضاً عن مشكلة مفاجئة في كيفية قياس جودة هذه الأنظمة. أحد المقاييس الشائعة المستخدمة لتقييم الإجابات هو "الصلة" (Relevance)، والذي يتحقق من مدى مطابقة الإجابة لموضوع السؤال. وجد الباحثون أن النظام الذي لا يرتكب أخطاءً واقعية ولكنه يكتفي بالتخمين بطلاقة يمكن أن يسجل درجات أعلى في "الصلة" من نظامهم الدقيق. حدث هذا لأن نظام التخمين كتب إجابات طويلة وانسيابية تبدو مثالية، بينما قدم النظام الدقيق أحياناً إجابات قصيرة ومباشرة أو رفض الإجابة عندما لم يتمكن من العثور على الحقائق. يشير هذا إلى أن درجات الصلة يمكن أن تكون مضللة، حيث تكافئ الأسلوب على حساب الجوهر. وخلص الباحثون إلى أنه لتقييم هذه الأنظمة حقاً، يجب أن ننظر فيما إذا كانت الحقائق صحيحة، وليس فقط فيما إذا كانت الإجابة تبدو جيدة.
أخيراً، فحص الفريق تكلفة تشغيل هذا النظام الجديد. إن عملية ترجمة السؤال، والتحقق منه مقابل الخريطة، ثم كتابة الإجابة، استغرقت وقتاً أطول بكثير من مجرد طلب التخمين من النموذج اللغوي. في المتوسط، استغرق النظام الجديد حوالي 292 ثانية للإجابة على سؤال واحد، مقارنة بحوالي 35 ثانية للنظام الذي يعتمد على النص فقط. لاحظ الباحثون أن هذا التأخير يعود في الغالب إلى الوقت الذي استغرقته النماذج اللغوية لمعالجة المعلومات، وليس الوقت المستغرق للتحقق من الخريطة. ووجدوا أن خطوة واحدة محددة في عمليتهم، والتي حاولت تقسيم الأسئلة المعقدة إلى أجزاء أصغر، كانت في الواقع تبطئ النظام دون تحسين النتائج؛ إذ أدى حذف هذه الخطوة إلى تقليل الوقت بشكل كبير دون المساس بالدقة. يشير هذا إلى أنه بينما يعتبر النظام حالياً بطيئاً جداً للاستخدام التفاعلي الفوري، إلا أنه قد يكون عملياً في الحالات التي تكون فيها الدقة أهم من السرعة، مثل التحقق من السجلات التاريخية أو فحص البيانات المؤسسية. يوضح هذا العمل أنه من خلال الجمع بين مرونة اللغة البشرية ودقة البيانات المهيكلة، يمكننا بناء أنظمة أكثر موثوقية بكثير من تلك التي تعتمد على اللغة وحدها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.