REAP: Relation-Aware Elicitation and Parsing for Closed-Book Knowledge Base Construction from LLMs
حقق نظام REAP، المبني على نموذج Mistral بـ 24 مليار معلمة دون ضبط دقيق، درجة macro-F1 تبلغ 0.62 في مهمة AKBC المشتركة لعام 2026 من خلال توظيف تسلسل استدلال مهيكل، واستعلامات خاصة بالعلاقات، وبوابة مجموعة فارغة قائمة على الاستدلال لاستخلاص وتحليل المعرفة البارامترية إلى مصفوفات JSON صالحة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقاً قرأ كل كتاب تقريباً في العالم وحفظ كمية هائلة من الحقائق، من عاصمة فرنسا إلى عدد النجوم في مجرة معينة. هذا الصديق هو "نموذج لغوي كبير" (LLM). عادةً، عندما تسأله سؤالاً بسيطاً مثل "من فاز بجائزة نوبل؟"، يعطيك إجابة سريعة. ولكن ماذا لو طلبت منه أن يسرد كل شخص فاز بتلك الجائزة، أو أن يخبرك بالضبط ما هي الدول التي تشترك في حدود برية مع دولة جزيرية صغيرة؟ فجأة، تصبح المهمة أصعب بكثير. قد ينسى الصديق بعض الأسماء، أو يخترع فائزاً وهمياً، أو يرتبك بشأن ما إذا كانت الجزيرة لديها جيران أصلاً.
هذا هو تحدي "بناء قاعدة المعرفة". يريد العلماء تحويل هذه الأدمغة الضخمة المليئة بالحقائق إلى قواعد بيانات منظمة يمكن للحواسيب استخدامها بشكل موثوق. الجزء الصعب هو أن الصديق (الذكاء الاصطناعي) ليس لديه مكتبة ليبحث فيها؛ بل عليه الاعتماد كلياً على ما يدور داخل رأسه (الـ "بارامترات" الخاصة به). إذا كانت الإجابة هي "لا أحد"، يجب أن يعرف الصديق أن يقول "القائمة فارغة" بدلاً من التخمين. وإذا كانت الإجابة قائمة طويلة، فعليه الحصول على كل عنصر فيها بدقة دون إسقاط أي منها. تتناول هذه الورقة البحثية كيفية طرح الأسئلة الصحيحة على أصدقائنا من الذكاء الاصطناعي للحصول على قوائم مثالية ومنظمة دون تركهم يهلوسون أو يرتبكون.
نظام REAP: دليل المحقق لذاكرة الذكاء الاصطناعي
تعرف على REAP (الاستقصاء والتحليل القائم على العلاقات - Relation-Aware Elicitation and Parsing). لا تنظر إلى REAP كمجرد سائل للأسئلة، بل كفريق محققين ذكي يعمل مع شاهد ذكي جداً، ولكنه مشتت الذهن أحياناً (نموذج الذكاء الاصطناعي). الهدف؟ بناء قائمة مثالية ومنظمة من الحقائق من ذاكرة الشاهد دون السماح له باختلاق أشياء.
وجد الباحثون أنك إذا سألت الذكاء الاصطناعي ببساطة: "اذكر جميع الدول المتاخمة لـ X"، فقد يشعر بالإرهاق، أو ينسى بعضها، أو يخترع بالخطأ حدوداً غير موجودة. الأمر يشبه طلب تلاوة فصل كامل من كتاب مدرسي من طالب في نفس واحد؛ قد يتعثر. بدلاً من ذلك، يقوم REAP بتفكيك المهمة إلى مرحلتين متميزتين، مثل عملية مقابلة مكونة من خطوتين.
المرحلة الأولى: استجواب المحقق (الاستنتاج)
في المرحلة الأولى، لا يكتفي REAP بطلب الإجابة، بل يطلب من الذكاء الاصطناعي أن يفكر قبل أن يتحدث. واعتماداً على نوع السؤال، يستخدم المحقق استراتيجية خاصة:
- بالنسبة للحدود: بدلاً من سؤال "من يحد هذا المكان؟"، يُطلب من الذكاء الاصطناعي أن يتصرف كخبير جغرافي ويمسح الخريطة في أربعة اتجاهات (شمال، جنوب، شرق، غرب) للتأكد من عدم تفويت أي جار صغير.
- بالنسبة للجوائز: إذا كان على الذكاء الاصطناعي سرد الفائزين بالجوائز، فهو لا يخمن فحسب. بل يقسم الوقت إلى عقود، ويسأل: "من فاز في السبعينيات؟ من فاز في الثمانينيات؟" وهذا يضمن عدم تخطي الذكاء الاصطناعي لحقبة كاملة.
- بوابة "المجموعة الفارغة": هذه شبكة أمان حاسمة. في بعض الأحيان تكون الإجابة "لا أحد" (مثل شخص حي لم يمت بعد، أو شركة خاصة ليست متداولة في البورصة). يعلم REAP الذكاء الاصطناعي كيفية التعرف على الحالات التي لا توجد فيها خاصية معينة والقول بثقة: "القائمة فارغة"، بدلاً من اختراع اسم وهمي.
المرحلة الثانية: تنقيح الكاتب (التحليل)
بمجرد أن ينتهي الذكاء الاصطناعي من تفكيره ويولد قائمة فوضوية من الحقائق، تبدأ المرحلة الثانية. هذه هي مرحلة "الكاتب" الذي ينظف الملاحظات. يستخدم النظام قواعد صارمة لاستخراج الإجابات وتنسيقها بشكل مثالي في قائمة بصيغة JSON (تنسيق حاسوبي قياسي). إذا ارتبك الذكاء الاصطناعي وكتب جملة بدلاً من قائمة، يحاول الكاتب إصلاحها. وإذا تعذر إصلاحها، يحاول النظام طرح السؤال مرة أخرى باستخدام مطالبة (prompt) أبسط.
ما وجدوه
اختبر الباحثون هذا النظام باستخدام نموذج ذكاء اصطناعي محدد يسمى Mistral-Small-24B-Instruct-2501، والذي يمتلك حوالي 24 مليار "خلية دماغية" (بارامترات). كانوا يعملون بموجب قواعد صارمة: لا بحث عن معلومات على الإنترنت، لا تغيير في دماغ الذكاء الاصطناعي (لا ضبط دقيق/fine-tuning)، واستخدام نموذج لا يتجاوز 32 مليار بارامتر.
كانت النتائج واعدة للغاية. في مجموعة اختبار للأسئلة الصعبة، حقق نظام REAP درجة macro-F1 بلغت 0.62. ولو وضعت ذلك في الاعتبار، فقد كان هذا أفضل بكثير من النظام الأساسي للمنظمين (الذي سجل 0.30)، وأفضل من استخدام نماذج ذكاء اصطناعي شهيرة أخرى مثل Llama أو Gemma باستخدام نفس الطريقة.
لقد تألق النظام بشكل خاص في أنواع معينة من الأسئلة:
- الحدود الدولية: حقق درجة 0.95، مما يعني أنه كان شبه مثالي في سرد الدول المجاورة.
- البورصات: سجل 0.73 في العثور على أماكن تداول الشركات.
- المساحة: سجل 0.77 في حساب مساحات المناطق الجغرافية.
ومع ذلك، لم يكن النظام مثالياً في كل مكان. فقد عانى قليلاً في سعة المنشآت (سجل 0.23)، حيث خلط غالباً بين ملعب محلي صغير وملعب مشهور يحمل اسماً مشابهاً. ويشير الباحثون إلى أن هذا يرجع إلى أن الذاكرة الداخلية للذكاء الاصطناعي ليست دقيقة دائماً فيما يتعلق بالأرقام المحددة جداً أو الحقائق النادرة (long-tail facts).
ماذا يعني هذا (وما لا يعنيه)
تشير الورقة البحثية إلى أن مفتاح الحصول على إجابات أفضل من الذكاء الاصطناعي ليس فقط في امتلاك دماغ أكبر، بل في طرح الأسئلة الصحيحة بالطريقة الصحيحة. من خلال إجبار الذكاء الاصطناعي على "التفكير خطوة بخطوة" (باستخدام استدلال سلسلة الأفكار/Chain-of-Thought) وتزويده باستراتيجيات محددة لأنواع مختلفة من الحقائق، يمكن للنظام استخراج معلومات أكثر دقة.
ومع ذلك، يوضح المؤلفون بحذر أن هذا ليس حلاً سحرياً. فلا يزال النظام يعتمد كلياً على ما حفظه الذكاء الاصطناعي. إذا لم يكن لدى الذكاء الاصطناعي معلومة عن كيان نادر جداً (مثل جزيرة صغيرة أو جائزة ثانوية)، فلا يمكن للنظام اختراعها. أيضاً، بما أن الذكاء الاصطناعي يعمل على رقائق حاسوبية محددة (TPUs)، فهناك قدر ضئيل من العشوائية في النتائج، وإن كان صغيراً بما يكفي بحيث لا يغير الصورة الكبيرة.
باختاً، يظهر REAP أنه مع القليل من الهيكلية والكثير من الصبر، يمكننا استخراج حقائق أكثر موثوقية من أصدقائنا من الذكاء الاصطناعي، وتحويل ذكرياتهم الفوضوية إلى قوائم مرتبة وقابلة للاستخدام.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.