DAVIS: Planning Agent with Knowledge Graph-Powered Inner Monologue
تقدم الورقة البحثية DAVIS، وهو وكيل تخطيط علمي مبتكر يستفيد من مونولوج داخلي مدعوم برسم بياني معرفي وذاكرة زمنية مهيكلة لتحقيق أداء متفوق في المهام المختبرية المعقدة والإجابة على الأسئلة متعددة الخطوات مقارنة بنهج التوليد المعزز بالاسترجاع الحالية.
المؤلفون الأصليون:Minh Pham Dinh, Munira Syed, Michael G Yankoski, Trenton W. Ford
تخيل أنك تحاول تعليم روبوت كيفية إجراء تجارب علمية معقدة، مثل زراعة نوع معين من النباتات أو خلط المواد الكيميائية. إذا قلت للروبوت فقط: "اذهب وافعل ذلك"، فقد يصاب بالذعر، أو ينسى ما كان يفعله، أو قد يفجر المختبر بالخطأ لأنه لا يفهم تسلسل الأحداث أو عواقب أفعاله.
تقدم هذه الورقة البحثية DAVIS، وهو نوع جديد من وكلاء الذكاء الاصطناعي المصمم ليكون مساعداً علمياً دقيقاً ومتأنياً. إليك كيف يعمل، مشروحاً عبر تشبيهات بسيطة:
1. المشكلة: الروبوت "فاقد للذاكرة"
معظم وكلاء الذكاء الاصطناعي الحاليين يشبهون السياح فاقدي الذاكرة. يمكنهم قراءة الخريطة (الإنترنت) والإجابة على الأسئلة، لكن ليس لديهم ذاكرة جيدة لما حدث قبل خمس دقائق أو كيف يتغير العالم بمرور الوقت.
المشكلة: إذا فتح الروبوت خزانة ووجد غلاية، فقد ينسى الذكاء الاصطناعي القياسي وجود الغلاية بمجرد أن يستدير. إنه يعاني في المهام التي تتطلب سلسلة من الأحداث (على سبيل المثال: "يجب أن تغلي الماء قبل أن تتمكن من صنع الشاي").
النتيجة: غالباً ما يفشلون في المهام العلمية لأنهم يفتقرون إلى "المنطق السليم" بشأن الوقت والسبب والنتيجة.
2. الحل: "المناجاة الداخلية" لـ DAVIS
يختلف DAVIS عن غيره لأنه يتحدث إلى نفسه. يطلق المؤلفون على هذا اسم "المناجاة الداخلية" (Inner Monologue).
فكر في DAVIS ليس كروبوت يتفاعل فحسب، بل كمحقق يحل لغزاً.
دفتر ملاحظات المحقق (نموذج العالم): بدلاً من مجرد النظر إلى الغرفة، يحتفظ DAVIS بدفتر ملاحظات مفصل وحي يسمى "الرسم البيائي المعرفي الزمني" (Temporal Knowledge Graph). هذا ليس مجرد قائمة من الحقائق؛ بل هو جدول زمني. إنه يسجل: "في الساعة 10:00 صباحاً، أمسكت بالكأس. في الساعة 10:05 صباحاً، سكبت الماء فيه. في الساعة 10:10 صباحاً، بدأ الماء في الغليان".
الحوار الداخلي: قبل اتخاذ أي خطوة، يسأل DAVIS نفسه أسئلة مثل الإنسان الذي يفكر بصوت عالٍ: "انتظر، أنا بحاجة إلى ماء ساخن. هل قمت بتسخين الماء بالفعل؟ إذا سكبت الماء البارد الآن، هل سينكسر الزجاج؟ دعني أتفقد دفتري".
3. كيف يعمل: فريق "الممثل والناقد"
يستخدم DAVIS فريقاً من ثلاثة أشخاص داخل عقله لاتخاذ القرارات:
المخطط (نموذج العالم): هذا هو الاستراتيجي. ينظر إلى "الدفتر" (الرسم البياني المعرفي) ويتنبأ بالمستقبل. يقول: "إذا فعلت (س)، فسيحدث (ص)". إنه يضع خطة خطوة بخطوة.
الممثل (المنفذ): هذا هو اليدان. يأخذ الخطة رفيعة المستوى من المخطط ويحولها إلى أوامر جسدية صغيرة مثل "ارفع"، "شغل"، أو "اسكب".
الناقد (مفتش السلامة): هذا هو الجزء الأهم. بعد أن يقوم "الممثل" بفعل ما، يقوم "الناقد" بفحص النتيجة.
سيناريو: كانت الخطة هي "تسخين الماء". قام "الممثل" بتشغيل الموقد.
الفحص: ينظر "الناقد" إلى النتيجة. هل الماء ساخن؟ إذا كان الموقد معطلاً ولم يسخن الماء، يقول "الناقد": "توقف! هذا لم ينجح. لنعد التفكير في الخطة".
هذا يمنع الروبوت من تكرار الأخطاء بشكل أعمى.
4. اختبار "عالم العلوم"
اختبر الباحثون DAVIS في لعبة فيديو تسمى ScienceWorld، والتي تحاكي مختبراً يحتوي على 9 موضوعات مختلفة (مثل البيولوجيا، الكيمياء، والفيزياء).
المنافسة: وضعوا DAVIS في مواجهة وكلاء ذكاء اصطناعي أذكياء آخرين (مثل ReAct وSayCan وReflexion).
النتيجة: فاز DAVIS في 8 من أصل 9 موضوعات. لقد كان أفضل بكثير في تحديد الترتيب الصحيح للخطوات ولم يرتبك عندما ساءت الأمور. كان الأمر أشبه بطالب درس الكتاب المدرسي فعلياً مقابل طالب يكتفي بالتخمين.
5. لماذا هذا مهم؟
السلامة: لأن DAVIS "يفكر" قبل أن يتحرك ويتحقق من عمله، فهو أكثر أماناً بكثير. لن يخلط مواد كيميائية خطيرة ما لم يتأكد من الخطوات.
الاستنتاج: يمكنه ربط النقاط ببعضها. إذا تعلم أن "النار تحتاج إلى الأكسجين"، فيمكنه تطبيق ذلك على موقف جديد لم يره من قبل.
الشفافية: يمكنك قراءة "مناجاته الداخلية" لتعرف بالضبط لماذا اتخذ قراراً معيناً. وهذا أمر ضخم في العلوم، حيث تحتاج إلى معرفة كيف تم التوصل إلى نتيجة، وليس فقط أنها حدثت.
العقبة (القيود)
تقر الورقة البحثية بأن DAVIS حالياً مكلف وبطيء.
التكلفة: لأنه يتحدث إلى نفسه كثيراً ويتحقق من "دفتر ملاحظاته" باستمرار، فإنه يستهلك الكثير من طاقة الحوسبة (مثل سوبر كمبيوتر يفكر بعمق). قد تكلف عملية واحدة من التجارب بضعة دولارات من رسوم الحوسبة.
الاعتمادية: هو يعتمد بشكل كبير على "العقل" (النموذج اللغوي الكبير) الذي يستخدمه. إذا تغير ذلك العقل أو ارتكب خطأً، سيصاب DAVIS بالارتباك.
الملخص
DAVIS يشبه إعطاء الروبوت ذاكرة، وضميراً، وصوتاً. بدلاً من مجرد التفاعل مع العالم، فإنه يتوقف، ويتفقد ملاحظاته، ويتحدث إلى نفسه لسد الفجوات، ومن ثم يتخذ الإجراء. وهذا يجعله مرشحاً أفضل بكثير للمساعدة في البيئات الدقيقة والمعقدة مثل المختبرات العلمية.
إليك ملخص تقني مفصل لورقة بحثية بعنوان "DAVIS: وكيل تخطيط مدعوم بمونولوج داخلي يعتمد على رسم بياني معرفي".
1. بيان المشكلة
تعالج الورقة البحثية تحدي تصميم وكلاء علميين عامين قادرين على أداء مهام معقدة بشكل مستقل في المختبرات. وخلافًا للمهام اليومية، تتطلب المهام العلمية ما يلي:
الاستدلال عالي المستوى: الاستدلال متعدد الخطوات (multi-hop reasoning) عبر المعرفة الإجرائية الخاصة بالمجال.
الفهم الزمني والهيكلي: نمذجة كيفية تطور البيئات بمرور الوقت، بما في ذلك الآثار المتأخرة أو التراكمية للأفعال.
السلامة والقابلية للتفسير: تبرير الأفعال وضمان أن العواقب الفيزيائية آمنة.
الإدراك الجزئي: العمل مع تغذية راجعة محدودة في الوقت الفعلي.
غالبًا ما تفشل النهج الحالية، مثل التعلم التعزيزي (RL) القياسي أو توليد المحتوى المعزز بالاسترجاع (RAG) باستخدام قواعد بيانات متجهية غير مهيكلة، في تلبية هذه المتطلبات؛ حيث تعاني من عدم كفاءة العينات، والافتقار إلى الذاكرة طويلة المدى، وعدم القدرة على إجراء استدلال سببي/متعدد الخطوات، وطرق استرجاع ثابتة تمنع التكيف الديناميكي.
2. المنهجية: إطار عمل DAVIS
إن DAVIS (معهد ديفيس للذكاء الاصطناعي) هو وكيل تخطيط قائم على النموذج يدمج رسمًا بيانيًا معرفيًا زمنيًا (TKG) مع نظام استرجاع وكيل متعدد الأدوار (يُسمى "المونولوج الداخلي").
المكونات الجوهرية
نموذج العالم (WM) كرسم بياني معرفي زمني:
بدلاً من التخزين المتجهي الثابت، يقوم DAVIS ببناء رسم بياني معرفي زمني (Gt=(E,R,T)) حيث تتطور الكيانات، والعلاقات، والطوابع الزمنية مع تفاعل الوكيل مع البيئة.
البناء: يتم تلخيص الانتقالات (ملاحظة ∥ فعل ∥ الملاحظة التالية) بواسطة نموذج لغوي كبير (LLM)، وحل مشكلات الإحالة (coreference) باستخدام Stanford CoreNLP، وتحويلها إلى أزواج (كيان-علاقة) مع طوابع زمنية.
الوظيفة: يعمل الـ TKG كذاكرة خارجية مهيكلة وقابلة للتفسير، مما يمكن الوكيل من استنتاج العلاقات السببية وتحولات الحالة بمرور الوقت.
نظام استرجاع المونولوج الداخلي:
على عكس الـ RAG التقليدي الذي يسترجع معلومات ثابتة، ينخرط DAVIS في عملية حوارية تكرارية مع نموذج العالم الخاص به.
العملية: عند مواجهة استعلام (مثل "أين الماء؟")، يقوم الوكيل بـ:
تحديد أنواع الكيانات ذات الصلة (مثل: موقع، شخص).
توسيع البحث بشكل تكراري عن طريق إضافة الجيران لتشكيل رسم بياني فرعي أقصى.
إعادة ترتيب الحواف بناءً على الطوابع الزمنية لإنشاء تسلسل متماسك للأحداث.
تمرير هذا التسلسل الزمني إلى نموذج لغوي كبير (LLM) للاستقراء والتلخيص لسد الفجوات المعرفية.
بنية (الممثل-الناقد) مع التخطيط (Actor-Critic Architecture):
المخطط (نموذج العالم): يولد مسارات حركة عالية المستوى بلغة طبيعية (τ) بناءً على حالة الاعتقاد التقريبية والتاريخ المسترجع.
الممثل (Ra): يفكك الخطط عالية المستوى إلى أوامر قابلة للتنفيذ منخفضة المستوى للبيئة.
الناقد (Rc): يقيم التنفيذ باستمرار من خلال مقارنة النتائج المتوقعة (من نموذج العالم) مع استجابات البيئة الفعلية.
إذا وُجد اختلاف (مثل: أداة مكسورة)، يقوم الناقد بتفعيل إعادة التخطيط.
تعمل حلقة التأمل هذه على تحديث المونولوج الداخلي للوكيل والـ TKG، مما يسمح بالتكيف الديناميكي.
الصياغة الرياضية:
يتم نمذجة المشكلة كعملية ماركوف لاتخاذ القرار تحت الملاحظة الجزئية (POMDP).
يقوم DAVIS بتقريب حالة الاعتقاد b^t ويتعلم نماذج الانتقال والمكافأة (T^,R^) باستخدام الـ TKG والمونولوج الداخلي Mt.
يتم تعريف السياسة (policy) كـ π(at∣b^t,Mt)، مع التحسين لتحقيق مكافآت تراكمية مخصومة.
3. المساهمات الرئيسية
الاسترجاع الوكيل متعدد الأدوار: يعد DAVIS أول وكيل RAG يستخدم طريقة استرجاع تفاعلية حيث يستعلم الوكيل بشكل تكراري من ذاكرته (المونولوج الداخلي) لصقل فهمه قبل اتخاذ إجراء، بدلاً من الاعتماد على استرجاع ثابت من خطوة واحدة.
ذاكرة الرسم البياني المعرفي الزمني: قدم نظام ذاكرة مهيكل ينمذج الزمن والسببية بشكل صريح، مما يتيح الاستدلال متعدد الخطوات والتعامل مع الآثار المتأخرة في المهام العلمية.
بنية (الممثل-الناقد) مع التداول قبل التنفيذ: على عكس الأطر التي تقيم فقط بعد إتمام المهمة، يستخدم DAVIS ناقداً للتحقق من الخطوات في الوقت الفعلي وتفعيل إعادة التخطيط، مما يربط التخطيط عالي المستوى بالتنفيذ منخفض المستوى.
القابلية للتفسير: تسمفر استخدام الخطط ذات اللغة الطبيعية والرسم البياني المهيكل قدرة المشرفين البشريين على فحص عملية استدلال الوكيل، مما يعالج مخاوف السلامة الشائعة في وكلاء التعلم التعزيزي "الصندوق الأسود".
4. النتائج التجريبية
قام المؤلفون بتقييم DAVIS على معيار ScienceWorld (9 موضوعات علوم للمرحلة الابتدائية) ومجموعات بيانات الأسئلة والأجوبة متعددة الخطوات.
أداء ScienceWorld:
تفوق DAVIS على أفضل النماذج المرجعية (SayCan, ReAct, Reflexion, RAP) في 8 من أصل 9 موضوعات علمية.
حقق متوسط درجة إجمالي قدره 65.06، وهو أعلى بنحو 1.8 مرة من الطرق المنافسة.
تطلب خطوات أقل للتقارب وأظهر انتقالاً معرفياً فائقاً عبر تنوع المهام.
دراسات الاستئصال (Ablation Studies):
بدون نموذج العالم (WM): انخفض الأداء بشكل كبير (على سبيل المثال، من 70.00 إلى 3.00 في مهام "الإذابة/Melt")، مما يثبت أن الذاكرة الزمنية المهيكلة حاسمة للاستدلال المعقد.
بدون الناقد (Critic): واجه الوكيل صعوبة في التعافي من الأخطاء في المهام طويلة المدى، مما يسلط الضوء على أهمية التأمل وإعادة التخطيط في الوقت الفعلي.
بدون الممثل (Actor): فشل الوكيل في تفكيك الأهداف إلى أوامر قاب pula للتنفيذ، مما أدى إلى تسلسلات أفعال غير متماسكة.
الأسئلة والأجوبة متعددة الخطوات (HotpotQA & MusiqueQA):
حقق نموذج العالم الخاص بـ DAVIS نتائج تنافسية، متفوقاً على GraphReader و GraphRAG في HotpotQA (F1: 73.8) وأداءً قوياً في MusiqueQA.
يثبت هذا قدرة الإطار على التعميم في مهام الاستدلال المعرفي العام، وليس فقط في المحاكاة العلمية.
5. الأهمية والقيود
الأهمية:
الذكاء الاصطناي العلمي: يمثل DAVIS خطوة كبيرة نحو مساعدين علميين مستقلين يمكنهم التنقل بأمان في البيئات الإجرائية المعقدة.
نموذج الاستدلال: ينقل النموذج من الاسترجاع الثابت إلى الاستدلال الديناميكي التكراري، محاكياً "المونولوج الداخلي" البشري لسد الفجوات المعرفية.
السلامة: من خلال التحقق من الخطط مقابل نموذج العالم قبل التنفيذ، فإنه يقدم بديلاً أكثر أماناً للتعلم التعزيزي القائم على التجربة والخطأ في المجالات الحرجة.
القيود والعمل المستقبلي:
التكلفة الحسابية: الاعتماد على النماذج اللغوية الكبيرة (LLMs) في كل خطوة من المونولوج الداخلي يؤدي إلى استهلاك عالٍ للرموز (tokens) (43 ألف رمز/فعل) والتكلفة (0.43 دولار/فعل). يهدف العمل المستقبلي إلى تقطير هذا في نماذج أصغر ومفتوحة المص المصدر.
الحساسية للنماذج اللغوية الكبيرة: يرتبط الأداء ارتباطاً وثيقاً باستقرار وجودة النموذج اللغوي المستخدم؛ حيث يمكن أن تؤدي التغييرات في واجهة برمجة التطبيقات (API) أو أوزان النموذج إلى تعطيل عمل الوكيل.
أحادية النمط: يعمل حالياً في بيئات قائمة على النصوص فقط. ستحتاج الإصدارات المستقبلية إلى دمج المدخلات البصرية والحسية للنشر في الروبوتات الواقعية.
التحيز: يعتمد تخطيط الوكيل على الـ TKG؛ فإذا افتقر الرسم البياني إلى معرفة محددة، فقد يعاني الوكيل في التعامل مع السيناريوهات الجديدة.
في الختام، يضع DAVIS معياراً جديداً للاستدلال الوكيل في المجالات العلمية من خلال الجمع بين الذاكرة الزمنية المهيكلة والتأمل الذاتي التكراري، مما يوفر إطاراً قوياً وقابلاً للتفسير وفعالاً للغاية لتخطيط المهام المعقدة.