Evaluating Memory Structure in LLM Agents
تقدم هذه الورقة البحثية StructMemEval، وهو معيار مصمم لتقييم قدرة وكلاء النماذج اللغوية الكبيرة على تنظيم الذاكرة طويلة المدى في هياكل معقدة بدلاً من مجرد استرجاع الحقائق، مما يكشف أنه بينما يمكن للوكلاء حل مثل هذه المهام من خلال التوجيه الصريح، إلا أنهم غالباً ما يفشلون في إدراك التنظيم الضروري للذاكرة دون توجيه.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الصورة الكبيرة: الأمر لا يتعلق فقط بتذكر الحقائق
تخيل أن لديك مساعداً ذكياً جداً يمكنه قراءة مكتبة كاملة في ثانية واحدة. ولكن، إذا طلبت منه أن يتذكر قصة معقدة أخبرته بها على مدار شهر، فقد يصاب بالارتباك.
المساعدات الذكية الحالية (نماذج اللغات الكبيرة - LLMs) تتحسن في مجال "الذاكرة طويلة المدى". يمكنها تخزين تفضيلاتك، واسترجاع الحقائق، وتذكر ما قلته بالأمس. ومع ذلك، فإن معظم الاختبارات لهذه المساعدات تتحقق فقط مما إذا كان بإمكانها إيجاد حقيقة معينة، مثل "ما هو اسم كلبي؟" أو "ماذا طلبت للغداء؟".
يرى مؤلفو هذه الورقة البحثية أن هذا ليس كافياً. فالذكاء الحقيقي لا يقتصر فقط على إيجاد إبرة في كومة قش؛ بل يتعلق بـ تنظيم كومة القش حتى تتمكن من اكتشاف الأنماط، أو حساب المجاميع، أو فهم العلاقات.
المشكلة: "الملاحظات المبعثرة" مقابل "خزانة الملفات"
تقارن الورقة بين طريقتين قد يتعامل بهما الذكاء الاصطناعي مع المعلومات:
- نهج "محرك البحث" (الاسترجاع): تخيل أن لديك كومة ضخمة من الملاحظات اللاصقة. عندما تطرح سؤالاً، يبحث الذكاء الاصطناعي بجنون عبر الكومة ليجد الملاحظة الوحيدة التي تطابق كلماتك المفتاحية.
- العيب: إذا سألت، "كم أنفقت على القهوة هذا الشهر؟"، سيتعين على الذكاء الاصطناعي العثور على كل ملاحظة تخص القهوة، وإخراجها، ومحاولة جمعها. إذا كانت الكومة ضخمة، فسيغفل عن ملاحظات أو يضيف ملاحظات خاطئة.
- نهج "خزانة الملفات" (الذاكرة المهيكلة): تخيل أن لدى الذكاء الاصطناعي نظام أرشفة ذكياً. عندما تذكر عملية شراء قهوة، فإنه لا يكتفي بوضع ملاحظة في كومة؛ بل يضعها فوراً في مجلد "القهوة"، ويحدث سجل "الإنفاق الشهري"، ويربطها بملف "المقهى" الخاص بك.
- الهدف: تريد الورقة البحثية معرفة ما إذا كان بإمكان وكلاء الذكاء الاصطناعي بناء خزائن الملفات هذه بأنفسهم.
الاختبار الجديد: "StructMemEval"
ابتكر الباحثون معياراً جديداً يسمى StructMemEval. بدلاً من سؤال "ما هو X؟"، أعطوا الذكاء الاصطناعي مهاماً تتطلب بناء هيكل لحلها.
لقد استخدموا أربعة أنواع رئيسية من الألغاز:
- شجرة العائلة: تخبر الذكاء الاصطناعي، "أليس هي أخت بوب"، و"بوب هو والد تشارلي". ثم تسأله، "هل أليس هي عمة تشارلي؟". يجب على الذكاء الاصطناعي رسم شجرة عائلة ذهنية لاستنتاج ذلك.
- الجار المتنقل: تخبر الذكاء الاصطناـي، "أنا أعيش في باريس وجاري هو جان". ثم تقول، "لقد انتقلت إلى لندن، وجاري الآن هو سارة". أخيراً، تسأل، "من هو جاري في باريس؟". يجب على الذكاء الاصطناعي تتبع حالتك (أين أنت) ليعرف أي قائمة جيران هي النشطة حالياً.
- دفتر الحسابات (المحاسبة): تخبر الذكاء الاصطناعي، "أليس دفعت لبوب 10 دولارات"، و"بوب دفع لتشارلي 5 دولارات". ثم تسأله، "من يدين لمن بعد تسوية الديون؟". يجب على الذكال الاصطناعي الاحتفاظ بجدول حسابات جارٍ، وليس مجرد العثور على رسالة محددة.
- التوصيات: تخبر الذكاء الاصطناعي عن 50 فيلماً شاهدتها وعما إذا كنت قد أعجبت بها. ثم تسأله، "هل أفضل أفلام الإثارة أم الكوميديا؟". يجب على الذكاء الاصطناعي تجميع كل تلك البيانات لإيجاد نمط.
ماذا وجدوا؟
اختبر الباحثون إعدادات مختلفة للذكاء الاصطناعي مقابل هذه الألغاز. إليكم النتائج بلغة بسيطة:
1. فشل الذكاء الاصطناعي الذي يعمل كـ "محرك بحث" فشلاً ذريعاً
وكلاء الذكاء الاصطناعي الذين يعتمدون فقط على البحث في الرسائل السابقة (مثل محرك البحث البسيط) أخطأوا في كل شيء تقريباً. بمجرد أن يرتفع عدد الرسائل، لم يعد بإمكانهم تتبع العمليات الحسابية أو العلاقات. كانوا مثل شخص يحاول إجراء عملية قسمة مطولة في ذهنه بينما ينظر إلى مكتب فوضوي.
2. "الوكيل الذكي" كان أفضل حالاً، لكنه احتاج إلى دفعة
أدّى وكلاء الذكاء الاصطناعي المجهزون بأدوات الذاكرة (بناة "خزائن الملفات") أداءً أفضل بك كثيراً. ومع ذلك، كان لديهم نقطة عمياء غريبة: غالباً لم يكونوا يعرفون كيفية تنظيم المعلومات ما لم تطلب منهم ذلك.
- بدون تلميح: كان الذكاء الاصطناعي يحاول حل المشكلة ولكنه غالباً ما ينسى تحديث "دفتر الحسابات" أو يخلط بين عناصر "شجرة العائلة". كان الأمر يشبه طالباً عبقرياً يعرف كيف يحل الرياضيات ولكنه ينسى كتابة الخطوات.
- مع وجود تلميح: عندما أعطى الباحثون الذكاء الاصطناعي تلميحاً بسيطاً مثل: "مهلاً، تذكر أن تحتفظ بقائمة ديون جارية"، ارتفع أداء الذكاء الاصطناعي بشكل هائل. لقد عرف فجأة كيفية استخدام أدواته بشكل صحيح.
3. مشكلة "الهلوسة"
عندما حاول الذكاء الاصطناعي تتبع مئات المعاملات (مثل الأموال المنفقة)، بدأ في اختراع أشياء. قد يخترع معاملة لم تحدث أبداً أو يحسب نفس وجبة الغداء مرتين. هذا أمر خطير في مهام مثل المحاسبة، حيث يمكن لخطأ واحد صغير أن يفسد الإجابة بأكملها.
الخلاصة الأساسية
تخلص الورقة البحثية إلى أن امتلاك الذاكرة ليس كافياً؛ بل يجب أن تعرف كيفية هيكلة تلك الذاكرة.
نماذج الذكاء الاصطناعي الحالية بارعة في قراءة القصص، لكنها تعاني في تحويل تلك القصص إلى مخطط أو رسم بياني أو قائمة مفيدة من تلقاء نفسها. إنهم بحاجة إلى تعليمهم صراحةً (أو توجيههم عبر الأوامر) لتنظيم أفكارهم في هياكل محددة مثل دفاتر الحسابات أو الأشجار.
باختصار: نحن نبني مساعدين ذكاء اصطناعي يمكنهم تذكر كل شيء، لكننا لم نعلمهم تماماً كيفية أرشفة تلك المعلومات بطريقة تجعلها مفيدة حقاً. توفر هذه الورقة اختباراً جديداً لمساعدة المطورين على إصلاح نظام الأرشفة هذا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.