ملخص تقني: VitaBench 2.0

بيان المشكلة

بينما تطورت النماذج اللغوية الكبيرة (LLMs) لتصبح وكلاء تفاعليين قادرين على الاستنتاج واستخدام الأدوات، فإن المعايكات المرجعية الحالية تقيم هذه القدرات بشكل أساسي في بيئات تكون فيها نية المستخدم صريحة والسياق متوفراً بالكامل. ومع ذلك، في السيناريوهات الواقعية، يعتمد التعاون الفعال بين الإنسان والوكيل على فهم نية المستخدم التي غالباً ما تكون ضمنية، ومجزأة، وتتطور بمرور الوقت. تتجاهل المعايكات الحالية إلى حد كبير تحديات استنتاج واستغلال تفضيلات المستخدم من هذه التفاعلات المجزأة، بالإضافة إلى حاجة الوكلاء إلى الحصول على المعلومات المفقودة بشكل استباقي عندما تكون تفضيلات المستخدم مشروطة. تترك هذه الفجوة انفصالاً كبيراً بين قدرات الوكلاء الحاليين والمتطلبات اللازمة للمساعدة الشخصية الواقعية طويلة الأمد.

المنهجية

لمعالجة هذه الفجوة، قدم المؤلفون VitaBench 2.0، وهو معيار مرجعي مصمم لتقييم سلوك الوكيل الشخصي والاستباقي في التفاعلات طويلة الأمد مع المستخدم.

بناء المعيار المرجعي

• صياغة المهام: يتم تنظيم المهام كسلاسل مرتبة زمنياً لمستخدمين أفراد، تمتد عبر مجالات متعددة (التوصيل، الاستهلاك داخل المتجر، ووكالة السفر عبر الإنترنت). يتم نمذجة كل مهمة كعملية قرار ماركوف جزئية الرصد (POMDP) حيث يجب على الوكيل التفاعل مع أدوات خاصة بالمجال وبيئة قابلة للتنفيذ.
• نمذجة المستخدم: يتميز المعيار بـ 56 مستخدماً منسقاً مع أكثر من 2,000 تفضيل دقيق. تم بناء ملفات تعريف المستخدمين بناءً على إحصائيات ديموغرافية واجتماعية واقتصادية من العالم الحقيقي. لا يتم توفير التفضيلات بشكل صريح؛ بدلاً من ذلك، يتم تضمينها في سجلات تفاعل مجزأة تضم كلاً من الحوارات متعددة الجولات وسجلات السلوك (التصفح، الطلب، البحث).
• ديناميكيات التفضيلات: لمحاكاة التطور في العالم الحقيقي، يقدم المعيار أحداث انزياح التفضيلات بين المهام، بما في ذلك إضافة، حذف، وتعديل التفضيلات.
• الاستباقية: تتضمن مجموعة فرعية من المهام تفضيلات مشروطة حيث يعتمد القرار الصحيح على سياق غير قابل للرصد في الاستعلام الحالي (مثل وقت اليوم، أو المرافق). يتطلب الإكمال الناجح من الوكيل التعرف على المعلومات المفقودة والاستعلام عن المستخدم أو البيئة بشكل استباقي.
• واجهة الذاكرة: يوفر VitaBench 2.0 واجهة ذاكرة قابلة للتوسيع مع عمليات UPDATE (تحديث) و RETRIEVE (استرجاع). يتيح ذلك مقارنة محكومة عبر بنيات ذاكرة مختلفة. قام المؤلفون بتنفيذ آليتين نموذجيتين:
  • الذاكرة الوكيلية (Agentic Memory): يتحكم الوكيل بنشاط في محتوى الذاكرة، ويقرر ما يجب الاحتفاظ به، أو تحديثه، أو التخلص منه عبر ملخص مهيكل.
  • ذاكرة RAG (RAG Memory): يتم تخزين سجلات التفاعل في قاعدة بيانات شعاعية (vector database)، ويتم الاسترجاع بناءً على التشابه مع استعلام المهمة دون تحكم صريح من الوكيل في عملية الاحتفاظ بالمعلومات.

الإعداد التجريبي

قيم المؤلفون مجموعة متنوعة من النماذج اللغوية الكبيرة المملوكة والمفتوحة المصدر الرائدة، بما في ذلك نماذج من OpenAI وDeepSeek وAnthropic وGoogle وغيرها. تم اختبار كل من التكوينات "المفكرة" (المعززة بالاستنتاج) و"غير المفكرة". شملت مقاييس التقييم Avg@4 (متوسط الأداء)، و Pass@4 (احتمالية تحقيق نجاح واحد على الأقل في أربع محاولات)، و Pass^4 (احتمالية نجاح جميع المحاولات الأربع).

المساهمات الرئيسية

1. معيار VitaBench 2.0 المرجعي: معيار جديد يستهدف تحديداً تقييم التخصيص والسلوك الاستباقي في تفاعلات الوكيل طويلة الأمد، متجاوزاً المهام الثابتة أو أحادية الدور أو ذات التعليمات الصريحة.
2. واجهة ذاكرة قابلة للتوسيع: إطار عمل موحد يتيح التحليل المنهجي لكيفية تأثير آليات الذاكرة المختلفة (الوكيلية مقابل RAG) على نمذجة المستخدم طويلة الأمد واتخاذ القرار.
3. تقييم شامل: اختبار واسع النطاق لمجموعة كبيرة من النماذج الحديثة، مما يكشف عن أوجه قصور محددة وعقبات في القدرات في اتخاذ القرارات الشخصية في العالم الحقيقي.
4. تحليل أنماط الفشل: تحديد دقيق لأسباب تعثر الوكلاء الحاليين، بما في ذلك عدم القدرة على التمييز بين الإشارة والضجيج في سجلات التفاعل، والفشل في تحديث التفضيلات ديناميكياً، والافتقار إلى الاستباقية في التعامل مع النوايا المشروطة.

النتائج

يكشف التقييم أن التخصيص في العالم الحقيقي لا يزال يمثل تحدياً كبيراً حتى بالنسبة لأفضل النماذج:

• فجوة الأداء: حتى في إعداد "السياق الكامل" (حيث يمكن الوصول إلى تاريخ التفاعل الكامل)، حققت أفضل النماذجات Avg@4 تبلغ حوالي 0.5 فقط و Pass^4 تبلغ حوالي 0.3. يشير هذا إلى فجوة كبيرة بين القدرات الحالية والمتطلبات العملية.
• محدودية الذاكرة: بينما تعد الذاكرة ضرورية للنمذجة طويلة الأمد، عانت معظم النماذج من تدهور الأداء عند الاعتماد على آليات الذاكرة مقارنة بالسياق الكامل. واجه كل من نهج الذاكرة الوكيلية وذاكرة RAG صعوبة في ترجمة المعلومات المخزنة باستمرار إلى تحسين في الأداء، مما يشير إلى أن الوكلاء الحاليين لا يمكنهم استخدام الذاكرة بفعالية لاستنتاج التفضيلات.
• الاستنتاج مقابل التخصيص: لم يؤدِ تفعيل أوضاع "التفكير" إلى تحسين الأداء باستمرار في VitaBench 2.0. يشير هذا إلى أن التخصيص يتطلب قدرات تتجاوز الاستنتاج العام، مثل الاستخراج القوي للتفضيلات والتعامل مع الملاحظات المشوشة.
• عجز الاستباقية: أدى الوكلاء باستمرار إلى أداء أسوأ في المهام الاستباقية (التي تتطلب توضيح المعلومات المفقودة) مقارنة بمهام التخصيص القياسية. غالباً ما تمضي النماذج قدماً بمعلومات غير مكتملة بدلاً من بدء عملية التوضيح.
• استغلال التفضيلات: حتى عند تزويدها بتفضيلات المستخدم الحقيقية، كافحت النماذج لاستغلالها بفعالية لاتخاذ القرار، مما يشير إلى أن العائق ليس فقط في الاستخراج بل أيضاً في الاستنتاج وترتيب أولويات معلومات التفضيلات.
• أنماط الفشل: أظهر التحليل أنه مع تحسن قدرات استخدام الأدوات، يصبح التخصيص هو العائق المهيمن. تنبع الأخطاء أساساً من الفشل في التقاط واستغلال تفضيلات المستخدم بدلاً من أخطاء استدعاء الأدوات.

الأهمية

يزعم البحث أن VitaBench 2.0 يسلط الضوء على فجوة حرجة بين وكلاء النماذج اللغوية الكبيرة الحالية والمساعدين الشخصيين الواقعيين. ومن خلال إثبات أن النماذج الحالية تعاني في استنتاج واستغلال وتحديث تفضيلات المستخدم في البيئات المجزأة وطويلة الأمد، يوفر هذا المعيار بيئة اختبار ضرورية للأبحاث المستقبلية. يضع المؤلفون VitaBench 2.0 كمورد لتعزيز تطوير أنظمة الذاكرة، وتقنيات التخصيص، وسلوكيات الوكيل الاستباقية، مما ينقل المجال من مجرد الاستنتاج وتنسيق الأدوات نحو تعاون طويل الأمد ومتوافق حقاً مع المستخدم.