💬 NLP

SMMBench: A Benchmark for Source-Distributed Multimodal Agent Memory

تقدم هذه الورقة البحثية SMMBench، وهو معيار مرجعي جديد صُمم لتقييم قدرة الوكلاء متعددي الوسائط على استرجاع ومحاذاة وتكوين الأدلة المبعثرة عبر مصادر متباينة ومنشأة بشكل مستقل، مما يكشف عن معاناة الأنظمة الحالية في امتلاك هذه القدرة الحرجة المتعلقة بالذاكرة الموزعة عبر المصادر.

المؤلفون الأصليون: Huacan Chai, Yukai Wang, Yingxuan Yang, Dan Peng, Yuanyi Song, Zhihui Fu, Weiwen Liu, Jianghao Lin, Jun Wang, Weinan Zhang

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Huacan Chai, Yukai Wang, Yingxuan Yang, Dan Peng, Yuanyi Song, Zhihui Fu, Weiwen Liu, Jianghao Lin, Jun Wang, Weinan Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مساعد شخصي تحاول حل لغز من أجل مديرك. في الماضي، كانت معظم الاختبارات التي تُجرى على المساعدين الذكيين تعطي الذكاء الاصطناปี دفتر ملاحظات واحد ضخم يحتوي على كل الأدلة التي يحتاجها، ومنظمة بدقة في مكان واحد. كان على الذكاء الاصطناปี فقط قراءة الكتاب بأكمله وإيجاد الإجابة.

لكن في العالم الحقيقي، لا تكون المعلومات مثل دفتر ملاحظات واحد. بل تكون مبعثرة في كل مكان. دليل ما موجود في رسالة نصية من يوم الثلاثاء الماضي، ودليل آخر في جدول بيانات من مشروع مختلف، والثالث في صورة لمسار رحلة جوية، والرابع في ملاحظة في دردشة خاصة.

المشكلة: تحدي "الأدلة المبعثرة"
يرى مؤلفو هذه الورقة البحثية، SMMBench، أن المساعدين الذكيين الحاليين بارعون في قراءة دفتر ملاحظات طويل وواحد، لكنهم سيئون للغاية في حل الألغاز عندما تكون الأدلة مبعثرة عبر مصادر مختلفة وغير مرتبطة. هم يسمون هذا "الذاكرة الموزعة المصدر" (source-distributed memory).

فكر في الأمر كما يلي:

الاختبارات القديمة: تعطِي الذكاء الاصطنابي قصة مكونة من 100 صفحة وتسأله: "ما لون السيارة؟". يقرأ الذكاء الاصطنابي القصة بأكملها ويجيب.
SMMBench: تعطِي الذكاء الاصطنابي رسالة نصية تقول "جون ذاهب إلى نيويورك"، ولقطة شاشة منفصلة لتقويم تقول "الاجتماع أ في 13 نوفمبر"، ومستنداً مختلفاً يدرج "الاجتماع أ في نيويورك". يجب على الذكاء الاصطنابي أن يدرك أن هذه الأشياء الثلاثة المنفصلة ترتبط ببعضها للإجابة على: "جون سيسافر إلى نيويورك لحضور الاجتماع أ في 13 نوفمبر".

المعيار الجديد: SMMBench
قام الفريق بإنشاء اختبار جديد يسمى SMMBench (معيار الذاكرة متعدد الوسائط الموزعة المصدر) لمعرفة ما إذا كان بإمكان الذكاء الاصطنابي التعامل مع حالة "الأدلة المبعثرة" هذه.

الإعداد: قاموا ببناء 1,877 حالة اختبار باستخدام 264 مصدراً مختلفاً (مثل الدردشات الجماعية، الرسائل الخاصة، الجداول، الصور، والمستندات).
القواعد: لكي يجتاز الذكاء الاصطنابي الاختبار، يجب عليه استخراج المعلومات من مصدرين مختلفين على الأقل. إذا كانت الإجابة موجودة في مصدر واحد فقط، فلا يُحتسب ذلك.
المهارات الأربع المختبرة:
1. ربط النقاط: هل يمكن للذكاء الاصطنابي العثور على أدلة في دردشة وفي جدول ودمجهما معاً؟
2. حل النزاعات: ماذا لو قال مصدر ما "الاجتماع في طوكيو" وقال مصدر قديم آخر "الاجتماع في لوس أنجلوس"؟ هل يمكن للذكاء الاصطنابي معرفة أيهما الأحدث والأصح؟
3. قراءة ما بين السطور: هل يمكن للذكاء الاصطنابي تخمين تفضيلات المستخدم من خلال النظر في تلميحات صغيرة مبعثرة عبر محادثات مختلفة؟
4. اتخاذ إجراء: هل يمكن للذكاء الاصطنابي ليس فقط الإجابة على سؤال، بل استخدام أداة بالفعل (مثل حجز رحلة طيران) بناءً على تفاصيل موجودة في ملفات مختلفة؟

ما وجدوه
اختبر الباحثون العديد من أنظمة ذاكرة الذكاء الاصطنابي الأكثر ذكاءً المتاحة اليوم. ولم تكن النتائج جيدة.

فجوة "المعيار الذهبي": عندما أعطى الباحثون الذكاء الاصطنابي الأدلة الصحيحة بالضبط لينظر إليها (متجاوزين الجزء الصعب المتمثل في إيجادها)، أدى الذكاء الاصطنابي بشكل جيد جداً. ولكن عندما كان على الذكاء الاصطنابي العثور على تلك الأدلة بنفسه وسط الفوضى المبعثرة، انخفض أداؤه بشكل كبير.
مشكلة "البحث" مقابل "التفكير": حتى الأنظمة الأفضل واجهت صعوبة في العثور على المصادر الصحيحة. الأمر يشبه وجود مكتبة حيث الكتب موجودة على الرفوف، لكن الذكاء الاصطنابي لا يستطيع معرفة أي رف يجب أن يبحث فيه.
فجوة "الإجراء": كان الذكاء الاصطنابي جيداً في الإجابة على أسئلة الاختيار من متعدد، لكنه فشل فشلاً ذريعاً عندما طُلب منه تنفيذ إجراء دقيق (مثل استدعاء وظيفة معينة بالأرقام الصحيحة). الأمر يشبه أن الذكاء الاصطنابي يمكنه إخبارك بما يجب فعله، لكنه لا يستطيع القيام به فعلياً بشكل صحيح عندما تكون التعليمات مقسمة.

الخلاصة الكبرى
خلصت الورقة البحثية إلى أننا كنا نختبر ذاكرة الذكاء الاصطنابي بسهولة شديدة. لقد كنا نطلب منهم قراءة كتب طويلة، لكننا لم نختبر ما إذا كان بإمكانهم أن يكونوا محققين بارعين يمكنهم تجميع قصة من كومة فوضوية من الملاحظات والصور والرسائل الإلكترونية المختلفة.

حالياً، لا يزال الذكاء الاصطنابي سيئاً جداً في التعامل مع هذه الذاكرة "الموزعة المصدر". إنه يتوه عندما تكون الأدلة مجزأة عبر أماكن مختلفة. وهذا يمثل عقبة رئيسية يجب حلها قبل أن يتمكن المساعدون الذكيون من العمل حقاً في حياتنا المعقدة التي تتضمن تطبيقات متعددة، ودردشات متعددة، وعالماً واقعياً.

باختختصار: الذكاء الاصطنابي جيد في قراءة قصة طويلة، لكنه لا يزال يتعلم كيفية حل لغز عندما تكون قطع اللغز مخبأة في غرف مختلفة من المنزل.

ملخص تقني: SMMBench

تعريف المشكلة

تقيم المعايكات المرجعية الحالية للذاكرة متعددة الوسائط للوكلاء (Multimodal Agent Memory) الأنظمة بشكل أساسي ضمن سياقات متماسكة ومجمعة مسبقاً (مثل محادثة واحدة طويلة أو مستودع استرجاع موحد). ومع ذلك، فإن مهام الوكلاء في العالم الحقيقي تتطلب غالباً الاستدلال على أدلة موزعة عبر المصادر: وهي أدلة مجزأة عبر مصادر متعددة نشأت بشكل مستقل مثل الدردشات الجماعية المنفصلة، الرسائل الخاصة، الملفات الشخصية، لقطات الشاشة، الجداول، والمستندات.

تتمثل المعضلة الجوهرية المحددة هنا ليس مجرد قراءة المدخلات الطويلة، بل في تكوين الذاكرة الموزعة عبر المصادر. في هذا الإعداد:

عدم اكتمال المستوى المصدري: لا يحتوي أي مصدر واحد على معلومات كافية للإجابة على استعلام ما؛ إذ يجب تجميع الأدلة من أصول متعددة ومتميزة.
الربط بين المصادر: يجب على الوكلاء تحديد المصادر ذات الصلة والربط بين سياقاتها المحلية المستقلة، والتي غالباً ما تم إنشاؤها لأغراض وأوقات مختلفة.
حل النزاعات: قد تتعارض المعلومات عبر المصادر أو تكون قديمة، مما يتطلب من الوكلاء الاستدلال على مستويات السلطة والحالات الزمنية لتحديث ذاكرتهم.

تفشل المعايكات المرجعية الحالية إلى حد كبير في تقييم هذه العقبة المحددة، حيث تركز بدلاً من ذلك على استرجاع السياق الطويل ضمن تدفق موحد واحد.

المنهجية: بناء SMMBench

يقدم المؤلفون SMMBench (معيار الذاكرة متعدد الوسائط الموزعة عبر المصادر)، وهو مجموعة بيانات مصممة لتشغيل تحدي تكوين الأدلة عبر المصادر المستقلة.

مسار بناء مجموعة البيانات

يتم بناء المعيار من خلال مسار مكون من ثلاث مراحل لضمان الطبيعية واعتماد الأدلة:

إعداد الأسئلة والأجوبة (QA Preparation): يتم تحويل العينات الخام من معايكات متعددة الوسائط عامة ومتنوعة (مثل ChartQA، وSlideVQA، وMLLMKC، وMMPB، وM3Bench) إلى أزواج من الأسئلة والأجوبة مع وحدات أدلة موحدة.
تخليق المصدر الحواري (Conversational Source Synthesis): يتم إنشاء وكلاء بملفات تعريف محددة مسبقاً لتوليد محادثات متعددة الجولات عبر قنوات متعددة (دردشات جماعية وخاصة). تعمل هذه المحادثات كبيئة "مضيفة"، مما يحاكي التفاعلات الواقعية طويلة الأمد دون أن تحتوي في البداية على الدليل المستهدف.
إدراج الأدلة المدركة للمصدر (Source-Aware Evidence Insertion): يتضمن الخيار التصميمي الرئيسي توجيه وحدات الأدلة المتكاملة إلى مصادر مستقلة مختلفة (على سبيل المثال، وضع رسم بياني في دردشة واحدة، وجدول في أخرى، وتحديث ملف شخصي في ثالثة). يضمن "المُدرج" القائم على النماذج اللغوية الكبيرة (LLM-based inserter) أن تحافظ عمليات الإدراج هذه على التدفق الحواري والاتساق الزمني، مما يخلق سيناريو يكون فيه الدليل الحاسم للإجابة مشتتاً وغير مكتمل في أي مصدر منفرد.

إحصائيات ونطاق المعيار المرجعي

الحجم: 1,877 عينة تقييم قائمة على 264 مصدراً متميزاً.
التوزيع: في المتوسط، يتطلب كل سؤال أدلة من 2.82 مصدراً و 4.54 عنصر دليل.
الوسائط: تكوين غني متعدد الوسائط، يشمل النصوص، الصور، الجداول، والمستندات. يحتوي متوسط العينة على 2.31 عنصر نصي، 0.95 عنصر صوري، و 1.24 عنصر مستندي.
أنواع المهام: يقيم المعيار أربع قدرات أساسية عبر خمس فئات من المهام:
1. الأسئلة والأجوبة أحادية الخطوة ومتعددة الخطوات (Single-Hop & Multi-Hop QA): استرجاع والاستدلال على الأدلة من مصادر متعددة.
2. حل النزاعات (Conflict Resolution): تحديد وتفضيل الأدلة الأحدث أو الأكثر سلطة على السجلات القديمة أو المتعارضة.
3. الاستدلال على التفضيلات (Preference Reasoning): استنتاج تفضيلات المستخدم من الإشارات الضمنية الموزعة عبر التفاعلات.
4. استدعاء الدوال (Function Call - التنبؤ بالإجراء): تنفيذ استدعاءات دقيقة للأدوات بناءً على المعاملات المستردة من المحتوى متعدد الوسائط الموزع.

بروتوكول التقييم

يدعم المعيار كلاً من إعدادات الكتاب المفتوح (الوصول إلى السياق الكامل) و الإعداد القائم على الاسترجاع. ويقيم الأنظمة بناءً على:

الاستدلال عبر المصادر: هل يمكن للوكيل تحديد موقع القطع ودمجها؟
التعامل مع النزاعات: هل يمكن للوكيل حل التناقضات؟
تأسيس الإجراء (Action Grounding): هل يمكن للوكيل تحويل الحقائق المستردة إلى إجراءات قابلة للتنفيذ؟

النتائج الرئيسية

أجريت التجارب على 1877 عينة باستخدام نماذج أساسية تمثل نمط الذاكرة (مثل MemGPT، وMIRIX، وMem0) ونماذج أساسية من نمط الاسترجاع المعزز (RAG) (مثل Native RAG، وHMRAG، وVRAG).

فجوة الأداء: تعاني الأنظمة الحالية بشكل كبير. فحتى أقوى النماذج الأساسية (HMRAG) حققت درجة إجمالية قدرها 0.4933، مما ترك فجوة كبيرة (0.2540) مقارنة بـ خط الأساس للأدلة الذهبية (Golden Evidence Baseline) الذي بلغ 0.7473، والذي يوفر للنموذج الدليل الصحيح مباشرة.
صعوبة التوزيع عبر المصادر: عندما تم تركيز نفس الدليل في مصدر واحد (إعداد التركيز في المصدر - Source-Concentrated setting)، تحسن الأداء في جميع النماذج الأساسية. وهذا يؤكد أن الصعوبة تنبع تحديداً من توزيع الأدلة عبر مصادر مستقلة، وليس فقط من حجم المحتوى.
التحديات الخاصة بالمهام:
- تبين أن استدعاء الدوال (Function Calling) هو المهمة الأكثر صعوبة (أفضل درجة: 0.1111)، مما يشير إلى أن استرداد المعاملات الدقيقة من الأدلة متعددة الوسائط المشتتة لتنفيذ الإجراءات يمثل عقبة رئيسية.
- أظهرت مهام الاستدلال على التفضيلات و حل النزاعات أيضاً انخفاضات كبيرة مقارنة بمهام الأسئلة والأجوبة الواقعية.
الاسترجاع مقابل التكوين: بينما أدى زيادة ميزانية الاسترجاع ( $K$ ) إلى تحسين الاستدعاء (Recall)، إلا أنها غالباً ما أدخلت ضجيجاً أدى إلى تدهور الدقة (Precision). تشير النتائج إلى أن الاسترجاع وحده غير كافٍ؛ إذ إن القدرة على تكوين و التوفيق بين الأدلة المسترجعة عبر حدود المصادر هي نقطة الفشل الأساسية.
تأثير الوسائط: لم يحل الوصول الأصلي متعدد الوسائط المشكلة بشكل موحد. فقد تحسنت بعض الأنظمة (مثل MIRIX) مع المدخلات متعددة الوسائط الأصلية، بينما ساء أداء أنظمة أخرى (مثل MemGPT)، مما يشير إلى أن العقبة تكمن في بنية الذاكرة عبر المصادر وليس مجرد إدراك الوسائط.

تحليل الأخطاء

كشف تشخيص 600 حالة فشل عن نمط فشل متعدد الطبقات:

فشل الوصول (61.8%): النوع المهيمن من الأخطاء هو عدم القدرة على إظهار الأدلة الموزعة الضرورية من الذاكرة.
فشل الاستخدام (16.5%): حتى عند استرجاع الدليل، يفشل الوكلاء في تكوين القرائن عبر المصادر أو إعطاء الأولوية للأدلة المحدثة على السجلات القديمة.
فشل الإجراء (8.2%): يفشل الوكلاء في تحويل المعلومات المستردة إلى مخرجات قابلة للتنفيذ بشكل صحيح (أخطاء استدعاء الدوال).

الأهمية والادعاءات

يزعم البحث أن تكوين الذاكرة الموزعة عبر المصادر هو عقبة حاسمة لم يتم تقييمها بشكل كافٍ للوكلاء متعددي الوسائط.

تحديد المشكلة: يسلط الضوء على أن الصعوبة في ذاكرة الوكيل في العالم الحقيقي ليست مجرد "سياق طويل"، بل هي استدلال "عبر المصادر".
المساهمة في المعايكات المرجعية: يوفر SMMBench أول تقييم منهجي لقدرة الوكلاء على استرجاع ومواءمة وتكوين الأدلة من مصادر متباينة ونشأت بشكل مستقل.
الرؤية التجريبية: تُظهر النتائج أن أنظمة الذاكرة وRAG الحالية بعيدة كل البعد عن الفعالية في هذا الإعداد. وتشير الفجوة بين الاسترجاع والتكوين الناجح إلى أن التقدم المستقبلي يتطلب بنيات قادرة على إدارة الذاكرة المدركة للمصدر و التوفيق بين الأدلة عبر المصادر، بدلاً من مجرد توسيع نوافذ السياق أو مجمعات الاسترجاع.

يخلص المؤلفون إلى أن التقدم في ذاكرة الوكيل متعدد الوسائط يجب ألا يُقيم فقط من خلال الأداء ضمن سياقات متماسكة، بل من خلال القدرة على التعامل مع الطبيعة المجزعة والموزعة عبر المصادر للمعلومات في العالم الحقيقي.