SocialMemBench: Are AI Memory Systems Ready for Social Group Settings?
تقدم هذه الورقة SocialMemBench، وهو معيار شامل يثبت أن أنظمة ذاكرة الذكاء الاصطناعي الحالية تفشل بشكل كبير في بيئات المجموعات الاجتماعية متعددة الأطراف بسبب قيود هيكلية محددة مثل خلط الكيانات والخلط بين المعايير والفرد، مما يسلط الض الضوء على فجوة حرجة بين الأدوات الحالية واحتياجات المساعدين الاجتماعيين في المستقبل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول بناء مساعد فائق الذكاء يمكنه التسكع مع مجموعة كاملة من الأصدقاء، وتذكر نكاتهم الخاصة، وتتبع من قال ماذا عن مَن، وفهم القواعد غير المكتوبة للمجموعة. قد تعتقد: "رائع! كل ما نحتاجه هو إعطاء الذكاء الاصطناعي ذاكرة جيدة حقاً".
ولكن، وفقاً لهذه الورقة البحثية، فإن أنظمة ذاكرة الذكاء الاصطناعي الحالية سيئة للغاية في هذا الصدد. لقد صُممت هذه الأنظمة للمحادثات الثنائية (مثل رسالة نصية بينك وبين بوت)، وعندما تضعها في دردشة جماعية فوضوية، تصاب بالارتباك، وتخلط بين الأشخاص، وتنسى التفاصيل الأكثر أهمية.
لقد ابتكر المؤلفون اختباراً جديداً يسمى SocialMemBench لإثبات ذلك ومعرفة أين يخفق الذكاء الاصطناعي بالضبط. إليك التفاصيل بتبسيط شديد:
1. المشكلة: "النموذج الواحد الذي يناسب الجميع"
تخيل ذاكرة الذكاء الاصطناعي الحالية مثل مذكرات شخصية.
- كيف تعمل الآن: إذا تحدثت إلى ذكاء اصطناعي، فإنه يكتب كل شيء في مذكراتك أنت. إذا قلت: "صديقي بوب يكره البروكلي"، سيكتب الذكاء الاصطناعي ذلك تحت اسم "بوب". إذا قالت صديقتك سارة: "بوب يكره البروكلي"، فإن الذكاء الاصطناعي سيظل يكتب ذلك تحت اسم "بوب" لأنه يحاول مساعدتك أنت.
- كارثة الدردشة الجماعية: الآن تخيل مجموعة من 20 صديقاً. إذا قالت سارة: "بوب يكره البروكلي"، يجب على الذكاء الاصطناعي أن يتذكر أن سارة هي من قالت ذلك، وأنها حقيقة تخص بوب، وليست حقيقة تخص المجموعة بأكملها. الأنظمة الحالية غالباً ما تخطئ في ذلك؛ فقد تعتقد أن المجموعة بأكملها تكره البروكلي، أو قد تنسى تماماً من الذي قال ذلك. إنها تعامل المجموعة ككتلة واحدة بدلاً من كونها شبكة من الأفراد.
2. الاختبار: SocialMemBench
لاختبار ذلك، لم يستخدم الباحثون سجلات دردشة حقيقية (لأنها فوضوية ويصعب التحقق منها)، بل قاموا ببناء شبكة اجتماعية وهمية ضخمة تضم 43 مجموعة مختلفة (مثل عائلة، أو نادي كتاب، أو مجموعة أصدقاء مقربين).
- الإعداد: أنشأوا 430 شخصية وهمية ذات شخصيات متميزة و348 محادثة جماعية وهمية.
- الفخ: زرعوا "فخاخاً" في المحادثات. على سبيل المثال، جعلوا شخصاً يلمح إلى تفضيل معين دون قوله صراحة، أو جعلوا شخصاً يغادر المجموعة في منتصف المحادثة ليروا ما إذا كان الذكاء الاصطناعي سيتذكر ما كان يحبه قبل رحيله.
- الهدف: طرحوا على الذكاء الاصطناعي أكثر من 1000 سؤال حول هذه المجموعات، مثل: "من الذي قال إنه لا يعجب الخطة الجديدة للحديقة؟" أو "ما الذي قررته المجموعة، ومن الذي اعترض؟"
3. النتائج: فشل ذريع
اختبروا أربعة من أشهر أنظمة ذاكرة الذكاء الاصطناعي مفتوحة المصدر (وهي الأدوات التي يستخدمها المطورون لمنح الذكاء الاصطناعي ذاكرة). كانت النتائج صادمة:
- الدرجة: سجلت أنظمة ذاكرة الذكاء الاصطناعي ما بين 0.12 و0.18 (من أصل 1.0). وهي درجة رسوب.
- المقارنة: حتى النظام "الغبي" الذي يقوم فقط بالبحث في نص الدردشة الخام دون محاولة تلخيصه، سجل درجات أعلى بكata (0.34).
- حد "الأوراكل" (الخبير): حتى لو أعطيت الذكال الاصطناعي كامل تاريخ المحادثة ليقرأه دفعة واحدة (مثل إنسان يقرأ نصاً مكتوباً)، فإنه سجل حوالي 0.37 فقط. وهذا يثبت أن الأسئلة صعبة حقاً، حتى بالنسبة للبشر أو النماذج فائقة الذكاء.
التشبيه: تخيل مجموعة من الأصدقاء يلعبون لعبة "الهاتف المكسور" (Telephone). أنظمة ذاكرة الذكاء الاصطناعي الحالية تشبه لاعباً يسمع الرسالة، ثم ينسى من همس بها، ثم يخبر المجموعة بأكملها قصة مختلفة تماماً.
4. لماذا فشلوا؟ (أنماط الفشل الخمسة)
حدد البحث خمس طرق محددة تنهار بها أنظمة الذاكرة هذه في المجموعات:
- خلط "من قال ماذا؟": يتذكر الذكاء الاصطنانا ماذا قيل، لكنه ينسى من قاله. الأمر يشبه مذيع أخبار ينقل الخبر لكنه ينسى ذكر المصدر.
- خطأ "العقل الجمعي": يفترض الذكاء الاصطناعي أنه إذا قال شخص واحد شيئاً ما، فإن المجموعة بأكملها توافق. لا يمكنه التعامل مع حقيقة أن شخصاً واحداً قد يكون معارضاً بصمت لقرار المجموعة.
- مشكلة "السفر عبر الزمن": إذا غير شخص ما رأيه (مثلاً: "كنت أحب البيتزا سابقاً، لكنني الآن أعشق السوشي")، فإن الذكاء الاصطناعي غالباً ما يستبدل الحقيقة القديمة وينساها. لا يمكنه إخبارك متى أو لماذا حدث التغيير.
- مشكلة "الشبح": إذا غادر شخص ما الدردشة الجماعية، ينسى الذكاء الاصطناعي كل شيء عنه. لا يمكنه تذكر ما كان يحبه قبل رحيله.
- فجوة "قراءة الأفكار": لا يستطيع الذكاء الاصطناعي تتبع ما يعرفه الشخص (أ) عن الشخص (ب). (مثلاً: "سارة تعرف أن مايك لديه حساسية من الفول السوداني، رغم أن مايك لم يقل ذلك بصوت عالٍ في الدردشة").
5. الحل: إصلاحان واعدان
جرب الباحثون "رقعتين" جديدتين (تغييرات صغيرة في كيفية تخزين ذاكرة الذكاء الاصطناعي) لمعرفة ما إذا كان بإمكانهما حل المشكلة:
- الرقعة أ (Subject-Mem): بدلاً من أرشفة الذكريات بناءً على "من تحدث"، قاموا بأرشفتها بناءً على "من تدور حوله القصة".
- النتيجة: أصلح هذا مشكلة "من قال ماذا؟" بالكامل تقريباً، حيث رفعت الدرجات من ~0.30 إلى 0.78 في أسئلة الإسناد.
- الرقعة ب (SMG - مخطط الذاكرة الاجتماعية): بدلاً من قائمة مسطحة، بنوا شبكة (Graph) تتتبع تحديداً الخلافات والعلاقات.
- النتيجة: ساعد هذا الذكاء الاصطناعي على فهم قرارات المجموعة ومن الذي اعترض، مما رفع تلك الدرجات بشكل كبير.
الخلاصة
تخلص الورقة البحثية إلى أننا لسنا مستعدين بعد لنشر المساعدين الرقميين في البيئات الاجتماعية الجماعية. أدوات الذاكرة الحالية تشبه أمين مكتبة يعرف فقط كيفية تنظيم الكتب حسب اسم المؤلف، ولكن في الدردشة الجماعية، أنت بحاجة إلى أمين مكتبة يعرف من تحدث عن الكتاب، ومن عارض المراجعة، ومن غير رأيه الأسبوع الماضي.
حتى نصلح هذه العيوب الهيكلية المحددة، ستظل مساعدات المجموعات في الذكاء الاصطناعي مرتبكة، وناسيّة، وعرضة لاختلاق حقائق اجتماعية. توفر هذه الورقة خارطة طريق (الرقع) للمطورين لإصلاح الأمر، لكن المهمة لم تنتهِ بعد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.