Toward User-Conditioned Evaluation of Personal LLM Agents under Temporal Interventions
تجادل ورقة الموقف هذه بأن المعايير المرجعية الحالية تفشل في تقييم وكلاء النماذج اللغوية الكبيرة الشخصيين تحت التدخلات الزمنية لعدم مراعاتها لتطور الحالة المشروط بالمستخدم، وتقترح بروتوكول تقييم جديداً يتضمن شروطاً ومقاييس محددة لمعالجة هذه الفجوة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم ببناء روبوت خادم. في الأيام الأولى للروبوتات، كنا نختبرها في مختبر معقم: نعطيها كوباً نظيفاً، ونطلب منها غسله، ونتحقق مما إذا كانت قد فعلت ذلك دون كسر الكوب. إذا نجحت، كانت تُعتبر "جيدة". لكن الحياة الواقعية ليست مختبراً معقماً. الحياة الواقعية فوضوية. روبوت الخادم الخاص بك يعيش معك؛ فهو يتذكر أنك تحب قهوتك مع ملعقتين من السكر، ويعرف أنك تكره وميض الأضواء، وقد تعلم رقصة معينة لفتح ثلاجتك الذكية. لديه ذاكرة طويلة المدى لعاداتك ومجموعة من المهارات التي اكتسبها خصيصاً لمنزلك.
الآن، تخيل أن الشركة المصنعة للثلاجة الذكية ترسل تحديثاً للبرامج يغير طريقة فتح الباب. في اختبارات المختبر القديمة، قد يفشل الروبوت ببساطة في فتح الباب مرة واحدة ثم يتوقف. لكن في منزلك، قد يصاب الروبوت بالذعر. لأنه يتذكر الطريقة "القديمة" التي كان يعمل بها الباب، قد يحاول فتحه بالقوة، ويكسر المقبض، ثم يسكب قهوتك بالخطأ لأنه مرتبك. المشكلة ليست فقط في فشل الروبوت في أداء المهمة؛ بل في أن "ذكرياته الشخصية" و"عاداته المتعلمة" جعلت الفشل ينتشر إلى أجزاء أخرى من حياتك. هذا البحث يدور حول كيفية اختبار الروبوتات ليس فقط بناءً على قدرتها على أداء مهمة ما، بل على كيفية تعاملها مع هذه الكوارث الشخصية والفوضوية المليئة بالذاكرة عندما يتغير العالم من حولها.
الورقة البحثية: لماذا قد ينسى خادمك الآلي من أنت (ولما ولماذا نحتاج إلى اختبار جديد)
يبحث مؤلفو هذه الورقة، وهم فريق من الباحثين من أماكن مثل جامعة كارنيجي ميلون وجورجيا تيك، في نقطة عمياء محددة في كيفية اختبار "وكلاء الذكاء الاصطناعي الشخصيين". هؤلاء هم المساعدون المتطورون الذين يُفترض أن يعرفوك، ويتذكروا تفضيلاتك، ويتعلموا روتينك بمرور الوقت.
حالياً، عندما يختبر العلماء هؤلاء الوكلاء من الذكاء الاصطناعي، فإنهم يعاملونهم كآلات منفصلة ومعزولة. لديهم "اختبار الذاكرة" لمعرفة ما إذا كان الذكاء الاصطناعي يتذكر عيد ميلادك. ولديهم "اختبار الأدوات" لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي استخدام الآلة الحاسبة. ولديهم "اختبار السلامة" لمعرفة ما إذا كان الذكاء الاصطناعي سيرفض قول شيء مسيء. لكن المؤلفين يجادلون بأن هذا يشبه اختبار مكابح السيارة، ومحركها، ونظام الملاحة (GPS) في ثلاثة أيام مختلفة، وفي ثلاث مرآبات مختلفة، ثم القول: "رائع، السيارة آمنة!".
الواقع هو أن هذه الأشياء كلها متصلة. إذا حصل نظام الملاحة على تحديث (تدخل زمني)، فقد يربك المحرك، مما قد يؤدي إلى فشل المكابح. في عالم الذكاء الاصطناعي، إذا تغيرت واجهة برمجة التطبيقات (الأداة التي يستخدمها الذكاء الاصطناعي)، فقد يحاول ذكاء اصطناعي يمتلك "ذكريات" عن الأداة القديمة استخدام التعليمات القديمة، مما قد يؤدي إلى كسر مهارة تعلمها، وهو ما قد ينتهك قاعدة سلامة كان من المفترض اتباعها.
الاكتشاف الكبير: "اختبار العاصفة المثالية" غير موجود
سعى الباحثون لإيجال اختبار يمكنه رصد هذا النوع المحدد من الفوضى. وقد وضعوا أربعة قواعد لما يجب أن يبدو عليه "اختبار العاصفة المثالية":
- التغيير: يجب أن يتغير شيء ما في العالم (مثل تحديث أداة) أثناء عمل الذكاء الاصطناعي.
- الذاكرة: يجب أن يحمل الذكاء الاصطناعي تاريخه الشخصي (الذكريات، المهارات، الإعدادات) عبر هذا التغيير.
- التأثير المتتابع (التموج): يجب أن يقيس الاختبار كيف يؤدي هذا التغيير إلى كسر أشياء أخرى كان يقوم بها الذكاء الاصطناعي (مثل تسبب الذاكرة في فشل أداة ما).
- الشخص: يجب أن يوضح الاختبار أن نفس التغيير يؤثر على الأشخاص المختلفين بشكل مختلف. فالمستخدم "الخفيف" (الذي لا يعتمد كثيراً على الذكاء الاصطناعي) قد يكون بخير، أما "المستخدم القوي" (الذي جعل الذكاء الاصطناعي يحفظ تفاصيل حياته بالكامل) فقد يواجه انهياراً تاماً.
ثم قام المؤلفون برحلة بحث وتحري. نظروا في 15 من أشهر الاختبارات العامة للوكلاء من الذكاء الاصطناعي المتاحة حالياً. وتحققوا منها مقابل قواعدهم الأربع.
النتيجة؟ لم يجدوا اختباراً واحداً اجتاز جميع القواعد الأربع.
الأمر يشبه البحث عن اختبار تصادم سيارة يحاكي وقوع حادث بينما السائق يرسل رسائل نصية، والراديو يعمل بصوت عالٍ، ونظام الملاحة يعيد توجيه المسار، وكل ذلك أثناء اختبار كيفية استجابة السائقين المختلفين. لقد وجدوا اختبارات للحادث، واختبارات للرسائل النصية، واختبارات لنظام الملاوة. لكنهم لم يجدوا أي اختبار يجمع بينهم جميعاً ليرى كيف يغير السياق الشخصي النتيجة.
لماذا يهم هذا الأمر
تشير الورقة البحثية إلى أنه بدون هذه الاختبارات الجديدة، فنحن نطير بلا هدى. قد نبني ذكاءً اصطناعياً يبدو مثالياً في المختبر ولكنه ينهار في العالم الحقيقي لأن "حالته الشخصية" (ذكرياته وعاداته) تجعله هشاً.
ولإصلاح ذلك، يقترح المؤلفون طريقة جديدة لتصميم الاختبارات. يقترحون إنشاء "ملفات تعريف المستخدم" للاختبارات. تخيل اختباراً لديك فيه نسختان من نفس الذكاء الاصطناعي:
- المستخدم (أ) - المستخدم الخفيف: ليس لديه ذكريات أو مهارات خاصة. عندما تتغير الأداة، يحاول مجدداً وينجح.
- المستخدم (ب) - المستخدم القوي: لديه ذاكرة للأداة القديمة، ومهارة تعلمها بناءً على الأداة القديمة، وإعداد سلامة يفترض أن الأداة القديمة لا تزال موجودة. عندما تتغير الأداة، قد يرتبك هذا الذكاء الاصطناعي، ويحاول استخدام الأداة القديمة، ويفشل، ثم يكسر قاعدة سلامة عن غير قصد أثناء محاولته الإصلاح.
تقترح الورقة قياس أشياء مثل "زمن استجابة التكيف" (الوقت الذي يستغرقه التعافي) و"معدل التراجع" (عدد المهام القديمة التي توقفت فجأة عن العمل). حتى أنهم أنشأوا "بطاقة معيارية" نموذجية (وصفة لاختبار) تتضمن مساعداً في التقارير يتعين عليه التعامل مع تغيير مفاجئ في كيفية تخزين البيانات.
الخلاصة
لا يدعي المؤلفون أنهم صنعوا الذكاء الاصطناعي المثالي بعد. هم لا يقولون حتى إن أنظمة الذكاء الاصطناعي الحالية معطلة. هم يقولون: "ليس لدينا مسطرة يمكنها قياس هذا النوع المحدد من الفشل". إنهم يدعون المجتمع لبناء هذه الاختبارات الجديدة الأكثر تعقيداً والتي تأخذ في الاعتبار حقيقة أن الذكاء الاصطناعي الشخصي ليس مجرد أداة؛ بل هو شريك يمتلك ذاكرة، وعندما يتغير العالم، يمكن أن تصبح هذه الذاكرة عبئاً. وحتى نبني هذه الاختبارات، فلن نعرف حقاً ما إذا كان وكلاء الذكاء الاصطناعي الشخصيون مستعدين للعالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.