HorizonBench: Long-Horizon Personalization with Evolving Preferences
تقدم هذه الورقة HorizonBench، وهو معيار مرجعي جديد يتميز بمحادثات مستخدم محاكية لمدة 6 أشهر مع مصدر حقيقي للتفضيلات المتطورة، والذي يكشف أن النماذج الرائدة الحالية تعاني بشكل كبير من صعوبة في التخصيص طويل الأمد، ويرجع ذلك أساساً إلى الفشل في تتبع وتحديث حالات المستخدم بمرور الوقت.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحث HORIZONBENCH، مترجم بلغة بسيطة مع بعض التشبيهات الإبداعية.
الفكرة الكبرى: مشكلة "الصديق النسيّ"
تخيل أن لديك صديقاً مقرباً يعرفك منذ سنوات. في البداية، كنتما تحبان الاستماع إلى موسيقى الـ "هيفي ميتال" معاً، وتتحدثان عنها باستمرار.
ثم، تغيرت مجريات الحياة. حصلتَ على وظيفة جديدة، بدأتَ تكوين أسرة، ومررتَ بتجربة انفصال. ببطء، تغير ذوقك في الموسيقى؛ بدأتَ تحب موسيقى الجاز والأغاني الهادئة. لم تقل صراحةً أبداً: "أنا أكره الهيفي ميتال الآن، أنا أحب الجاز"، بل بدأت ببساطة تتحدث عن الجاز أكثر، وتتفاعل بشكل مختلف عندما يُذكر موضوع الهيفي ميتال.
الآن، تخيل أنك سألت مساعد ذكاء اصطناعي جديداً ليساعدك في اختيار أغنية. إذا كان هذا الذكاء الاصطناعي يتذكر فقط ما قلته قبل ثلاث سنوات ("أنا أحب الهيفي ميتال!")، فسيستمر في اقتراح موسيقى الهيفي ميتال. لقد استرجع الحقيقة القديمة بشكل صحيح، لكنه فشل في تحديث اعتقاده حول من أنت اليوم.
تسمي هذه الورقة البحثية هذه المشكلة بـ "التخصيص طويل الأمد" (Long-Horizon Personalization). وهي قدرة الذكاء الاصطناعي على تذكر تاريخك وإدراك أنك تغيرت بمرور الوقت.
المشكلة: لم يكن لدينا اختبار لهذا
لفترة طويلة، لم نتمكن حقاً من اختبار ما إذا كان الذكاء الاصطناعي جيداً في هذا الأمر لأن:
- البيانات الحقيقية فوضوية: في الحياة الواقعية، لا نعرف بالضبط متى أو لماذا غير الشخص رأيه. هل تغير بسبب وظيفة جديدة؟ أم بسبب انفصال؟ أم أنه كان متذبذباً فحسب؟ لا يمكننا التأكد.
- الاختبارات القديمة كانت ثابتة: الاختبارات السابقة كانت تسأل الذكاء الاصطناعي: "ما هو لونك المفضل؟" وتتحقق مما إذا كان يتذكره. لكنها لم تختبر ما إذا كان بإمكان الذكاء الاصطناعي التعامل مع تغير اللون من "الأزرق" إلى "الأخضر" لأن المستخدم حصل على وظيفة جديدة.
أدرك الباحثون أنه لكي نصلح هذا، نحتاج إلى طريقة لمعرفة "الحقيقة" حول متى غير المستخدم رأيه.
الحل: "محاكي السفر عبر الزمن"
قام الفريق ببناء مولد بيانات خاص (روبوت ينشئ محادثات وهمية). فكر في هذا المولد كأنه مخرج لعبة فيديو يتحكم في القصة بأكملها.
- مخطط الحالة الذهنية: بدلاً من مجرد كتابة سجلات دردشة عشوائية، يحتفظ المولد بـ "خريطة ذهنية" للمستخدم. يتتبع شخصيته، أصدقاءه، وتفضيلاته.
- أحداث الحياة: يقوم المخرج بإدخال "أحداث حياتية" (مثل الحصول على ترقية، الانتقال إلى مدينة جديدة، أو إنجاب طفل).
- تأثير التموج: عندما يحدث حدث حياتي، يقوم المولد تلقائياً بتحديث "الخريطة الذهنية" للمستخدم. على سبيل المثال، إذا أصبح المستخدم مديراً تنفيذياً، تتحدث الخريطة: يتغير الأسلوب من "دردشة عفوية" إلى "مباشر وعاجل".
- المحادثة: ثم يكتب المولد محادثة تمتد لـ 6 أشهر (حوالي 4,300 دورة كلامية!) حيث يُظهر المستخدم هذه التغييرات من خلال أفعاله وكلماته، دون أن يقول صراحةً: "لقد تغيرت".
هذا يخلق بيئة اختبار مثالية حيث يعرف الباحثون بالضبط لماذا تغير المستخدم، حتى يتمكنوا من رؤية ما إذا كان الذكاء الاصطناعي قد فهم ذلك.
المعيار المرجعي: HORIZONBENCH
حولوا هذا المحاكي إلى اختبار يسمى HORIZONBENCH.
- اللاعبون: قاموا بمحاكاة 360 شخصاً مختلفاً.
- التاريخ: لكل شخص تاريخ محادثة مدته 6 أشهر مع ذكاء اصطناعي، بإجمالي حوالي 163,000 كلمة (هذا يشبه قراءة رواية ضخمة فقط للإجابة على سؤال واحد!).
- الاختبار: يُعطى الذكاء الاصطناعي التاريخ الكامل ويُسأل سؤالاً. عليه اختيار أفضل استجابة من بين 5 خيارات.
- الخيار (أ): الإجابة الصحيحة بناءً على من هو المستخدم الآن.
- الخيار (ب) (الفخ): الإجابة بناءً على من كان عليه المستخدم قبل 6 أشهر (المشتت الناتج عن الحالة السابقة - Pre-Evolution Distractor).
النتائج الصادمة: الذكاء الاصطناعي عالق في الماضي
اختبر الباحثون 25 نموذجاً من أذكى نماذج الذكاء الاصطناعي في العالم (بما في ذلك نماذج من OpenAI وGoogle وAnthropic).
النتائج كانت متواضعة:
- أفضل نموذج حقق 52.8% فقط من الإجابات الصحيحة.
- معظم النماذج سجلت أقل من 20% (وهو أسوأ من التخمين العشوائي!).
- تأثير "الارتكاز" (Anchoring): عندما أخطأت النماذج، لم تكن تخمن عشوائياً، بل كانت دائماً تختار الإجابة القديمة (التي تعود لـ 6 أشهر مضت).
التشبيه:
تخيل أنك تقود سيارة باستخدام نظام GPS. أخبرت الـ GPS: "سأذهب إلى الشاطئ". ثم، استدرت بالسيارة وقلت: "في الواقع، أنا ذاهب إلى الجبال".
إذا كان الـ GPS ذكياً، فسيقوم بإعادة حساب المسار.
أما إذا كان مثل الذكاء الاصطناعي في هذه الورقة، فسيتجاهل اتجاهك الجديد، ويستمر في القيادة نحو الشاطئ، ويقول: "أنا لا أزال أتبع تعليماتك الأصلية!".
الذكاء الاصطناعي يسترجع الذاكرة القديمة بدقة، لكنه يفشل في تحديث اعتقاده. إنه عالق في الماضي.
لماذا يهم هذا الأمر؟
تثبت الورقة أن المشكلة ليست مجرد "ذاكرة" (تذكر الكثير من النصوص)، بل هي تتبع الحالة (State Tracking) (فهم أن الناس يتغيرون).
حتى لو أعطيت الذكاء الاصطناعي محادثة قصيرة جداً (لبضعة أيام فقط)، فإنه لا يزال يعاني لتحديث معتقداته. هذا يعني أن الذكاء الاصطناعي لا "ينسى" فقط بسبب طول النص، بل إنه لا يفهم جوهرياً أن تفضيلات البشر مرنة وتتغير بناءً على أحداث الحياة.
الخلاصة
لبناء رفقاء ذكاء اصطناعي يشعرون بأنهم بشريون ومفيدون حقاً، لا يمكننا فقط جعلهم يتذكرون المزيد من الحقائق. نحن بحاجة لتعليمهم تتبع قصة حياة الشخص. يجب أن يفهموا أن المستخدم الذي كان خجولاً في يناير قد يصبح واثقاً في يونيو لأنه حصل على ترقية، ويجب على الذكاء الاصطناعي تعديل سلوكه وفقاً لذلك.
HORIZONBENCH هو أول مسطرة نمتلكها لنقيس ما إذا كان الذكاء الاصطناعي قد بدأ أخيراً في مواكبة حياتنا المتغيرة. حالياً، الذكاء الاصطناعي يتخلف عن الركب، عالقاً في نسخة الأمس منا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.