HORIZON: A Benchmark for In-the-wild User Behaviour Modeling
تقدم الورقة البحثية HORIZON، وهو معيار مرجعي جديد واسع النطاق ومتعدد المجالات مبني من 54 مليون مستخدم و35 مليون عنصر، والذي يعيد صياغة نمذجة سلوك المستخدم من خلال مهام ومقاييس تقييم مبتكرة لمعالجة أوجه القصور في المعايير المرجعية الضيقة الحالية ولتعكس سيناريوهات النشر في العالم الحقيقي بشكل أفضل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول التنبؤ بما سيشتريه شخص ما لاحقاً.
الطريقة القديمة (المعايير الحالية):
معظم الاختبارات الحالية لأنظمة الترشيح تشبه لعب لعبة "خمن الورقة التالية" باستخدام مجموعة واحدة من أوراق اللعب. إذا كان المستخدم يشتري فقط كتب الطبخ، فإن الاختبار يسأل الذكاء الاصطناعي: "حسناً، لقد اشترى للتو كتاب طبخ، فماذا سيشتري بعد ذلك؟" فيخمن الذكاء الاصطناعي كتاب طبخ آخر. يحصل على درجة عالية لأنه بارع في التنبؤ بالعنصر التالي ضمن سياق ضيق وقصير المدى.
لكن في الحياة الواقعية، البشر ليسوا مجرد كائنات أحادية البعد. قد يشتري الشخص كتاب طبخ، ثم خيمة، ثم غيتار، ثم عربة أطفال. اهتماماتهم تتغير عبر السنين، وليس عبر الدقائق فقط. الاختبارات القديمة تفشل في رؤية الشخص بأكمله؛ فهي لا ترى سوى الثواني الأخيرة من حياته.
الحل الجديد: HORIZON
تقدم هذه الورقة البحثية HORIZON، وهو "ميدان تدريب" جديد وضخم للذكاء الاصطناعي يغير قواعد اللعبة. بدلاً من مجموعة واحدة من أوراق اللعب، يمنح HORIZON الذكاء الاصطناعي مكتبة تحتوي على تاريخ التسوق الكامل لـ 54 مليون شخص عبر 35 مليون منتج مختلف (من معجون الأسنان إلى التلسكوبات).
فكر في HORIZON كأنه آلة زمن مدمجة مع بدلة حرباء. إنه يجبر الذكاء الاصطناعي على القيام بثلاثة أشياء صعبة تجاهلتها الاختبارات القديمة:
- اختبار "السفر عبر الزمن": بدلاً من تخمين العنصر التالي فوراً، يجب على الذكاء الاصطنانا التنبؤ بما سيشتريه المستخدم بعد سنوات من الآن، بناءً على ما اشتراه في الماضي. الأمر يشبه مطالبة خبير أرصاد جوية بالتنبؤ بثلج الشتاء القادم بناءً على بيانات الصيف الماضي، بينما تغيرت عادات المستخدم تماماً.
- اختبار "الغريب": يتم اختبار الذكاء الاصطناعي على أشخاص لم يسبق له رؤيتهم من قبل. في الاختبارات القديمة، كان الذكاء الاصطناعي يدرس تاريخ المستخدم ثم يخمن حركته التالية. في HORIZON، يلتقي الذكاء الاصطناعي بغريب، ينظر إلى تاريخه القصير، وعليه أن يخمن ما سيشتريه لاحقاً، دون أن يكون قد قابله أبداً أثناء التدريب.
- اختبار "القطع المفقودة" (الجوزا): يجب على الذكاء الاصطناعي ربط النقاط عبر عوالم مختلفة. إذا اشترى مستخدم كاميرا، ثم حذاء مشي، ثم مكمل بروتين، يحتاج الذكاء الاصطناعي لفهم أن هذا الشخص هو "مصور خارجي"، وليس مجرد "مشتري كاميرات".
كيف اختبروه؟
لم يكتف الباحثون بمراقبة مدى جودة تخمين الذكاء الاصطناعي للعنصر التالي، بل أنشأوا أربع "غرف امتحانات" لمعرفة كيفية تعامل الذكاء الاصطناعي مع الضغط:
- الغرفة 1 (منطقة الراحة): التنبؤ بالعنصر التالي لمستخدم معروف، مباشرة بعد بيانات التدريب. (الوضع السهل).
- الغرفة 2 (القفزة الزمنية): التنبؤ لمستخدم معروف، ولكن بعد سنوات في المستقبل. (الوضع الصعب: هل تغير ذوقهم؟).
- الغرفة 3 (الغريب): التنبؤ لـ مستخدم جديد، ولكن في نفس الفترة الزمنية. (الوضع الصعب: هل يمكنه التعميم؟).
- الغرفة 4 (الوحش النهائي): التنبؤ لـ مستخدم جديد، بعد سنوات في المستقبل. (الوضع المستحيل: هل يمكنه التعامل مع أشخاص جدد وأوقات جديدة في آن واحد؟).
ماذا وجدوا؟
كانت النتائج بمثابة جرس إنذار لعالم التكنولوجيا:
- الذكاء الاصطناعي "الذكي" ليس ذكياً حقاً: كانت نماذج الذكاء الاصطناعي الأكثر تقدماً (مثل BERT4Rec) رائعة في الغرفة 1 (منطقة الراحة). لكن بمجرد دخولهم الغرفة 4 (الوحش النهائي)، انهيار أداؤهم. كانوا مثل طالب حفظ الكتاب المدرسي عن ظهر قلب، لكنه فشل عندما طُلب منه حل مشكلة واقعية لم يرها من قبل.
- نماذج اللغات الكبيرة (LLMs) جيدة ولكنها ليست سحرية: حاول الباحثون استخدام روبوتات الدردشة العملاقة (مثل Llama أو Qwen) لتعمل كـ "علماء نفس" لهؤلاء المستخدمين. طلبوا من الذكاء الاصطناعي كتابة ما قد يبحث عنه المستخدم تالياً. وبينما كانت هذه الروبوتات جيدة في فهم "روح" أو "نمط" المستخدم، إلا أنها لم تكن جيدة حقاً في اختيار المنتج الصحيح من كتالوج يحتوي على 35 مليون عنصر. لقد كانوا جيدين في معرفة "لماذا"، لكنهم سيئون في معرفة "ماذا".
- مشكلة "الذيل الطويل": معظم العناصر في العالم الحقيقي نادرة. عانى الذكاء الاصطناعي في التنبؤ بالمشتريات للأصناف غير الشائعة (مثل نوع معين من التلسكوبات) لأنه لم يره من قبل. لقد اعتمد بشكل مفرط على العناصر الشائعة.
الخلاصة الكبرى
تجادل الورقة بأننا نبني حالياً ذكاءً اصطناعياً متخصصاً للغاية وقصير النظر للغاية. الأمر يشبه تدريب كلب على جلب كرة في غرفة معيشة، ثم توقع أن يصطاد غزالاً في غابة.
HORIZON هو الغابة. إنه معيار جديد يجبر الباحثين على بناء ذكاء اصطناعي يمكنه:
- فهم قصة حياة الشخص، وليس فقط آخر عملية شراء له.
- التكيف مع أشخاص جدد وأوقات جديدة.
- التعامل مع الواقع الفوضوي والمتغير للعالم الحقيقي.
باختختصار، يقول HORIZON: "توقفوا عن اللعب بمجموعات بيانات ألعاب الأطفال. إذا أردتم بناء نظام ترشيح يعمل في العالم الحقيقي، عليكم اختباره في العالم الحقيقي".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.