Towards a Densing Law for User Representation Learning at Billion-Scale Capacity
تقترح هذه الورقة "قانون تكثيف سلوك المستخدم"، وهو نمط قياس كمي يربط حجم البيانات بالقدرة الدنيا الكافية للترميز، وتقدم ALGN، وهي طريقة ترميز تكيفية تتغلب على اختناقات البيانات بمقياس المليارات وتتفوق على النماذج المرجعية الحالية في تعلم تمثيل المستخدم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العالم الرقمي، تترك كل نقرة، وعملية شراء، وعملية بحث أثراً خلفها. وبالنسبة للشركات التي تبني المنصات التي نستخدمها يومياً، فإن هذه الآثار ليست مجرد سجلات؛ بل هي المادة الخام لفهم من نحن. فمن خلال تحليل التاريخ الطويل والمتعرج لأفعال الشخص، تحاول أنظمة الذكاء الاصطناعي بناء ملخص واحد قوي لتفضيلات ذلك الفرد وعاداته. هذا الملخص، الذي يُطلق عليه غالباً "تمثيل المستخدم"، يعمل كبصمة رقمية تساعد في تحديد نوع الأخبار التي تُعرض، أو المنتجات التي تُوصى بها، أو الإعلانات التي يتم عرضها. لسنوات، كان الاعتقاد السائد بين المهندسين بسيطاً: لجعل هذه البصمات أكثر دقة، تحتاج ببساطة إلى المزيد من البيانات. بدا المنطق سليماً — غَذِّ النظام بمزيد من المستخدمين، وتواريخ أطول لحياتهم، وعقول حاسوبية أكبر لمعالجة كل ذلك، وستتحسن النتائج بشكل طبيعي.
ومع ذلك، تتحدى دراسة جديدة هذا الافتراض القائل بأن "الأكثر هو الأفضل". فقد بحث باحثون من مجموعة "أنت جروب" (Ant Group) وجامعة "تسيجيانغ" فيما إذا كانت هذه الاستراتيجية المتمثلة في التوسع اللانهائي تنجح بالفعل عند التعامل مع الحجم الهائل للبيانات في العالم الحقيقي، مثل مليارات المعاملات التي تتم معالجتها عبر تطبيق "أليباي" (Alipay). وقد وجدوا أن هناك نقطة يتوقف عندها إضافة المزيد من المعلومات الخام عن المساعدة ويبدأ في الإضرار. تماماً كما يمكن أن تصبح الغرفة مزدحمة جداً بالأثاث لدرجة تجعل الحركة فيها مستحيلة، يمكن للنظام أن يصبح مغموراً ببيانات مكررة ومنخفضة القيمة لدرجة أنه يفقد قدرته على رؤية ما يهم حقاً. اكتشف الفريق أن العائق ليس حجم النموذج الحاسوبي، بل جودة وكثافة المعلومات التي يتم تغذيتها إليه. وهم يقترحون نهجاً جديداً يركز على ضغط هذا التاريخ الضخم في ملخص مدمج وعالي القيمة، مما يسمح للنظام بالتعلم من كمية أقل.
بدأ الباحثون باختبار حدود النهج التقليدي على مجموعة بيانات تحتوي على مئات الملايين من المستخدمين. لقد قاموا بزيادة عدد المستخدمين، وطول النافذة الزمنية التي تمت مراقبتهم خلالها، وحجم النموذج الحاسوبي نفسه بشكل منهجي. ووجدوا أن الأداء يتحسن بسرعة في البداية، ولكنه يصطدم بجدار صلب. فعندما أضافوا المزيد من المستخدمين بعد نقطة معينة، أو نظروا في تواريخ أطول من حوالي ستين يوماً، توقف النظام عن تعلم أي شيء جديد. كانت البيانات الإضافية مجرد تكرار لنفس العادات القديمة، مثل شخص يشتري نفس القهوة كل صباح لمدة عقد من الزمان. وحتى عندما جعلوا النموذج الحاسوبي أكبر بكثير، فشل في أن يصبح أكثر ذكاءً؛ بل اكتفى بحفظ هذه التفاصيل المتكررة دون اكتساب أي بصيرة حقيقية. هذه الظاهرة، التي سماها المؤلفون "جدار توسع السلوك الخام"، أظهرت أن مجرد إلقاء المزيد من البيانات على المشكلة لم يعد استراتيجية قابية للتطبيق.
ولكسر هذا الجدار، قدم الفريق طريقة لـ "تكثيف" البيانات. فبدلاً من تغذية النظام بالتاريخ الكامل والفوضوي للأحداث الخام، قاموا أولاً بترجمة تلك الأحداث إلى مجموعة مدمجة من الرموز الرقمية (tokens)، تماماً كما يمكن تلخيص كتاب في بضع جمل رئيسية دون فقدان حبكة القصة. استخدموا تقنية تجمع السلوكيات المتشابهة معاً وتزيل التكرار، محتفظة فقط بالإشارات الأكثر إخباراً. وعندما دربوا نماذجهم على هذه النسخ المضغوطة والمرمزة من تواريخ المستخدمين، كانت النتائج مذهلة. فقد استمر النظام في التحسن حتى مع نمو البيانات، بينما كان النظام المدرب على البيانات الخام قد توقف بالفعل. سمحت البيانات المضغوطة للنموذج برؤية الغابة بدلاً من الضياع بين الأشجار، مما حافظ على قدرته على التعلم والتكيف حتى عندما كان حجم المدخلات هائلاً.
ذهبت الدراسة إلى أبعد من ذلك لتحديد قاعدة دقيقة لكيفية مقدار الضغط المطلوب مع نمو البيانات. ووجدوا أن مقدار "المساحة" المطلوبة لتخزين ملخص المستخدم لا يحتاج إلى النمو بالتناسب المباشر مع كمية البيانات الخام. بدلاً من ذلك، يتبع نمطاً يمكن التنبؤ به حيث تنمو السعة اللازمة ببطء مع زيادة حجم البيانات. وهذا يعني أنه بالنسبة لنظام يتعامل مع مليار مستخدم، فأنت لا تحتاج إلى مليار ضعف الذاكرة أو القدرة الحاسوبية؛ بل تحتاج فقط إلى كمية أصغر بكثير ومحسوبة بعناً من الرموز عالية الجودة. هذا الاكتشاف، الذي أطلقوا عليه اسم "قانون تكثيف السلوك"، يوفر دليلاً رياضياً للمهندسين لمعرفة مقدار الضغط الذي يجب تطبيقه لأي كمية معينة من البيانات، مما يضمن عدم إهدار الموارد على معلومات غير ضرورية.
أخيراً، طور الباحثون أداة جديدة تسمى "شبكة البوابة ذات الطول التكيفي" (Adaptive Length Gated Network) لوضع هذا القانون موضع التنفيذ. كانت الأساليب السابقة تعامل تاريخ كل مستخدم بنفس الطريقة، وتخصص نفس المساحة المضغوطة للجميع، بغض النظر عن مدى تعقيد حياتهم الفعلية. أما الأداة الجديدة فهي أكثر ذكاءً؛ فهي تنظر إلى كل مستخدم على حدة وتقرر مقدار التفاصيل التي يجب الاحتفاظ بها. فبالنسبة للمستخدم الذي يعيش حياة روتينية ويمكن التنبؤ بها، تخصص له ملخصاً قصيراً جداً. أما بالنسبة للمستخدم الذي لديه مجموعة معقدة ومتنوعة من الاهتمامات والعادات، فتخصص له ملخصاً أطول وأكثر تفصيلاً. يضمن هذا النهج الديناميكي عدم إهدار أي قدرة حاسوبية على البيانات المملة والمتكررة، بينما يحصل المستخدمون المعقدون على الاهتمام الذي يحتاجونه. وفي اختباراتهم، لم يتفوق هذا الأسلوب التكيفي على جميع الأنظمة السابقة في الدقة فحسب، بل استخدم أيضاً قدرة حاسوبية أقل بكثير، مما أثبت أن الكفاءة والأداء يمكن أن يسيرا جنباً إلى جنب.
إن تداعيات هذا العمل تمتد إلى ما هو أبعد من تطبيق أو موقع إلكتروني واحد. فهي تشير إلى تحول جوهري في كيفية بناء الأنظمة الذكية للمستقبل. فبدلاً من السباق اللانهائي لجمع المزيد من البيانات وبناء نماذج أكبر، يكمن الطريق نحو المستقبل في تعلم استخراج المزيد من القيمة من البيانات التي نمتلكها بالفعل. ومن خلال التركيز على كثافة المعلومات بدلاً من مجرد حجمها، يمكننا بناء أنظمة ليست أكثر دقة فحسب، بل أكثر كفاءة واستدامة أيضاً. وتثبت الدراسة أنه في عصر البيانات الضخمة، ليست الأداة الأقوى هي الدلو الأكبر، بل هي المرشح (الفلتر) الأفضل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.