← أحدث الأبحاث
🤖 machine learning

CADET: Context-Conditioned Ads CTR Prediction With a Decoder-Only Transformer

تقدم هذه الورقة CADET، وهو نموذج محول (transformer) يعتمد على فك التشفير والمشروط بالسياق، يتم نشره في LinkedIn ويتغلب على التحديات الرئيسية في التنبؤ بنسبة النقر إلى الظهور (CTR) للإعلانات من خلال ابتكارات مثل نمذجة ما بعد التسجيل متعددة الأبراج وانتباه البوابة الذاتية، محققاً ارتفاعاً بنسبة 11.04% في نسبة النقر إلى الظهور مقارنة بالنموذج المرجعي المستخدم في الإنتاج.

المؤلفون الأصليون: David Pardoe, Neil Daftary, Miro Furtado, Aditya Aiyer, Yu Wang, Liuqing Li, Tao Song, Lars Hertel, Young Jin Yun, Senthil Radhakrishnan, Zhiwei Wang, Tommy Li, Khai Tran, Ananth Nagarajan, Ali Naqvi
نُشر 2026-08-12
📖 7 دقيقة قراءة🧠 قراءة متعمّقة

المؤلفون الأصليون: David Pardoe, Neil Daftary, Miro Furtado, Aditya Aiyer, Yu Wang, Liuqing Li, Tao Song, Lars Hertel, Young Jin Yun, Senthil Radhakrishnan, Zhiwei Wang, Tommy Li, Khai Tran, Ananth Nagarajan, Ali Naqvi, Yue Zhang, Renpeng Fang, Avi Romascanu, Arjun Kulothungun, Deepak Kumar, Praneeth Boda, Fedor Borisyuk, Ruoyan Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تتجول في سوق رقمي ضخم وصاخب. في كل ثانية، تومض آلاف اللوحات الرقمية لمحاولة جذب انتباهك. بعضها يعرض أحذية، وبعضها لوظائف شاغرة، وبعضها للقهوة. الأشخاص الذين يديرون هذا السوق لديهم مهمة صعبة: عليهم تخمين أي لوحة ستتوقف لتنظر إليها قبل أن تراها حتى. هذه اللعبة من التخمين تسمى "التنبؤ بمعدل النقر" (CTR). لفترة طويلة، كان أفضل المخمنين يشبهون محاسبين فائقين الذكاء ينظرون إلى قائمة عاداتك السابقة وتفاصيل اللوحة لإجراء عملية حسابية. ولكن مؤخرًا، بدأ نوع جديد من الذكاء الاصطناعي "التوليدي" بالظهور في مجالات أخرى، مثل التوصية بالأفلام أو الأغاني. هذه الأنواع الجديدة من الذكاء الاصطناوي تشبه رواة القصص؛ فبدلاً من مجرد معالجة الأرقام، هي تقرأ قصة كاملة لما فعلته من قبل وتتنبأ بما سيحدث بعد ذلك. السؤال الكبير لمالكي السوق كان: هل يمكننا استخدام هذا النوع الجديد من "ذكاء رواة القصص" لتخمين أي الإعلانات ستنقر عليها، حتى عندما تتغير قواعد اللعبة بعد إجراء التخمين؟

هذا هو بالضبط ما سعى فريق LinkedIn لحله من خلال نظامهم الجديد المسمى CADET. لقد بنوا "محولاً يعتمد على فك التشفير فقط" (decoder-only transformer)، وهي طريقة منمقة لقول إنهم أنشأوا ذكاءً اصطناعياً يقرأ تسلسلاً من الأحداث (مثل نقراتك ومشاهداتك السابقة) ويتنبأ بالمستقبل في تمريرة واحدة سلسة. لكن الإعلانات مخادعة. على عكس التوصية بفيلم، يعتمد نجاح الإعلان غالباً على أشياء لا تُعرف إلا بعد أن يقوم الذكاء الاصطناعي بتخمينه — مثل المكان الذي سيستقر فيه الإعلان بالضبط على الشاشة. إذا أخطأ الذكاء الاصطناعي في التخمين لأنه لم يعرف أن الإعلان سيكون في أسفل الصفحة بدلاً من أعلاها، فإن النظام بأكمله سيصاب بالارتباك.

وجد الباحثون أنه من خلال تزويد ذكائهم الاصطناعي بمجموعة خاصة من الأدوات، استطاعوا حل هذا اللغز. لقد علموا النموذج أن يتخيل سيناريوهات "ماذا لو" مختلفة لأماكن ظهور الإعلان، وبنوا آلية "بوابة ذاتية" تعمل مثل "البواب" (bouncer)، لتمنع الذكاء الاصطناعي من التشتت بمعلومات ضوضائية أو مربكة. كما منحوه حساً خاصاً بالوقت، مما سمح له بفهم أن نقرة حدثت قبل خمس دقائق تختلف عن نقرة حدثت قبل خمسة أشهر. والأهم من ذلك، تأكدوا من أن الذكاء الاصطناعي لا يستخدم معلومات لن تكون متاحة لديه في العالم الحقيقي أثناء تدريبه. وعندما اختبروا هذا النظام الجديد في سوق LinkedIn الحقيقي، لم يعمل فحسب، بل تفوق بشكل ملحوظ على الأنظمة المعقدة القديمة التي استبدلوها. اقترح الذكاء الاصطناعي الجديد أن المستخدمين كانوا أكثر عرضة للنقر على الإعلانات بنسبة 11.04%، مما يثبت أن نهجاً موحداً يعتمد على سرد القصص يمكن أن يتفوق على الآلة القديمة متعددة الأجزاء.

قصة CADET: راوٍ للقصص من أجل الإعلانات

إذن، كيف بنوا هذا؟ دعونا نفكك سحر CADET (Context-Conditioned Ads Decoder-Only Transformer) إلى مفاهيم بسيطة من الحياة اليومية.

مشكلة "البيضة والدجاجة"
تخيل أنك طاهٍ تحاول تخمين مدى استمتاع العميل بوجبة ما. لكن إليك الخدعة: عليك التخمين قبل أن تعرف أين ستكون الطاولة. إذا كانت الطاولة بجوار المطبخ مباشرة، فقد يكون العميل جائعاً ومتحمساً. أما إذا كانت في زاوية مظلمة، فقد يكون عابساً. في عالم الإعلانات، "الطاولة" هي موقع الإعلان على الشاشة. يجب على الذكاء الاصطناعي التنبؤ بما إذا كنت ستنقر على الإعلان، لكنه لا يعرف بعد ما إذا كان هذا الإعلان سيكون في الأعلى تماماً (حيث يراه الجميع) أو في الأسفل بعيداً. هذه هي مشكلة "البيضة والدجاجة": التنبؤ يعتمد على الموقع، والموقع يعتمد على التنبؤ.

يحل CADET هذه المشكلة عبر كونه بارعاً في سيناريوهات "ماذا لو". فبدلاً من تقديم تخمين واحد، لديه "رؤوس تنبؤ" متعددة (فكر فيها كطهاة مختلفين في المطبخ). أحد الطهاة يخمن: "إذا كان هذا الإعلان في الأعلى، فهل ستنقر؟". طاهٍ آخر يخمن: "إذا كان في الأسفل، فهل ستنقر؟". يتعلم النموذج إنتاج كل هذه الإجابات في وقت واحد. وعندما يتم وضع الإعلان فعلياً، يقوم النظام ببساطة باختيار الإجابة من الطاهي الذي كان محقاً بشأن الموقع. بهذه الطريقة، لا يرتبك الذكاء الاصطناعي أبداً بسبب غموض مكان استقرار الإعلان.

البواب (الانتباه ذو البوابة الذاتية - Self-Gated Attention)
في غرفة مزدحمة، قد يطغى شخص صاخب واحد على الجميع. في الذكاء الاصطناعي، يسمى هذا "بالتمركز على الرموز" (attention sink)، حيث يركز النموذج بشكل مفرط على رمز واحد (قطعة من البيانات) ويتجاهل البقية، مما يؤدي إلى تخمينات سيئة. منح الباحثون CADET "بواباً" يسمى آلية الانتباه ذات البوابة الذاتية.

فكر في عقل الذكاء الاصطناعي كأنه ممر مزدحم. في كل مرة تحاول قطعة من المعلومات المرور، يفحصها البواب. إذا كانت المعلومة ضوضائية أو غير مفيدة جداً، يقوم البواب بخفض إضاءتها (تقليل قيمتها عبر البوابة) حتى لا تشتت النموذج. وإذا كانت المعلومة مهمة، يسمح للبواب بتركها تشرق. يحدث هذا مرتين: مرة عندما تصل المعلومة لأول مرة (مستوى التمثيل)، ومرة أخرى عندما يحاول الذكاء الاصطناعي ربط قطع المعلومات المختلفة (مستوى التفاعل). هذا يحافظ على سلاسة واستقرار التدريب، ويمنع الذكاء الاصطناعي من الجنون أو التعلق بأنماط سيئة.

آلة الزمن (Timestamp RoPE)
معظم نماذج الذكاء الاصطناعي تعد الخطوات: "الخطوة 1، الخطوة 2، الخطوة 3". لكن في العالم الحقيقي، الوقت ليس مجرد خطوات؛ بل يتعلق بـ متى حدثت الأشياء. النقرة التي حدثت قبل 10 ثوانٍ تختلف تماماً عن تلك التي حدثت قبل 10 أشهر.

يستخدم CADET نوعاً خاصاً من "آلة الزمن" يسمى التضمين الموضعي الدوراني القائم على الطابع الزمني (Timestamp-based Rotary Positional Embedding - RoPE). بدلاً من عد الخطوات، ينظر الذكاء الاصطناعي إلى وقت الساعة الفعلي (Unix timestamps) لكل حدث. يمكنه فهم ما إذا كانت الفجوة بين حدثين قصيرة (مثل ثوانٍ) أو طويلة (مثل أشهر). هذا يساعد النموذج على إدراك أن سلوكك يتغير بمرور الوقت. إذا نقرت على إعلان وظيفة بالأمس، فقد تظل مهتماً اليوم، ولكن إذا نقرت عليه قبل ستة أشهر، فمن المحتمل أنك لم تعد مهتماً. هذا الحس الزمني يسمح للذكاء الاصطناعي بتعلم الأنماط عبر مقاييس مختلفة، من اللحظة الراهنة إلى الاتجاهات طويلة المدى.

قاعدة "ممنوع الغش" (قناع الجلسة - Session Masking)
عند تدريب ذكاء اصطناعي، تريد منه أن يتعلم كطالب، وليس كغشاش. في العالم الحقيقي، عندما يُعرض إعلان، لا يعرف النظام فوراً ما إذا كنت قد نقرت عليه؛ فهناك تأخير ضئيل (مثل بضع ثوانٍ أو دقائق) بينما تنتقل البيانات. إذا تم تدريب الذكاء الاصطناعي على بيانات يمكنه من خلالها "رؤية" النقرة قبل أوانها، فسوف يتعلم استخدام معلومات لا ينبغي له امتلاكها. سيفكر: "أوه، لقد عرفت أنك نقرت لأنني رأيت النتيجة!"، لكنه في العالم الحقيقي لن يملك هذه المعلومة.

لمنع ذلك، استخدم الباحثون قناع الجلسة (session masking). تخيل معلماً يغطي نموذج الإجابة في الاختبار. أثناء التدريب، يُجبر الذكاء الاصطناعي على النظر فقط إلى المعلومات التي كانت متاحة في تلك اللحظة تحديداً. إذا حدثت نقرة بعد 30 ثانية، فإن الذكاء الاصطناعي يكون "أعمى" عنها أثناء تدريب اللحظة الحالية. هذا يضمن أنه عندما يذهب الذكاء الاصطناعي إلى العالم الحقيقي (الخدمة المباشرة)، فإنه لن يرتبك أو يقدم تخمينات سيئة لأنه يعتمد على معلومات لا يمكنه رؤيتها فعلياً.

دفعة السرعة (هندسة الإنتاج)
أخيراً، بناء ذكاء اصطناعي ذكي أمر، وجعله سريعاً بما يكفي للتعامل مع مليارات الإعلانات يومياً أمر آخر. استخدم الفريق بعض الحيل الهندسية الذكية. لقد قاموا بـ "تعبئة" البيانات بإحكام، مثل تنظيم حقيبة سفر بحيث لا يوجد مساحة ضائعة، مما جعل التدريب أسرع بكثير. كما بنوا محركات "FlashAttention" مخصصة (أجزاء برمجية متخصصة) تسمت للذكاء الاصطناعي تسجيل درجات مئات الإعلانات في تمريرة واحدة سريعة جداً، بدلاً من فحصها واحداً تلو الآخر.

النتائج: فوز كبير لـ LinkedIn

عندما وضع الفريق نظام CADET تحت الاختبار في الموجز الرئيسي لـ LinkedIn، كانت النتائج مبهرة. لقد قارنوه بنظامهم القديم المحسن للغاية (وهو مزيج من نماذج مختلفة تعمل معاً). لم يكتفِ نموذج CADET الجديد بمجرد مواكبة المنافسة، بل سحقها.

في اختبار مباشر واسع النطاق، حقق CADET زيادة بنسبة 11.04% في معدلات النقر مقارنة بالنظام القديم. وهذا يعني أنه مقابل كل 100 إعلان معروض، توقف عدد أكبر بكثير من الناس للنظر إليها. ومن المثير للاهتمام، نظرًا لأن المعلنين في LinkedIn ينفقون ميزانياتهم بالكامل تلقائياً، فإن إجمالي المال المنفق لم يتغير كثيراً، لكن قيمة تلك النقرات ارتفعت. انخفضت تكلفة النقرة الواحدة بنسبة 10.9%، مما يعني أن المعلنين حصلوا على عائد أفضل على استثماراتهم.

تشير الورقة البحثية إلى أن هذا النجاح يأتي من دمج ذكاء اصطناعي موحد يعتمد على "سرد القصص" مع إصلاحات ذكية للمشاكل الخاصة بالإعلانات (مثل الموقع والوقت). إنها تثبت أن نموذجاً واحداً مصمماً جيداً يمكنه التغلب على فريق معقد من النماذج الأقدم. وبينما يشير الباحثون إلى أنه لا يزال هناك عمل يتعين القيام به — مثل التعامل مع المزيد من سيناريوهات "ماذا لو" — فإن عملهم يثبت أن نماذج "المحولات التي تعتمد على فك التشفير فقط" جاهزة لتولي القيادة في عالم الإعلانات عبر الإنترنت.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →