Progressive Alignment of Recommender Foundation Model through Multi-Phase Post-Training
تقترح هذه الورقة إطار عمل تدريجي للتدريب اللاحق يتكون من ثلاث مراحل (الاستقصاء الخطي، والضبط الدقيق الكامل، والضبط الدقيق بالتعزيز) يعمل بفعالية على مواءمة النماذج التأسيسية للتوصية مع مقاييس الأعمال من خلال فصل تكييف المهام عن التحسين القائم على المكافأة، مما يظهر أداءً فائقاً في كل من التجارب غير المتصلة بالإنترنت واختبارات A/B عبر الإنترنت واسعة النطاق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسير داخل مكتبة سحرية ضخمة حيث تتحدث الكتب إليك. هذه ليست مجرد مكتبة عادية؛ إنها مكتبة "نموذج تأسيسي" (Foundation Model). فكر في هذا النموذج كأمين مكتبة فائق الذكاء، واسع التجربة، قرأ مليارات القصص ويعرف تماماً كيف يتصرف البشر أثناء تصفحهم. لقد تعلم أمين المكتبة هذا بالفعل القواعد العامة لسرد القصص والفضول البشري. لكن الجزء الصعب يكمن في أن معرفة أمين المكتبة بكيفية العثور على كتاب لا تعني بالضرورة أنه يعرف ما يريده "مالك المكتبة" حقاً. فقد يهتم المالك بمدة بقاء الناس في المكتبة، أو عدد الأشخاص الذين يشتركون في العضوية، وليس فقط عدد الكتب التي يسحبونها من الرف.
في عالم علوم الحاسوب، وتحديداً في أنظمة التوصية (Recommender Systems)، هذا هو الصراع اليومي. لدينا هذه النماذج الضخمة مسبقة التدريب (أُمناء المكتبة) وهي بارعة في التنبؤ بما قد تنقر عليه في الخطوة التالية. لكن العمل يتطلب أكثر من مجرد "نقرات"؛ فالعمل يريد تفاعلاً عميقاً، مثل إكمال سلسلة قصص مصورة كاملة أو الاشتراك في محتوى مميز. المشكلة هي أن إشارات "النقرات" موجودة في كل مكان وسهلة الرصد، بينما إشارات "الرضا العميق" نادرة ويصعب العثء عليها. إذا حاولت تعليم أمين المكتبة مطاردة الإشارات النادرة مباشرة، فقد يصاب بالارتباك، وينسى كل ما تعلمه سابقاً، ويبدأ في التوصية بأشياء غريبة. يستكشف هذا البحث طريقة ذكية ومتدرجة لتدريب هؤلاء الأمناء الرقميين حتى لا يكتفي أمين المكتبة بتخمين ما ستنقر عليه، بل يساعدك فعلياً في العثور على القصص التي ستحبها على المدى الطويل.
الرقصة الثلاثية: كيف تدرب أمين مكتبة التوصيات
أدرك الباحثون من NAVER WEB-TOON، وهي منصة ضخمة للقصص المصورة الرقمية، أن محاولة تعليم الذكاء الاصطناعي كل شيء دفعة واحدة هي وصفة للكارثة. لذا اقترحوا إطار عمل "المحاذاة التدريجية" (Progressive Alignment)، وهو بمثابة معسكر تدريبي من ثلاث مراحل مصمم لتحويل ذكاء اصطناعي عام إلى خبير توصية بارع في فهم احتياجات العمل دون "كسر عقله".
المرحلة الأولى: الإحماء (الاستقصاء الخطي - Linear Probing)
تخيل أن لديك طباخاً ماهراً (النموذج التأسيسي المسبق التدريب) يعرف كيف يطبخ أي شيء. تريد منه أن يصنع طبقاً جديداً ومحدداً لمطعم ما، لكنك لا تريد منه أن ينسى كيفية طبخ كل شيء آخر. إذا سلمته مجموعة جديدة وعشوائية من السكاكين والمقالي (النماذج الفرعية - downstream modules) وطلبت منه البدء في الطبخ فوراً، فقد يصاب بالذعر ويفسد مهاراته الحالية.
لذا، فإن الخطوة الأولى هي الاستقصاء الخطي (LP). في هذه المرحلة، يتم "تجميد" عقل الطباخ الماهر؛ فهو لا يستطيع تغيير أسلوبه الأساسي في الطبخ. أنت تسمح له فقط بالتدرب باستخدام السكاكين والمقالي الجديدة. يساعد هذا الأدوات الجديدة على الاعتياد على يد الطف ببراعة دون تخريب الوصفات الأساسية. إنه يشبه ترك موظف جديد يراقب المدير لمدة أسبوع قبل أن يُسمح له بلمس الموقد. هذا يعمل على تثبيت الاتصال بين المعرفة الواسعة للذكاء الاصطناعي والمهمة المحددة لتوصية القصص المصورة.
المرحلة الثانية: التدريب الكامل (الضبط الدقيق الكامل - Full Fine-Tuning)
بمجرد استقرار الأدوات الجديدة، يحين الوقت للسماح للطباخ بالطبخ بحرية كاملة. هذا هو الضبط الدقيق الكامل (FFT). الآن، يتم تحرير النموذج بالكامل. يمكن للطباخ تعديل أسلوبه الكامل في الطبخ ليتخصص في قائمة طعام هذا المطعم تحديداً. ولأن الأدوات الجديدة قد تم إحماؤها بالفعل في المرحلة الأولى، فلن يشعر الطباخ بالارتباك. يمكنه تعلم الأذواق المحددة للزبائن (المهمة الفرعية) مع الحفاظ على الأساس المتين لمعرفته العامة. وجد الباحثون أن القيام بذلك في خطوتين (LP ثم FFT) كان أفضل بكثير من محاولة القيام به في قفزة واحدة عملاقة، والتي غالباً ما تؤدي إلى "النسيان الكارثي" (catastrophic forgetting) — حيث ينسى الذكاء الاصطناعي كيف يكون ذكياً لأنه مشغول جداً بمحاولة أن يكون متخصصاً.
المرحلة الثالثة: لعبة المكافأة (الضبط الدقيق بالتعزيز - Reinforcement Fine-Tuning)
هنا يحدث السحر. الطباخ الآن جيد في طبخ قائمة الطعام، ولكن هل يطبخ ما يريده "المالك" حقاً؟ المالك يهتم بالرضا العميق (مثل شراء المستخدم لموسم كامل من القصص المصورة)، وليس فقط بوجبة خفيفة سريعة (نقرة واحدة). لكن الرضا العميق نادر؛ معظم الناس يتصفحون فقط.
إذا حاولت تعليم الطباخ استهداف أهداف "الرضا العميق" النادرة فقط، فقد يبدأ في التخمين بشكل عشوائي. بدلاً من ذلك، استخدم الباحثون نموذج مكافأة (Reward Model). فكر في هذا كـ "متذوق طعام" لديه بطاقة تقييم خاصة. ينظر المتذوق إلى التفاعلات العميقة والنادرة ويمنحها "درجة مكافأة".
في المرحلة الثالثة، الضبط الدقيق بالتعزيز (RFT)، لا يطبخ الطباخ لإرضاء الحشود فحسب؛ بل يطبخ لإرضاء درجات "متذوق الطعام". يقوم الذكاء الاصطناعي بتوليد مجموعة من التوصيات، ثم يقوم "متذوق الطعام" (نموذج المكافأة) بإعطائها درجات بناءً على مدى احتمالية إدتها إلى تفاعل عميق، ويتعلم الذكاء الاصطناعي تعديل استراتيجيته للحصول على درجات أعلى. والأهم من ذلك، لا يزال الذكاء الاصطناعي يستخدم الإشارات "الكثيفة" (مثل النقرات) التي تعلمها في المرحلة الثانية ليعرف ماذا يوصي به، لكن إشارات "المكافأة" توجهه حول كيفية ترتيب هذه التوصيات لتحقيق أقصى قدر من السعادة طويلة الأمد.
ما وجدوه (وما قالوا له "لا")
اختبر الفريق هذه الطريقة ثلاثية الخطوات على مجموعة بيانات ضخمة من تفاعلات المستخدمين الحقيقية من منصة Webtoon الخاصة بهم. وقارنوا طريقتهم الجديدة بالطرق القديمة المتبعة.
قائمة "لا تفعل هذا":
يجادل البحث صراحة ضد طريقين مختصرين شائعين:
- لا تدرب مباشرة على أهداف العمل النادرة. إذا حاولت تعليم الذكاء الاصطناعي تحسين "إكمال المحتوى المدفوع" منذ البداية، فسيفشل في التعميم. إنه يشبه محاولة تعليم طالب حل مسائل التفاضل والتكامل المتقدمة قبل أن يتعلم الضرب. الإشارات نادرة جداً، مما يجعل النموذج يتوه.
- لا تستخدم نموذج المكافأة كموصٍ نهائي فقط. حاول الباحثون استخدام "متذوق الطعام" (نموذج المكافأة) مباشرة كشخص يقدم التوصيات. وبينما كان هذا النموذج جيداً في رصد التفاعل العميق، إلا أنه كان سيئاً جداً في ترتيب ملايين القصص المصورة المتاحة للنقر. لقد افتقر إلى "القدرة على التمييز" المطلوبة لاختيار أفضل عنصر من قائمة ضخمة. يقترح البحث أن نموذج المكافأة هو الأفضل كـ "مدرب"، وليس كـ "لاعب".
الاستراتيجية الفائزة:
حققت "المحاذاة التدريجية" (LP ← FFT ← RFT) أفضل النتائج.
- الاختبارات غير المتصلة (Offline Tests): عندما أجروا عمليات محاكاة على البيانات التاريخية، تفوق النموذج ثلاثي المراحل على النماذج أحادية المرحلة. وتحديداً، النسخة التي استخدمت GRPO (نوع محدد من خوارزمية التعلم التعزيزي) مع نموذج المكافأة المتعلم حققت أعلى الدرجات. لقد نجحت في الحفاظ على معدلات النقر العالية (Rank NDCG) مع دفع المستخدمين أيضاً إلى عمق مسار المحتوى (Funnel NDCG).
- الإثبات في العالم الحقيقي: لم يتوقفوا عند المحاكاة فحسب؛ بل أجروا اختبار A/B ضخم على منصتهم الحية. قارنوا ذكاءهم الاصطناني الجديد بنموذجهم القياسي (غير التأسيسي). أظهرت النتائج أن إطار العمل الجديد حسن تفاعل المستخدمين باستمرار. وكان إصدار "GRPO مع نموذج المكافأة" جيداً بشكل خاص في جعل المستخدمين يقرؤون لمسافات أبعد ويصلون إلى الحلقات المدفوعة، بينما كان إصدار "DPO" (خوارزمية أخرى) أفضل قليلاً في الحصول على النقرة الأولية.
الخلاصة
يشير البحث إلى أن السر في صنع أنظمة توصية ذكاء اصطناعي قوية ليس مجرد إلقاء المزيد من البيانات عليهم أو محاولة تحسين أصعب هدف على الفور. السر يكمكمن في المراحل. أولاً، ثبّت الأدوات الجديدة. ثانياً، تخصص في النموذج. ثالثاً، استخدم إشارة "مكافأة" متعلمة لتوجيه النموذج بلطف نحو أهداف العمل طويلة الأمد دون فقدان قدرته على اتخاذ خيارات جيدة وفورية.
من خلال الفصل بين "تعلم المهمة" و"المحاذاة مع أهداف العمل"، وجد الباحثون طريقة تجعل ذكاءهم الاصطناعي ذكياً ومربحاً في آن واحد. إنه تذكير بأنه في بعض الأحيان، للحصول على أفضل نتيجة، يجب أن تأخذ الأمور ببطء، خطوة بخطوة، بدلاً من محاولة الركض نحو خط النهاية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.