Pairwise Ranking Outperforms Single-Action RL for Offline Explanation Selection: A Practical Lesson
تُثبت هذه الورقة أنه بالنسبة لاختيار التفسير غير المتصل (offline) في أنظمة التوصية الصناعية، فإن بنية قائمة على المعالج المركزي (CPU) وفعالة من حيث التكلفة باستخدام خوارزمية LambdaRank الثنائية (pairwise) تتفوق بشكل كبير على طرق التعلم التعزيزي أحادية الإجراء (single-action reinforcement learning)، مع الحفاظ على انخفاض زمن الاستجابة وتكاليف الخدمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم التسوق عبر الإنترنت وبث الوسائط، لا تكتفي الخوارزميات بمجرد التخمين لما قد يعجبك؛ بل تحاول بشكل متزايد شرح السبب. فعندما يقترح النظام فيلماً أو مطعماً، فإنه غالباً ما يضيف جملة أو جملتين لتبرير هذا الاختيار، آملةً أن يبني هذا القدر الصغير من السياق الثقة ويجعلك تستمر في النقر. ولجعل هذه التفسيرات تبدو طبيعية وبشرية، تستخدم العديد من الأنظمة الحديثة برامج حاسوبية قوية تُعرف بنماذج اللغات الكبيرة. هذه النماذج تشبه مكتبات ضخمة من الكتابات البشرية التي يمكنها توليد نصوص جديدة عند الطلب. ومع ذلك، فإن هذه الراحة تأتي بثمن باهظ. ففي كل مرة يطلب فيها مستخدم توصية، يجب على النظام استدعاء هذا البرنامج الضخم لكتابة تفسير جديد من الصفر. وتستغييب هذه العملية وقتاً — غالباً مئات الميلي ثانية — وتكلف مالاً ينمو مباشرة مع عدد الأشخاص الذين يستخدمون الخدمة. وبالنسبة للشركات التي تخدم ملايين الطلبات في كل ثانية، يصبح هذا التأخير والتكلفة عائقاً كبيراً.
لقد سعى الباحثون في أمازون لحل هذه المشكلة عن طريق تغيير كيفية إنشاء هذه التفسيرات. فبدلاً من مطالبة الكمبيوتر بكتابة تفسير جديد في كل مرة يرسل فيها مستخدم طلباً، اقترحوا عملية من خطوتين. أولاً، يقومون بتوليد مجموعة كبيرة من التفسيرات المحتملة مسبقاً، بينما يكون النظام في حالة خمول. بعد ذلك، عندما يصل طلب حقيقي، يقوم برنامج أصغر وأسرع ببساطة باختيار الخيار الأفضل من تلك القائمة المعدة مسبقاً. هذا النهج يلغي الحاجة إلى شرائح حاسوبية باهظة الثمن وبطيئة أثناء لحظة التفاعل الفعلية، مما يسمح للنظام بالاستجابة في أقل من عُشر ثانية. اختبر الفريق هذه الطريقة مقابل الأنظمة الحالية واكتشفوا حقيقة مدهشة حول كيفية تدريب برنامج الاختيار. فقد وجدوا أن طريقة تقليدية لتصنيف العناصر، والتي تقارن بين أزواج من الخيارات ضد بعضها البعض، كانت تعمل بشكل أفضل بكثير من التقنيات الحديثة الأكثر تعقيداً المستخدمة غالباً في أبحاث الذكاء الاصطناي.
يتضمن جوهر هذا العمل فصلاً ذكياً وبسيطاً للمهام. فقد استخدم الباحثون نوعين مختلفين من نماذج اللغات الكبيرة لتوليد مجموعة من التفسيرات المرشحة لكل مزيج ممكن من مستخدم وعنصر. وقد أنشأوا هؤلاء المرشحين باستخدام ستة أساليب كتابة مختلفة، تتراوح من الملخصات البسيطة إلى الاستنتاجات الأكثر تعقيداً بناءً على المراجعات السابقة. نتج عن ذلك مجموعة مجمدة من الخيارات لكل زوج (مستخدم-عنصر). وفي اللحظة التي يرسل فيها المستخدم طلباً، يقوم برنامج اختيار خفيف الوزن، يعمل على معالجات حاسوبية قياسية دون أي أجهزة رسومية متخصصة، بفحص هذه المجموعة الصغيرة واختيار التفسير الأفضل واحداً. تم تصميم العملية بأكملاء لتكون سريعة ورخيصة، وتجنب زمن التأخير وتكلفة توليد نصوص جديدة فورياً.
ولرؤية ما إذا كانت هذه الفكرة ناجحة، اختبر الفريق هذه الفكرة على مجموعتين مختلفتين من البيانات: إحداهما تتعلق بالأعمال المحلية مثل المطاعم والأخرى تتعلق بالأفلام. وقارنوا برنامج الاختيار الجديد الخاص بهم بعدة طرق موجودة، بما في ذلك الأنظمة التي تولد التفسيرات في الوقت الفعلي وتقنيات تدريب مختلفة للذكاء الاصطناعي. وكانت النتيجة الأكثر لفتاً للانتباه هي مقارنة كيفية تدريب هذا المختار. فقد اختبر الباحثون مجموعة من طرق التدريب المتقدمة التي تعتمد على التجربة والخطأ، حيث يتعلم الكمبيوتر عن طريق اختيار خيار واحد في كل مرة ويرى مدى جودة أدائه. كما اختبروا طريقة أقدم وأبسط، وهي المقارنة بين زوجين في وقت واحد لتقرير أيهما أفضل.
كانت النتائج واضحة ومتسقة. فالطريقة الأبسط، التي تقارن بين أزواج من المرشحين، تفوقت باستمرار على أساليب التجربة والخطأ الأكثر تعقيداً. وفي مجموعة بيانات الشركات المحلية، حققت طريقة مقارنة الأزواج درجة 0.500، متفوقة على أفضل الأنظمة الموجودة بهامش ملحوظ. أما أساليب التجربة والخطأ، التي غالباً ما تكون شائعة في الأبحاث الحالية، فقد أخفقت. وأوضح الباحثون أن هذا حدث لأن طريقة مقارنة الأزواج تستخدم كل المعلومات المتاحة دفعة واحدة. فعندما يكون لدى النظام قائمة من المرشحين، ولكل منهم درجة جودة معروفة، فإن طريقة مقارنة الأزواج تنظر إلى كل واحد منهم للتعلم. في المقابل، تنظر أساليب التجربة والخطأ فقط إلى الخيار الواحد الذي صادف اختيارهم في لحظة معينة، متجاهلة درجات الجودة للخيارات الأخرى التي تجاوزوها. وهذا يعني أن الطرق الأكثر تعقيداً كانت تهدر معظم البيانات المفيدة فعلياً.
كما استكشفت الدراسة طريقة أخرى لتوليد المرشحين، باستخدام خريطة للعلاقات بين المستخدمين والعناصر والحقائق الأخرى لتتبع المسارات وإنشاء التفسيرات. وبينما أنتجت هذه الطريقة مخرجات متنوعة للغاية نادراً ما تكرر نفس العبارات، إلا أنها لم تطابق جودة المجموعة المولدة مسبقاً عند قياسها بمعيار مدى مطابقة التفسير لمرجع مكتوب بشرياً. وقد سلط هذا الضوء على وجود مقايضة: كانت المجموعة المولدة مسبقاً أفضل في مطابقة أساليب مرجعية محددة، بينما كانت الطريقة القائمة على المسار أفضل في ضمان التنوع.
وهناك نتيجة مهمة أخرى تتعلق باختيار برنامج الكمبيوتر المستخدم لتوليد المجموعة الأولية من المرشحين. فقد اختبر الباحثون ما إذا كان استخدام نموذج لغة أحدث وأكثر تقدماً لإنشاء مجموعة المرشحين سيؤدي إلى تحسين النتائج النهائية. ووجدوا أنه بينما أنتج النموذج الأحدث نصاً أكثر تنوعاً وأقل تكراراً، إلا أنه أدى في الواقع إلى انخفاض طفيف في درجة الجودة النهائية. حدث هذا لأن أسلوب النموذج الأحدث انحرف قليلاً عن الأسلوب المحدد للنص المرجعي الذي يحاول النظام مطابقته. وهذا يشير إلى أن مجرد ترقية المولد لا يجعل النظام بأكمله أفضل تلقائياً؛ بل يجب ضبط المختار والمولد ليعملا معاً، وأحياناً يكون المولد الأقدم والأكثر اتساقاً هو المفضل.
كما اختبر الباحثون ما إذا كان دمج تقنيات تدريب مختلفة يمكن أن يحسن الأداء. فقد حاولوا أخذ نموذج تم تدريبه باستخدام طريقة مقارنة الأزواج الناجحة ثم صقله باستخدام نهج التجربة والخطأ. ولم يساعد هذا الجمع في تحسين الأداء؛ بل في الواقع، جعل النتائج أسوأ قليلاً. فقد دفعت عملية الصقل النموذج بعيداً عن الخيارات الدقيقة التي تعلمها بالفعل، مما جعله أقل ثقة وأقل دقة. عززت هذه النتيجة السلبية فكرة أنه بمجرد أن يتعلم النموذج التصنيف الصحيح من بيانات كثيفة، فإن إضافة خطوات تعزيز معقدة أمر غير ضروري وقد يكون ضاراً.
طوال التجارب، حرص الفريق على ضمان موثوقية نتائجهم. فقد أجروا اختباراتهم عدة مرات مع نقاط بداية عشوائية مختلفة للتأكد من أن ترتيب الطرق لم يكن مجرد ضربة حظ. وكانت الاختلافات بين الأداء الأعلى والآخرين كبيرة بما يكفي لتكون ذات دلالة إحصائية، مما يعني أن الاستنتاج بأن طريقة مقارنة الأزواج هي الأفضل هو استنتاج قوي. ويمكن بناء النظام بأكمله، بما في ذلك وقت توليد المجموعة الأولية وتدريب المختارين، على أجهزة كمبيوتر قياسية بتكلفة منخفضة جداً، حوالي خمسة عشر دولاراً من وقت الحوسبة. وفي لحظة تفاعل المستخدم، لا يكلف النظام شيئاً تقريباً، حيث يتطلب فقط بحثاً سريعاً في ذاكرة تخزين مؤقت وحساباً بسيطاً.
يقدم هذا العمل درساً عملياً لبناء أنظمة التوصية واسعة النطاق. فهو يشير إلى أنه عندما يكون الهدف هو اختيار أفضل خيار من قائمة مرشحين معدة مسبقاً، فإن الأداة الأكثر فعالية هي غالباً طريقة تصنيف مباشرة تستخدم جميع البيانات المتاحة، بدلاً من نظام تعلم معقد يأخذ عينات من خيارات قليلة فقط في كل مرة. ومن خلال نقل العمل الشاق لتوليد النصوص إلى مرحلة "خارج الخط" (offline) واستخدام مختار سريع وفعال لاتخاذ القرار في الوقت الفعلي، يمكن للشركات تقديم تفسيرات عالية الجودة لملايين المستخدمين دون التأخير والتكلفة المرتبطة بتوليد نصوص جديدة لكل طلب. وتوضح الدراسة أنه في بعض الأحيان، لا يكون الحل الأكثر فعالية هو جعل الذكاء الاصطناعي أكثر تعقيداً، بل هيكلة المشكلة بحيث يمكن استخدام البيانات المتاحة بشكل أكثر اكتمالاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.