Identifying Model Quality Effects on User Engagement: A Within-Version Causal Estimator with Synthetic Data Validation
تقدم هذه الورقة إطار عمل جديد للتقدير السببي يستفيد من التحسينات غير المنتظمة في الجودة عبر قدرات مختلفة ضمن إصدار واحد من النماذج اللغوية الكبيرة لعزل تأثير تحديثات النموذج على تفاعل المستخدمين، وهي طريقة تم التحقق من صحتها باستخدام بيانات اصطناعية لتتفوق بشكل كبير على النهج القياسية وتستعيد بدقة التأثيرات السببية الحقيقية بعد تصحيح خطأ القياس.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، تبني الشركات نماذج لغوية ضخمة يمكنها كتابة الأكواد البرمجية، وصياغة القصص، وحل المشكلات المعقدة. ولمعرفة ما إذا كانت هذه النماذج تتحسن، يقوم المهندسون بتشغيلها عبر اختبارات صارمة وغير متصلة بالإنترنت (offline)، حيث تكون الإجابات معروفة والتقييم دقيقاً. يمكنهم القول بيقين أن نسخة جديدة أفضل في البرمجة بنسبة اثني عشر بالمائة من النسخة القديمة. وفي الوقت نفسه، يراقبون أعداد مستخدميهم؛ فعند إطلاق نموذج جديد، والذي غالباً ما يصاحبه موجة من التغطية الصحفية والحملات التسويقية، يلاحظون زيادة في عدد الأشخاص الذين يستخدمون المنتج. لكن يظل هناك سؤال صعب: هل أدى التحسن في ذكاء النموذج الفعلي إلى جذب المزيد من المستخدمين، أم أن الطفرة في عدد المستخدمين كانت ببساطة بسبب سماع الجميع عن عملية الإطلاق؟
هذه مشكلة كلاسيكية تتعلق بالسبب والنتيجة في بيئة صاخبة. فعند وصول نسخة جديدة، يتغير كل شيء في آن واحد. يصبح النموذج أكثر ذكاءً، ولكن الفريق التسويقي يطلق الإعلانات، والأخبار تكتب القصص، والاتجاهات الموسمية تتغير. وفي وسط هذه العاصفة من التغييرات المتزامنة، يكاد يكون من المستحيل عزل المساهمة المحددة لجودة النموذج باستخدام التجارب القياسية. لا يمكنك بسهولة إبقاء بعض المستخدمين على النموذج القديم الأسوأ بينما يحصل الآخرون على الجديد، لأن ذلك يخلق تجربة سيئة للمجموعة الأولى ويصعب من الناحية التشغيلية الحفاظ عليه. وبدون وسيلة لفصل جودة النموذج عن الضجيج المحيط به، تكافح الشركات لمعرفة ما إذا كانت استثماراتها الهندسية هي التي تدفع حقاً تفاعل المستخدمين.
اقترح باحث في جوجل، وهو جون تريبيا، طريقة مختلفة لحل هذا اللغز من خلال النظر في كيفية استخدام الناس المختلفين لهذه التكنولوجيا بالفعل. وتعتمد الفكرة الجوهرية على ملاحظة بسيطة: وهي أن النماذج لا تتحسن بشكل متساوٍ عبر كل المهارات. فقد يصبح الإصدار الجديد أفضل بشكل ملحوظ في كتابة الكود البرمجي، بينما يتحسن قليلاً فقط في الكتابة الإبداعية. وهذا يخلق تجربة طبيعية ضمن نفس مجموعة المستخدمين. قد يستخدم شخصان نفس النسخة الجديدة من النموذج في الوقت ذاته، ولكن إذا كان أحدهما يقضي يومه في كتابة الكود بينما يقضي الآخر وقته في صياغة القصص الخيالية، فإنهما يختبران مستويات مختلفة تماماً من تحسن الجودة. يرى المبرمج قفزة هائلة في الأداء، بينما يرى كاتب القصص تحسناً طفيفاً. ولأن هذا الاختلاف في التجربة مدفوع بعادات المستخدمين السابقة وأدوارهم الوظيفية، وليس برد فعل تجاه النموذج الجديد، فإنه يوفر طريقة نظيفة لقياس التأثير الحقيقي للجودة.
لاختبار هذه الفكرة، بنى الباحث عالماً محاكياً حيث كانت الإجابة معروفة مسبقاً. فقد أنشأ مجموعة بيانات تضم مائة ألف مستخدم افتراضي على مدار ستة وعشرين أسبوعاً، مع إدخال تحسينات محددة ومعروفة على جودة النموذج في فئات مختلفة. كان يعرف بالضبط مقدار تحسن مهارة "البرمجة" ومقدار تحسن مهارة "الكتابة"، وكان يعرف التأثير الحقيقي الذي كان من المفترض أن تحدثه هذه التحسينات على نشاط المستخدم. ثم طبق طريقته الجديدة على هذه البيانات ليرى ما إذا كان بإمكانه إيجاد الحقيقة. نجحت الطريقة بشكل ملحوظ؛ فمن خلال مقارنة المستخدمين في نفس النسخة الذين ركزوا على مهام مختلفة، استعاد المقدر ما بين 81 و88 بالمائة من التأثير الحقيقي. ولم تكن الفجوة الصغيرة المتبقية فشلاً في الطريقة، بل كانت نتيجة لحقيقة أن الباحثين استخدموا أنماط الاستخدام الماضية كبديل للعادات الحالية، مما أدى إلى إدخال قدر ضئيل من الضجيج الإحصائي.
وقد عالج الباحثون هذا الضجيج مباشرة؛ حيث قاموا بحساب مدى استقرار عادات المستخدمين بمرور الوقت واستخدموا هذه المعلومات لتعديل أرقامهم النهائية. وبمجرد تطبيق هذا التصحيح، استعادت الطريقة التأثير الكامل، لتصل إلى القيمة الحقيقية تماماً. وقد وقف هذا النجاح في تباين حاد مع المناهج الأخرى الشائعة؛ فعندما جرب الباحثون طرقاً أبسط تتجاهل النسخة المحددة من النموذج أو تستخدم بيانات الاستخدام في الوقت الفعلي التي يمكن أن تتأثر بتغييرات الجودة نفسها، كانت النتائج أسوأ بكاءً. لم تستعد تلك الطرق الأبسط سوى حوالي 62 إلى 63 بالمائة من التأثير الحقيقي، مما يعني أنها أخطأت الهدف بشكل كبير. كما أثبت النهج الجديد أنه لا يجد مجرد أنماط عشوائية؛ فعندما قام الباحثون بخلط البيانات لإزالة أي صلة حقيقية، وجدت الطريبة بشكل صحيح عدم وجود أي تأثير، مما أكد أنها تقيس شيئاً حقيقياً.
كما استكشفت الدراسة كيف أثرت طول الفترة الزمنية المستخدمة لقياس عادات المستخدمين على النتائج. ووجد الباحثون أن استخدام تاريخ أطول من السلوك السابق جعل القياسات أكثر دقة. فعندما نظروا في تاريخ سبعة أسابيع من عادات المستخدمين قبل وصول النموذج الجديد، كانت النتائج أوضح بكثير مما كانت عليه عندما نظروا في ثلاثة أسابوت فقط. وهذا يشير إلى مقايضة عملية: فكلما توفرت للشركة بيانات تاريخية أكثر، تمكنت من قياس تأثير تحديثات نماذجها بدقة أكبر. كما نجحت الطريقة في التمييز بين أنواع مختلفة من نتائج المستخدمين؛ فقد حددت بشكل صحيح أن تحسينات الجودة زادت من عدد الأيام التي يكون فيها المستخدمون نشطين، لكنها لم تدّع كذباً أن الجودة زادت من الحجم الإجمالي للرسائل المرسلة، مما أظهر أن النموذج يمكنه التمييز بين التفاعل الحقيقي ومجرد النشاط.
يقدم هذا النهج أداة قوية لفرق المنتجات التي لا تستطيع إجراء تجارب تقليدية. فهو يسمح لهم باستخدام التباين الطبيعي في كيفية عمل عملائهم لفهم ما يدفع التفاعل. ومن خلال تجميد قياس عادات المستخدمين قبل وصول نموذج جديد، ثم مراقبة كيفية استجابة المجموعات المختلفة لتغييرات الجودة المحددة التي يختبرونها، يمكن للشركات عزل القيمة الحقيقية لعملهم الهندسي. وتظهر الأبحاث أنه حتى بدون تجربة محكومة، من الممكن تحديد ما إذا كان تحسن النموذج هو السبب في زيادة استخدام الناس للمنتج، بشرط مراعاة ضجيج الإطلاق والطرق المحددة التي يتفاعل بها المستخدمون المختلفون مع التكنولوجيا. وتشير النتائج إلى أنه مع التعديلات الإحصائية الصحيحة، يمكن سماع إشارة الجودة بوضوح، حتى في أكثر عمليات إطلاق المنتجات صخباً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.