Calibrate Globally, Measure Everywhere: Scaling LLM-Based Prevalence Measurement Across A/B Experiments

تخيل أنك تدير مدينة ضخمة ومزدحمة، حيث يسير ملايين الأشخاص في شوارعها كل يوم. في هذه المدينة، توجد آلاف المتاجر والمنتزهات واللوحات الإعلانية المختلفة، ويريد مخططو المدينة معرفة بالضبط مقدار الوقت الذي يقضيه الناس في النظر إلى أنواع معينة من الأشياء — مثل "أدوات البستنة" أو "الفن المُنشأ بواسطة الذكاء الاصطنا-عي". هذا هو عالم قياس الانتشار (prevalence measurement): تحديد ما هو كسر من إجمالي "الانطباعات" (أو النظرات) التي تنتمي إلى فئة معينة.

لإتخاذ القرارات بشأن هذه المدينة، غالبًا ما يقوم المخططون بإجراء تجارب A/B. يشبه هذا اختبار نسختين مختلفتين من لافتة شارع: نسخة لنصف الناس، ونسخة أخرى للنصف الآخر، لمعرفة أيهما يجعل الناس أكثر سعادة أو تفاعلاً. عادةً، لمعرفة ما إذا كانت اللافتة تعمل، تحتاج إلى عد النتائج. ولكن هنا تكمن المشكلة: في بعض الأحيان يكون الشيء الذي تريد عده صعب القياس. لا يمكنك ببساطة سؤال كل شخص عما رآه؛ لأن ذلك سيستغرق وقتًا طويلاً وسيكلف ثروة. في العالم الرقمي، يتم تنفيذ هذه المهمة "الصعبة القياس" بواسطة نماذج اللغات الكبيرة (LLMs) — وهي حواسيب ذكاء اصطناعي فائقة الذكاء يمكنها قراءة صورة أو منشور وإخبارك: "نعم، هذا يتعلق بالبستنة"، أو "لا، هذا ليس كذلك". وبينما هذه الأحكام من الذكاء الاصطناعي دقيقة للغاية، فإن طلب فحص كل عنصر من العناصر في مدينة تضم مليارات الزوار يوميًا سيكون مكلفًا وبطيئًا جدًا للقيام به لكل تجربة على حدة.

هنا يأتي دور الورقة البحثية التي أعدها زيهو شو وفريقه في بينترست (Pinterest). لقد واجهوا مشكلة: كانوا يجرون مئات التجارب يوميًا، وكانوا بحاجة إلى معرفة "انتشار" أنواع معينة من المحتوى (مثل عدد المنشورات المتعلقة بالذكاء الاصطناعي أو قضايات السلامة) لكل مجموعة تجريبية. لم يكن بإمكانهم تحمل تكلفة دفع الذكاء الاصطناعي لتصنيف كل عنصر في كل تجربة جديدة. لذا، قاموا ببناء نظام ذكي يعمل بمثابة "مترجم عالمي". بد instead من طلب فحص كل عنصر من العناصر في كل تجربة جديدة من قبل الذكاء الاصطناعي المكلف، يطلبون من الذكاء الاصطناعي فحص عينة ممثلة للمدونة بأكملة مرة واحدة يوميًا. يستخدمون هذه العينة لتعليم نموذج أسرع وأرخص كيفية تخمين الانتشار. ثم يستخدمون هذا النموذج السريع لقياس كل شيء آخر فورًا. والنتيجة؟ يمكنهم تتبع التغيرات في التعرض للمحتوى لمئات التجارب يوميًا، ورصد التحولات الطفيفة التي قد تغفل عنها عملية فحص واحدة مكلفة.

المشكلة: "المعيار الذهبي" باهظ الثمن

في عالم الوسائط عبر الإنترنت، تحتاج الشركات مثل بينترست إلى تحقيق التوازن بين إبقاء المستخدمين متفاعلين والتأكد من أنهم لا يشاهدون الكثير من أنواع معينة من المحتوى (مثل الصور غير الآمنة أو الرسائل المزعجة منخفضة الجودة). وللقيام بذلك، يجرون اختبارات A/B. في هذه الاختبارات، يقومون بتعديل الخوارزمية لمعرفة ما إذا كان ذلك يغير مقدار نوع معين من المحتوى الذي يراه المستخدمون.

لقاس هذا، فإن "المعيار الذهبي" هو استخدام ذكاء اصطناعي (LLM) لفحص عينة من المحتوى وتصنيفها بدقة. هذا يشبه وجود فريق من نقاد الفن الخبراء يفحصون كل لوحة في معرض لعد كم منها يمثل مناظر طبيعية. إنه أمر دقيق، ولكنه بطيء ومكلف للغاية. إذا كنت تدير مئات التجارب في نفس الوقت، وتحتاج إلى فحص المحتوى لكل مجموعة في كل تجربة، فإن التكلفة ستكون فلكية. ببساً لا يمكنك تحمل تكلفة استئجار "الخبراء" للنظر في كل شيء، كل يوم.

علاوة على ذلك، فإن التغييرات التي تهتم بها الشركات غالبًا ما تكون صغيرة جدًا. إذا كانت خوارزمية جديدة تقلل من كمية "الفن المُنشأ بواسطة الذكاء الاصطناعي" التي يراها المستخدمون بنسبة 2% أو 5% فقط، فقد لا يكون الفحص الواحد المكلف دقيقًا بما يكفي لإخبارك ما إذا كان هذا التغيير حقيقيًا أم مجرد ضوضاء عشوائية. الأمر يشبه محاولة سماع همسة في غرفة صاخبة باستخدام ميكروفون واحد غالي الثمن؛ قد تفقدها تمامًا.

الحل: خريطة معايرة عالمية

أدرك الفريق في بينترست أنهم ليسوا بحاجة إلى طلب تصنيف كل شيء من قبل الذكاء الاصطناعي المكلف لكل تجربة. بدلاً من ذلك، كانوا بحاجة إلى طريقة لـ "معايرة" طريقة أرخص وأسرع باستخدام حكمة الذكاء الاصطناعي المكلف.

فكر في الأمر هكذا: تخيل أن لديك ميزان حرارة دقيق للغاية ولكنه بطيء (النموذج اللغوي الكبير - LLM) وميزان حرارة رخيص وسريع (درجة نموذج تعلم الآلة - ML model score). يعطيك الميزان الرخيص رقمًا، لكنه ليس دقيقًا تمامًا. ومع ذلك، إذا استخدمت الميزان الغالي للتحقق من درجة الحرارة في بضعة أماكن محددة كل يوم، يمكنك إنشاء خريطة تخبرك بالضبط كيف تصحح قراءة الميزان الرخيص لأي موقع.

تصف الورقة البحثية نظامًا يفعل ذلك بالضبط:

1. المعايرة العالمية: بدلاً من تسمية العناصر لكل تجربة على حدة، يقومون بعملية أخذ عينات عالمية يومية. يستخدمون الـ LLM المكلف لتصنيف عينة ممثلة لحركة المرور الكاملة على المنصة.
2. التجميع (Bucketing): يأخذون الدرجات من النموذج السريع والرخيص (الذي يتنبأ باحتمالية أن يكون العنصر، على سبيل المثال، "مُنشأ بواسطة الذكاء الاصطناعي") ويجمعونها في "سلال" (مثل 0-10%، 10-20%، إلخ).
3. الترجمة: باستخدام تسميات الـ LLM اليومية، يحسبون بالضبط النسبة المئوية للعناصر في كل سلة التي هي بالفعل "مُنشأة بواسطة الذكاء الاصطناعي". وهذا ينشئ جدول بحث: "إذا قال النموذج الرخيص إن عنصرًا ما يقع في سلة 80-90%، فهناك احتمال 95% أن يكون مُنشأً بواسطة الذكاء الاصطناعي حقًا".
4. القياس الفوري: الآن، لأي تجربة جديدة، لا يحتاجون إلى استدعاء الذكاء الاصطناği المكلف. هم فقط ينظرون إلى درجات النموذج الرخيص والسريع للعناصر الموجودة في تلك التجربة، ويرون في أي سلال تقع، ويستخدمون الخريطة المحسوبة مسبقًا لمعرفة الانتشار فورًا.

النتائج: التقاط الهمسات

اختبر الفريق هذا النظام مقابل قياسات الـ LLM (المعيار الذهبي) في تجارب من الواقع العملي. كانت النتائج مبهرة:

• النطاق: يخدم النظام حاليًا حوالي 100 تجربة و 250 مجموعة مختلفة (أذرع تجريبية) في كل يوم.
• الكفاءة: مقارنة بالطريقة القديمة المتمثلة في إجراء فحص واحد مكلف لكل تجربة، يوفر هذا النظام قياسات يومية لـ أكثر من 20 ضعف عدد التجارب المتزامنة باستخدام نفس ميزانية التسمية.
• الدقة: في حوالي 300 عملية تدقيق إنتاجية، احتوى فاصل الثقة 95% الخاص بالنظام على إجابة الـ LLM المكلف في 92% من الحالات. هذا يعني أن الطريقة السريعة والرخيصة موثوقة تقريبًا مثل الطريقة المكلفة.
• الحساسية: كان الاكتشاف الأكثر إثارة للدهشة يتعلق بالكشف عن التغييرات الصغيرة. في إحدى التجارب، اكتشف النظام الجديد انخفاضًا نسبيًا قدره 4.2% ثابتًا في نوع معين من المحتوى. كان الفحص الواحد المكلف للـ LLM في تلك التجربة نفسها سيفشل في رصد هذا تمامًا لأن الضوضاء كانت عالية جدًا. من خلال تجميع البيانات اليومية، استطاع النظام الجديد سماع "الهمسة" التي فاتت الميكروفون الغالي الثمن.

لماذا هذا مهم؟

الأمر لا يتعلق فقط بتوفير المال؛ بل يتعلق باتخاذ قرارات أفضل. قبل هذا النظام، ربما كان على الفرق التخلي عن قياس انتشار المحتوى في العديد من التجارب لأن ذلك كان مكلفًا للغاية. أو، ربما يتخذون قرارات بناءً على نقطة بيانات واحدة مشوشة فاتتها التوجهات الصغيرة ولكن المهمة.

من خلال "المعايرة عالميًا والقياس في كل مكان"، أنشأ الفريق نظامًا يتم فيه دفع تكلفة الذكاء الاصطناوی المكلف مرة واحدة (أو توزيعها) ثم إعادة استخدامها آلاف المرات. إنه يحول عملية بطيئة ومكلفة إلى روتين يومي سريع. وهذا يسمح لفرق المنتجات برؤية الصورة الكاملة لكيفية تأثير تغييراتهم على التعرض للمحتوى، مما يضمن بقاء المنصة آمنة، عالية الجودة، وجذابة للجميع، دون كسر الميزانية.

تؤكد الورقة البحثية أن هذا إنجاز على مستوى النظام، وليس مجرد معادلة رياضية جديدة. يتعلق الأمر ببناء مسار عمل يأخذ مهمة متكررة ومكلفة ويحولها إلى أصل قابل لإعادة الاستخدام. وبينما تشير الورقة إلى أن تكاليف الـ LLM قد تنخفض في المستقبل، مما يجعل التسمية المباشرة أرخص، فإن منطق هذا النظام — استخدام المعايرة العالمية لتوسيع نطاق القياسات — يظل أداة قوية لإدارة التجارب المعقدة واسعة النطاق اليوم.