🤖 machine learning

Selective Test-Time Compute Scaling for Click-Through Rate Prediction via Uncertainty-Triggered Feature Path Exploration

تقترح الورقة البحثية إطار عمل UTTSI، وهو إطار عمل لا يتطلب تدريباً يعمل على توسيع نطاق الحوسبة في وقت الاختبار للتنبؤ بنسبة النقر إلى الظهور (CTR) عبر تفعيل استكشاف مسار الميزات بشكل انتقائي للحالات غير المؤكدة فقط، مما يحقق مكاسب كبيرة في الأداء عبر الإنترنت مع حد أدنى من متوسط التكاليف الإضافية.

المؤلفون الأصليون: Moyu Zhang, Yun Chen, Yujun Jin, Jinxin Hu, Yu Zhang, Xiaoyi Zeng

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Moyu Zhang, Yun Chen, Yujun Jin, Jinxin Hu, Yu Zhang, Xiaoyi Zeng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير متجراً ضخماً عبر الإنترنت. في كل مرة يزور فيها عميل المتجر، يتعين على نظام الكمبيوتر الخاص بك أن يخمن: "هل سينقر هذا الشخص على هذا الإعلان تحديداً؟". يُسمى هذا التنبؤ بمعدل النقر (CTR).

لسنوات، ركز علماء الكمبيوتر على جعل "الدماغ" (نموذج الذكاء الاصطناعي) أكثر ذكاءً أثناء مرحلة التدريب، عبر تغذيته بملايين الأمثلة ليتعلم بشكل أفضل. لكن مؤلفي هذه الورقة البحثية لاحظوا مشكلة: حتى الدماغ فائق الذكاء يصاب بالارتباك أحياناً.

فكر في الأمر كطالب يؤدي اختباراً:

الأسئلة السهلة: لقد رأى الطالب هذه الأسئلة ذاتها آلاف المرات أثناء التدريب. يجيب عليها فوراً وبثقة.
الأسئلة الصعبة: يرى الطالب مزيجاً غريباً من الكلمات لم يره من قبل. يتردد، ويخمن، ومن المرجح أن يخطئ في الإجابة.

في الطريقة القديمة، كان الكمبيوتر يعامل كل سؤال بنفس الطريقة: كان يبذل نفس القدر من "التفكير" للأسئلة السهلة والأسئلة الصعبة على حد سواء. وكان هذا هدراً للوقت؛ فقد كان يستهلك الكثير من الطاقة في الأسئلة السهلة ولا يخصص ما يكفي للأسئلة الصعبة.

الفكرة الجديدة: التفكير "المُحفَّز بعدم اليقين"

يقترح المؤلفون نظاماً جديداً يسمى UTTSI. بدلاً من معاملة كل عميل بنفس الطريقة، يطرح UTTSI سؤالاً بسيطاً أولاً: "إلى أي مدى نحن متأكدون بشأن هذا العميل تحديداً؟"

إليك كيف يعمل ذلك، باستخدام تشبيه مطبخ المطعم:

1. "فحص الثقة" (تقدير عدم اليقين)

قبل أن يبدأ الطاهي (الذكاء الاصطناعي) في الطهي، يقوم المدير بفحص الطلب.

أدوات المدير: ينظر المدير إلى شيئين:
1. حدس الطاهي: ما مدى ثقة الذكاء الاصطناعي في إجابته؟ (إذا كان الذكاء الاصطناعي متردداً، فهذا مؤشر خطر).
2. سجل كتاب الوصفات: هل سبق للمطعم أن رأى هذه المكونات المحددة من قبل؟ (إذا طلب العميل مزيجاً غريباً من المكونات لم يستخدمها المطبخ من قبل، فهذا مؤشر خطر آخر).
النتيجة: يعطي المدير الطلب "درجة ثقة".
- ثقة عالية: "لقد صنعنا هذا الطبق مليون مرة. نحن نعرف تماماً كيف سيكون طعمه."
- ثقة منخفضة: "هذا مزيج غريب. لسنا متأكدين مما إذا كان طعمه سيكون جيداً أم لا."

2. "الفلتر الذكي" (تصفية الميزات التكيفية)

قبل الطهي، يقوم المطبخ بتنظيف المكونات.

إذا كان المكون قديماً، أو فاسداً، أو غير معروف تماماً (مثل توابل نادرة ليس لدى المطبخ بيانات عنها)، يقوم المدير برميها فوراً.
يحدث هذا لكل طلب، سواء كان سهلاً أم صعباً. وهذا يضمن أن الطاهي لا يحاول الطهي بمكونات تالفة.

3. استراتيجية "اختبار المذاق" (توسيع الحوسبة الانتقائي)

هذا هو الجزء السحري. يغير المطبخ سير عمله بناءً على درجة الثقة:

للطلبات الواثقة (الأسئلة السهلة):
يطهو الطاهي الطبق مرة واحدة باستخدام المكونات النظيفة ثم يقدمه. لا حاجة لمزيد من العمل. هذا يوفر الوقت والطاقة.
للطلبات غير المؤكدة (الأسئلة الصعبة):
الطاهي لا يكتفي بالتخمين. بدلاً من ذلك، يرسل المطبخ الطلب إلى عدة طهاة مختلفين (أو يحاول نفس الطاهي تجربة وصفات متعددة مختلفة).
- الطاهي (أ) يجرب الوصفة رقم 1.
- الطاهي (ب) يجرب الوصفة رقم 2.
- الطاهي (ج) يجرب الوصفة رقم 3.
- جميعهم يتذوقون نسخهم الخاصة. إذا اتفقوا جميعاً على أن الطعام مذاقه جيد، يقوم المدير بتقديم تلك النسخة. إذا ارتكب أحد الطهاة خطأً غريباً، يتجاهل المدير نسخة ذلك الطاهي ويذهب مع رأي الأغلبية.
- الفائدة: من خلال تجربة العديد من "المسارات" أو تركيبات المكونات المختلفة، يجد المطبخ أفضل طبق ممكن لهذا الطلب الغريب تحديداً.

لماذا يعد هذا أمراً هاماً؟

إنه "خالٍ من إعادة التدريب": لا يتعين عليك إعادة تعليم الذكاء الاصطناعي أو تغيير دماغه. أنت فقط تضيف طبقة "المدير" هذه فوق النظام الحالي. إنه يعمل مع أي نموذج ذكاء اصطناعي.
إنه فعال: بما أن معظم الطلبات هي في الواقع "سهلة" (واثقة)، فإن النظام لا يضيع الوقت في إجراء "اختبار تذوق الطهاة المتعددين" للجميع. إنه يخصص الطاقة الإضافية للحالات الصعبة فقط.
إثبات واقعي: اختبر المؤلفون هذا النظام على مجموعات بيانات ضخمة (مثل ملايين النقرات على الإعلانات) بل وأجروا تجربة حية على موقع تجارة إلكترونية حقيقي لمدة أسبوع.
- النتيجة: حقق النظام نقرات أكثر على الإعلانات (معدل نقر أعلى) مقارنة بالنظام القديم.
- التكلفة: لم يستخدم سوى حوالي 2.8 ضعف قوة الحوسبة في المتوسط. وبما أن أجهزة الكمبيوتر يمكنها القيام بأشياء كثيرة في وقت واحد (المعالجة المتوازية)، فإن هذا لم يجعل الموقع أبطأ للمستخدم؛ بل استخدم فقط المزيد من "القدرة الذهنية" خلف الكواليس.

الملخص

تجادل الورقة البحثية بأنه بدلاً من محاولة جعل الذكاء الاصطناعي مثالياً في كل شيء، يجب أن نجعل الذكاء الاصطناعي يعرف متى يكون غير متأكد. عندما يكون غير متأكد، نمنحه وقتاً وموارد إضافية للتفكير في الاحتمالات المختلفة. وعندما يكون متأكداً، نتركه ينطلق. هذا "التوسع الذكي" يجعل النظام بأكه أكثر دقة دون استنزاف الميزانية أو إبطاء العمليات.

ملخص تقني: توسيع حساب وقت الاختبار الانتقائي للتنبؤ بمعدل النقر (CTR) عبر استكشاف مسارات الميزات المحفز بعدم اليقين

1. بيان المشكلة

تتناول الورقة البحثية عدم تماثل جوهري في التنبؤ بمعدل النقر (CTR) في الأنظمة الصناعية: بينما تعرض مرحلة التدريب النماذج لمجموعات متنوعة من الميزات، فإن مرحلة الاستدلال غالبًا ما تواجه تركيبات نادرة أو غير مرئية تؤدي إلى تنبؤات غير موثوقة. الحلول الحالية في مرحلة التدريب (مثل البوابات التكيفية، وبنيات تفاعل الميزات) تتعلم دالة اختيار ثابتة تخضع هي نفسها لنفس مشكلة ندرة البيانات، مما لا يوفر أي وسيلة للتعامل مع حالات محددة عند النشر.

تركز محاولات تحسين وقت الاختبار الحالية في أنظمة التوصية بشكل أساسي على تعزيز السلوك التسلسلي (مثل إسقاط العناصر/item dropout)، وهو أمر لا ينطبق على حقول الميزات الفئوية النادرة في الـ CTR. علاوة على ذلك، فإن نقل تقنيات توسيع وقت الاختبار لنماذج اللغات الكبيرة (LLM) مباشرة غير ممكن بسبب غياب احتمالات توليد الرموز (tokens) على مستوى الرمز في تصنيف الـ CTR الثنائي. التحدي الجوهري هو تطوير إطار عمل مستقل عن النموذج ولا يتطلب إعادة تدريب، يقوم بتوسيع عمق الاستدلال بما يتناسب مع عدم اليقين لكل حالة دون انتهاك قيود زمن الاستجابة (latency) الصارمة في البيئات الصناعية.

2. المنهجية: إطار عمل UTTSI

يقترح المؤلفون إطار عمل UTTSI (الاستدلال الانتقائي في وقت الاختبار المحفز بعدم اليقين)، وهو إطار يعمل فوق أي نموذج CTR مدرب مسبقًا دون تعديل معاملاته أو الحاجة لإعادة تدريبه. يقوم UTTSI بتخصيص موارد الحوسبة ديناميكيًا بناءً على درجة تقدير عدم اليقين لكل حالة.

يتكون الإطار من ثلاثة مكونات متكاملة بدقة:

أ. تقدير الأولوية التكرارية (Frequency Prior Estimation)

لقياس مدى موثوقية قيم الميزات، يحافظ UTTSI على هيكل تجزئة احتمالي (مستوحى من Count-Min Sketch) يتتبع تكرار كل قيمة ميزة في بيانات التدريب. يوفر هذا إشارة موثوقية على مستوى البيانات خارج نطاق وقت التشغيل. يتم تطبيع هذه التعدادات باستخدام عتبة تشبع لإنتاج درجة تكرار $\tilde{s}_{freq}(f_i) \in [0, 1]$ .

ب. تقدير عدم اليقين ثنائي الإشارة

يقدر UTTSI عدم اليقين لكل حالة $u(x)$ عبر الجمع بين إشارتين متكاملتين:

ثقة النموذج الداخلية ( $s_{model}$ ): مشتقة من لوجيت (logit) التنبؤ، وتتم تطبيعها بواسطة ثابت $\gamma$ (النسبة المئوية 95 للوجيتات في مجموعة التحقق). وهذا يلتقط الغموض العرضي (aleatoric ambiguity) بالقرب من حد القرار.
ثقة تكرار البيانات ( $s_{freq}$ ): متوسط مرجح بالاستناد إلى الميزات لتكرار الميزات. يتم حساب الاستناد عبر معيار التدرج (gradient norm) للوجيت بالنسبة لكل تضمين ميزة ( $\|\nabla_{e_i} \text{logit}(x)\|^2$ ). يضمن هذا أن تكرار الميزات التي تقود التنبؤ فعليًا يتم ترجيحه بشكل أكبر من الميزات غير ذات الصلة.

يتم حساب درجة عدم اليقين النهائية كالتالي:
$u(x) = 1 - [\alpha \cdot s_{model}(x) + (1 - \alpha) \cdot s_{freq}(x)]$
ويتم تخصيص عدد مسارات الاستكشاف الإضافية $K(x)$ بالتناسب مع عدم اليقين هذا: $K(x) = \lfloor K_{max} \cdot u(x) \rfloor$ .

ج. تصفية الميزات واستكشاف المسارات

تتم عملية الاستدلال عبر مرحلتين:

التصفية التكيفية للميزات (لكل الحالات): قبل أي استكشاف، يتم حساب درجة مركبة $w(f_i)$ تجمع بين التكرار والاستناد لكل ميزة. الميزات التي تقل عن عتبة لكل حقل $\tau_i$ (محسوبة مسبقًا من رتب البيانات في التدريب) يتم استبعادها. هذا يزيل التضمينات غير الموثوقة لجميع الحالات.
الاستكشاف العشوائي للمسارات (للحالات غير المؤكدة فقط): للحالات التي يكون فيها $K(x) > 0$ ، يقوم UTTSI بتوليد $K(x)$ مسار استدلال إضافي. يتم بناء كل مسار عن طريق أخذ عينات عشوائية من مجموعات فرعية من مجموعة الميزات المصفاة. يتم توجيه احتمالات أخذ العينات بواسطة الدرجة المركبة $w(f_i)$ ، مما يضمن الاحتفاظ بالميزات النادرة والمعلوماتية بشكل تفضيلي.
التجميع المرجح بالاتساق: يتم تجميع التنبؤات من المسار الأساسي المصفى وجميع مسارات الاستكشاف $K(x)$ . يستخدم نظام تصويت مرجح بالاتساق أوزانًا أعلى للتنبؤات المتوافقة مع متوسط المجموعة، مع تقليل وزن المسارات الشاذة التي قد تكون حجبت ميزات حرجة.

الحالات الواثقة ( $K(x)=0$ ) تتجاوز مرحلة الاستكشاف تمامًا، ولا تتحمل سوى تكلفة المرور الأمامي (forward pass) والتصفية الأولية.

3. المساهمات الرئيسية

أول إطار عمل لوقت الاختبار بدون تدريب للـ CTR: يُقدم UTTSI كأول إطار عمل مستقل عن النموذج لتوسيع عمق الاستدلال انتقائيًا بناءً على عدم اليقين لكل حالة دون إعادة تدريب أو تغييرات بنيوية.
مقدر عدم اليقين ثنائي الإشارة: قدمت الورقة مقدرًا مبتكرًا يجمع بين ثقة لوجيت النموذج والسابقة القائمة على التكرار، مما يميز بفعالية بين عدم اليقين المعرفي (epistemic uncertainty - التغطية النادرة) والغموض العرضي (aleatoric ambiguity).
تصميم استدلال غير متماثل: يستخدم الإطار استراتيجية غير متماثلة حيث تخضع جميع الحالات لتصفية ميزات خفيفة الوزن، ولكن الحالات غير المؤكدة فقط هي التي تتلقى استكشاف المسارات المتعددة المكلف. هذا يوازن بين مكاسب الأداء والكفاءة الحسابية.
التحقق التجريبي: تم التحقق من النهج عبر أربع مجموعات بيانات (Ccreteo, Avazu, KDD12, ومجموعة بيانات صناعية) باستخدام ثلاث بنيات أساسية.

4. النتائج التجريبية

الأداء خارج الخط (Offline): يتفوق UTTSI باستمرار على نماذج الـ CTR الرائدة (بما في ذلك DeepFM, HSTU, PLE, و OptFu) عبر جميع مجموعات البيانات. عند تطبيقه على بنية OptFu، حقق تحسنات في AUC تتراوح بين +0.0037 إلى +0.0048 وانخفاضات في LogLoss تتراوح بين -0.0116 إلى -0.0142. كانت المكاسب أكثر وضوحًا في مجموعات البيانات ذات الندرة العالية للميزات (KDD12 والبيانات الصناعية).
دراسات الاستئصال (Ablation Studies): أدى إزالة تقدير الإشارة الثنائية، أو أخذ العينات الموجه بالاستناد، أو التجميع متعدد المسارات إلى تدهور مستمر في الأداء، مما يؤكد ضرورة كل مكون.
معايرة عدم اليقين: أظهر مقدر عدم اليقين ارتباط رتب سبيرمان قوي ( $\rho=0.91$ ) مع خطأ التنبؤ الفعلي في مجموعة البيانات الصناعية، مما يؤكد أن النظام يحدد الحالات الصعبة بشكل صحيح.
اختبار A/B عبر الإنترنت: في نشر لمدة سبعة أيام على منصة تجارة إلكترونية كبيرة، حقق UTTSI تحسنًا نسبيًا بنسبة 5.3% في معدل النقر (CTR) مقارنة بالخط المرجعي للإنتاج، مع دلالة إحصائية ( $p < 0.01$ ).
التكاليف الحسابية: تبلغ التكلفة الحسابية المتوسطة حوالي 2.8 ضعف تكلفة النموذج الأساسي. ومع ذلك، نظرًا لأن غالبية الحالات (حوالي 62%) واثقة وتتجاوز الاستكشاف، ولأن المسارات قابلة للتوازي، فإن أسوأ حالات زمن الاستجابة (worst-case latency) تظل مساوية لمرور أمامي واحد.

5. الأهمية والادعاءات

تزعم الورقة أن UTTSI يرسخ الاستدلال الانتقائي في وقت الاختبار كاتجاه أصيل ومكمل للتقدم في مرحلة التدريب. من خلال تأجيل تخصيص الحوسبة الإضافية حتى يتم رصد الحالة الفعلية، يعظم الإطار العائد من المعاملات المدربة بالفعل. إنه يعالج تحديدًا "فجوة الموثوقية" في التنبؤ بـ CTR الناتجة عن ندرة الميزات، ويقدم حلاً فعالًا في تحسين دقة التنبؤ وقابلًا للتطبيق صناعيًا نظرًا لطبيعته ذات التكاليف الإضافية الممكنة وقابليته للتوازي. يؤكد المؤلفون أن هذا النهج لا يتنافس مع تحسينات مرحلة التدريب بل يعززها عبر تكييف سلوك الاستدلال مع موثوقية كل مدخل بعينه.