🤖 machine learning

Selective Test-Time Compute Scaling for Click-Through Rate Prediction via Uncertainty-Triggered Feature Path Exploration

यह शोध पत्र UTTSI का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त (training-free) ढांचा है जो अनिश्चित उदाहरणों के लिए चुनिंदा रूप से फीचर-पाथ एक्सप्लोरेशन को ट्रिगर करके CTR प्रेडिक्शन के लिए टेस्ट-टाइम कंप्यूट को स्केल करता है, जिससे न्यूनतम औसत ओवरहेड के साथ महत्वपूर्ण ऑनलाइन प्रदर्शन लाभ प्राप्त होता है।

मूल लेखक: Moyu Zhang, Yun Chen, Yujun Jin, Jinxin Hu, Yu Zhang, Xiaoyi Zeng

प्रकाशित 2026-05-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Moyu Zhang, Yun Chen, Yujun Jin, Jinxin Hu, Yu Zhang, Xiaoyi Zeng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल ऑनलाइन स्टोर चला रहे हैं। हर बार जब कोई ग्राहक आता है, तो आपके कंप्यूटर सिस्टम को यह अनुमान लगाना होता है: "क्या यह व्यक्ति इस विशिष्ट विज्ञापन पर क्लिक करेगा?" इसे क्लिक-थ्रू रेट (CTR) प्रेडिक्शन कहा जाता है।

वर्षों से, कंप्यूटर वैज्ञानिक इसके "मस्तिष्क" (AI मॉडल) को बेहतर बनाने के लिए इसके प्रशिक्षण चरण (training phase) पर ध्यान केंद्रित कर रहे हैं, उसे लाखों उदाहरण खिला रहे हैं ताकि वह बेहतर सीख सके। लेकिन इस शोध पत्र के लेखकों ने एक समस्या देखी: भले ही मस्तिष्क बहुत स्मार्ट हो, फिर भी वह कभी-कभी भ्रमित हो जाता है।

इसे एक छात्र द्वारा परीक्षा देने की तरह समझें।

आसान प्रश्न: छात्र ने अभ्यास के दौरान इन सटीक प्रश्नों को हज़ार बार देखा है। वह तुरंत और आत्मविश्वास के साथ उत्तर देता है।
कठिन प्रश्न: छात्र शब्दों का एक ऐसा अजीब संयोजन देखता है जो उसने पहले कभी नहीं देखा। वह हिचकिचाता है, अनुमान लगाता है, और उसके गलत होने की संभावना अधिक होती है।

पुराने तरीके में, कंप्यूटर हर प्रश्न के साथ एक जैसा व्यवहार करता था: वह आसान और कठिन, दोनों प्रकार के प्रश्नों के लिए सोचने की बिल्कुल समान मात्रा में "सोच" (thinking) का उपयोग करता था। यह बर्बादी थी। इसने आसान प्रश्नों पर बहुत अधिक ऊर्जा खर्च की और कठिन वाले पर पर्याप्त नहीं।

नया विचार: "अनिश्चितता-ट्रिगर" (Uncertainty-Triggered) सोच

लेखक एक नया सिस्टम प्रस्तावित करते हैं जिसे UTTSI कहा जाता है। हर ग्राहक के साथ एक जैसा व्यवहार करने के बजाय, UTTSI पहले एक सरल प्रश्न पूछता है: "हम इस विशिष्ट ग्राहक के बारे में कितने आश्वस्त हैं?"

यह कैसे काम करता है, यहाँ एक रेस्टोरेंट किचन के उदाहरण से समझाया गया है:

1. "आत्मविश्वास की जाँच" (Uncertainty Estimation)

शेफ (AI) के खाना पकाने शुरू करने से पहले, एक मैनेजर ऑर्डर की जाँच करता है।

मैनेजर के उपकरण: मैनेजर दो चीजों को देखता है:
1. शेफ की अंतरात्मा (Gut Feeling): AI अपने उत्तर के बारे में कितना आश्वस्त महसूस करता है? (यदि AI दुविधा में है, तो यह एक रेड फ्लैग है)।
2. कुकबुक का इतिहास: क्या रेस्टोरेंट ने पहले कभी इन विशिष्ट सामग्रियों को देखा है? (यदि ग्राहक ऐसी अजीब चीजों का मेल ऑर्डर करता है जो किचन ने पहले कभी इस्तेमाल नहीं की हैं, तो यह भी एक रेड फ्लैग है)।
परिणाम: मैनेजर ऑर्डर को एक "कॉन्फिडेंस स्कोर" (Confidence Score) देता है।
- उच्च आत्मविश्वास: "हमने यह डिश लाखों बार बनाई है। हमें पता है कि इसका स्वाद कैसा होगा।"
- कम आत्मविश्वास: "यह एक अजीब कॉम्बिनेशन है। हमें यकीन नहीं है कि इसका स्वाद कैसा होगा।"

2. "स्मार्ट फ़िल्टर" (Adaptive Feature Filtering)

खाना पकाने से पहले, किचन सामग्रियों को साफ करता है।

यदि कोई सामग्री पुरानी, सड़ चुकी है या पूरी तरह से अज्ञात है (जैसे कि कोई दुर्लभ मसाला जिसके बारे में किचन के पास कोई डेटा नहीं है), तो मैनेजर उसे तुरंत बाहर निकाल देता है।
यह हर ऑर्डर के लिए होता है, चाहे वह आसान हो या कठिन। यह सुनिश्चित करता है कि शेफ कचरे के साथ खाना पकाने की कोशिश न करे।

3. "टेस्टिंग रणनीति" (Selective Compute Scaling)

यही असली जादू है। किचन कॉन्फिडेंस स्कोर के आधार पर अपना वर्कफ़्लो बदलता है:

आत्मविश्वासी ऑर्डर्स के लिए (आसान प्रश्न):
शेफ साफ सामग्रियों का उपयोग करके डिश को एक बार बनाता है और परोस देता है। किसी अतिरिक्त काम की आवश्यकता नहीं है। इससे समय और ऊर्जा बचती है।
अनिश्चित ऑर्डर्स के लिए (कठिन प्रश्न):
शेफ केवल अनुमान नहीं लगाता। इसके बजाय, किचन ऑर्डर को कई अलग-अलग शेफ (या वही शेफ कई अलग-अलग रेसिपी आज़माता है) के पास भेजता है।
- शेफ A, रेसिपी 1 आज़माता है।
- शेफ B, रेसिपी 2 आज़माता है।
- शेफ C, रेसिपी 3 आज़माता है।
- वे सभी अपने संस्करणों को चखते हैं। यदि वे सभी सहमत होते हैं कि भोजन का स्वाद अच्छा है, तो मैनेजर उस संस्करण को परोसता है। यदि एक शेफ कोई अजीब गलती करता है, तो मैनेजर उस शेफ के संस्करण को अनदेखा कर देता है और बहुमत के अनुसार चलता है।
- लाभ: इस तरह कई अलग-अलग "रास्तों" या सामग्रियों के संयोजनों को आज़माकर, किचन उस विशेष अजीब ऑर्डर के लिए सबसे अच्छा व्यंजन खोज लेता है।

यह एक बड़ी बात क्यों है?

यह "ट्रेनिंग-फ्री" है: आपको AI को फिर से सिखाने या उसके मस्तिष्क को बदलने की आवश्यकता नहीं है। आप बस मौजूदा सिस्टम के ऊपर यह "मैनेजर" लेयर जोड़ देते हैं। यह किसी भी AI मॉडल के साथ काम करता है।
यह कुशल है: क्योंकि अधिकांश ऑर्डर्स वास्तव में "आसान" (आत्मविश्वासी) होते हैं, इसलिए सिस्टम सभी के लिए मल्टी-शेफ टेस्ट करने में समय बर्बाद नहीं करता है। यह केवल कठिन मामलों पर ही अतिरिक्त ऊर्जा खर्च करता है।
वास्तविक दुनिया का प्रमाण: लेखकों ने विशाल डेटासेट (जैसे लाखों विज्ञापन क्लिक) पर इसका परीक्षण किया और एक सप्ताह के लिए एक वास्तविक ई-कॉमर्स वेबसाइट पर एक लाइव टेस्ट भी चलाया।
- परिणाम: पुराने सिस्टम की तुलना में इस सिस्टम ने अधिक विज्ञापनों पर क्लिक प्राप्त किए (उच्च क्लिक-थ्रू रेट)।
- लागत: इसने औसतन केवल 2.8 गुना अधिक कंप्यूटिंग पावर का उपयोग किया। चूंकि कंप्यूटर एक साथ कई चीजें कर सकते हैं (पैरेलल प्रोसेसिंग), इसलिए इसने उपयोगकर्ता के लिए वेबसाइट को धीमा नहीं किया; इसने बस पर्दे के पीछे थोड़ा अधिक "दिमाग" का उपयोग किया।

सारांश

यह शोध पत्र यह तर्क देता है कि AI को हर चीज़ में परफेक्ट बनाने के बजाय, हमें AI को यह जानने देना चाहिए कि वह कब अनिश्चित है। जब वह अनिश्चित होता है, तो हम उसे विभिन्न संभावनाओं पर विचार करने के लिए अतिरिक्त समय और संसाधन देते हैं। जब वह आश्वस्त होता है, तो हम उसे स्वतंत्र रूप से काम करने देते हैं। यह "स्मार्ट स्केलिंग" पूरे सिस्टम को बिना बजट बिगाड़े या चीज़ों को धीमा किए अधिक सटीक बनाती है।

तकनीकी सारांश: अनिश्चितता-ट्रिगर फीचर पाथ एक्सप्लोरेशन के माध्यम से CTR भविष्यवाणी के लिए चयनात्मक टेस्ट-टाइम कंप्यूट स्केलिंग

1. समस्या विवरण

यह शोध पत्र औद्योगिक क्लिक-थ्रू रेट (CTR) भविष्यवाणी में एक मौलिक विषमता को संबोधित करता है: जबकि प्रशिक्षण मॉडल को विविध फीचर संयोजनों के संपर्क में लाता है, अनुमान (inference) के दौरान अक्सर ऐसे विरल (sparse) या अनदेखे संयोजन मिलते हैं जो अविश्वसनीय भविष्यवाणियों की ओर ले जाते हैं। मौजूदा प्रशिक्षण-चरण समाधान (जैसे, अडैप्टिव गेटिंग, फीचर इंटरेक्शन आर्किटेक्चर) एक निश्चित चयन फ़ंक्शन सीखते हैं जो स्वयं डेटा की विरलता के अधीन होता है, और तैनाती (deployment) के समय विशिष्ट उदाहरणों के लिए कोई विकल्प प्रदान नहीं करता है।

अनुशंसा प्रणालियों (recommendation systems) में वर्तमान टेस्ट-टाइम ऑप्टिमाइज़ेशन प्रयास मुख्य रूप से अनुक्रमिक व्यवहार संवर्धन (जैसे, आइटम ड्रॉपआउट) पर केंद्रित हैं, जो CTR के विरल श्रेणीबद्ध (categorical) फीचर फील्ड्स के लिए लागू करने योग्य नहीं हैं। इसके अलावा, लार्ज लैंग्वेज मॉडल (LLM) की टेस्ट-टाइम स्केलिंग तकनीकों को सीधे स्थानांतरित करना अव्यवहार्य है क्योंकि बाइनरी CTR वर्गीकरण में टोकन-स्तरीय जनरेशन लाइक्लीहुड (generation likelihoods) का अभाव होता है। मुख्य चुनौती एक प्रशिक्षण-मुक्त, मॉडल-अज्ञेय (model-agnostic) फ्रेमवर्क विकसित करना है जो औद्योगिक विलंबता (latency) बाधाओं का उल्लंघन किए बिना प्रति-उदाहरण अनिश्चितता के आधार पर अनुमान गहराई को स्केल कर सके।

2. कार्यप्रणाली: UTTSI फ्रेमवर्क

लेखक UTTSI (अनिश्चितता-ट्रिगर टेस्ट-टाइम सिलेक्टिव इन्फरेंस) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जो किसी भी पूर्व-प्रशिक्षित CTR मॉडल के ऊपर काम करता है बिना उसके मापदंडों को बदले या पुन: प्रशिक्षण की आवश्यकता के। UTTSI प्रत्येक उदाहरण के लिए अनुमानित अनिश्चितता स्कोर के आधार पर कंप्यूटेशनल संसाधनों को गतिशील रूप से आवंटित करता है।

यह फ्रेमवर्क तीन बारीकी से एकीकृत घटकों से बना है:

A. फ्रीक्वेंसी प्रायर एस्टीमेशन (Frequency Prior Estimation)

फीचर वैल्यूज की विश्वसनीयता को मापने के लिए, UTTSI एक संभाव्यता आधारित हैशिंग संरचना (Count-Min Sketch से प्रेरित) बनाए रखता है जो प्रशिक्षण डेटा में प्रत्येक फीचर वैल्यू की आवृत्ति (frequency) को ट्रैक करता है। यह एक ऑफलाइन, डेटा-स्तरीय विश्वसनीयता संकेत प्रदान करता है। गणना की गई काउंट्स को एक सैचुरेशन थ्रेशोल्ड तक सामान्यीकृत किया जाता है ताकि एक फ्रीक्वेंसी स्कोर $\tilde{s}_{freq}(f_i) \in [0, 1]$ प्राप्त हो सके।

B. डुअल-सिग्नल अनिश्चितता अनुमान (Dual-Signal Uncertainty Estimation)

UTTSI दो पूरक संकेतों को मिलाकर प्रति-उदाहरण अनिश्चितता $u(x)$ का अनुमान लगाता है:

मॉडल-आंतरिक आत्मविश्वास ( $s_{model}$ ): यह प्रेडिक्शन लॉजिट (logit) से प्राप्त होता है, जिसे एक स्थिरांक $\gamma$ (वैलिडेशन सेट पर लॉजिट्स का 95वां पर्सेंटाइल) द्वारा सामान्यीकृत किया जाता है। यह निर्णय सीमा (decision boundary) के पास स्थित एलीटोरिक अस्पष्टता (aleatoric ambiguity) को कैप्चर करता है।
डेटा-स्तरीय फ्रीक्वेंसी आत्मविश्वास ( $s_{freq}$ ): यह फीचर फ्रीक्वेंसी का एक एट्रिब्यूशन-वेटेड औसत है। एट्रिब्यूशन की गणना प्रत्येक फीचर एम्बेडिंग के सापेक्ष लॉजिट के ग्रेडिएंट नॉर्म ( $\|\nabla_{e_i} \text{logit}(x)\|^2$ ) के माध्यम से की जाती है। यह सुनिश्चित करता है कि भविष्यवाणी को संचालित करने वाले फीचर्स की फ्रीक्वेंसी को अप्रासंगिक फीचर्स की तुलना में अधिक महत्व दिया जाए।

अंतिम अनिश्चितता स्कोर की गणना इस प्रकार की जाती है:
$u(x) = 1 - [\alpha \cdot s_{model}(x) + (1 - \alpha) \cdot s_{freq}(x)]$
अतिरिक्त एक्सप्लोरेशन पाथ्स की संख्या $K(x)$ इस अनिश्चितता के आनुपातिक रूप से आवंटित की जाती है: $K(x) = \lfloor K_{max} \cdot u(x) \rfloor$ ।

C. फीचर फ़िल्टरिंग और पाथ एक्सप्लोरेशन (Feature Filtering and Path Exploration)

अनुमान प्रक्रिया दो चरणों में चलती है:

अनुकूली फीचर फ़िल्टरिंग (सभी उदाहरणों के लिए): किसी भी एक्सप्लोरेशन से पहले, प्रत्येक फीचर के लिए एक कंपोजिट स्कोर $w(f_i)$ (फ्रीक्वेंसी और एट्रिब्यूशन का संयोजन) की गणना की जाती है। जो फीचर्स प्रति-फील्ड थ्रेशोल्ड $\tau_i$ (ट्रेनिंग डेटा क्वांटाइल्स से ऑफलाइन गणना की गई) से नीचे गिरते हैं, उन्हें हटा दिया जाता है। यह सभी उदाहरणों के लिए अविश्वसनीय एम्बेडिंग्स को हटा देता है।
स्टोकेस्टिक पाथ एक्सप्लोरेशन (केवल अनिश्चित उदाहरणों के लिए): उन उदाहरणों के लिए जहाँ $K(x) > 0$ है, UTTSI $K(x)$ अतिरिक्त अनुमान पथ (inference paths) उत्पन्न करता है। प्रत्येक पथ को परिष्कृत (refined) फीचर सेट के उपसमुच्चयों (subsets) को स्टोकेस्टिक रूप से सैंपल करके बनाया जाता है। सैंपलिंग प्रोबेबिलिटी को कंपोजिट स्कोर $w(f_i)$ द्वारा निर्देशित किया जाता है, जिससे यह सुनिश्चित होता है कि सूचनात्मक दुर्लभ फीचर्स को प्राथमिकता से रखा जाए।
कंसिस्टेंसी-वेटेड एग्रीगेशन (Consistency-Weighted Aggregation): बेस रिफाइंड पाथ और सभी $K(x)$ एक्सप्लोरेशन पाथ्स की भविष्यवाणियों को एकत्रित किया जाता है। एक कंसिस्टेंसी-वेटेड वोटिंग स्कीम उन भविष्यवाणियों को उच्च भार देती है जो एंसेम्बल मीन (ensemble mean) के अनुरूप होती हैं, और उन आउटलियर पाथ्स को कम भार देती है जिन्होंने संभवतः महत्वपूर्ण फीचर्स को मास्क कर दिया था।

आत्मविश्वासी उदाहरण ( $K(x)=0$ ) एक्सप्लोरेशन चरण को पूरी तरह से बायपास कर देते हैं, जिससे केवल प्रारंभिक फॉरवर्ड पास और फ़िल्टरिंग की लागत आती है।

3. प्रमुख योगदान

CTR के लिए प्रथम प्रशिक्षण-मुक्त टेस्ट-टाइम फ्रेमवर्क: UTTSI को बिना पुन: प्रशिक्षण या आर्किटेक्चरल बदलाव के, प्रति-उदाहरण अनिश्चितता के आधार पर चयनात्मक रूप से अनुमान गहराई को स्केल करने वाले पहले मॉडल-अज्ञेय फ्रेमवर्क के रूप में प्रस्तुत किया गया है।
डुअल-सिग्नल अनिश्चितता एस्टीमेटर: यह पेपर एक नवीन एस्टीमेटर पेश करता है जो मॉडल लॉजिट कॉन्फिडेंस को फ्रीक्वेंसी-आधारित प्रायर के साथ जोड़ता है, जो प्रभावी रूप से एपिस्टेमिक अनिश्चितता (विरल कवरेज) और एलीटोरिक अस्पष्टता के बीच अंतर करता है।
एसिमेट्रिक इन्फरेंस डिज़ाइन: फ्रेमवर्क एक एसिमेट्रिक रणनीति का उपयोग करता है जहाँ सभी उदाहरणों से हल्का फीचर फ़िल्टरिंग किया जाता है, लेकिन केवल अनिश्चित उदाहरणों को महंगी मल्टी-पाथ एक्सप्लोरेशन प्राप्त होती है। यह प्रदर्शन लाभ और कंप्यूटेशनल दक्षता के बीच संतुलन बनाता है।
अनुभवजन्य सत्यापन (Empirical Validation): इस दृष्टिकोण को तीन बैकबोन आर्किटेक्चर के साथ चार डेटासेट्स (Criteo, Avazu, KDD12, और एक इंडस्ट्रियल डेटासेट) पर सत्यापित किया गया है, साथ ही एक सात-दिवसीय ऑनलाइन A/B टेस्ट भी किया गया है।

4. प्रयोगात्मक परिणाम

ऑफलाइन प्रदर्शन: UTTSI सभी डेटासेट्स पर स्टेट-ऑफ-द-आर्ट CTR मॉडल्स (DeepFM, HSTU, PLE, और OptFu सहित) को लगातार पछाड़ता है। जब इसे OptFu बैकबोन पर लागू किया गया, तो इसने AUC में +0.0037 से +0.0048 की वृद्धि और LogLoss में -0.0116 से -0.0142 की कमी हासिल की। लाभ सबसे अधिक उच्च फीचर स्पर्सिटी वाले डेटासेट्स (KDD12 और इंडस्ट्रियल) पर देखे गए।
एब्लेशन अध्ययन (Ablation Studies): डुअल-सिग्नल एस्टीमेशन, एट्रिब्यूशन-गाइडेड सैंपलिंग, या मल्टी-पाथ एग्रीगेशन को हटाने से निरंतर प्रदर्शन में गिरावट आई, जो प्रत्येक घटक की आवश्यकता की पुष्टि करती है।
अनिश्चितता अंशांकन (Uncertainty Calibration): इंडस्ट्रियल डेटासेट पर अनुमानित अनिश्चितता स्कोर ने वास्तविक प्रेडिक्शन एरर के साथ एक मजबूत स्पियरमैन रैंक कोरिलेशन ( $\rho=0.91$ ) दिखाया, जो यह प्रमाणित करता है कि सिस्टम कठिन उदाहरणों की सही पहचान करता है।
ऑनलाइन A/B टेस्ट: एक बड़े ई-कॉमर्स प्लेटफॉर्म पर सात-दिवसीय तैनाती में, UTTSI ने प्रोडक्शन बेसलाइन की तुलना में क्लिक-थ्रू रेट (CTR) में 5.3% सापेक्ष सुधार हासिल किया, जो सांख्यिकीय रूप से महत्वपूर्ण ( $p < 0.01$ ) है।
कंप्यूटेशनल ओवरहेड: औसत कंप्यूटेशनल लागत बेस मॉडल लागत का लगभग 2.8× है। हालांकि, क्योंकि अधिकांश उदाहरण (लगभग 62%) आत्मविश्वासी हैं और एक्सप्लोरेशन को बायपास करते हैं, और क्योंकि पाथ समानांतर (parallelizable) हैं, इसलिए वर्स्ट-केस लेटेंसी एकल फॉरवर्ड पास के बराबर रहती है।

5. महत्व और दावे

पेपर दावा करता है कि UTTSI टेस्ट टाइम पर चयनात्मक अनुमान (selective inference at test time) को प्रशिक्षण-चरण के सुधारों के एक सिद्धांतपूर्ण और पूरक दिशा के रूप में स्थापित करता है। वास्तविक उदाहरण को देखे जाने तक अतिरिक्त कंप्यूटेशन के आवंटन को स्थगित करके, फ्रेमवर्क पहले से प्रशिक्षित मापदंडों के रिटर्न को अधिकतम करता है। यह विशेष रूप से फीचर स्पर्सिटी के कारण होने वाली CTR भविष्यवाणी में "विश्वसनीयता अंतराल" (reliability gap) को संबोधित करता है, जो एक ऐसा समाधान प्रदान करता है जो प्रदर्शन में सुधार करने में प्रभावी होने के साथ-साथ अपने प्रबंधनीय ओवरहेड और समानांतर करने योग्य प्रकृति के कारण औद्योगिक तैनाती के लिए व्यवहार्य है। लेखक जोर देते हैं कि यह दृष्टिकोण प्रशिक्षण-चरण अनुकूलन के साथ प्रतिस्पर्धा नहीं करता है, बल्कि इनपुट उदाहरण की विशिष्ट विश्वसनीयता के आधार पर अनुमान व्यवहार को अनुकूलित करके उन्हें बढ़ाता है।