Calibrate Globally, Measure Everywhere: Scaling LLM-Based Prevalence Measurement Across A/B Experiments
यह शोध पत्र Pinterest के प्रयोग (experimentation) प्लेटफॉर्म के लिए एक लागत प्रभावी, सिस्टम-स्तरीय समाधान प्रस्तुत करता है जो ML स्कोर बकेट्स के एकल, निरंतर रिफ्रेश होने वाले वैश्विक अंशांकन (global calibration) को लागू करके सैकड़ों समवर्ती A/B परीक्षणों में LLM-आधारित सामग्री प्रचुरता (content prevalence) माप को स्केल करता है, जिससे उसी बजट के भीतर पारंपरिक प्रति-प्रयोग LLM लेबलिंग की तुलना में 20 गुना से अधिक प्रयोग भुजाओं (experiment arms) के लिए दैनिक, उच्च-सटीकता ट्रैकिंग सक्षम होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हलचल भरे शहर का संचालन कर रहे हैं जहाँ हर दिन लाखों लोग सड़कों पर चलते हैं। इस शहर में हजारों अलग-अलग दुकानें, पार्क और बिलबोर्ड हैं, और शहर के योजनाकार यह जानना चाहते हैं कि लोग विशिष्ट प्रकार की चीजों को देखने में कितना समय बिताते हैं—जैसे कि "बागवानी के उपकरण" या "AI-जनरेटेड आर्ट (AI द्वारा निर्मित कला)"। यह प्रचलन मापन (prevalence measurement) की दुनिया है: यह पता लगाना कि कुल "इंप्रेशन" (या नज़र पड़ने) का कितना हिस्सा एक निश्चित श्रेणी से संबंधित है।
इस शहर के बारे में निर्णय लेने के लिए, योजनाकार अक्सर A/B प्रयोग (A/B experiments) चलाते हैं। यह एक सड़क के साइन बोर्ड के दो अलग-अलग संस्करणों का परीक्षण करने जैसा है: एक संस्करण आधे लोगों के लिए, दूसरा दूसरे आधे लोगों के लिए, यह देखने के लिए कि कौन सा संस्करण लोगों को अधिक खुश या व्यस्त रखता है। आमतौर पर, यह जानने के लिए कि क्या कोई साइन काम कर रहा है, आपको परिणामों को गिनने की आवश्यकता होती है। लेकिन यहाँ एक पेंच है: कभी-कभी जिस चीज़ को आप गिनना चाहते हैं, उसे मापना कठिन होता है। आप हर एक व्यक्ति से यह नहीं पूछ सकते कि उन्होंने क्या देखा; इसमें बहुत समय लगेगा और बहुत पैसा खर्च होगा। डिजिटल दुनिया में, इस "मापने में कठिन" कार्य को लार्ज लैंग्वेज मॉडल्स (LLMs) द्वारा किया जाता है—अति-बुद्धिमान AI कंप्यूटर जो किसी चित्र या पोस्ट को पढ़ सकते हैं और बता सकते हैं, "हाँ, यह बागवानी के बारे में है," या "नहीं, यह इसके बारे में नहीं है।" हालांकि ये AI निर्णायक अविश्वसनीय रूप से सटीक हैं, लेकिन हर दिन अरबों आगंतुकों वाले शहर के हर एक आइटम को लेबल करने के लिए उन्हें बुलाना बहुत महंगा और धीमा होगा।
यहीं Pinterest के ज़ेहाओ ज़ू (Zehao Xu) और उनकी टीम का शोध काम आता है। उन्हें एक समस्या का सामना करना पड़ा: वे हर दिन सैकड़ों प्रयोग चला रहे थे, और उन्हें प्रत्येक प्रयोग समूह के लिए विशिष्ट सामग्री प्रकारों (जैसे कि AI या सुरक्षा संबंधी मुद्दों के बारे में कितने 'पिन' हैं) का "प्रचलन" जानने की आवश्यकता थी। वे हर नए प्रयोग के लिए हर एक आइटम को लेबल करने के लिए AI को भुगतान नहीं कर सकते थे। इसलिए, उन्होंने एक चतुर प्रणाली बनाई जो एक "ग्लोबल ट्रांसलेटर" (वैश्विक अनुवादक) की तरह कार्य करती है। हर नए प्रयोग के लिए हर आइटम को चेक करने के लिए महंगे AI को बुलाने के बजाय, वे पूरे शहर के एक प्रतिनिधि नमूने (representative sample) को एक बार प्रतिदिन जांचने के लिए कहते हैं। वे उस नमूने का उपयोग एक सस्ते, तेज़ मॉडल को प्रचलन का अनुमान लगाना सिखाने के लिए करते हैं। फिर, वे उस तेज़ मॉडल का उपयोग बाकी सब कुछ तुरंत मापने के लिए करते हैं। परिणाम? वे हर दिन सैकड़ों प्रयोगों में सामग्री के प्रदर्शन (content exposure) में होने वाले बदलावों को ट्रैक कर सकते हैं, उन सूक्ष्म बदलावों को भी पकड़ सकते हैं जिन्हें एक एकल, महंगा चेक मिस कर देता, और वह भी बिना AI लेबल पर अतिरिक्त पैसा खर्च किए।
समस्या: "गोल्ड स्टैंडर्ड" बहुत महंगा है
ऑनलाइन मीडिया की दुनिया में, Pinterest जैसी कंपनियों को उपयोगकर्ताओं को जोड़े रखने और यह सुनिश्चित करने के बीच संतुलन बनाने की आवश्यकता होती है कि वे कुछ विशेष प्रकार की सामग्री (जैसे असुरक्षित चित्र या निम्न-गुणवत्ता वाला स्पैम) बहुत अधिक न देख रहे हों। इसे करने के लिए, वे A/B टेस्ट चलाते हैं। इन परीक्षणों में, वे एल्गोरिदम में बदलाव करते हैं ताकि यह देखा जा सके कि क्या इससे उपयोगकर्ता द्वारा देखी जाने वाली विशिष्ट प्रकार की सामग्री की मात्रा बदल जाती है।
इसे मापने के लिए, "गोल्ड स्टैंडर्ड" (सर्वश्रेष्ठ मानक) एक AI (एक LLM) का उपयोग करना है जो सामग्री के एक नमूने को देखे और उसे पूरी तरह से लेबल करे। यह एक गैलरी में प्रत्येक पेंटिंग की जांच करने के लिए विशेषज्ञ कला समीक्षकों की एक टीम को रखने जैसा है ताकि यह गिना जा सके कि कितने लैंडस्केप (प्राकृतिक दृश्य) हैं। यह सटीक है, लेकिन धीमा और अविश्वसनीय रूप से महंगा है। यदि आप एक ही समय में सैकड़ों प्रयोग चला रहे हैं, और आपको प्रत्येक प्रयोग के प्रत्येक समूह के लिए सामग्री की जांच करने की आवश्यकता है, तो लागत अत्यधिक होगी। आप सब कुछ देखने के लिए "विशेषज्ञों" को नियुक्त करने का खर्च नहीं उठा सकते।
इसके अलावा, जिन परिवर्तनों की कंपनियों को परवाह होती है, वे अक्सर बहुत छोटे होते हैं। यदि एक नया एल्गोरिदम "AI-जनरेटेड आर्ट" की मात्रा को केवल 2% या 5% कम करता है, तो एक एकल, महंगा चेक यह बताने के लिए पर्याप्त सटीक नहीं हो सकता है कि क्या यह परिवर्तन वास्तविक है या केवल रैंडम शोर (random noise) है। यह एक शोर भरे कमरे में एक एकल, महंगे माइक्रोफ़ोन के साथ फुसफुसाहट को सुनने की कोशिश करने जैसा है; आप इसे पूरी तरह से मिस कर सकते हैं।
समाधान: एक ग्लोबल कैलिब्रेशन मैप (वैश्विक अंशांकन मानचित्र)
Pinterest की टीम ने महसूस किया कि उन्हें हर प्रयोग के लिए हर चीज़ को लेबल करने के लिए महंगे AI की आवश्यकता नहीं है। इसके बजाय, उन्हें महंगे AI के ज्ञान का उपयोग करके एक सस्ते, तेज़ तरीके को "कैलिब्रेट" करने के तरीके की आवश्यकता थी।
इसे इस तरह सोचें: कल्पना कीजिए कि आपके पास एक अत्यंत सटीक लेकिन धीमा थर्मामीटर (LLM) है और एक सस्ता, तेज़ थर्मामीटर (ML मॉडल स्कोर) है। सस्ता थर्मामीटर एक संख्या देता है, लेकिन यह पूरी तरह से सटीक नहीं है। हालाँकि, यदि आप हर दिन कुछ विशिष्ट स्थानों पर तापमान की जाँच करने के लिए महंगे थर्मामीटर का उपयोग करते हैं, तो आप एक मैप (मानचित्र) बना सकते हैं जो आपको बताता है कि किसी भी स्थान के लिए सस्ते थर्मामीटर की रीडिंग को ठीक से कैसे सुधारा जाए।
यह शोध पत्र एक ऐसी प्रणाली का वर्णन करता है जो बिल्कुल यही करती है:
- ग्लोबल कैलिब्रेशन (वैश्विक अंशांकन): प्रत्येक प्रयोग के लिए अलग-अलग आइटम को लेबल करने के बजाय, वे एक दैनिक, वैश्विक नमूनाकरण प्रक्रिया चलाते हैं। वे पूरे प्लेटफॉर्म के ट्रैफ़िक के एक प्रतिनिधि नमूने को लेबल करने के लिए महंगे LLM का उपयोग करते हैं।
- बकेटिंग (Bucketing): वे सस्ते, तेज़ मॉडल के स्कोर लेते हैं (जो यह भविष्यवाणी करता है कि किसी आइटम के "AI-जनरेटेड" होने की कितनी संभावना है) और उन्हें "बकेट" (जैसे 0–10%, 10–20%, आदि) में समूहबद्ध करते हैं।
- अनुवाद (The Translation): दैनिक LLM लेबल का उपयोग करते हुए, वे गणना करते हैं कि प्रत्येक बकेट में वास्तव में कितने प्रतिशत आइटम "AI-जनरेटed" हैं। यह एक लुकअप टेबल बनाता है: "यदि सस्ता मॉडल कहता है कि एक आइटम 80–90% के बकेट में है, तो 95% संभावना है कि वह वास्तव में AI-जनरेटेड है।"
- तत्काल मापन (Instant Measurement): अब, किसी भी नए प्रयोग के लिए, उन्हें महंगे AI को बुलाने की आवश्यकता नहीं है। वे बस उस प्रयोग में मौजूद आइटमों के सस्ते मॉडल के स्कोर देखते हैं, देखते हैं कि वे किन बकेट में आते हैं, और पहले से गणना किए गए मैप का उपयोग करके तुरंत प्रचलन (prevalence) जान लेते हैं।
परिणाम: फुसफुसाहट को पकड़ना
टीम ने वास्तविक दुनिया के प्रयोगों में "गोल्ड स्टैंडर्ड" LLM मापों के विरुद्ध इस प्रणाली का परीक्षण किया। परिणाम प्रभावशाली थे:
- पैमाना (Scale): यह प्रणाली वर्तमान में हर दिन लगभग 100 प्रयोगों और 250 विभिन्न समूहों (arms) को सेवा दे रही है।
- दक्षता (Efficiency): प्रति प्रयोग एक एकल, महंगे चेक करने के पुराने तरीके की तुलना में, यह नई प्रणाली समान लेबलिंग बजट का उपयोग करके 20 गुना अधिक समवर्ती (concurrent) प्रयोगों के लिए दैनिक माप प्रदान करती है।
- सटीकता (Accuracy): लगभग 300 प्रोडक्शन ऑडिट्स में, इस प्रणाली का 95% कॉन्फिडेंस इंटरवल (निश्चितता का सांख्यिकीय दायरा) महंगे LLM के उत्तर को 92% बार समाहित करता है। इसका मतलब है कि सस्ता, तेज़ तरीका महंगे वाले के लगभग उतना ही विश्वसनीय है।
- संवेदनशीलता (Sensitivity): सबसे रोमांचक खोज छोटे बदलावों का पता लगाने के बारे में थी। एक प्रयोग में, नए सिस्टम ने एक विशिष्ट सामग्री प्रकार में 4.2% की सापेक्ष कमी का पता लगाया। उसी प्रयोग पर एक एकल, महंगे LLM चेक ने इसे पूरी तरह से मिस कर दिया होता क्योंकि शोर बहुत अधिक था। दैनिक डेटा को एकत्रित करके, नया सिस्टम उस "फुसफुसाहट" को सुन सका जिसे महंगे माइक्रोफ़ोन ने मिस कर दिया था।
यह क्यों महत्वपूर्ण है
यह केवल पैसा बचाने के बारे में नहीं है; यह बेहतर निर्णय लेने के बारे में है। इस प्रणाली से पहले, टीमों को शायद कई प्रयोगों में सामग्री के प्रचलन को मापने से बचना पड़ता क्योंकि यह बहुत महंगा था। या, वे एक एकल, शोर वाले डेटा पॉइंट के आधार पर निर्णय ले सकते थे जिसने छोटे लेकिन महत्वपूर्ण रुझानों को मिस कर दिया।
"ग्लोबल कैलिब्रेशन और हर जगह मापन" करके, टीम ने एक ऐसी प्रणाली बनाई जहाँ महंगे AI की लागत एक बार चुकाई जाती है (या वितरित की जाती है) और फिर उसका उपयोग हजारों बार किया जा सकता है। यह एक धीमी, महंगी प्रक्रिया को एक तेज़, दैनिक दिनचर्या में बदल देता है। यह उत्पाद टीमों को यह देखने की अनुमति देता है कि उनके बदलावों का सामग्री के प्रदर्शन पर क्या प्रभाव पड़ता है, जिससे यह सुनिश्चित होता है कि प्लेटफॉर्म सुरक्षित, उच्च-गुणवत्ता वाला और आकर्षक बना रहे, और वह भी बिना बजट बिगाड़े।
यह शोध पत्र इस बात पर जोर देता है कि यह एक सिस्टम-लेवल (प्रणाली-स्तरीय) उपलब्धि है, न कि केवल एक नया गणितीय सूत्र। यह एक ऐसी पाइपलाइन बनाने के बारे में है जो एक आवर्ती, महंगी कार्य को एक पुन: प्रयोज्य संपत्ति (reusable asset) में बदल देती है। जबकि शोध पत्र यह भी नोट करता है कि भविष्य में LLM की लागत कम हो सकती है, जिससे प्रत्यक्ष लेबलिंग सस्ती हो जाएगी, इस प्रणाली का तर्क—वैश्विक अंशांकन का उपयोग करके मापन को स्केल करना—आज के जटिल, बड़े पैमाने के प्रयोगों को प्रबंधित करने के लिए एक शक्तिशाली उपकरण बना हुआ है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।