उन विशाल डिजिटल परिदृश्यों पर जहाँ अरबों लोग हर दिन तस्वीरें, विचार और कहानियाँ साझा करते हैं, एक शांत लेकिन महत्वपूर्ण चुनौती बनी हुई है: आप कैसे जान सकते हैं कि आपके उपयोगकर्ता वास्तव में क्या देख रहे हैं? वर्षों से, प्लेटफॉर्म हानिकारक सामग्री को चिह्नित करने के लिए उपयोगकर्ता रिपोर्टों पर निर्भर रहे हैं, लेकिन यह तरीका केवल उन लोगों को गिनने जैसा है जो मदद के लिए चिल्ला रहे हैं। कई खतरे अनरिपोर्ट रह जाते हैं क्योंकि उपयोगकर्ता उन्हें देखते नहीं हैं, उन्हें रिपोर्ट करना नहीं पता होता, या वे सिस्टम के साथ जुड़ना नहीं चाहते। प्लेटफॉर्म की सुरक्षा को वास्तव में समझने के लिए, टीमों को 'प्रिवेलेंस' (प्रचलन) को मापने की आवश्यकता होती है—यानी वह वास्तविक हिस्सा जब कोई उपयोगकर्ता नियमों को तोड़ने वाली सामग्री का सामना करता है। इसके लिए केवल उन हिस्सों को देखने की आवश्यकता है जिन्हें पहले ही फ्लैग किया जा चुका है, बल्कि पूरी सामग्री की धारा को देखने की आवश्यकता है। समस्या यह है कि हानिकारक सामग्री अक्सर दुर्लभ होती है, और हर एक आइटम को हाथ से जांचना बहुत धीमा और महंगा होता है।

Pinterest के शोधकर्ताओं की एक टीम ने इसे हल करने का एक नया तरीका विकसित किया है, जिसमें उन्होंने स्मार्ट सैंपलिंग और उन्नत आर्टिफिशियल इंटेलिजेंस को मिलाकर सुरक्षा को अभूतपूर्व गति और सटीकता के साथ मापने वाला एक सिस्टम बनाया है। उपयोगकर्ताओं को दिखाई जाने वाली हर चीज़ का इंतज़ार करने के बजाय, वे एक दैनिक, प्रतिनिधि स्नैपशॉट लेते हैं। वे एक सांख्यिकीय पद्धति का उपयोग करते हैं जो उनके सीमित बजट को उल्लंघन के सबसे संभावित उम्मीदवारों पर केंद्रित करती है, जिससे वे सुनिश्चित होता है कि वे अपने नंबरों के प्रति आश्वस्त होने के लिए पर्याप्त उदाहरण पा सकें, बिना सब कुछ जांचे। फिर, वे एक लार्ज लैंग्वेज मॉडल का उपयोग करते हैं—एक ऐसा AI जो टेक्स्ट और इमेज को समझने के लिए प्रशिक्षित है—जो नमूनों को लेबल करने के लिए एक अथक और सुसंगत समीक्षक के रूप में कार्य करता है। इन तकनीकों को जोड़कर, वे एक दैनिक रिपोर्ट तैयार कर सकते हैं कि कितनी बार उपयोगकर्ताओं ने हानिकारक सामग्री देखी, जिसमें इस बात का माप भी शामिल है कि वह संख्या कितनी सटीक है। यह सुरक्षा टीमों को उभरती समस्याओं को तुरंत पहचानने, यह परीक्षण करने कि क्या उनके सुधार काम कर रहे हैं, और जोखिम कहाँ और कब दिखाई देते हैं, इसे समझने की अनुमति देता है, और वह भी मानव समीक्षकों के पीछे आने का इंतज़ार किए बिना।

इस प्रणाली का मूल भाग यह चुनना है कि किन सामग्री के टुकड़ों की जांच की जाए। अरबों दैनिक दृश्यों के समुद्र में, एक दुर्लभ उल्लंघन को खोजना एक जंगल में एक विशिष्ट प्रकार की पत्ती को खोजने जैसा है। यदि आप यादृच्छिक (रैंडम) रूप से पत्तियाँ चुनते हैं, तो आप मीलों चल सकते हैं और कुछ भी नहीं पा सकते। शोधकर्ता इसके बजाय एक "वेटेड" (भारित) दृष्टिकोण का उपयोग करते हैं। वे दो मुख्य संकेतों को देखते हैं: एक सामग्री को कितनी बार लोगों को दिखाया गया है, और प्लेटफॉर्म के मौजूदा सुरक्षा मॉडलों द्वारा उत्पन्न एक रिस्क स्कोर (जोखिम स्कोर)। वे इन संकेतों को मिलाकर एक ऐसी सूची बनाते हैं जहाँ लोकप्रिय और जोखिम भरी दोनों वस्तुएं समीक्षा के लिए चुने जाने की अधिक संभावना रखती हैं। इसका मतलब यह नहीं है कि वे केवल जोखिम भरी वस्तुओं की ही जांच करते हैं; वे अभी भी पूरी आबादी में से चुनते हैं, लेकिन वे संभावनाओं को थोड़ा झुका देते हैं ताकि उन्हें एक ठोस सांख्यिकीय अनुमान लगाने के लिए पर्याप्त उदाहरण मिल सकें। यह विधि उन्हें प्रतिदिन एक निश्चित संख्या में जांच करने की अनुमति देती है और फिर भी उन्हें पूरे प्लेटफॉर्म की स्पष्ट तस्वीर प्रदान करती है, भले ही उल्लंघन अत्यंत दुर्लभ हों।

एक बार जब सिस्टम ने अपना दैनिक नमूना चुन लिया, तो वह लेबलिंग चरण की ओर बढ़ता है। यहाँ, शोधकर्ताओं ने पारंपरिक मानव समीक्षा प्रक्रिया को एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल से बदल दिया। यह AI एक छवि को देख सकता है, टेक्स्ट पढ़ सकता है और संदर्भ को समझ सकता है, ठीक वैसे ही जैसे एक मानव मॉडरेटर। हालाँकि, शोधकर्ताओं ने केवल AI को निर्णय लेने के लिए नहीं छोड़ा; उन्होंने इसके चारों ओर एक कठोर गुणवत्ता नियंत्रण प्रणाली बनाई। AI को दैनिक नमूनों को लेबल करने की अनुमति देने से पहले, इसका परीक्षण विशेषज्ञों द्वारा सावधानीपूर्वक समीक्षा की गई सामग्री के एक "गोल्ड सेट" के विरुद्ध किया जाता है। AI को चालू होने से पहले त्रुटि के एक बहुत ही कम मार्जिन के भीतर मानव विशेषज्ञों के निर्णयों से मेल खाना चाहिए। लाइव होने के बाद, सिस्टम AI के काम की जाँच करना जारी रखता है, जिसमें उसके दैनिक लेबल के यादृच्छिक चयन को सत्यापन के लिए मानव विशेषज्ञों के पास भेजा जाता है। यह सुनिश्चित करता है कि AI समय के साथ भटक न जाए या व्यवस्थित गलतियाँ न करे। परिणाम यह है कि लेबलिंग प्रक्रिया मानव-केवल समीक्षा की तुलना में लगभग पंद्रह गुना तेज़ है और लागत में दस गुना कम है, जबकि सटीकता का स्तर समान बना रहता है।

इस दृष्टिकोण की शक्ति प्लेटफॉर्म का एक एकल, एकीकृत दृश्य प्रदान करने की इसकी क्षमता में निहित है जिसे कई अलग-अलग तरीकों से विभाजित किया जा सकता है। क्योंकि शोधकर्ता प्रत्येक दिन एक वैश्विक नमूना लेते हैं, वे तुरंत सवालों के जवाब दे सकते हैं कि सुरक्षा क्षेत्र, सामग्री के प्रकार, या सामग्री कितनी पुरानी है, इसके आधार पर कैसे भिन्न होती है, बिना प्रत्येक प्रश्न के लिए एक नया अध्ययन चलाए। वे देख सकते हैं कि क्या कोई नया नीति अपडेट काम कर रहा है, या क्या किसी विशेष देश में किसी विशेष प्रकार की हानिकारक सामग्री बढ़ रही है। सिस्टम प्रत्येक संख्या के लिए एक 'कॉन्फिडेंस इंटरवल' (विश्वास अंतराल) की गणना भी करता है, जो सुरक्षा टीम को यह बताता है कि उस परिणाम पर कितना भरोसा किया जा सकता है। यदि संख्या बहुत कम उदाहरणों पर आधारित है, तो विश्वास अंतराल व्यापक होगा, जो टीम को संकेत देगा कि किसी बड़े निर्णय से पहले उन्हें और डेटा का इंतज़ार करना चाहिए।

शोधकर्ताओं ने इस प्रणाली का सिमुलेशन और Pinterest में अपने वास्तविक प्रोडक्शन वातावरण में व्यापक परीक्षण किया, जहाँ यह एक वर्ष से अधिक समय से दैनिक रूप से चल रहा है। उन्होंने पाया कि अपने ML-सहायता प्राप्त सैंपलिंग पद्धति का उपयोग करके, वे मानक रैंडम सैंपलिंग पद्धति की तुलना में अपने दैनिक नमूने में छह से ग्यारह गुना अधिक उल्लंघन पा सकते हैं। इस दक्षता का अर्थ था कि वे बहुत कम जांच के साथ समान स्तर की सांख्यिकीय सटीकता प्राप्त कर सकते थे, या समान मात्रा में काम के साथ बहुत अधिक सटीक और विश्वसनीय संख्या प्राप्त कर सकते थे। उन्होंने यह भी प्रदर्शित किया कि भले ही सैंपलिंग को निर्देशित करने वाले अंतर्निहित रिस्क स्कोर समय के साथ बदल जाएं या कम सटीक हो जाएं, फिर भी सिस्टम के अंतिम अनुमान निष्पक्ष (unbiased) बने रहते हैं। त्रुटियाँ गलत उत्तरों के रूप में नहीं, बल्कि व्यापक विश्वास अंतराल के रूप में दिखाई देती थीं, जो निर्णय लेने वालों के लिए एक महत्वपूर्ण अंतर है जिन्हें यह जानने की आवश्यकता होती है कि कोई रुझान वास्तविक है या वह केवल शोर (noise) है।

सबसे महत्वपूर्ण निष्कर्षों में से एक यह था कि सिस्टम उन अपरिहार्य त्रुटियों को कैसे संभालता है जो स्वचालित लेबलिंग के साथ आती हैं। शोधकर्ताओं ने पाया कि बहुत दुर्लभ उल्लंघनों के लिए, सबसे बड़ा जोखिम उल्लंघन को मिस करना नहीं है, बल्कि सुरक्षित सामग्री को हानिकारक के रूप में गलत तरीके से चिह्नित करना है। सुरक्षित सामग्री के समुद्र में एक भी 'फॉल्स पॉजिटिव' (गलत सकारात्मक) इसे इतना गंभीर बना सकता है कि समस्या वास्तव में जितनी है उससे दस गुना अधिक लगे। इसे प्रबंधित करने के लिए, सिस्टम लगातार AI की 'फॉल्स पॉजिटिव रेट' की निगरानी करता है। यदि दर बहुत अधिक हो जाती है, तो सिस्टम अंतिम संख्याओं में त्रुटि को समायोजित करने के लिए एक गणितीय सुधार लागू कर सकता है, या यह विशिष्ट वस्तुओं की मानव समीक्षा को ट्रिगर कर सकता है जो स्पाइक का कारण बन रही हैं। यह सुनिश्चित करता है कि दैनिक रिपोर्ट AI मॉडल की खामियों के बजाय वास्तविकता को दर्शाती है। टीम ने यह भी पाया कि संख्याओं में दिन-प्रतिदिन के उतार-चढ़ाव अक्सर पोस्ट की जा रही सामग्री के प्रकारों में बदलाव या नियमों की व्याख्या में AI के सूक्ष्म बदलावों के कारण होते हैं, न कि सुरक्षा स्तरों में वास्तविक परिवर्तन के कारण। इन अल्पकालिक विविधताओं को सुचारू बनाकर और साप्ताहिक रुझानों पर ध्यान केंद्रित करके, वे सामान्य शोर और वास्तविक उभरते खतरों के बीच अंतर कर सके।

यह कार्य डिजिटल प्लेटफॉर्म द्वारा सुरक्षा की निगरानी करने के तरीके में एक बदलाव का प्रतिनिधित्व करता है, जो उपयोगकर्ता शिकायतों पर आधारित प्रतिक्रियात्मक मॉडल से हटकर एक सक्रिय, डेटा-संचालित दृष्टिकोण की ओर बढ़ता है। सुरक्षा मापन को केवल एक प्रवर्तन कार्य के बजाय एक सांख्यिकीय विज्ञान के रूप में मानकर, शोधकर्ताओं ने एक ऐसा उपकरण बनाया है जो समस्याओं के शुरू होते ही उन्हें पकड़ सकता है। सिस्टम को लचीला बनाया गया है, जिससे टीमें ऑनलाइन सामग्री के बदलते परिदृश्य के अनुसार नई नीतियां जोड़ने या पैरामीटर को समायोजित करने में सक्षम होती हैं। यह सैंपलिंग, AI लेबलिंग, मानव सत्यापन और सांख्यिकीय विश्लेषण के एक निरंतर लूप पर निर्भर करता है, जो इंटरनेट की गति के साथ तालमेल बिठाने के लिए पर्याप्त तेज़ है। शोधकर्ता इस बात पर जोर देते हैं कि यह सिस्टम मानव निर्णय या नीति प्रवर्तन का विकल्प नहीं है, बल्कि एक पूरक उपकरण है जो उन निर्णयों को प्रभावी ढंग से लेने के लिए स्पष्टता प्रदान करता है। यह अदृश्य को दृश्यमान में बदल देता है, जिससे सुरक्षा टीमों को अपने प्लेटफॉर्म की वास्तविक स्थिति को समझने और अपने उपयोगकर्ताओं को अधिक सटीकता और गति के साथ सुरक्षित रखने के लिए आवश्यक दृष्टि मिलती है।