🤖 machine learning

Gaming the Metric, Not the Harm: Certifying Safety Audits against Strategic Platform Manipulation

यह शोध पत्र यह प्रदर्शित करता है कि वास्तविक हानि को कम करने के बजाय स्कोर को अनुकूलित करने वाले रणनीतिक प्लेटफार्मों द्वारा स्केलर सुरक्षा मेट्रिक्स (scalar safety metrics) स्वाभाविक रूप से हेरफेर योग्य होते हैं, और एक "सिमेंटिक-एनवेलप" (semantic-envelope) प्रमाणन पद्धति का प्रस्ताव करता है जो प्रत्येक सामग्री वेरिएंट को उसके सिमेंटिक तुल्यता वर्ग (semantic equivalence class) के भीतर सबसे खराब स्थिति वाले स्कोर को सौंपकर इस प्रकार के गेमिंग के विरुद्ध सुदृढ़ बनी रहती है।

मूल लेखक: Florian A. D. Burnat, Brittany I. Davidson

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Florian A. D. Burnat, Brittany I. Davidson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रचनात्मक उपमाओं का उपयोग करके पेपर की व्याख्या दी गई है।

बड़ी तस्वीर: स्कोरकार्ड को धोखा देना

कल्पना कीजिए कि एक स्कूल प्रिंसिपल (ऑडिटर/लेखा परीक्षक) यह सुनिश्चित करना चाहता है कि एक कैंटीन (प्लेटफॉर्म) छात्रों को सड़ा हुआ खाना (हानिकारक सामग्री/Harmful Content) न परोस रही हो।

इसकी जाँच करने के लिए, प्रिंसिपल एक स्कोरकार्ड बनाता है। कैंटीन को खुला रखने के लिए उसे अपने "सड़े हुए भोजन के स्कोर" को एक निश्चित सीमा से नीचे रखना होगा। प्रिंसिपल नियम प्रकाशित करता है: "हम लेबल और विवरण के आधार पर भोजन की जाँच करेंगे।"

समस्या यह है कि कैंटीन स्मार्ट है। वे नियमों को जानते हैं। यदि प्रिंसिपल कहता है, "हम लेबल की जाँच करेंगे," तो कैंटीन सड़ा हुआ खाना रख सकती है लेकिन उसका लेबल "सड़ा हुआ दूध" से बदलकर "ताज़ा डेयरी" कर सकती है। खाना अभी भी सड़ा हुआ है, लेकिन स्कोरकार्ड कहता है कि यह सुरक्षित है।

यह पेपर पूछता है: हम स्कोरकार्ड को कैसे ठीक करें ताकि कैंटीन केवल लेबल बदलकर धोखाधड़ी न कर सके?

समस्या: "मेट्रिक को गेम करना" (Gaming the Metric)

लेखक इसे "गेमिंग द मेट्रिक" कहते हैं। यह तब होता है जब कोई प्लेटफॉर्म किसी चीज़ को प्रस्तुत करने के तरीके को बदल देता है (जैसे थंबनेल, कैप्शन, या पैराफ्रेज़/शब्दों का फेरबदल) ताकि सुरक्षा स्कैनर को धोखा दिया जा सके, बिना वास्तव में हानिकारक सामग्री को हटाए।

"नाजुक" (Fragile) स्कोरकार्ड: यह वर्तमान तरीका है जिससे चीजें अक्सर काम करती हैं। यह पोस्ट के हर विशिष्ट संस्करण को देखता है। यदि कोई पोस्ट कहता है "मुझे X से नफरत है," तो इसे उच्च खतरे का स्कोर मिलता है। यदि प्लेटफॉर्म इसे "मैं X को तिरस्कार देता हूँ" में बदल देता है (जिसका अर्थ वही है), तो स्कैनर इसे कम स्कोर दे सकता है क्योंकि उसने नए शब्दों को नहीं पहचाना। प्लेटफॉर्म एक "सुरक्षित" स्कोर प्राप्त करता है जबकि वह वास्तव में वही नफरत दिखा रहा होता है।
परिणाम: प्लेटफॉर्म ऑडिट पास करने के लिए अपना स्कोर कम कर सकता है जबकि वास्तविक नुकसान बिल्कुल वैसा ही रहता है। यह एक छात्र की तरह है जो वास्तव में पढ़ाई किए बिना बेहतर ग्रेड पाने के लिए टेस्ट पर अपना नाम बदल देता है।

समाधान: "सिमेंटिक एनवेलप" (The Semantic Envelope)

लेखक एक समाधान प्रस्तावित करते हैं जिसे सिमेंटिक एनवेलप कहा जाता है।

कल्पना कीजिए कि प्रिंसिपल "मुझे X से नफरत है" कहने के सभी अलग-अलग तरीकों को एक एकल बकेट (एक "सिमेंटिक क्लास") में समूहबद्ध करता है।

बकेट A: इसमें "मुझे X से नफरत है," "मैं X को तिरस्कार देता हूँ," "मैं X से घृणा करता हूँ," आदि शामिल हैं।
नियम: हर एक वाक्य को व्यक्तिगत रूप से जाँचने के बजाय, प्रिंसिपल उस बकेट के सबसे बुरे वाक्य को देखता है।

यदि उस बकेट में संदेश का कोई भी संस्करण खतरनाक है, तो पूरा बकेट उच्चतम संभव खतरे का स्कोर प्राप्त करता है।

यह क्यों काम करता है: यदि कैंटीन "मुझे X से नफरत है" को "मैं X को तिरस्कार देता हूँ" में बदलकर स्कोर कम करने की कोशिश करती है, तो प्रिंसिपल कहता है, "रुको, ये दोनों एक ही बकेट में हैं। चूंकि इनमें से एक खतरनाक है, इसलिए पूरा बकेट खतरनाक है।"
"एनवेलप" (लिफाफा/आवरण): इसे एक सुरक्षा जाल या छत की तरह समझें। आप समान वस्तुओं के समूह में पाया गया उच्चतम खतरे के स्कोर को लेते हैं और पूरे समूह को उस स्कोर के साथ "एनवेलप" (आच्छादित) कर देते हैं। आप उसी समूह से एक सुरक्षित दिखने वाला संस्करण चुनकर खतरे को छिपा नहीं सकते।

तीन मुख्य निष्कर्ष

यह पेपर इस नए तरीके के बारे में तीन मुख्य बातें सिद्ध करता है:

डायरेक्ट स्कोरिंग टूटा हुआ है: यदि आप किसी पोस्ट के प्रत्येक विशिष्ट संस्करण को व्यक्तिगत रूप से स्कोर करते हैं, तो एक स्मार्ट प्लेटफॉर्म हमेशा एक खतरनाक संस्करण को "सुरक्षित दिखने वाले" संस्करण से बदलने का तरीका ढूंढ लेगा ताकि सिस्टम को धोखा दिया जा सके।
एनवेलप सबसे अच्छा समाधान है: "सिमेंटिक एनवेलप" (पूरे समूह को उसके सबसे बुरे सदस्य द्वारा स्कोर करना) सबसे कम रूढ़िवादी (least conservative) सुधार है जो फिर भी काम करता है।
- उपमा: कल्पना कीजिए कि आप एक टपकती हुई छत को ठीक करना चाहते हैं। आप पूरे घर को एक विशाल, मोटे कंबल से ढक सकते हैं (बहुत सुरक्षित, लेकिन महंगा है और सूरज की रोशनी रोकता है)। या आप एक जगह पर छोटा सा पैच लगा सकते हैं (असुरक्षित)। एनवेलप उस पैच को लगाने जैसा है जो ठीक वहीं है जहाँ रिसाव है, लेकिन यह सुनिश्चित करता है कि यह उस क्षेत्र के सबसे बुरे रिसाव को कवर करे। यह सबसे छोटा, सबसे कुशल पैच है जो गारंटी देता है कि पानी अंदर नहीं आएगा।
यह तब भी काम करता है जब हम पूर्ण नहीं होते: पेपर स्वीकार करता है कि कभी-कभी "बकेट" अव्यवस्थित हो सकते हैं (शायद दो चीजें जो समान दिखती हैं वे वास्तव में एक जैसी नहीं हैं)। लेखकों ने एक गणितीय सूत्र बनाया है जो गलतियों को ध्यान में रखते हुए एक "सुरक्षा मार्जिन" (slack) जोड़ता है। यह सुनिश्चित करता है कि सुरक्षा गारंटी बनी रहे, भले ही नियम 100% सटीक न हों।

उन्होंने इसका परीक्षण कैसे किया

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने अपने विचार को सिद्ध करने के लिए तीन प्रकार के परीक्षण चलाए:

ग्रिड टेस्ट (The Grid Test): उन्होंने एक छोटे ग्रिड पर कैंटीरी द्वारा खाद्य पदार्थों को मिलाने के हर संभावित तरीके को सूचीबद्ध किया और जाँच की कि क्या नया नियम धोखाधड़ी को रोकता है। इसने काम किया।
रोबोट लॉयर (SMT): उन्होंने कंप्यूटर सॉफ़्टवेयर (Z3 और cvc5) का उपयोग एक सुपर-फास्ट वकील के रूप में किया, जो उनके गणित में खामियां (loophole) खोजने की कोशिश कर रहा था। सॉफ़्टवेयर ने लाखों संयोजन आजमाए और नए नियम को तोड़ने का कोई तरीका नहीं ढूंढ सका।
वीडियो गेम (MDP): उन्होंने ऑडिट को एक साधारण वीडियो गेम में बदल दिया जहाँ "प्लेटफॉर्म" "ऑडिटर" को हराने की कोशिश करता है। गेम में, पुराने नियमों ने प्लेटफॉर्म को आसानी से जीतने दिया। नए एनवेलप नियम के साथ, प्लेटफॉर्म को जीतने के लिए सड़ा हुआ भोजन देना बंद करने के लिए मजबूर किया गया।

निचोड़ (The Bottom Line)

यह पेपर तर्क देता है कि ऑनलाइन प्लेटफॉर्म के सुरक्षा ऑडिट को केवल नंबरों की सूची नहीं देखना चाहिए। उन्हें खेल के नियमों को एक सुरक्षा प्रणाली के रूप में देखना चाहिए।

यदि आप प्लेटफॉर्म को यह चुनने देते हैं कि वह अपनी सामग्री को कैसे प्रस्तुत करे, तो वे उस संस्करण को चुनेंगे जो स्कैनर को सबसे सुरक्षित दिखता है, भले ही वह हानिकारक हो। समाधान यह है कि समान सामग्री को एक साथ समूहबद्ध किया जाए और पूरे समूह को उसके सबसे बुरे सदस्य द्वारा आंका जाए। यह प्लेटफॉर्म को वास्तव में नुकसान को कम करने के लिए मजबूर करता है, न कि केवल एक अलग शब्द या छवि के पीछे उसे छिपाने के लिए।

संक्षेप में: प्लेटफॉर्म को सच्चाई का वह संस्करण चुनने न दें जिसे सबसे अच्छा ग्रेड मिलता है। सच्चाइयों के पूरे परिवार को उस एक सत्य द्वारा ग्रेड करें जो सबसे अधिक परेशानी पैदा करता है।

तकनीकी सारांश: मेट्रिक का गेमिंग, नुकसान का नहीं

समस्या विवरण
हालिया नियामक ढांचे, विशेष रूप से यूके ऑनलाइन सेफ्टी एक्ट और ईयू डिजिटल सर्विसेज एक्ट, ऑनलाइन सुरक्षा के प्रमाण के रूप में स्केलर मेट्रिक्स (scalar metrics) पर तेजी से निर्भर कर रहे हैं। यह शोध पत्र एक महत्वपूर्ण सुरक्षा भेद्यता (security vulnerability) की पहचान करता है: एक बार जब कोई मेट्रिक प्रकाशित हो जाता है, तो वह प्लेटफॉर्म के लिए एक अनुकूलन लक्ष्य (optimization target) बन जाता है। एक रणनीतिक प्लेटफॉर्म वास्तविक नुकसान को कम किए बिना अपने सुरक्षा स्कोर में सुधार कर सकता है, जो उन अर्थपूर्ण रूप से समतुल्य सामग्री वेरिएंट्स (semantically equivalent content variants) के माध्यम से अनुशंसाओं (recommendations) को रूट करता है जिन्हें ऑडिटर के डिटेक्टर से कम स्कोर प्राप्त होता है। यह "रिवॉर्ड हैकिंग" (reward hacking) या गुडहार्ट के नियम (Goodhart's law) का एक रूप है, जहाँ अंतर्निहित नुकसान को कम करने के बजाय मेट्रिक के साथ गेम खेला जाता है। यह शोध पत्र एक स्थिर, प्रकाशित ऑडिट प्रोटोकॉल के तहत इन-क्लास रिप्रेजेंटेशन चॉइस (within-class representation choice) के विशिष्ट हमले की सतह (attack surface) को अलग करता है, और यह सवाल उठाता है कि कब एक सुरक्षा मेट्रिक इस तरह के रणनीतिक हेरफेर के बावजूद हानिकारक जोखिम की वास्तविक ऊपरी सीमा (upper bound) को प्रमाणित कर सकता है।

कार्यप्रणाली और सेटअप
लेखक ऑडिट को एक ऑडिटर और एक प्लेटफॉर्म के बीच एक खेल (game) के रूप में मॉडल करते हैं।

प्रोटोकॉल परिभाषा: एक प्रकाशित प्रोटोकॉल वेरिएंट्स $\mathcal{V}$ का एक परिमित सेट और एक ट्रांसफॉर्मेशन फैमिली $T_0$ को परिभाषित करता है। एक वैलिडेशन नियम और थ्रेशोल्ड $\rho$ के माध्यम से, प्रोटोकॉल $\mathcal{V}$ को सिमेंटिक क्लासेज $\mathcal{C}$ में विभाजित करता है। ऑडिट के उद्देश्यों के लिए एक ही क्लास के भीतर के वेरिएंट्स को अर्थपूर्ण रूप से समतुल्य माना जाता है।
प्लेटफॉर्म रणनीति: प्लेटफॉर्म एक ऑडिट बजट बाधा ( $M(x) \leq \tau$ ) के अधीन उपयोगिता (utility) को अधिकतम करने के लिए वेरिएंट्स पर एक प्रायिकता वितरण (probability distribution) $x$ चुनता है।
थ्रेट मॉडल (Threat Model): प्लेटफॉर्म एक ही सिमेंटिक क्लास के भीतर वेरिएंट्स को बदल सकता है (जैसे कैप्शन, थंबनेल, या पैराफ्रेस बदलना) ताकि मापा गया स्कोर $m(v)$ बदला जा सके जबकि अंतर्निहित नुकसान $h^*(v)$ स्थिर रहे।
मूल्यांकन: शोध पत्र एक बहु-स्तरीय सत्यापन दृष्टिकोण का उपयोग करता है:
1. सैद्धांतिक प्रमाण (Theoretical Proofs): मैनिपुलेशन इनवेरिएंस (manipulation invariance) और सर्टिफिकेशन (certification) की औपचारिक परिभाषाएँ।
2. व्यापक गणना (Exhaustive Enumeration): एक परिमित-अवस्था ग्रिड पर सभी मिश्रित रणनीतियों (mixed strategies) की जाँच करना।
3. SMT एनकोडिंग: निरंतर सिम्प्लेक्स (continuous simplex) पर गुणों को सत्यापित करने के लिए Z3 और cvc5 का उपयोग।
4. बाउंडेड MDP: PRISM-games में ऑडिट को एक अनुक्रमिक निर्णय प्रक्रिया (sequential decision process) के रूप में मॉडल करना।
5. सिंथेटिक स्ट्रेस टेस्ट: मापने योग्य "गेमिंग गैप" (gaming gap) को मापने के लिए नियतात्मक (deterministic) और रैंडम कैटलॉग, जिसमें HateCheck-व्युत्पन्न प्रोटोकॉल उदाहरण शामिल है।

प्रमुख योगदान

मेट्रिक मजबूती का औपचारिकीकरण (Formalization of Metric Robustness): शोध पत्र "मैनिपुलेशन इनवेरिएंस" (मेट्रिक नहीं बदलना चाहिए यदि प्लेटफॉर्म अर्थपूर्ण रूप से समतुल्य वेरिएंट्स को बदलता है) और "सर्टिफिकेशन" (मेट्रिक को वास्तविक हानिकारक जोखिम की ऊपरी सीमा निर्धारित करनी चाहिए) को ऑडिट मेट्रिक्स के रूप में सुरक्षा गुणों के रूप में औपचारिक रूप देता है।
नाजुकता का प्रमाण (Proof of Fragility): यह सिद्ध किया गया है कि कोई भी मेट्रिक जो सीधे वेरिएंट्स को स्कोर करता है, मैनिपुलेबल है यदि एक ही हानिकारक क्लास के दो समतुल्य वेरिएंट्स के अलग-अलग स्कोर होते हैं।
सिमेंटिक-एनवेलप रिपेयर (The Semantic-Envelope Repair): लेखक एक "सिमेंटिक-एनवेलप लिफ्ट" प्रस्तावित करते हैं, जहाँ एक सिमेंटिक क्लास के प्रत्येक वेरिएंट को उस क्लास के किसी भी स्वीकार्य वेरिएंट द्वारा प्राप्त अधिकतम स्कोर सौंपा जाता है ( $Env(m)(v) = \max_{u \in cl(v)} m(u)$ $E n v (m) (v) = max_{u \in c l (v)} m (u)$ )।
- प्रमेय (Theorem): यह लिफ्ट सभी कंजर्वेटिव, क्लासवाइज-कांस्टेंट रिपेयर्स के बीच अद्वितीय पॉइंटवाइज मिनिमम (unique pointwise minimum) है। यह सबसे कम कंजर्वेटिव फिक्स है जो इनवेरिएंस को बहाल करता है।
सर्टिफिकेशन प्रमेय (Certification Theorems):
- आदर्श मामला (Ideal Case): यदि क्लासेज हार्म-प्योर (harm-pure) हैं, तो एनवेलप मेट्रिक एक वैश्विक प्रमाण प्रदान करता है: $H(x) \leq (1/\alpha) M_{Env}(x)$ , जहाँ $\alpha$ हानिकारक क्लासेज के बीच न्यूनतम अधिकतम-स्कोर है।
- अपूर्ण मामला (Imperfect Case): फ्रेमवर्क "डिसएग्रीमेंट मास" (disagreement mass) $\Delta(x)$ को पेश करके अपूर्ण प्रोटोकॉल और एनोटेशन को भी शामिल करता है। परिणामी प्रमाण $H^*(x) \leq (1/\hat{\alpha}) M_{Env}(x) + \bar{\eta}$ है, जहाँ $\bar{\eta}$ अंतर्निहित नुकसान और ऑडिटेड लेबल्स के बीच असहमति को बांधता है।
प्रोटोकॉल संवेदनशीलता (Protocol Sensitivity): शोध पत्र दिखाता है कि प्रोटोकॉल को सख्त करने (वैलिडेशन थ्रेशोल्ड बढ़ाने) से सिमेंटिक पार्टीशन परिष्कृत होता है, जो एनवेलप स्कोर को पॉइंटवाइज कम करता है, जिससे ऑडिटर एक मोनोटोन सेंसिटिविटी बैंड रिपोर्ट कर सकते हैं।

परिणाम

डायरेक्ट स्कोरिंग की नाजुकता: सिंथेटिक प्रयोगों में, "फ्रैजाइल मेट्रिक" (डायरेक्ट स्कोरिंग) प्लेटफॉर्म को कम ऑडिट बजट (जैसे $\tau=0.10$ ) के भीतर अधिकतम वास्तविक हानिकारक जोखिम (जैसे $H=1.0$ ) प्राप्त करने की अनुमति देता है।
एनवेलप की प्रभावशीलता: सिमेंटिक-एनवेलप मेट्रिक प्लेटफॉर्म को उसी बजट को पूरा करने के लिए बेनेफिशियल (benign) कंटेंट की ओर बदलने के लिए मजबूर करता है। नियतात्मक केस स्टडी में, $\tau=0.10$ पर, एनवेलप मेट्रिक ने फ्रैजाइल मेट्रिक के $1.000 $की तुलना में वास्तविक हानिकारक जोखिम को$ 0.000$ तक कम कर दिया।
रैंडम कैटलॉग: 500 रैंडम कैटलॉग में, औसत "गेमिंग गैप" (फ्रैजाइल और एनवेलप रणनीतियों के बीच वास्तविक नुकसान में अंतर) $0.884$ था। फ्रैजाइल मेट्रिक ने काफी अधिक नुकसान की कीमत पर लगातार उच्च उपयोगिता (utility) की अनुमति दी।
सत्यापन: सभी SMT क्वेरीज़ और MDP रीचेबिलिटी चेक ने पुष्टि की कि एनवेलप मेट्रिक मैनिपुलेशन इनवेरिएंस और सर्टिफिकेशन गुणों को संतुष्ट करता है, जबकि फ्रैजाइल मेट्रिक इनवेरिएंस में विफल रहता है।
HateCheck उदाहरण: HateCheck फंक्शनल टेस्ट सुइट से प्राप्त प्रोटोकॉल ने पुष्टि की कि हमला सतह (attack surface) और एनवेलप रिपेयर की प्रभावकारिता तब भी बनी रहती है जब क्लासेज वास्तविक दुनिया के बेंचमार्क टैक्सोनॉमी पर आधारित होती हैं।

महत्व और दावे
शोध पत्र एक विनम्र लेकिन विशिष्ट दावा करता है: ऑडिट मेट्रिक्स को सुरक्षा वस्तुओं (security objects) के रूप में माना जाना चाहिए। लेखक यह दावा नहीं करते हैं कि वे पूरे प्लेटफॉर्म-ऑडिट समस्या को हल कर देंगे या तुरंत Ofcom या DSA-स्केल ऑडिट के लिए तैनात करने योग्य समाधान प्रदान करेंगे। इसके बजाय, वे तर्क देते हैं कि:

मेजरमेंट हार्डनिंग (Measurement Hardening): एक सरल "मैक्स-ओवर-क्लास" रिपेयर (सिमेंटिक एनवेलप) एक अच्छी तरह से परिभाषित हमले की सतह (क्लास के भीतर हेरफेर) को हटा देता है, जिसके लिए मूल क्लासिफायर या प्रोटोकॉल पुनर्गठन की आवश्यकता नहीं होती है।
स्पष्ट अनिश्चितता (Explicit Uncertainty): एनोटेशन और प्रोटोकॉल त्रुटियों को छिपे हुए धारणाओं के रूप में नहीं रखा जाना चाहिए, बल्कि उन्हें अंतिम सुरक्षा प्रमाण में एक स्पष्ट "डिसएग्रीमेंट स्लैक" (disagreement slack) टर्म के रूप में दिखाया जाना चाहिए।
उपयोगिता अज्ञेयता (Utility Agnosticism): सैद्धांतिक गारंटी सभी प्लेटफॉर्म रणनीतियों के लिए मान्य है, चाहे प्लेटफॉर्म द्वारा अनुकूलित विशिष्ट उपयोगिता फ़ंक्शन कुछ भी हो; उपयोगिता मॉडल का उपयोग केवल प्रयोगों में एक विशिष्ट एडवर्सरियल बेस्ट रिस्पॉन्स (adversarial best response) चुनने के लिए किया जाता है।

यह कार्य "मेजरमेंट हार्डनिंग" के लिए एक आधारभूत कदम के रूप में खुद को स्थापित करता है, जो इन-क्लास मैनिपुलेशन सतह को अलग करता है और एक औपचारिक, सत्यापन योग्य रिपेयर प्रदान करता है जो इनवेरिएंस और सर्टिफिकेशन को बहाल करता है। यह स्पष्ट रूप से प्रोटोकॉल नेगोशिएशन या यूजर-साइड मैनिपुलेशन जैसे व्यापक मेटा-गेम्स को बाहर रखता है, यह नोट करते हुए कि उनके लिए अलग विश्लेषण की आवश्यकता है।