Evaluating OpenAI's Privacy Filter: Cross-Lingual, Cross-Domain PII Detection Across 42 Benchmarks
यह शोध पत्र 42 बेंचमार्क में OpenAI के प्राइवेसी फ़िल्टर (Privacy Filter) का पहला स्वतंत्र, व्यवस्थित मूल्यांकन प्रस्तुत करता है, जो यह प्रकट करता है कि जहाँ यह मॉडल संरचित सिंथेटिक PII और ग्राहक सहायता जैसे विशिष्ट डोमेन पर मौजूदा उपकरणों से बेहतर प्रदर्शन करता है, वहीं यह कथात्मक गद्य (narrative prose), गैर-लैटिन लिपियों और सांस्कृतिक रूप से परिवर्तनशील PII प्रकारों पर गंभीर प्रदर्शन गिरावट से ग्रस्त है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हलचल भरे डिजिटल शहर में घूम रहे हैं जहाँ हर बातचीत, ईमेल और टेक्स्ट मैसेज डेटा की एक धारा है। इस शहर में, अदृश्य "व्यक्तिगत रहस्य" खुलेआम छिपे हुए हैं—नाम, फ़ोन नंबर, घर के पते और बैंक खाते का विवरण। इन्हें व्यक्तिगत रूप से पहचान योग्य जानकारी (Personally Identifiable Information) कहा जाता है, जिसे संक्षेप में PII कहते हैं। यदि कोई रोबोट या कंप्यूटर प्रोग्राम गलती से इन रहस्यों को गलत लोगों के साथ साझा कर देता है, तो इससे पहचान की चोरी या गोपनीयता का दुस्वप्न पैदा हो सकता है। इसे रोकने के लिए, वैज्ञानिक "प्राइवेसी फिल्टर्स" (Privacy Filters) बनाते हैं, जो डिजिटल बाउंसरों की तरह होते हैं। उनका काम टेक्स्ट को स्कैन करना, इन रहस्यों को पहचानना और टेक्स्ट के बाहर जाने से पहले उन्हें धुंधला (blur) कर देना है। लेकिन पेचीदा हिस्सा यह है: इन बाउंसरों को हजारों अलग-अलग भाषाओं और बोलियों वाले शहर में काम करना होगा, और उन्हें इन रहस्यों को खोजना होगा चाहे वे किसी व्यवस्थित फॉर्म में बैठे हों या एक लंबी, अव्यवस्थित कहानी के भीतर छिपे हों।
हाल ही में, OpenAI ने एक नया, अत्यंत स्मार्ट बाउंसर जारी किया है जिसे "प्राइवेसी फिल्टर" (OPF) कहा जाता है। यह 1.5 बिलियन पैरामीटर्स वाला एक विशाल मस्तिष्क है, जिसे एक सार्वभौमिक जासूस के रूप में डिज़ाइन किया गया है जिसे हर विशिष्ट भाषा में रहस्यों को पहचानने के लिए सिखाने की आवश्यकता नहीं है। लेकिन अब तक, वास्तव में किसी ने यह परीक्षण नहीं किया था कि क्या यह नया बाउंसर वास्तविक दुनिया की अराजकता को संभाल सकता है। क्या यह अरबी में लिखी गई एक मेडिकल रिपोर्ट को संभाल सकता है? क्या यह हिंदी में चल रही कस्टमर सपोर्ट चैट में छिपे बैंक खाते के नंबर को ढूंढ सकता है? या यह केवल सरल, अंग्रेजी वाक्यों के लिए काम करता है? एक शोधकर्ता रोहित उप्पला ने यह पता लगाने के लिए कि क्या यह नया बाउंसर वास्तव में काम करता है, इसे एक अंतिम बाधा दौड़ (obstacle course) से गुजारने का फैसला किया।
द ग्रेट प्राइवेसी फिल्टर टेस्ट
रोहित उप्पला ने OpenAI के नए प्राइवेसी फिल्टर (OPF) का परीक्षण करने के लिए एक विशाल, 42-स्टेशन वाली बाधा दौड़ तैयार की। एक विशाल जिम की कल्पना करें जिसमें 42 अलग-अलग स्टेशन हैं, जिनमें से प्रत्येक एक अलग प्रकार के टेक्स्ट का प्रतिनिधित्व करता है: कुछ फर्जी मेडिकल रिपोर्ट हैं, कुछ कस्टमर सर्विस चैट हैं, कुछ वित्तीय रिकॉर्ड हैं, और अन्य सामान्य समाचार कहानियाँ हैं। ये स्टेशन 22 विभिन्न भाषाओं में बनाए गए थे, जिनमें अंग्रेजी और फ्रेंच से लेकर हिंदी, अरबी और यहाँ तक कि सिरिलिक और चीनी जैसी लिपियाँ भी शामिल थीं।
लक्ष्य सरल था: यह देखना कि OPF बाउंसर बिना किसी पूर्व प्रशिक्षण (एक "जीरो-शॉट" परीक्षण) के रहस्यों को कितनी अच्छी तरह खोजकर धुंधला कर सकता है। रोहित ने OPF की तुलना माइक्रोसॉफ्ट के प्रेसिडियो (Presidio), XLM-RoBERTa नामक एक मॉडल, और विशाल AI मॉडल GPT-4o जैसे अन्य प्रसिद्ध बाउंसरों से की।
अच्छी खबर: बाउंसर "व्यवस्थित" रहस्यों के लिए बेहतरीन है
जब रहस्य व्यवस्थित, संरचित स्थानों में छिपे थे, तो OPF एक सुपरस्टार था। इसे एक संपर्क सूची में फोन नंबर या सिग्नेचर ब्लॉक में ईमेल एड्रेस खोजने जैसा समझें। ये चीजें हर जगह एक जैसी दिखती हैं, इसलिए OPF ने अविश्वसनीय सटीकता के साथ उन्हें पहचाना।
- सिंथेटिक डेटासेट पर जहाँ PII स्पष्ट रूप से संरचित था, OPF ने AI4Privacy बेंचमार्क पर 0.855 और Nemotron-PII पर 0.559 का स्कोर प्राप्त किया।
- यह ईमेल (0.78) और फोन नंबर (0.76) खोजने में विशेष रूप से अच्छा था, जो ब्लॉक्स के ढेर में एक विशिष्ट आकार खोजने जैसा है।
- कस्टमर सपोर्ट चैट में, OPF औसत स्कोर 0.60 के साथ सबसे आगे रहा, जिसने माइक्रोसॉफ्ट के प्रेसिडियो और अन्य को पीछे छोड़ दिया।
बुरी खबर: बाउंसर "अव्यवस्थित" कहानियों में खो जाता है
हालाँकि, जैसे ही रहस्य एक लंबी, बहती हुई कहानी के अंदर छिपे—जैसे कि एक डॉक्टर मरीज के इतिहास का वर्णन कर रहा हो या एक वकील एक मामले की व्याख्या कर रहा हो—OPF लड़खड़ाने लगा। यह एक घास के ढेर में विशिष्ट सुई खोजने की कोशिश करने जैसा है जहाँ घास के ढेर ही अन्य सुइयाँ हैं।
- मेडिकल और कानूनी टेक्स्ट में, जहाँ जानकारी कथात्मक गद्य (narrative prose) में अंतर्निहित है, OPF का स्कोर मेडिकल डेटा पर 0.464 और कानूनी डेटा पर 0.453 तक गिर गया।
- इन "अव्यवस्थित" परिदृश्यों में, GPT-4o ने वास्तव में बेहतर काम किया, मेडिकल टेक्स्ट पर 0.702 और कानूनी टेक्स्ट पर 0.584 का स्कोर किया।
- पेपर सुझाव देता है कि ऐसा इसलिए होता है क्योंकि OPF विशिष्ट, अलग "फील्ड्स" (जैसे "फोन नंबर" लेबल वाला बॉक्स) को खोजने के लिए प्रशिक्षित है, लेकिन वास्तविक जीवन की कहानियाँ हमेशा बॉक्स का उपयोग नहीं करती हैं।
स्क्रिप्ट का पतन: जब वर्णमाला बदल जाती है
सबसे नाटकीय निष्कर्ष तब आया जब बाउंसर का सामना उन भाषाओं से हुआ जो मानक लैटिन वर्णमाला (A, B, C जो हम अंग्रेजी में उपयोग करते हैं) का उपयोग नहीं करती हैं।
- जब टेक्स्ट अरबी लिपि में लिखा गया था, तो OPF का प्रदर्शन गिरकर 0.038 के स्कोर पर आ गया।
- सिरिलिक लिपि (रूसी, यूक्रेनी आदि में उपयोग की जाती है) पर, यह और भी अधिक गिरकर 0.027 हो गया।
- ओडिया लिपि (एक भारतीय भाषा) पर, यह पूरी तरह से विफल रहा, जिसका स्कोर 0.000 था।
- इसके विपरीत, GPT-4o अधिकांश भाषाओं में मजबूत बना रहा, चीनी (CJK) पर 0.733 और सिरिलिक पर 0.662 का स्कोर किया।
"रिकॉल" बनाम "प्रिसिजन" का द्वंद्व
पेपर ने यह भी पाया कि OPF का एक विशिष्ट व्यक्तित्व लक्षण है: यह "रिकॉल-बायस्ड" (recall-biased) है। इसका मतलब है कि यह बहुत कम टेक्स्ट को धुंधला करने के बजाय बहुत अधिक टेक्स्ट को धुंधला करना पसंद करता है।
- कस्टमर सपोर्ट और मेडिकल/लीगल टेक्स्ट में, OPF रहस्यों को पकड़ने में बहुत अच्छा था (रिकॉल 0.70–0.85), लेकिन इसने अक्सर सुरक्षित शब्दों को भी धुंधला कर दिया (प्रिसिजन 0.31–0.54)।
- लेखक नोट करते हैं कि वास्तविक दुनिया के परिदृश्य में, इसका मतलब है कि OPF द्वारा धुंधला किया गया लगभग आधा टेक्स्ट वास्तव में रहस्य नहीं होगा। हालांकि यह गोपनीयता के लिए सुरक्षित है (कम के बजाय अधिक धुंधला करना बेहतर है), लेकिन यह उन उपयोगकर्ताओं के लिए कष्टप्रद हो सकता है जो टेक्स्ट पढ़ना चाहते हैं।
निर्णय
रोहित उप्पला का अध्ययन प्रकट करता है कि OpenAI का प्राइवेसी फिल्टर एक शक्तिशाली उपकरण है, लेकिन यह कोई जादू की छड़ी नहीं है। यह संरचित, अनुमानित रहस्यों जैसे ईमेल और फोन नंबर को खोजने में उत्कृष्ट है, विशेष रूप से कस्टमर सपोर्ट चैट में। हालाँकि, जब रहस्य जटिल कहानियों के भीतर छिपे होते हैं या जब टेक्स्ट अरबी या सिरिलिक जैसी गैर-लैटिन लिपियों का उपयोग करता है, तो यह काफी संघर्ष करता है।
पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि OPF अभी सभी गोपनीयता आवश्यकताओं के लिए एक पूर्ण, सार्वभौमिक समाधान है। यह दिखाता है कि जबकि OPF कई क्षेत्रों में पुराने उपकरणों जैसे प्रेसिडियो को पछाड़ देता है, यह अभी भी मेडिकल या कानूनी दस्तावेजों के लिए, या गैर-लैटिन लिपियों वाली भाषाओं के लिए सबसे अच्छा विकल्प नहीं है। शोधकर्ता सुझाव देते हैं कि जब तक फिल्टर का वास्तविक दुनिया के डेटा पर परीक्षण नहीं किया जाता (क्योंकि इस अध्ययन में सिंथेटिक, कंप्यूटर-जनरेटेड डेटा का उपयोग किया गया था), कंपनियों को इसे आँख मूंदकर तैनात करने में सावधानी बरतनी चाहिए। फिलहाल, यदि आपको किसी अव्यवस्थित कहानी या विदेशी लिपि में रहस्यों की सुरक्षा करने की आवश्यकता है, तो आपको एक अलग प्रकार के बाउंसर की आवश्यकता हो सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।