कल्पना कीजिए कि आप एक विशाल, उच्च-तकनीकी महल के सुरक्षा प्रमुख हैं। हर दिन, हजारों लोग प्रवेश करने की कोशिश करते हैं, और आपका काम यह सुनिश्चित करना है कि केवल सही लोग ही अंदर आएं। आपके पास एक जादुई दर्पण है जो चेहरों को पहचान सकता है, लेकिन यह पूर्ण नहीं है। कभी-कभी इसे लगता है कि एक अजनबी किसी निवासी जैसा दिखता है (एक "गलत मिलान" या false match), और कभी-कभी इसे लगता है कि एक निवासी किसी अजनबी जैसा दिखता है (एक "गलत गैर-मिलान" या false non-match)। महल को सुरक्षित रखने के लिए, आपको एक बहुत ही सख्त नियम बनाना होगा: "केवल लोगों को तभी अंदर आने दें जब दर्पण लगभग 100% सुनिश्चित हो कि वे यहाँ के निवासी हैं।" इस नियम को "थ्रेशोल्ड" (threshold) कहा जाता है। यदि आप इस मानक को बहुत कम रखते हैं, तो छद्मवेशी अंदर आ जाएंगे; यदि आप इसे बहुत अधिक रखते हैं, तो आपके अपने मित्र भी बाहर रह जाएंगे।

अब, कल्पना कीजिए कि आप अपने महल के खुलने से पहले अपने दर्पण का परीक्षण करना चाहते हैं। आप केवल वास्तविक लोगों के आने और उनकी गलतियों का इंतज़ार नहीं कर सकते; यह बहुत खतरनाक है। इसलिए, आप अपने दर्पण का परीक्षण करने के लिए कई "परफेक्ट", कंप्यूटर-जनरेटेड "नकली" लोगों का निर्माण करने का निर्णय लेते हैं। यह सिंथेटिक डेटा (synthetic data) की दुनिया है: एआई (AI) द्वारा बनाए गए डिजिटल चेहरे जो असली दिखते हैं लेकिन वास्तव में नहीं हैं। बड़ा सवाल वैज्ञानिकों द्वारा पूछा जा रहा है: "क्या हम इन नकली चेहरों पर भरोसा कर सकते हैं कि वे हमें बिल्कुल सटीक रूप से बता पाएंगे कि हमें सुरक्षा का स्तर कहाँ सेट करना है?" यदि नकली चेहरे वास्तविक लोगों की तरह अलग व्यवहार करते हैं, तो आपकी सुरक्षा प्रणाली एक आपदा बन सकती है। यह शोध पत्र ठीक इसी समस्या की गहराई में जाता है, विशेष रूप से नए यूरोपीय सीमा नियंत्रण प्रणालियों के लिए जिन्हें अविश्वसनीय रूप से सटीक होने की आवश्यकता है।

---

वह डिजिटल रिहर्सल जो गलत हो गई

इस अध्ययन में, यूनिवर्सिटी ऑफ ओउलू (University of Oulu) के आर्टो एपिला ने एक सीमा रक्षक के टेस्ट पायलट की भूमिका निभाने का निर्णय लिया। लक्ष्य यह देखना था कि क्या सीमा नियंत्रण प्रणालियों के लिए सुरक्षा "थ्रेशोल्ड" निर्धारित करने के लिए सिंथेटिक फेस डेटा (कंप्यूटर-जनरेटेड चेहरे) का उपयोग करना वास्तविक दुनिया में काम करेगा। इसे एक फ्लाइट सिम्युलेटर की तरह समझें। पायलट सिम्युटेटर में उड़ान भरने का प्रशिक्षण लेते हैं, लेकिन यदि सिम्युलेटर का भौतिक विज्ञान (physics) थोड़ा भी गलत है, तो वास्तविक विमान में जाने पर पायलट दुर्घटनाग्रस्त हो सकता है। शोधकर्ता जानना चाहते थे: क्या "सिम्युलेटर" (सिंथेटिक डेटा) "वास्तविक विमान" (वास्तविक सीमा नियंत्रण) के लिए नियम निर्धारित करने के लिए पर्याप्त अच्छा है?

उन्होंने EdgeFace नामक एक विशिष्ट प्रकार के एआई मॉडल का उपयोग किया, जो एक सुपर-स्मार्ट फेस डिटेक्टर का हल्का, तेज़ संस्करण है, जिसे हवाई अड्डे के गेट पर मिलने वाले छोटे उपकरणों पर काम करने के लिए डिज़ाइन किया गया है। उन्होंने इस मॉडल का परीक्षण "नकली" चेहरों के दो अलग-अलग सेटों (सिंथेटिक डेटासेट) का उपयोग करके किया और उनकी तुलना "असली" चेहरों के सेटों (नियंत्रित और अव्यवस्थित, वास्तविक स्थितियों के तहत ली गई तस्वीरें) के विरुद्ध की।

कहानी का "पूंछ" वाला हिस्सा (The "Tail" of the Story)

यही वह पेचीदा हिस्सा है जिसे यह शोध पत्र उजागर करता है। जब आप देखते हैं कि एक चेहरा पहचान प्रणाली लोगों को स्कोर कैसे देती है, तो यह एक ग्राफ की तरह होता है। अधिकांश लोग बीच में स्कोर प्राप्त करते हैं (स्पष्ट रूप से एक मिलान या स्पष्ट रूप से एक गैर-मिलान)। लेकिन खतरा ज़ोन के अंत में, यानी "पूंछ" (tails) में होता है। यहीं पर सिस्टम भ्रमित हो जाता है और एक अजनबी को दोस्त समझने की गलती कर सकता है।

शोधकर्ताओं ने पाया कि जबकि सिंथेटिक डेटा ग्राफ के बीच में बहुत अच्छा दिखता है, यह पूंछ (tails) को पूरी तरह से गलत कर देता है। यह एक शांत रिहर्सल देखकर यह अनुमान लगाने की कोशिश करने जैसा है कि भगदड़ के दौरान भीड़ कैसे व्यवहार करेगी। नकली चेहरों में वास्तविक लोगों की तरह "सबसे खराब स्थिति वाले परिदृश्य" (worst-case scenarios) नहीं थे।

जब शोधकर्ताओं ने नकली चेहरों से सीखे गए नियमों (थ्रेशोल्ड) को वास्तविक लोगों पर आजमाया, तो चीजें बिगड़ गईं:

• "बहुत सख्त" होने की समस्या: कभी-कभी, सिस्टम मानक को इतना ऊंचा सेट कर देता है कि वह वास्तविक यात्रियों को अस्वीकार करने लगता है। एक परीक्षण में, जब उन्होंने अत्यधिक सख्त होने की कोशिश की (0.001% त्रुटि दर का लक्ष्य रखते हुए), तो सिस्टम ने उन लगभग 26% वास्तविक लोगों को भी खारिज कर दिया जिन्हें उसे अंदर आने देना चाहिए था!
• "बहुत ढीला" होने की समस्या: अन्य मामलों में, सिस्टम बहुत अधिक भरोसेमंद था। इसने छद्मवेशियों को उस सुरक्षा सीमा से कहीं अधिक दर पर अंदर आने दिया जो निर्धारित थी।
• "मॉर्फ" हमला (Morph Attack): शोधकर्ताओं ने यह भी परीक्षण किया कि क्या कोई दो चेहरों को आपस में मिलाकर (एक "मॉर्फ" हमले के माध्यम से) घुसपैठ करने की कोशिश करता है। उन्होंने पाया कि नकली डेटा से प्राप्त सेटिंग्स सिस्टम को इन चालों के प्रति बहुत अधिक संवेदनशील बना देती हैं। यदि आप नकली डेटा के आधार पर नियम सेट करते हैं, तो सिस्टम एक मिश्रित चेहरे को आसानी से अंदर जाने दे सकता है।

निष्कर्ष: अंतिम निर्णय के लिए केवल सिम्युलेटर पर भरोसा न करें

इस शोध पत्र की मुख्य खोज उन लोगों के लिए निराशाजनक है जो केवल नकली डेटा पर निर्भर रहने वाले त्वरित, आसान समाधान की उम्मीद कर रहे हैं। यह सुझाव देता है कि सिंथेटिक डेटा पर सीमा नियंत्रण जैसे उच्च-दांव वाले सिस्टम के लिए अंतिम सुरक्षा नियम निर्धारित करने के लिए भरोसा नहीं किया जा सकता, खासकर जब आपको अविश्वसनीय रूप से सटीक (कम False Match Rate) होने की आवश्यकता हो।

लेखकों ने पाया कि भले ही आप दो अलग-अलग प्रकार के नकली डेटा का उपयोग करें, वे आपको अलग-अलग उत्तर देंगे। यह दो अलग-अलग मौसम पूर्वानुमानकर्ताओं से तूफान की भविष्यवाणी करने के लिए पूछने जैसा है; एक कहता है "छाता लाओ," और दूसरा कहता है "बंकर बनाओ।" आप तब तक नहीं जान सकते कि कौन सही है जब तक कि आप वास्तविक तूफान को नहीं देख लेते।

अध्ययन स्पष्ट रूप से इस विचार के खिलाफ तर्क देता है कि आप केवल दस लाख नकली चेहरे बना सकते हैं, अपने परीक्षण चला सकते हैं, और फिर केवल उसी के आधार पर अपने सीमा सुरक्षा नियम निर्धारित कर सकते हैं। डेटा की "पूंछ" में मौजूद विसंगति (mismatch) का अर्थ है कि वास्तविक मनुष्यों पर लागू होने पर नियम गलत होंगे। हालांकि, शोध पत्र यह नहीं कहता कि सिंथेटिक डेटा बेकार है। इसके बजाय, यह सुझाव देता है कि इसका उपयोग विकास के प्रारंभिक चरणों और प्रारंभिक अंशांकन (calibration) के लिए किया जाना चाहिए, लेकिन यह भी जोर देता है कि अंतिम, महत्वपूर्ण थ्रेशोल्ड चयन को वास्तविक दुनिया के डेटा के साथ सत्यापित किया जाना चाहिए।

हमें इसके बजाय क्या करना चाहिए?

तो, क्या सिंथेटिक डेटा बेकार है? बिल्कुल नहीं! शोध पत्र सुझाव देता है कि यह सिस्टम बनाने के प्रारंभिक चरणों के लिए अभी भी एक बेहतरीन उपकरण है। आप इसका उपयोग एआई को प्रशिक्षित करने, यह देखने के लिए कि कोड काम करता है या नहीं, और एक मोटे तौर पर जांच करने के लिए कर सकते हैं। लेकिन जब अंतिम, जीवन-मरण के सुरक्षा थ्रेशोल्ड को सेट करने का समय आता है, तो आपको वास्तविक दुनिया के डेटा का उपयोग करना ही होगा।

इसे केक बनाने की तरह समझें। आप सामग्री मिलाने और परीक्षण बैच बनाने के लिए एक रेसिपी बुक (सिंथेटिक डेटा) का उपयोग कर सकते हैं। लेकिन रानी को केक परोसने से पहले, आपको वास्तविक सामग्री से बनाए गए वास्तविक केक को चखना होगा। यदि आप चखने के बजाय केवल किताब पर भरोसा करते हैं, तो आप कुछ ऐसा परोस सकते हैं जो बहुत नमकीन या बहुत मीठा हो।

शोधकर्ता निष्कर्ष निकालते हैं कि यूरोपीय एंट्री/एग्जिट सिस्टम (EES) जैसे सिस्टम के लिए, जिसे अविश्वसनीय रूप से सुरक्षित होने की आवश्यकता है, केवल कंप्यूटर-जनरेटेड चेहरों पर निर्भर रहना एक जोखिम भरा जुआ है। "नकली" चेहरे वास्तविक मानव चेहरों की जटिल और अप्रत्याशित वास्तविकता को पर्याप्त रूप से नहीं पकड़ पाते हैं, जिससे वे वास्तविक दुनिया के लिए नियम निर्धारित करने के लिए अपर्याप्त हो जाते हैं। सीमाओं को सुरक्षित रखने के लिए, हमें अपने सिस्टम का परीक्षण वास्तविक लोगों पर करना होगा, न कि केवल उनके डिजिटल जुड़वां (digital twins) पर, विशेष रूप से अंतिम निर्णय के लिए।