Are Face Embeddings Compatible Across Deep Neural Network Models?
यह शोध पत्र प्रदर्शित करता है कि विविध डीप न्यूरल नेटवर्क मॉडल, जिनमें डोमेन-विशिष्ट और फाउंडेशन मॉडल दोनों शामिल हैं, से प्राप्त फेस एम्बेडिंग्स (face embeddings) एक आश्चर्यजनक ज्यामितीय अनुकूलता (geometric compatibility) प्रदर्शित करते हैं जिसे सरल रैखिक रूपांतरणों (linear transformations) का उपयोग करके प्रभावी ढंग से संरेखित किया जा सकता है ताकि क्रॉस-मॉडल फेस रिकग्निशन प्रदर्शन को महत्वपूर्ण रूप से सुधारा जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास दो अलग-अलग अनुवादक हैं। एक "अंग्रेजी" बोलता है और दूसरा "फ्रेंच"। दोनों ही एक ही व्यक्ति, मान लीजिए "जॉन", का वर्णन करने में विशेषज्ञ हैं।
- अनुवादक A जॉन का वर्णन इस प्रकार करता है: "लंबा, नीली आँखें, 6 फीट, मुस्कुराता हुआ।"
- अनुवादक B जॉन का वर्णन इस प्रकार करता है: "ऊंचाई: 183cm, आइरिस का रंग: अज़्योर (Azure), मुस्कान: 0.8 तीव्रता।"
यदि आप अनुवादक A का वर्णन अनुवादक B को देते हैं, तो वह उसे समझ नहीं पाएगा। शब्द अलग हैं, इकाइयाँ अलग हैं, और क्रम भी अलग है। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, फेस रिकग्निशन (चेहरा पहचानने वाले) मॉडल्स के साथ बिल्कुल यही होता है।
वर्षों तक, वैज्ञानिकों ने सोचा कि यदि आप दो अलग-अलग AI मॉडल्स को चेहरे पहचानने के लिए प्रशिक्षित करते हैं, तो वे एक चेहरे का वर्णन करने के लिए पूरी तरह से अलग "भाषाएं" (या एम्बेडिंग्स - embeddings) बनाएंगे। उनका मानना था कि मॉडल A का "जॉन" का वर्णन मॉडल B से इतना अलग है कि वे कभी एक-दूसरे से बात नहीं कर पाएंगे। यह सुरक्षा के लिए एक अच्छी चीज़ के रूप में देखी जाती थी: यदि कोई हैकर मॉडल A से "जॉन" का डेटा चुरा लेता है, तो वह मॉडल B को अनलॉक करने के लिए उसका उपयोग नहीं कर पाएगा।
लेकिन यह नया शोध पत्र कहता है: "रुको जरा। वे वास्तव में एक ही भाषा बोलते हैं; वे बस अलग-अलग बोलियाँ (dialects) उपयोग करते हैं।"
यहाँ शोधकर्ताओं द्वारा की गई खोजों का कुछ मजेदार उपमाओं (analogies) के साथ विवरण दिया गया है:
1. "मानचित्र" की उपमा (The "Map" Analogy)
कल्पना कीजिए कि दो अलग-अलग मानचित्रकार (नक्शा बनाने वाले) एक ही शहर का नक्शा बना रहे हैं।
- मानचित्रकार A "मील" का उपयोग करके और "उत्तर ऊपर की ओर है" के आधार पर नक्शा बनाता है।
- मानचित्रकार B "किलोमीटर" का उपयोग करके और "उत्तर बाईं ओर है" के आधार पर नक्शा बनाता है।
यदि आप मानचित्रकार B के नक्शे को देखते हुए मानचित्रकार A के नक्शे का उपयोग करके चलने की कोशिश करते हैं, तो आप तुरंत भटक जाएंगे। सड़कें मेल नहीं खातीं।
हालाँकि, यह शोध पत्र दिखाता है कि यदि आप एक साधारण रूलर (पैमाना) और प्रोट्रैक्टर (चांदा) (एक सरल रैखिक रूपांतरण/linear transformation) लेते हैं, तो आप आसानी से मानचित्रकार A के नक्शे को मानचित्रकार B के नक्शे में बदल सकते हैं। आपको पूरा शहर फिर से बनाने की आवश्यकता नहीं है; आपको बस कागज को घुमाने और इकाइयों को बदलने की आवश्यकता है।
खोज: शोधकर्ताओं ने पाया कि विभिन्न AI मॉडल (कुछ जो विशेष रूप से चेहरों के लिए प्रशिक्षित किए गए हैं, अन्य जो सामान्य छवियों और टेक्स्ट पर प्रशिक्षित किए गए हैं) चेहरों का "मानचित्र" बनाते हैं, जो ज्यामितीय रूप से समान होते हैं। वे बस अलग-अलग समन्वय प्रणालियों (coordinate systems) का उपयोग करते हैं।
2. "जादुई अनुवादक" (लीनियर एलाइनमेंट)
टीम ने एक बहुत ही सरल ट्रिक का परीक्षण किया। उन्होंने मॉडल A से "चेहरे का डेटा" लिया और उसे एक बुनियादी गणितीय सूत्र (एक लीनियर ट्रांसफॉर्मेशन) के माध्यम से चलाया ताकि यह देखा जा सके कि क्या यह मॉडल B के डेटा जैसा दिखता है।
- सुधार से पहले: यदि आप मॉडल A से किसी चेहरे को मॉडल B के डेटाबेस के विरुद्ध मिलाने की कोशिश करते, तो कंप्यूटर केवल अनुमान लगाता। यह एक कन्वर्टर के बिना फिंगरप्रिंट को वॉयस प्रिंट से मिलाने जैसा था। सफलता दर: ~2% (लगभग एक तुक्का)।
- सुधार के बाद: उन्होंने अपना सरल "अनुवादक" लागू किया। अचानक, सफलता दर विशेष चेहरे वाले मॉडल्स के लिए 97% और सामान्य "फाउंडेशन" मॉडल्स के लिए 71% तक बढ़ गई।
रूपक: यह समझने जैसा है कि मॉडल A और मॉडल B दोनों एक ही पेड़ का वर्णन कर रहे हैं, लेकिन एक इसे "ओक" कहता है और दूसरा "क्वेर्कस" (Quercus)। एक बार जब आप समझ जाते हैं कि वे पर्यायवाची हैं, तो आप तुरंत उन्हें आपस में मिला सकते हैं।
3. AI का "वंश वृक्ष" (The "Family Tree" of AI)
शोधकर्ताओं ने यह भी देखा कि कौन से मॉडल्स सबसे अच्छा काम करते हैं। उन्होंने एक छिपा हुआ "वंश वृक्ष" पाया।
- मॉडल जो चित्रों और शब्दों दोनों को समझने के लिए प्रशिक्षित किए गए हैं (जैसे CLIP या BLIP-2), वे चचेरे भाई-बहनों की तरह हैं; वे बहुत समान बोलियाँ बोलते हैं।
- मॉडल जो केवल चित्रों से वस्तुओं को काटने के लिए प्रशिक्षित किए गए हैं (जैसे SAM), वे दूर के रिश्तेदारों की तरह हैं; वे थोड़ी अलग भाषा बोलते हैं और उन्हें संरेखित (align) करना कठिन होता है।
इसका अर्थ यह है कि यदि आपके पास एक नया AI मॉडल है, तो आप इस "वंश वृक्ष" को देखकर यह अनुमान लगा सकते हैं कि बिना इसके कोड देखे, वह आपके मौजूदा सिस्टम के साथ कितनी अच्छी तरह काम करेगा।
4. यह क्यों महत्वपूर्ण है (अच्छा और बुरा)
अच्छी खबर: इंटरऑपरेबिलिटी (Interoperability)
कल्पना कीजिए कि आपके कार्यालय में एक सुरक्षा प्रणाली है जो मॉडल A का उपयोग करती है, और आपके मित्र के घर में मॉडल B का उपयोग होता है। इससे पहले, आप उनके बीच डेटा साझा नहीं कर सकते थे। अब, आप कर सकते हैं! आप विभिन्न AI मॉडल्स को मिलाकर अत्यधिक सटीक सुरक्षा टीमें (ensembles) बना सकते हैं, बिना उन्हें फिर से प्रशिक्षित किए या सभी को एक ही सॉफ्टवेयर का उपयोग करने के लिए मजबूर किए। यह एक ऐसे डिवाइस के लिए USB-C चार्जर का उपयोग करने के समान है जिसे पहले एक विशिष्ट प्लग की आवश्यकता होती थी।
बुरी खबर: सुरक्षा जोखिम
वर्षों तक, सुरक्षा विशेषज्ञों ने सोचा कि क्योंकि प्रत्येक AI मॉडल अलग "भाषा" बोलता है, इसलिए यह सुरक्षित था। यदि कोई हैकर आपके चेहरे का डेटा एक सिस्टम से चुरा लेता है, तो वह दूसरे सिस्टम को अनलॉक करने के लिए उसका उपयोग नहीं कर सकता था क्योंकि "भाषाएं" असंगत थीं। इसे "टेम्पलेट रिवोकेबिलिटी" (template revocability) कहा जाता था।
यह शोध पत्र उस उम्मीद को चकनाचूर कर देता है। यह साबित करता है कि क्योंकि अलग-अलग "भाषाएं" वास्तव में एक ही भाषा की केवल अलग बोलियां हैं, इसलिए एक हैकर मॉडल A से आपका चेहरा डेटा चुरा सकता है, एक सरल गणितीय ट्रिक का उपयोग करके उसे अनुवादित कर सकता है, और मॉडल B को अनलॉक कर सकता है। "गुप्त कोड" उतना गुप्त नहीं है जितना हमने सोचा था।
सारांश
शोध पत्र पूछता है: "क्या अलग-अलग AI मस्तिष्क चेहरों को अलग तरह से देखते हैं?"
उत्तर है: "नहीं, वे उन्हें एक ही तरह से देखते हैं, वे बस उन्हें अलग तरह से लिखते हैं।"
एक सरल गणितीय "अनुवादक" के साथ, हम किसी भी दो फेस-रिकग्निशन AI मॉडल्स को लगभग पूर्ण सटीकता के साथ एक-दूसरे से बात करवा सकते हैं। यह विभिन्न तकनीकों को एक साथ काम करने में मदद करने के लिए एक बड़ी जीत है, लेकिन यह भविष्य में हमारे बायोमेट्रिक डेटा (जैसे हमारे चेहरे) की सुरक्षा करने के तरीके के लिए एक चेतावनी भी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।