CLERF: Contrastive LEaRning for Full Range Head Pose Estimation

कल्पना कीजिए कि आप एक रोबोट को मानव शारीरिक भाषा (body language) समझना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि वह यह जान सके कि कोई व्यक्ति अपना सिर ठीक किस तरह झुका रहा है, चाहे वह किसी पक्षी को देखने के लिए ऊपर देख रहा हो, फोन देखने के लिए नीचे देख रहा हो, या किसी घेरे में घूम रहा हो। इस कार्य को 'हेड पोस एस्टीमेशन' (HPE) कहा जाता है, और यह वर्चुअल रियलिटी गेम्स से लेकर उन सेल्फ-ड्राइविंग कारों के लिए बहुत महत्वपूर्ण है जिन्हें यह जानने की जरूरत होती है कि क्या कोई पैदल यात्री उनकी ओर देख रहा है। इस काम को सिखाने के लिए, हम आमतौर पर कंप्यूटर को हजारों चेहरों की तस्वीरें दिखाते हैं। लेकिन यहाँ पेचीदा बात यह है कि वास्तविक दुनिया में, अलग-अलग लोगों की दो ऐसी तस्वीरें मिलना अविश्वसनीय रूप से दुर्लभ है जो ठीक एक ही दिशा में देख रहे हों। यह एक भीड़ भरे स्टेडियम में दो अजनबियों को खोजने जैसा है जो छत पर धूल के एक ही छोटे से कण को घूर रहे हों। क्योंकि ऐसे "मैचिंग" जोड़े मिलना बहुत कठिन है, इसलिए एक शक्तिशाली शिक्षण पद्धति जिसे "कॉन्ट्रास्टिव लर्निंग" (contrastive learning) कहा जाता है—जो यह समझने के लिए काम करती है कि चीजें एक जैसी क्यों हैं—इस विशिष्ट कार्य के लिए इस काम में फंस गई है।

अब, एक टीम के शोधकर्ताओं के बारे में सोचिए जिन्होंने इस दलदल के ऊपर एक पुल बनाने का निर्णय लिया। उन्होंने CLERF (Contrastive LEaRning for Full Range Head Pose Estimation) नामक एक नया ढांचा बनाया। वास्तविक फोटो मिलने का इंतजार करने के बजाय, उन्होंने अपने स्वयं के "जुड़वां" फोटो तुरंत बनाने के लिए एक विशेष प्रकार के AI जनरेटर का उपयोग किया। उन्होंने यह भी महसूस किया कि अधिकांश मौजूदा 'रोबोट-दिमाग' थोड़े से झुके हुए या पलटे हुए फोटो को संभालने में बहुत खराब हैं; यदि आप एक तस्वीर को 10 डिग्री घुमाते हैं, तो रोबोट भ्रमित हो जाता है। CLERF, हालांकि, पूरी 360-डिग्री दुनिया को संभालने के लिए बनाया गया है, जिसमें उल्टे सिर भी शामिल हैं, और यह शांत रहता है भले ही तस्वीरें थोड़ी अस्त-व्यस्त हो जाएं।

समस्या: हेड पोसेस का "घास के ढेर में सुई" ढूंढना

हेड पोस एस्टीमेशन को दिशाओं को पहचानने के लिए एक छात्र को सिखाने की तरह समझें। यदि आप उन्हें केवल सीधे देखते हुए या थोड़ा बगल में देखते हुए लोगों की तस्वीरें दिखाते हैं, तो वे इसमें विशेषज्ञ बन जाते हैं। लेकिन यदि आप उनसे सीधे ऊपर, सीधे नीचे, या यहाँ तक कि उल्टे देखते हुए किसी को पहचानने के लिए कहते हैं, तो वे विफल हो सकते हैं क्योंकि उन्होंने पहले कभी वे कोण नहीं देखे होंगे।

शोधकर्ताओं ने पाया कि इस पूर्ण गति (full range of motion) के लिए "कॉन्ट्रास्टिव लर्निंग" का उपयोग करना लगभग असंभव था। सरल शब्दों में, कॉन्ट्रास्टिव लर्निंग "अंतर पहचानने" के खेल की तरह है जहाँ कंप्यूटर एक "लक्ष्य" छवि (एंकर) को एक "मैच" (पॉजिटिव) और एक "नॉन-मैच" (नेगेटिव) के साथ तुलना करके सीखता है। अच्छी तरह से सीखने के लिए, कंप्यूटर को एक ही दिशा में देख रहे लोगों के कई जोड़े देखने की आवश्यकता होती है। लेकिन सिर की गतिविधियों के विशाल 3D स्थान में, दो लोगों का बिल्कुल एक ही दिशा में देखना सांख्यिकीय रूप से लगभग असंभव है—0.02% से भी कम संभावना। इन मैचों के बिना, कंप्यूटर कोणों के सूक्ष्म अंतरों को नहीं समझ सकता।

समाधान: जादुई दर्पण और घूमने वाला कमरा

इसे हल करने के लिए, लेखकों ने एक चतुर दो-चरणीय तकनीक बनाई।

चरण 1: जादुई दर्पण (सिंथेटिक ट्विन्स)
वास्तविक लोगों की तलाश करने के बजाय जो एक ही तरह से देख रहे हों, उन्होंने एक "3D-अवेयर GAN" (एक प्रकार का AI जो वास्तविक 3D चित्र बना सकता है) का उपयोग करके एक सिंथेटिक जुड़वां बनाया। कल्पना कीजिए कि आपके पास एक व्यक्ति की फोटो है जो थोड़ा बाईं ओर देख रहा है। AI एक दूसरे व्यक्ति की नकली फोटो बनाता है जो ठीक उसी दिशा में देख रहा है। अब, कंप्यूटर के पास अध्ययन करने के लिए एक आदर्श "पॉजिटिव पेयर" (एक मैच) है। यह "घास के ढेर में सुई" वाली समस्या को हल करता है क्योंकि यह जब भी जरूरत हो, सुइयां खुद बना देता है।

चरण 2: घूमने वाला कमरा (ज्यामितीय रूपांतरण)
शोधकर्ताओं ने महसूस किया कि केवल मैच होना ही काफी नहीं था; उन्हें कंप्यूटर को किसी भी कोण को संभालने के लिए सिखाने की आवश्यकता थी, जिसमें उल्टे सिर जैसे अजीब कोण भी शामिल थे। उन्होंने अपनी छवियों पर गणितीय "फ्लिप्स" और "रोटेशन" लागू किए। इसे एक फोटो लेने और उसके चारों ओर कमरे को घुमाने के रूपas सोचें। यदि आप बाईं ओर देखते हुए व्यक्ति की फोटो को 180 डिग्री घुमाते हैं, तो अब वे दाईं ओर देख रहे हैं। इन छवियों को गणितीय रूप से पलटकर और घुमाकर, वे सिर की गतिविधियों के पूरे गोले को कवर कर सके, जो -180 से 180 डिग्री तक है, यह सुनिश्चित करते हुए कि कंप्यूटर ने हर संभव कोण देखा है।

महत्वपूर्ण रूप से, उन्होंने सिद्ध किया कि यदि आप मैचिंग छवियों के जोड़े को बिल्कुल एक ही तरह से घुमाते या पलटते हैं, तो वे अभी भी एक मैच ही रहते हैं। इसने उन्हें प्रभावी ढंग से कॉन्ट्रास्टिव लर्निंग का उपयोग करने की अनुमति दी, जिससे कंप्यूटर को यह समझने में मदद मिली कि बाईं ओर देखते हुए सिर, दाईं ओर देखते हुए सिर से मौलिक रूप से भिन्न है, भले ही तस्वीर उलटी हो।

उन्होंने क्या पाया: वह रोबोट जिसे चक्कर नहीं आते

टीम ने अपने नए मॉडल, CLERF, का परीक्षण मानक टेस्ट डेटासेट्स का उपयोग करके मौजूदा सर्वश्रेष्ठ मॉडलों के विरुद्ध किया। यहाँ हुआ:

• सामान्य फोटो पर: मानक, सीधी तस्वीरों पर परीक्षण करते समय, CLERF मौजूदा शीर्ष मॉडलों के समान ही प्रदर्शन करता है। यह कोई जादुई समाधान नहीं था जिसने सब कुछ तुरंत सही कर दिया, लेकिन इसने अपनी जगह बनाए रखी।
• थोड़े झुके हुए फोटो पर: यहीं पर असली जादू हुआ। जब शोधकर्ताओं ने टेस्ट फोटो को 10 डिग्री घुमाया या पलटा (जिससे उन्होंने "थोड़ा ऑगमेंटेड" या SA संस्करण बनाया), तो पुराने मॉडल लड़खड़ाने लगे। उनकी सटीकता काफी गिर गई। CLERF, हालांकि, चट्टान की तरह स्थिर रहा। इन ट्रिकी, थोड़े घुमाए गए चित्रों पर यह अगले सर्वश्रेष्ठ मॉडल से लगभग 0.5 से 1.3 डिग्री अधिक सटीक था।
• अत्यधिक घुमाए गए फोटो पर: जब उन्होंने मॉडलों का परीक्षण भारी रूप से घुमाए गए या पलटे गए चित्रों (FA संस्करण) पर किया, तो अंतर बहुत बड़ा था। मौजूदा मॉडल, जो फुल रेंज का दावा करते थे, भ्रमित हो गए और उनकी त्रुटियां 10 डिग्री से अधिक बढ़ गईं। CLERF, दूसरी ओर, इन पागल कर देने वाले कोणों को आसानी से संभाल गया, और प्रतियोगिता से भारी अंतर के साथ बेहतर प्रदर्शन किया।

शोधकर्ताओं ने यह भी विज़ुअलाइज़ किया कि कंप्यूटर दुनिया को कैसे "देखता" है। उन्होंने एक व्यक्ति को पूरे घेरे में घूमते हुए दिखाने वाला एक वीडियो दिखाया। पुराने मॉडल घूमते हुए व्यक्ति को एक धुंधले, भ्रमित ढेर के रूप में देखते थे जहाँ शुरुआत और अंत के बिंदु बहुत समान दिखते थे। CLERF, हालांकि, एक स्पष्ट, सुचारू वृत्त देखता था, जो पास के और दूर के कोणों के बीच स्पष्ट रूप से अंतर करता था।

निष्कर्ष

यह पेपर सुझाव देता है कि अपने स्वयं के "जुड़वां" चित्र बनाकर और अपने डेटा को गणितीय रूप से घुमाकर, उन्होंने सफलतापूर्वक एक कंप्यूटर को सिर के पोस को समझने का तरीका सिखाया है जैसा कि पहले कभी नहीं किया गया है। उन्होंने केवल एक ऐसा मॉडल नहीं बनाया जो आदर्श फोटो पर काम करता है; उन्होंने एक ऐसा मॉडल बनाया जो वास्तविक दुनिया की अव्यवस्थित, घुमावदार और उल्टी वास्तविकता को संभालने के लिए मजबूत है। हालांकि उन्होंने कंप्यूटर विज़न की हर समस्या को हल करने का दावा नहीं किया है, लेकिन उन्होंने प्रदर्शित किया है कि यह नया दृष्टिकोण एक "सच्चा फुल रेंज" मॉडल बनाने की अनुमति देता है जो किसी भी हेड पोस को सटीक रूप से बता सकता है, जिसमें वे कोण भी शामिल हैं जिन्होंने पहले के सर्वश्रेष्ठ AI सिस्टम को भी उलझन में डाल दिया था।