AlbumentationsX: One Augmentation Pipeline for Images and Related Annotations

डेटा का महान नृत्य: AI को अपने पैर साथ रखने की आवश्यकता क्यों है

कल्पना कीजिए कि आप एक रोबोट को बिल्लियों को पहचानना सिखा रहे हैं। आप उसे एक रोएँदार टैबी बिल्ली की तस्वीर दिखाते हैं, और आप रोबोट से कहते हैं, "यह एक बिल्ली है।" लेकिन रोबोट को और स्मार्ट बनाने के लिए, आप उसे अलग-अलग स्थितियों में वही बिल्ली दिखाने का निर्णय लेते हैं: उलटी, ज़ूम की हुई, या किसी मज़ेदार फ़िल्टर के साथ। इस प्रक्रिया को डेटा ऑग्मेंटेशन (data augmentation) कहा जाता है। यह रोबोट को हज़ारों अलग-अलग तरह के चश्मे देने जैसा है ताकि वह सीख सके कि एक बिल्ली तब भी बिल्ली ही रहती है, चाहे उसे फिशआई लेंस या कैलीडोस्कोप के माध्यम से देखा जा रहा हो।

हालाँकि, इसमें एक पेचीदा हिस्सा है। एक प्रशिक्षण उदाहरण (training example) केवल एक तस्वीर नहीं है; यह एक तस्वीर प्लस एक नक्शा है कि बिल्ली कहाँ है (जिसे एनोटेशन कहा जाता है)। यदि आप बिल्ली की तस्वीर को घुमाते हैं लेकिन नक्शे को घुमाना भूल जाते हैं, तो रोबोट भ्रमित हो जाता है। वह देखता है कि बिल्ली का सिर बाईं ओर इशारा कर रहा है लेकिन नक्शा कहता है कि शरीर दाईं ओर है। यह बेमेल होना सबक को भ्रष्ट कर देता है। यह शोध पत्र इसी सटीक समस्या पर केंद्रित है: यह सुनिश्चित करना कि जब आप किसी छवि को घुमाते हैं, मोड़ते हैं, क्रॉप करते हैं या रंग बदलते हैं, तो उससे जुड़ी हर एक जानकारी उसके साथ पूरी तरह तालमेल में चले।

---

मिलिए AlbumentationsX से: अराजकता के कंडक्टर से

यहाँ आता है AlbumentationsX, एक नया टूल जिसे इस डेटा की अराजक नृत्य के लिए परम कंडक्टर बनने के लिए डिज़ाइन किया गया है। एक प्रशिक्षण उदाहरण को एक जटिल ऑर्केस्ट्रा की तरह समझें। आपके पास मुख्य वाद्य यंत्र (छवि) है, शीट संगीत (वस्तुओं का मास्क या रूपरेखा) है, विशिष्ट वाद्य यंत्रों के लिए नोट्स (बाउंडिंग बॉक्स) हैं, और यहाँ तक कि नर्तकों की स्थितियाँ (कीपॉइंट्स) भी हैं। अतीत में, यदि आप संगीत बदलना चाहते थे, तो आप शायद एक व्यक्ति से शीट संगीत को घुमाने और दूसरे व्यक्ति से छवि को घुमाने के लिए कहते थे। यदि वे एक-दूसरे से बात नहीं करते थे, तो परिणाम विनाशकारी होता था।

AlbumentationsX इसे एक विशाल, जादुई बॉक्स जिसे Compose object कहा जाता है, में डालकर हल करता है। अलग-अलग लोगों से अलग-अलग काम करने के लिए कहने के बजाय, आप पूरे ऑर्केस्ट्रा को एक अकेले कंडक्टर को सौंप देते हैं। जब कंडक्टर कहता है, "घुमाओ!" या "क्रॉप करो!", तो वे सटीक निर्देशांक (coordinates) को एक बार चुनते हैं और उसे छवि, मास्क, बॉक्स और कीपोंट्स सभी पर एक साथ लागू करते हैं। यह सुनिश्चित करता है कि यदि बिल्ली को तस्वीर से बाहर क्रॉप किया जाता है, तो उसके नक्शे से उसकी रूपरेखा भी ठीक उसी क्षण क्रॉप हो जाए। अब कोई बेमेल डेटा नहीं!

"एक कॉल" का जादू

शोध पत्र बताता है कि AlbumentationsX नियमों की एक सख्त सूची (पॉलिसी) और एक एकल रैंडम सीड (जादू का शुरुआती बिंदु) रखता है। जब आप टूल को एक सैंपल प्रोसेस करने के लिए कहते हैं, तो यह केवल एक बार पासा फेंकता है। यह तय करता है, "ठीक है, मैं इस छवि को पलटूँगा, और मैं मास्क और बॉक्स को भी पलट दूँगा।" यह छवि को नहीं पलटता, फिर मास्क को पलटने का निर्णय लेने के लिए फिर से पासा नहीं फेंकता। निर्णय लेने का यह एकल क्षण गारंटी देता है कि सब कुछ संरेखित रहता है।

यह टूल अविश्वसनीय रूप से लचीला है। यह संभाल सकता है:

• स्टीरियो विज़न (Stereo Vision): कल्पना कीजिए कि दो कैमरों (बाएं और दाएं) के साथ एक फोटो लेना। AlbumentationsX इन दोनों छवियों को एक जोड़ी के रूप में मानता है, यह सुनिश्चित करते हुए कि यदि आप बाएं दृश्य को क्रॉप करते हैं, तो दाएं दृश्य को भी बिल्कुल वैसा ही क्रॉप किया जाता है।
• डेप्थ मैप्स (Depth Maps): ये 3D मानचित्रों की तरह होते हैं जो दिखाते हैं कि चीजें कितनी दूर हैं। टूल जानता है कि जबकि आप एक रंगीन फोटो की चमक बदल सकते हैं, आपको डेप्थ मैप की ज्यामिति (geometry) के साथ छेड़छाड़ नहीं करनी चाहिए। यह आकार परिवर्तनों को सुसंगत रखता है लेकिन डेप्थ मैप के लिए रंग परिवर्तन को छोड़ देता है।
• वीडियो क्लिप्स (Video Clips): यदि आपके पास एक वीडियो है, तो आप नहीं चाहेंगे कि कैमरा बेतरतीब ढंग से इधर-उधर कूदे। AlbumentationsX पूरे क्लिप को एक इकाई के रूप में मानता है, इसलिए यदि आप वीडियो को क्रॉप करते हैं, तो यह हर एक फ्रेम को एक ही स्थान पर क्रॉप करता है, जिससे एक सहज, प्राकृतिक ज़ूम बनता है न कि एक झटकेदार गड़बड़ी।

अपने स्वयं के नियम बनाना

इसकी सबसे शानदार विशेषताओं में से एक यह है कि आप अपने स्वयं के कस्टम मूव बना सकते हैं। शायद आपके प्रोजेक्ट को किसी विशिष्ट प्रकार के कैमरा ग्लिच या अजीब सेंसर त्रुटि को सिम्युलेट करने की आवश्यकता हो। शोध पत्र दिखाता है कि कैसे आप एक कस्टम "ट्रांसफॉर्म" (एक चाल) लिख सकते हैं और उसे सीधे अपने पाइपलाइन के बीच में डाल सकते हैं। क्योंकि यह उसी बॉक्स के अंदर है, यह अंतर्निहित चालों के समान ही नियमों और संभावनाओं का पालन करता है। यह कोरियोग्राफी में एक नया डांस स्टेप जोड़ने जैसा है; जब तक यह रूटीन में है, सभी इसे एक साथ करते हैं।

सुरक्षा जाल: जादू को दोबारा खेलना

क्या होगा यदि रोबोट कुछ अजीब सीख लेता है और आप जानना चाहते हैं कि वास्तव में क्या हुआ था? शोध पत्र एक चतुर तरकीब सुझाता है: ReplayCompose। आप एक विशिष्ट कॉल के दौरान किए गए सटीक रैंडम विकल्पों का रिकॉर्ड रख सकते हैं। बाद में, आप उस रिकॉर्ड को वापस फीड कर सकते हैं, और टूल ठीक उसी परिवर्तन को फिर से बना देगा। यह एक वीडियो गेम लेवल पर "अनडू" (undo) बटन दबाने जैसा है, लेकिन समय में पीछे जाने के बजाय, आप यह देखने के लिए घटनाओं के ठीक उसी क्रम को फिर से खेल रहे हैं कि गलती कहाँ हुई थी।

यह टूल क्या करता है (और क्या नहीं करता)

लेखक बहुत स्पष्ट है कि AlbumentationsX क्या है और क्या नहीं है। यह एलाइनमेंट (alignment) के लिए एक टूल है, मन पढ़ने वाला नहीं। यह खुशी-खुशी एक बिल्ली की छवि को उल्टा घुमा देगा, लेकिन यह आपको यह नहीं बताएगा कि क्या यह आपके विशिष्ट कार्य के लिए एक अच्छा विचार है। यदि आप एक रोबोट को सड़क के संकेत पढ़ने के लिए प्रशिक्षित कर रहे हैं, तो छवि को उल्टा करने से संकेत अपठनीय हो सकता है, और टूल आपको इससे नहीं रोकेगा। मानव विशेषज्ञ को अभी भी यह तय करना होगा कि कौन सी चालें उनके विशिष्ट प्रश्न के लिए सही हैं।

शोध पत्र यह भी नोट करता है कि जबकि अन्य उपकरण मौजूद हैं (जैसे TorchVision या Kornia), AlbumentationsX इसलिए अलग है क्योंकि इसमें 121 विभिन्न 2D ट्रांसफॉर्म्स की एक विशाल लाइब्रेरी है और इसे विशेष रूप से इन विभिन्न प्रकार के डेटा (छवियां, मास्क, बॉक्स, वीडियो) को पूरी तरह से सिंक्रोनाइज़ रखने के लिए बनाया गया है। यह दावा नहीं करता कि यह सबसे तेज़ है या करने का एकमात्र तरीका है, लेकिन यह एक बहुत ही विश्वसनीय, सिंगल-पैकेज समाधान प्रदान करता है जो डेटा को बेमेल परिवर्तनों द्वारा "भ्रष्ट" होने से बचाता है।

संक्षेप में, AlbumentationsX निरंतरता का संरक्षक है। यह सुनिश्चित करता है कि जब आप कंप्यूटर विज़न मॉडल को सिखाने के लिए अपने डेटा के साथ खेलते हैं, तो आप अनजाने में तस्वीर को हिलाकर और नक्शे को पीछे छोड़कर अपने सबक को खराब नहीं कर रहे हैं। यह एक अराजक डांस फ्लोर और एक पूर्ण रूप से कोरियोग्राफ किए गए प्रदर्शन के बीच का अंतर है जहाँ हर चाल तालमेल में होती है।