Unified Pix Token And Word Token Generative Language Model
यह शोध पत्र एक नवीन जनरेटिव लैंग्वेज मॉडल प्रस्तावित करता है जो सूक्ष्म दृश्य विवरणों को पहचानने में वर्तमान ViT-आधारित विजन एनकोडर की सीमाओं को दूर करने के लिए कलर फोल्डिंग और ग्लोबल कंडिशनल अटेंशन जैसे विशिष्ट आर्किटेक्चरल नवाचारों के साथ पिक्सेल और वर्ड टोकन को एकीकृत करता है, जो छोटे मॉडलों और सीमित डेटा के साथ भी मजबूत प्रदर्शन प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को एक ही समय में "देखने" और "बोलने" के लिए सिखाने की कोशिश कर रहे हैं। वर्तमान में, सबसे अच्छे कंप्यूटर चित्रों को देखने के लिए ViT (विज़न ट्रांसफॉर्मर) नामक एक विधि का उपयोग करते हैं। इस शोध पत्र के लेखक तर्क देते हैं कि वर्तमान विधि एक जटिल पेंटिंग का वर्णन करने के समान है, जैसे कि केवल एक धुंधले, संक्षिप्त रेखाचित्र को देखकर किया जा रहा हो। इसमें बारीक विवरण छूट जाते हैं, जैसे कार पर लाइसेंस प्लेट नंबर या किसी साइन पर छोटा सा टेक्स्ट।
यहाँ उनके नए विचार, यूनिफाइड पिक्सेल टोकन और वर्ड टोकन मॉडल का रोजमर्रा के उदाहरणों का उपयोग करके एक सरल विवरण दिया गया है।
1. समस्या: "धुंधला रेखाचित्र" बनाम "पिक्सेल-दर-पिक्सेल" वास्तविकता
वर्तमान विधि (ViT/CLIP):
कल्पना कीजिए कि आपके पास 10 लाख छोटे टाइल्स से बना एक विशाल मोज़ेक (mosaic) है। वर्तमान AI हर एक टाइल को नहीं देखता है। इसके बजाय, वह उन्हें बड़े टुकड़ों (पैच) में समूहबद्ध करता है और पूछता है, "यह पूरा टुकड़ा कैसा दिखता है?" वह उस टुकड़े को एक एकल "शब्द" या सारांश में बदल देता है।
- खामी: यदि आप केवल एक छोटा सा टाइल बदलते हैं (जैसे कि कार की लाइसेंस प्लेट का नंबर 1 से बदलकर 6 कर देना), तो उस पूरे टुकड़े का सारांश पूरी तरह से बदल जाता है। यह वैसा ही है जैसे यदि आप एक वाक्य में एक अक्षर बदल दें, और AI को लगे कि पूरे पैराग्राफ का अर्थ पूरी तरह से बदल गया है। यह इसे छोटे विवरणों को पहचानने में अक्षम बनाता है।
नई विधि (पिक्सेल टोकन):
लेखक कहते हैं, "आइए सारांश बनाना बंद करें। आइए प्रत्येक पिक्सेल (छवि में रंग का सबसे छोटा बिंदु) को अपना अनूठा नाम टैग और अपनी खुद की डिक्शनरी एंट्री दें।"
- उदाहरण: टाइल्स को समूहों में बांटने के बजाय, हम मोज़ेक के प्रत्येक टाइल को अपना अनूठा आईडी कार्ड देते हैं। यदि आप एक टाइल बदलते हैं, तो केवल वही एक आईडी कार्ड बदलता है। बाकी चित्र बिल्कुल वैसा ही रहता है। यह AI को सूक्ष्म विवरणों के प्रति बहुत संवेदनशील बनाता है।
2. चुनौती: याद रखने के लिए बहुत सारे नाम
समस्या:
यदि आप प्रत्येक पिक्सेल को उसका अपना नाम देते हैं, और एक पिक्सेल 16.7 मिलियन रंगों में से कोई भी हो सकता है, तो आपके पास एक असंभव रूप से विशाल डिक्शनरी बन जाएगी। हर एक रंग को खोजने में बहुत अधिक कंप्यूटर पावर खर्च होगी।
समाधान: "कलर फोल्डिंग" (रंगों को मोड़ना)
लेखक कलर फोल्डिंग नामक एक चतुर तकनीक का प्रस्ताव देते हैं।
- उदाहरण: कल्पना कीजिए कि आपके पास नीले रंग के 16.7 मिलियन अलग-अलग शेड्स का एक बॉक्स है। मानवीय आंख के लिए, "आसमानी नीला" और "आसमानी नीला + सफेद का एक छोटा सा कण" के बीच का अंतर अदृश्य है।
- सुधार: यह मॉडल इन सूक्ष्म, अविभेद्य शेड्स को एक साथ समूहबद्ध करता है। यह कहता है, "हमें 16 मिलियन नामों की आवश्यकता नहीं है; आइए केवल 4,000 नामों का उपयोग करें जो वास्तव में मानव द्वारा देखे जाने वाले सभी रंगों को कवर करते हैं।"
- परिणाम: यह डिक्शनरी के आकार को भारी रूप से कम कर देता है (जैसे एक विशाल मानचित्र को जेब के आकार में मोड़ना) बिना चित्र को धुंधला किए। यह गणना की शक्ति (computing power) की भारी बचत करता है।
3. जादू का तरीका: "ग्लोबल टू लोकल" अटेंशन
समस्या:
एक छोटी डिक्शनरी होने के बावजूद, पूरी छवि को पिक्सेल-दर-पिक्सेल देखना अभी भी बहुत कठिन काम है। यदि आप एक साथ हर पिक्सेल की तुलना हर दूसरे पिक्सेल से करने की कोशिश करते हैं (ग्लोबल अटेंशन), तो कंप्यूटर अभिभूत हो जाएगा, जैसे एक साथ 10,000 लोगों को बोलने की कोशिश करना।
समाधान: "विंडोड अटेंशन" (खिड़की आधारित ध्यान)
यह मॉडल छवि को छोटे विंडोज़ (जैसे एक छोटे चौकोर फ्रेम के माध्यम से देखना) में तोड़ देता है।
- चरण 1: यह पिक्सेल की एक छोटी विंडो को देखता है और यह समझता है कि वे एक-दूसरे से कैसे संबंधित हैं।
- चरण 2: यह उस विंडो का "सारांश" लेता है और अगली विंडो की ओर बढ़ता है।
- चरण 3: यह पूरी तस्वीर को समझने के लिए इन विंडो सारांशों को जोड़ता है।
- उदाहरण: एक संगीत कार्यक्रम (कॉन्सर्ट) में पूरी भीड़ को एक साथ समझने के बजाय, आप दोस्तों के छोटे समूहों को बात करते हुए सुनते हैं, फिर अगले समूह को सुनते हैं, और अंत में पूरे भीड़ की बात को जोड़कर समझते हैं। लेखक दावा करते हैं कि यह एक "स्मार्ट सन्निकटन" (smart approximation) है जो लगभग उतना ही अच्छा काम करता है जितना कि एक साथ सभी को सुनना, लेकिन यह बहुत तेज़ है।
4. बड़ा लक्ष्य: शब्दों और चित्रों को एकीकृत करना
वर्तमान में, AI मॉडल टेक्स्ट और छवियों को दो अलग-अलग चीजें मानते हैं। वे टेक्स्ट को एक अलग मस्तिष्क के साथ पढ़ते हैं और छवियों को देखने के लिए एक अलग "अनुवादक" (ViT एनकोडर) का उपयोग करते हैं।
नया मॉडल:
यह मॉडल पिक्सेल के साथ बिल्कुल वैसा ही व्यवहार करता है जैसा कि यह शब्दों के साथ करता है।
- उदाहरण: कल्पना कीजिए कि एक ऐसी भाषा जहाँ "सेब" (Apple) एक शब्द है, और लाल रंग का एक विशिष्ट शेड भी एक शब्द है। AI "द [लाल पिक्सेल] इज़ ऑन द [हरा पिक्सेल]" वाक्य को उतनी ही आसानी से पढ़ सकता है जितनी आसानी से वह "सेब मेज पर है" पढ़ सकता है।
- लाभ: क्योंकि यह पिक्सेल के साथ शब्दों की तरह व्यवहार करता है, यह अनसुपरवाइज्ड (unsupervised) डेटा से सीख सकता है। इसका मतलब है कि यह इंटरनेट पर मौजूद लाखों कच्ची छवियों को देखकर सीख सकता है, जिसमें मनुष्यों द्वारा "यह एक बिल्ली है" जैसे लेबल लिखने की आवश्यकता नहीं होती। यह एक बच्चे की तरह है जो फ्लैशकार्ड के माध्यम से सीखने के बजाय केवल दुनिया को देखकर देखना सीखता है।
5. उन्होंने वास्तव में क्या किया?
लेखकों ने इस मॉडल का एक छोटा संस्करण (120 मिलियन पैरामीटर्स) बनाया और इसे केवल छवियों पर प्रशिक्षित किया (अभी इसमें टेक्स्ट मिलाया नहीं गया है)।
- परिणाम: मॉडल सफलतापूर्वक सीख गया। "लॉस" (एक माप कि AI कितना भ्रमित था) कम हो गया, जिसका अर्थ है कि इसने पिक्सेल के पैटर्न को समझना शुरू कर दिया।
- दावा: उनका मानना है कि यदि वे इस मॉडल को अधिक कंप्यूटिंग पावर और अधिक डेटा देते हैं, तो यह और भी बेहतर हो जाएगा, ठीक उसी "स्केलिंग लॉ" (scaling law) का पालन करते हुए जिसने टेक्स्ट-आधारित AI (जैसे GPT-3) को इतना सफल बनाया।
सारांश
यह शोध पत्र कंप्यूटर के देखने के एक नए तरीके का प्रस्ताव करता है:
- छवियों का सारांश बनाना बंद करें; प्रत्येक पिक्सेल को अपनी अनूठी पहचान दें।
- रंगों को सरल बनाएं (कलर फोल्डिंग) ताकि कंप्यूटर अभिभूत न हो।
- विंडोज़ में देखें बजाय एक साथ देखने के, ताकि ऊर्जा बचाई जा सके।
- पिक्सेल को शब्दों की तरह मानें, जिससे AI बिना मानवीय शिक्षकों के कच्ची छवियों से सीख सके।
लेखकों का मानना है कि यह वर्तमान विधियों की तुलना में विज़न के लिए भविष्य का एक बेहतर आधार है, हालांकि वे स्वीकार करते हैं कि बड़े पैमाने पर इसे साबित करने के लिए उन्हें अधिक कंप्यूटिंग पावर की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।