TESSERA v2: Scaling Pixel-wise Earth Foundation Models
यह शोध पत्र पिक्सेल-वार अर्थ-अवलोकन फाउंडेशन मॉडलों के लिए सबसे बड़े नियंत्रित स्केलिंग अध्ययन को प्रस्तुत करता है, जो यह प्रकट करता है कि प्रीट्रेनिंग लॉस डाउनस्ट्रीम प्रदर्शन का एक खराब भविष्यवक्ता है और एक कंप्यूट-एलोकेशन नियम स्थापित करता है जो कॉम्पैक्ट, उच्च-प्रदर्शन वाले डिस्टिल्ड स्टूडेंट मॉडलों के निर्माण को सक्षम बनाता है जो मौजूदा उत्पादों से बेहतर प्रदर्शन करते हैं और लचीले, कम लागत वाले मैट्रोस्का एम्बेडिंग्स का समर्थन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, बिखरे हुए फोटो एल्बम को देखकर पृथ्वी को समझने की कोशिश कर रहे हैं। हर पन्ना पृथ्वी के किसी विशिष्ट स्थान की तस्वीर है, लेकिन वे तस्वीरें अलग-अलग समय पर, अलग-अलग कैमरों से ली गई हैं, और उनमें से आधे हिस्से बादलों या धुंध से ढके हुए हैं। उपग्रहों (satellites) का उपयोग करके हमारे ग्रह का अध्ययन करने वाले वैज्ञानिकों के लिए यह रोज़ की वास्तविकता है। उन्हें इन अराजक, अधूरे स्नैपशॉट्स को पृथ्वी के बारे में क्या हो रहा है—चाहे वह जंगलों के विकास को ट्रैक करना हो, फसलों की गिनती करना हो, या प्रदूषण का पता लगाना हो—उसकी एक स्पष्ट, उपयोगी मानचित्र में बदलना पड़ता है। ऐसा करने के लिए, वे "फाउंडेशन मॉडल्स" (foundation models) नामक चीज़ का उपयोग करते हैं। इन मॉडल्स को ऐसे सुपर-स्मार्ट छात्रों के रूप में सोचें जिन्होंने अब तक ली गई हर सैटेलाइट फोटो को पढ़ा है। आपको कच्ची, भारी तस्वीरें देने के बजाय, ये छात्र उस जानकारी को पृथ्वी के हर स्थान के लिए एक छोटे, कुशल "आईडी कार्ड" (एम्बेडिंग) में संक्षेप में प्रस्तुत कर देते हैं। यह आईडी कार्ड आपको उस स्थान के बारे में वह सब कुछ बताता है जिसे जानने की आपको आवश्यकता है, बिना पूरे फोटो एल्बम को साथ ले जाए। हालाँकि, बड़ा सवाल हमेशा से यह रहा है: हम इन छात्रों को बिजली और समय की एक बड़ी राशि बर्बाद किए बिना सबसे अच्छा बनाने के लिए कैसे प्रशिक्षित करें?
यह शोध पत्र, जिसका शीर्षक TESSERA V2 है, ठीक इसी सवाल का जवाब देने के लिए एक विशाल प्रयोग है। शोधकर्ताओं ने इन अर्थ-ऑब्जर्विंग एआई मॉडल्स को बनाने के लिए सही रेसिपी का पता लगाने के लिए 395 अलग-अलग प्रशिक्षण सत्र चलाए। उन्होंने कुछ आश्चर्यजनक बातें भी खोजीं। सबसे पहले, उन्होंने पाया कि छात्र की प्रगति को मापने का सामान्य तरीका—उनके "होमवर्क स्कोर" (प्रीट्रेनिंग लॉस) को देखना—वास्तविक दुनिया में वे कितने अच्छे प्रदर्शन करेंगे, इसका एक बहुत ही खराब भविष्यवक्ता है। यह एक ऐसे छात्र की तरह है जिसे अभ्यास परीक्षा में 'A' ग्रेड मिलता है लेकिन वह अंतिम परीक्षा में फेल हो जाता है; यह शोध पत्र दिखाता है कि इस स्कोर पर भरोसा करना कंप्यूटिंग शक्ति की एक विशाल मात्रा को बर्बाद करता है। इसके बजाय, उन्होंने पाया कि जीतने वाली रणनीति यह है कि मॉडल के "मस्तिष्क" (एनकोडर) को बहुत बड़ा बनाया जाए और इसे अधिक डेटा दिया जाए, जबकि उत्तरों को व्यवस्थित करने वाले हिस्से (प्रोजेक्टर) को छोटा और स्थिर रखा जाए।
लेकिन इसमें एक पेच है: एक विशाल मस्तिष्क को चलाना महंगा है। यदि आप एक सुपर-स्मार्ट शिक्षक बनाते हैं, तो इसे हर दिन उपयोग करने की लागत बहुत अधिक होती है। इसलिए, टीम ने "डिस्टिलेशन" (distillation) नामक एक चतुर ट्रिक का उपयोग किया। उन्होंने अपने नए नियमों का उपयोग करके एक विशाल, 2-बिलियन-पैरामीटर वाले "शिक्षक" मॉडल को प्रशिक्षित किया, और फिर चार छोटे, "छात्र" मॉडल्स को उसके सोचने के तरीके की नकल करना सिखाया। ये छात्र शिक्षक की तुलना में बहुत छोटे हैं लेकिन फिर भी अविश्वसनीय रूप से स्मार्ट हैं। इससे भी शानदार बात यह है कि ये छात्र अलग-अलग आकारों में उत्तर दे सकते हैं, जैसे कि एक रूसी नेस्टिंग डॉल (Matryoshka)। आप एक छोटा 16-डायमेंशनल उत्तर मांग सकते हैं जो बहुत कम स्टोरेज स्पेस लेता है लेकिन 92% सटीकता बनाए रखता है, या एक पूर्ण 128-डायमेंशनल उत्तर यदि आपको हर आखिरी विवरण की आवश्यकता हो। परिणाम स्वरूप, मॉडल्स का एक ऐसा परिवार प्राप्त हुआ जो स्टोर करने में सस्ता, चलाने में तेज़ और किसी भी अन्य ओपन या प्राइवेट सिस्टम की तुलना में वास्तविक दुनिया के कार्यों में अधिक सटीक है, जो यह सिद्ध करता है कि कभी-कभी, बड़े पैमाने पर विस्तार करने का सबसे अच्छा तरीका एक विशाल मॉडल को प्रशिक्षित करना और फिर उसे सिकोड़ना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।