Back to the Barn with LLAMAs: Evolving Pretrained LLM Backbones in Finetuning Vision Language Models
यह शोध पत्र अन्य चरों को नियंत्रित करते हुए, विजन-लैंग्वेज मॉडल्स पर विकसित होते LLM बैकबोन (LLaMA-1 से LLaMA-3) के प्रभाव की व्यवस्थित रूप से जांच करता है, जो यह प्रकट करता है कि नए बैकबोन सार्वभौमिक रूप से प्रदर्शन में सुधार नहीं करते हैं, बल्कि इसके बजाय कार्य-विशिष्ट व्यवहारों को बदलते हैं, जैसे कि बेहतर-कैलिब्रेटेड आत्मविश्वास के साथ विभिन्न दृश्य प्रश्नों को हल करना, जबकि मुख्य रूप से दृश्य समझ पर निर्भर कार्यों के लिए सीमित लाभ प्रदान करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान मस्तिष्क (लार्ज लैंग्वेज मॉडल, या LLM) और एक जोड़ी आंखें (विज़न एनकोडर) हैं। एक रोबोट बनाने के लिए जो किसी तस्वीर को देख सके और उसके बारे में आपको कहानी सुना सके, आपको आंखों को मस्तिष्क से जोड़ने की आवश्यकता होती है।
यह शोध पत्र एक वैज्ञानिक प्रयोग की तरह है जहाँ शोधकर्ताओं ने आंखों को बिल्कुल वैसा ही रखा, लेकिन उन्होंने तीन बार मस्तिष्क को बदल दिया। उन्होंने एक पुराना, थोड़ा कम उन्नत मस्तिष्क (LLaMA-1), एक मध्यम वाला (LLaMA-2), और सबसे नया, सबसे परिष्कृत मस्तिष्क (LLaMA-3) का उपयोग किया।
मुख्य प्रश्न जो उन्होंने पूछा था, वह यह था: "यदि हम अपने रोबोट को एक स्मार्ट मस्तिष्क देते हैं, तो क्या वह स्वचालित रूप से तस्वीरों को देखने और सवालों के जवाब देने में बेहतर हो जाता है?"
यहाँ उन्होंने जो पाया है, उसका सरल स्पष्टीकरण दिया गया है:
1. एक स्मार्ट मस्तिष्क का मतलब हमेशा स्मार्ट रोबोट नहीं होता
आप सोच सकते हैं, "नया मस्तिष्क = बेहतर रोबोट।" लेकिन शोधकर्ताओं ने पाया कि यह पूरी तरह से काम पर निर्भर करता है।
- "मेमोरी टेस्ट" वाला काम (ScienceQA): कल्पना कीजिए कि एक ऐसी परीक्षा है जहाँ आपको एक पाठ्यपुस्तक का अध्याय याद करना है और फिर केवल उसी टेक्स्ट के आधार पर सवालों के जवाब देने हैं।
- परिणाम: नए मस्तिष्क यहाँ वास्तव में बदतर प्रदर्शन करते थे। क्यों? क्योंकि पुराने मस्तिष्क प्रशिक्षण डेटा के विशिष्ट पैटर्न को याद रखने में बहुत अच्छे थे। नए, स्मार्ट मस्तिष्क या तो बहुत अधिक सोचने लगे या अपने स्वयं के "सामान्य ज्ञान" पर भरोसा करने लगे, जिससे वे केवल टेक्स्ट को पढ़ने के बजाय गलतियाँ करने लगे।
- "रियल वर्ल्ड" वाला काम (VQA-Scene): कल्पना कीजिए कि आप एक बिखरे हुए लिविंग रूम की फोटो देख रहे हैं और जवाब दे रहे हैं, "क्या सोफे पर बिल्ली है?"
- परिणाम: नए मस्तिष्क यहाँ बेहतर प्रदर्शन करते थे। वे संदर्भ और विजुअल संकेतों को समझने में बेहतर थे, जिससे अधिक सही उत्तर मिले।
सबक: मस्तिष्क को अपग्रेड करना सब कुछ ठीक नहीं करता है। यदि काम केवल तथ्यों को याद रखने के बारे में है, तो एक नया मस्तिष्क चीजों को बहुत जटिल बना सकता है। यदि काम के लिए वास्तविक समझ की आवश्यकता है, तो एक नया मस्तिष्क चमकता है।
2. वे अलग-अलग पहेलियाँ सुलझा रहे हैं
शोधकर्ताओं ने कुछ अजीब देखा। जब उन्होंने इस पर गौर किया कि कौन से विशिष्ट सवालों को रोबोटों ने सही बताया, तो उन्हें एहसास हुआ कि नए रोबोट केवल उन्हीं सवालों को सही नहीं बता रहे थे जिन्हें पुराने सही बताते थे और कुछ और भी जोड़ रहे थे। वे पूरी तरह से अलग सेट के सवालों को सही बता रहे थे।
- उपमा: कल्पना कीजिए कि दो जासूस एक ही अपराध स्थल को देख रहे हैं।
- जासूस A (पुराना मस्तिष्क) बहुत आत्मविश्वासी है। वह कहता है, "मुझे पता है किसने किया!" और बटलर की ओर इशारा करता है। वह 100% निश्चित है, लेकिन कभी-कभी वह गलत होता है।
- जासूस B (नया मस्तिष्क) अधिक विनम्र है। वह कहता है, "हम्म, यह बटलर हो सकता है, या शायद माली भी।" वह खुद के बारे में कम निश्चित है, लेकिन वास्तव में वह अक्सर सही होता है।
- नया मस्तिष्क केवल पुराने तरीके से सोचने में "बेहतर" नहीं है; वह सुरागों को बिल्कुल अलग तरीके से देख रहा है।
3. "आंखें" अभी भी बाधा (Bottleneck) बनी हुई हैं
कुछ कामों के लिए, जैसे कि भूकंप के सटीक स्थान को खोजने के लिए एक जटिल भूवैज्ञानिक मानचित्र का विश्लेषण करना, शोधकर्ताओं ने पाया कि मस्तिष्क को अपग्रेड करने से लगभग कुछ भी नहीं हुआ।
- उपमा: कल्पना कीजिए कि आपके पास एक सुपर-जीनियस मस्तिष्क है, लेकिन आप एक ऐसी भाषा में लिखी किताब पढ़ रहे हैं जिसे आप नहीं जानते, या टेक्स्ट इतना धुंधला है कि आप अक्षरों को देख ही नहीं पा रहे हैं। आपका मस्तिष्क चाहे कितना भी स्मार्ट क्यों न हो, यदि आपकी आंखें (विज़न एनकोडर) विवरण नहीं देख सकतीं, तो मस्तिष्क मदद नहीं कर सकता।
- इन मामलों में, शोधकर्ताओं ने पाया कि नए मस्तिष्क भी पुराने मस्तिष्क की तरह ही फंसे हुए थे। इसे ठीक करने के लिए, आपको स्मार्ट मस्तिष्क की नहीं, बल्कि बेहतर चश्मे (एक बेहतर विज़न एनकोडर) की आवश्यकता है।
4. नया मस्तिष्क वह जादू कर सकता है जो पुराना नहीं कर सका
एक विशिष्ट कार्य था जहाँ नए मस्तिष्क (LLaMA-3) ने वह कर दिखाया जिसमें पुराने मस्तिष्क पूरी तरह विफल रहे थे: एक लैंडस्केप की तस्वीर से सटीक GPS निर्देशांक (coordinates) का अनुमान लगाना।
- पुराने मस्तिष्क मानचित्र को देखते और कहते, "यह कैलिफोर्निया में है।"
- नए मस्तिष्क ने मानचित्र को देखा और कहा, "यह अक्षांश 34.05, देशांतर -118.25 पर है।"
- क्यों? नए मस्तिष्क को अधिक डेटा पर प्रशिक्षित किया गया था जिसमें नंबर और मानचित्र शामिल थे, इसलिए इसने एक नया "कौशल" सीखा जो पुराने मस्तिष्क के पास नहीं था। यह केवल एक सुधार नहीं था; यह एक बिल्कुल नई क्षमता थी।
5. नया मस्तिष्क अधिक "ईमानदार" है
अंत में, शोधकर्ताओं ने देखा कि रोबोट अपने उत्तरों के बारे में कितना आत्मविश्वास महसूस करते हैं।
- पुराने मस्तिष्क उन अति-आत्मविश्वासी छात्रों की तरह थे जो हमेशा हाथ उठाते थे और उत्तर चिल्लाकर देते थे, भले ही वे केवल अनुमान लगा रहे हों। वे गलत होने पर भी 100% निश्चित थे।
- नया मस्तिष्क एक सावधान विद्वान की तरह था। वह कहता, "मुझे लगता है कि उत्तर X है, लेकिन मैं केवल 70% निश्चित हूँ।"
- आश्चर्यजनक रूप से, कम आत्मविश्वासी होना नए मस्तिष्क को अधिक सटीक बनाने में मदद करता था। उसने उत्तर थोपने के बजाय संभावनाओं को सावधानी से तौला।
सारांश
यह शोध पत्र हमें सिखाता है कि AI की दुनिया में, बड़ा और नया होना हमेशा एक सीधी रेखा में "बेहतर" नहीं होता।
- यदि आपको रोबोट को तथ्य याद रखने की आवश्यकता है, तो एक पुराना, सरल मस्तिष्क वास्तव में बेहतर काम कर सकता है।
- यदि आपको एक रोबोट को जटिल दृश्यों को समझने की आवश्यकता है, तो एक नया मस्तिष्क मदद करता है।
- यदि रोबोट अच्छी तरह से "देख" नहीं सकता, तो उसे स्मार्ट मस्तिष्क देने से मदद नहीं मिलेगी; आपको बेहतर आंखों की आवश्यकता है।
- और कभी-कभी, एक नया मस्तिष्क केवल पुराने करतबों में बेहतर नहीं होता; वह पूरी तरह से नए जादू के करतब सीख लेता है जिनकी कल्पना भी पुराने मस्तिष्क नहीं कर सकते थे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।