AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution
यह शोध पत्र एंकर इवोल्यूशन (AnE) का प्रस्ताव करता है, जो एक नवीन प्रतिमान है जो उच्च-सटीक डेटा क्यूरेशन के लिए ट्रुथ एंकर एक्सपेंशन और तर्क क्षमताओं को आंतरिक बनाने के लिए एक स्कैफोल्ड-स्ट्रिपिंग मैकेनिज्म को जोड़ता है, जिससे संज्ञानात्मक विचलन (कॉग्निटिव ड्रिफ्ट) पर विजय प्राप्त होती है और मल्टीमॉडल रीजनिंग बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द बिग पिक्चर: एक रोबोट को बेहतर सोचना सिखाना
कल्पना कीजिए कि आप एक बहुत ही स्मार्ट रोबोट (एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल) को जटिल पहेलियाँ सुलझाने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं, जैसे कि डायग्राम वाले गणित के सवाल या लॉजिक की पहेलियाँ। आप चाहते हैं कि वह केवल उत्तरों को रटने के बजाय तर्क (reasoning) करना सीखे।
यह पेपर तर्क देता है कि इन रोबोट्स को सिखाने के मौजूदा तरीकों में दो बड़ी समस्याएँ हैं:
- स्थिर लाइब्रेरी (The Static Library): यदि आप रोबोट को केवल पाठ्यपुस्तकों का एक निश्चित सेट (static data) देते हैं, तो वह एक सीमा पर आकर रुक जाता है। एक बार जब वह उन किताबों में सब कुछ सीख लेता है, तो वह और अधिक स्मार्ट नहीं हो पाता क्योंकि किताबें उसके बढ़ते कौशल के अनुरूप नहीं बदलतीं।
- भ्रमित करने वाला ट्यूटर (The Hallucinating Tutor): यदि आप रोबोट को खुद से नए अभ्यास प्रश्न बनाने (self-evolution) के लिए छोड़ देते हैं, तो वह अक्सर खुद से झूठ बोलना शुरू कर देता है। वह नकली तर्क और गलत उत्तर बनाता है जो सुनने में तो विश्वसनीय लगते हैं लेकिन वास्तव में निरर्थक होते हैं। इसे "कॉग्निटिव ड्रिफ्ट" (cognitive drift) कहा जाता है।
समाधान: लेखक एक नई विधि प्रस्तावित करते हैं जिसे एंकर इवोल्यूशन (AnE) कहा जाता है। इसे एक "सत्य-आधारित" (Truth-Anchored) ट्रेनिंग कैंप के रूप में समझें जो रोबोट को वास्तविकता से जोड़े रखते हुए उसकी सीमाओं को आगे बढ़ाने में मदद करता है।
AnE कैसे काम करता है: तीन-चरणीय ट्रेनिंग कैंप
यह विधि एक लूप में काम करती है, जैसे अभ्यास, समीक्षा और महारत का चक्र।
1. "फेलिंग फ्रंटियर" खोजना (कमजोरी पहचानने वाला यंत्र)
सबसे पहले, सिस्टम रोबोट को कई समस्याओं को हल करने के लिए कहता है। यह केवल यह नहीं देखता कि रोबोट ने उत्तर सही दिया या गलत; यह यह भी देखता है कि रोबोट ने कैसे सोचा।
- एनालॉजी (उपमा): कल्पना कीजिए कि एक कोच एक एथलीट को दौड़ते हुए देख रहा है। कोच केवल फिनिश टाइम नहीं देखता। वे ठीक उस जगह को नोटिस करते हैं जहाँ एथलीट लड़खड़ाया या भ्रमित हुआ।
- पेपर का दावा: सिस्टम उन विशिष्ट प्रकार की समस्याओं की पहचान करता है जहाँ रोबकी लगातार विफल होता है। ये "फेलिंग फ्रंटियर" क्षेत्र हैं—उस सीमा का किनारा जो रोबोट वर्तमान में जानता है।
2. "ट्रुथ एंकर एक्सपेंशन" (रियलिटी चेक)
एक बार जब रोबोट की कमजोरियां मिल जाती हैं, तो सिस्टम को उन कमियों को ठीक करने के लिए नए अभ्यास प्रश्न बनाने की आवश्यकता होती है।
- पुराने तरीकों के साथ समस्या: पिछले तरीके एक "टीचर AI" से नए प्रश्न बनाने के लिए कहते थे। लेकिन टीचर AI गलतियाँ कर सकता है या काल्पनिक तथ्य बना सकता है, जिससे छात्र रोबोट झूठ के दलदल में फंस सकता है।
- AnE समाधान: चीजें बनाने के बजाय, AnE वास्तविक दुनिया के डेटा की एक विशाल, सत्यापित लाइब्रेरी (एक "ग्राउंड-ट्रुथ डेटाबेस") में जाता है। यह उन वास्तविक, सही उदाहरणों की खोज करता है जो रोबोट द्वारा की गई विशिष्ट गलती से मेल खाते हैं।
- एनालॉजी: यदि एक छात्र "भिन्न (fractions) जोड़ने" में बार-बार फेल हो रहा है, तो एक बुरा शिक्षक एक फर्जी नियम बना सकता है। एक अच्छा शिक्षक (AnE) वास्तविक गणित की पाठ्यपुस्तकों के पास जाता है, वास्तविक, सत्यापित भिन्न वाले प्रश्नों को ढूंढता है, और कहता है, "यहाँ वास्तविक उदाहरण दिए गए हैं जो ठीक उसी चीज़ के बारे में हैं जिसमें तुम्हें कठिनाई हो रही थी।" ये वास्तविक उदाहरण ही "ट्रुथ एंकर्स" (सत्य के लंगर) हैं। वे प्रशिक्षण को वास्तविकता में बनाए रखते हैं।
3. "स्कैफोल्ड-स्ट्रिपिंग मैकेनिज्म" (ट्रेनिंग व्हील्स लगाना, फिर हटाना)
अब रोबोट के पास वास्तविक समस्याएं हैं, लेकिन वे अभी भी उसके लिए इतनी कठिन हो सकती हैं कि वह उन्हें अकेले हल न कर सके।
- चरण A: स्कैफोल्डिंग (ट्रेनिंग व्हील्स): सिस्टम "टीचर AI" को लेता है और उससे समस्या के लिए एक उपयोगी संकेत या स्टेप-बाय-स्टेप गाइड देने के लिए कहता है। रोबोट इस मदद के साथ समस्या को हल करने का अभ्यास करता है। इसे "स्कैफोल्ड-ऑगमेंटेड सुपरविजन" कहा जाता है।
- एनालॉजी: यह एक ड्राइविंग इंस्ट्रक्टर की तरह है जो बगल वाली सीट पर बैठा है और कह रहा है, "यहाँ स्टीयरिंग घुमाओ, फिर एक्सीलेटर दबाओ।" छात्र सहायता के साथ चाल (logic) सीखता है।
- चरण B: स्ट्रिपिंग (पहियों को हटाना): एक बार जब रोबोट संकेतों के साथ अभ्यास कर लेता है, तो सिस्टम संकेतों को हटा देता है। रोबोट को फिर उन्हीं समस्याओं को अपने दम पर हल करने के लिए 'रीइन्फोर्समेंट लर्निंग' (RL) का उपयोग करके टेस्ट किया जाता है।
- एनालॉजी: इंस्ट्रक्टर कार से बाहर निकल जाता है। अब छात्र को उसी रास्ते पर अकेले गाड़ी चलानी होगी। यदि वह सफल होता है, तो यह साबित होता है कि उसने वास्तव में कौशल सीखा है, न कि केवल इंस्ट्रक्टर की आवाज़ को याद किया है।
यह बेहतर क्यों है (परिणाम)
पेपर ने इस विधि का परीक्षण Qwen2.5-VL-7B नामक रोबोट पर किया।
- परिणाम: इस "एंकर इवोल्यूशन" लूप का उपयोग करके, रोबोट ने आठ अलग-अलग कठिन बेंचमार्क (जैसे MathVision और EMMA) पर अपने रीजनिंग कौशल में 10.3% का सुधार किया।
- तुलना:
- स्टैटिक ट्रेनिंग: रोबोट एक दीवार से टकरा गया और सुधार करना बंद कर दिया।
- सेल्फ-इवोल्यूशन: रोबोट भ्रमित हो गया, उसने कल्पना (hallucination) करना शुरू कर दिया (तथ्य बनाना), और समय के साथ वास्तव में बदतर हो गया।
- AnE: रोबोट बिना अपना मानसिक संतुलन खोए, दौर-दर-दौर स्मार्ट होता गया।
एक वाक्य में सारांश
एंकर इवोल्यूशन (Anchor Evolution) एक ऐसी प्रशिक्षण विधि है जो ठीक से पता लगाती है कि रोबोट कहाँ विफल हो रहा है, उन विशिष्ट कमजोरियों को ठीक करने के लिए एक डेटाबेस से वास्तविक, सत्यापित उदाहरण निकालती है, और फिर "ट्रेनिंग व्हील्स" वाले दृष्टिकोण का उपयोग करके रोबोट को उन समस्याओं को अपने आप हल करना सिखाती है, जिससे यह सुनिश्चित होता है कि वह नकली तर्क में खोए बिना वास्तविक तर्क कौशल सीखे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।