AIR: Adaptive Interleaved Reasoning with Code in MLLMs
यह शोध पत्र AIR प्रस्तुत करता है, जो एक तीन-घटक समाधान के माध्यम से मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की जटिल संख्यात्मक गणना के लिए कोड के साथ अनुकूली इंटरलीव्ड रीजनिंग (adaptive interleaved reasoning) करने की क्षमता को बढ़ाता है, जिसमें कोल्ड-स्टार्ट डेटा निर्माण, डेटासेट क्यूरेशन और ग्रुप-कंस्ट्रेंड रीइन्फोर्समेंट लर्निंग द्वारा निर्देशित एक अनुकूली टूल-इनवोकेशन रणनीति शामिल है, जिसके परिणामस्वरूप मूल्यांकन बेंचमार्क पर महत्वपूर्ण प्रदर्शन सुधार प्राप्त होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान सहायक है जो चित्र देखने और टेक्स्ट पढ़ने में माहिर है, लेकिन कभी- थक जाता है जब कोई गणित की समस्या भारी गणना (calculation) की मांग करती है। यदि आप इस सहायक को आयतन (volume) से जुड़ी एक जटिल ज्यामिति (geometry) की समस्या हल करने के लिए कहते हैं, तो यह समस्या को अपने "दिमाग" (न्यूरल नेटवर्क) में हल करने की कोशिश कर सकता है और गलती कर सकता है, ठीक वैसे ही जैसे एक इंसान बिना कैलकुलेटर के बड़ी संख्याओं को गुणा करने की कोशिश करते समय गलती कर सकता है।
यह शोध पत्र एक नई प्रणाली पेश करता है जिसे AIR (Adaptive Interleaved Reasoning with Code) कहा जाता है, जो इस सहायक को एक नया सुपरपावर सिखाता है: यह जानना कि कब सोचना बंद करना है और टूल का उपयोग शुरू करना है।
यहाँ AIR कैसे काम करता है, इसे सरल अवधारणाओं में तोड़कर समझाया गया है:
1. मुख्य विचार: "ह्यूमन कैलकुलेटर" सादृश्य (Analogy)
AI को एक परीक्षा देने वाले छात्र के रूप में सोचें।
- पुराना तरीका: छात्र हर समस्या को केवल अपने दिमाग का उपयोग करके हल करने की कोशिश करता है। यदि गणित बहुत कठिन है, तो वह अनुमान लगाता है या गलत हो जाता है।
- AIR का तरीका: छात्र सीखता है कि जब समस्या बहुत पेचीदा हो जाती है, तो वह हाथ उठाकर कैलकुलेटर मांग सकता है। वह नंबर लिखता है, बटन दबाता है, परिणाम प्राप्त करता है, और फिर अपना अंतिम उत्तर लिखता है।
- ट्विस्ट: AI हर सवाल के लिए कैलकुलेटर का उपयोग नहीं करता है। यह अनुकूलनशील (adaptive) होना सीखता है। वह जानता है, "यह सवाल आसान है, मैं इसे अपने दिमाग में कर लूँगा," और "यह सवाल कठिन है, मुझे इसे हल करने के लिए कुछ कोड लिखना होगा।"
2. प्रशिक्षण प्रक्रिया: एक दो-चरणीय यात्रा
शोध पत्र बताता है कि आप मॉडल को केवल "कैलकुलेटर का उपयोग करें" कहकर यह उम्मीद नहीं कर सकते कि वह तुरंत काम करने लगेगा। इसे एक विशिष्ट प्रशिक्षण योजना की आवश्यकता होती है:
चरण 1: "कोल्ड स्टार्ट" (बुनियादी बातें सीखना)
इससे पहले कि AI अपने आप टूल का उपयोग करना सीख सके, उसे उदाहरणों को देखने की आवश्यकता है कि यह कैसे किया जाता है। शोधकर्ताओं ने एक विशेष डेटासेट बनाया जहाँ उन्होंने कठिन गणित की समस्याओं को लिया और मैन्युअल रूप से AI को दिखाया कि "सोचने" (टेक्स्ट) और "गणना करने" (पायथन कोड लिखना) के बीच स्विच कैसे किया जाता है।
- सादृश्य: कल्पना कीजिए कि एक शिक्षक एक छात्र को कुछ हल किए गए उदाहरण दिखाता है जहाँ छात्र कठिन हिस्सों के लिए कैलकुलेटर का उपयोग करता है। यह छात्र को एक बुनियादी टेम्पलेट प्रदान करता है जिसका वह पालन कर सके।
चरण 2: सुदृढीकरण सीखना (Reinforcement Learning - "ट्रायल एंड एरर" चरण)
एक बार जब AI बुनियादी बातें सीख लेता है, तो वह अपने आप अभ्यास करना शुरू करता है। यहीं पर जादू होता है। शोधकर्ताओं ने टूल का उपयोग करने के लिए AI को सिखाने हेतु एक विशेष स्कोरिंग सिस्टम (रिवॉर्ड फंक्शन) का उपयोग किया।
- समस्या: यदि AI बहुत अधिक कैलकुलेटर का उपयोग करता है, तो वह भ्रमित हो जाता है और प्रशिक्षण विफल हो जाता है (जैसे एक छात्र जो अपने दम पर सोचने से इनकार कर देता है)। यदि वह इसका उपयोग बिल्कुल नहीं करता है, तो वह गणितीय गलतियाँ करता रहता है।
- समाधान: शोधकर्ताओं ने एक "ग्रुप-कंस्ट्रेंड रिवॉर्ड" (Group-Constrained Reward) बनाया। कल्पना कीजिए कि एक कोच पूरी टीम के खिलाड़ियों को देख रहा है। कोच केवल उस खिलाड़ी को पुरस्कृत नहीं करता जो स्कोर करता है; वे टीम को कैलकुलेटर का उपयोग करने वाले खिलाड़ियों के सही संतुलन के लिए पुरस्कृत करते हैं।
- यदि AI टूल का बहुत अधिक उपयोग करता है, तो उसे कम स्कोर मिलता है।
- यदि AI सही उत्तर पाने के लिए पर्याप्त मात्रा में टूल का उपयोग करता है, तो उसे उच्च स्कोर मिलता है।
- यह AI को स्थिर रखता है और उसे पागल होने से रोकता है।
3. परिणाम: स्मार्ट और अधिक स्थिर
शोध पत्र का दावा है कि इस प्रशिक्षण के बाद:
- सटीकता (Accuracy): AI गणित की समस्याओं में काफी बेहतर हो गया, विशेष रूप से उन समस्याओं में जिनमें जटिल गणनाओं की आवश्यकता थी। औसतन, इसके स्कोर में लगभग 6 अंकों की वृद्धि हुई, और उन विशिष्ट समस्याओं के लिए जहाँ इसने टूल का उपयोग किया, इसमें लगभग 10 अंकों का सुधार हुआ।
- विश्वसनीयता (Reliability): AI ने सफलतापूर्वक टूल का उपयोग किया जब उसने निर्णय लिया कि उसे इसका उपयोग करना है, तब 95% से अधिक बार।
- स्थिरता (Stability): "ग्रुप-कंस्ट्रेंड" पद्धति ने AI को प्रशिक्षण के दौरान क्रैश होने या अस्थिर होने से रोका, जो कि AI को टूल सिखाने में एक आम समस्या है।
सारांश
संक्षेप में, AIR एक ऐसी विधि है जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (AI जो देख और पढ़ सकते हैं) को एक मानव समस्या-समाधानकर्ता की तरह कार्य करना सिखाती है: वह एक समस्या पर विचार करता है, महसूस करता है कि गणित बहुत कठिन है, गणना को हल करने के लिए एक त्वरित कंप्यूटर स्क्रिप्ट लिखता है, और फिर उत्तर पूरा करता है। मुख्य नवाचार AI को यह सिखाना है कि यह स्वचालित रूप से और सही समय पर यह सब कैसे करे, बिना किसी इंसान के यह बताए कि उसे कब कैलकुलेटर उठाना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।