Reason Wide, Not Deep: Amortizing the Reasoning Premium into Distilled Skills
यह शोध पत्र मौजूदा प्रक्षेप पथों (trajectories) के एक छोटे संग्रह से संक्षिप्त प्राकृतिक-भाषा कौशल को गैर-तर्क (non-reasoning) मॉडलों में आसतित (distill) करके तर्क मॉडलों की उच्च टोकन लागत को कम करने का प्रस्ताव देता है, जो गहन, प्रति-मामला खोज (per-instance search) के स्थान पर व्यापक, एक-बार के संग्रह आसतीकरण (corpus distillation) का उपयोग करके, एजेंटिक बेंचमार्क पर तुलनीय या बेहतर प्रदर्शन प्राप्त करते हुए काफी कम टोकन उत्सर्जित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द ग्रेट टोकन टैक्स एंड द मैजिक रेफरेंस शीट
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को घर के काम करना सिखाने की कोशिश कर रहे हैं, जैसे कि एक बिखरे हुए कमरे को व्यवस्थित करना या किसी कठिन गणित की समस्या को हल करना। आर्टिफिशियल इंटेलिजेंस की दुनिया में, "रीजनिंग" (तर्क करने) नामक एक लोकप्रिय तकनीक है। यह रोबोट को काम करने से पहले "ज़ोर से सोचने" जैसा निर्देश देने जैसा है। केवल एक मोज़ा उठाने के बजाय, रोबोट रुकता है और कहता है, "ठीक है, मुझे मोज़ा ढूँढना चाहिए, यह देखना चाहिए कि क्या यह साफ़ है, और फिर इसे टोकरी में रखना चाहिए।" यह "सोचने" वाला हिस्सा रोबोट को कठिन कार्यों में बहुत बेहतर बनाता है, लेकिन इसकी एक भारी कीमत चुकानी पड़ती है: यह हर बार बहुत अधिक डिजिटल ऊर्जा (जिसे "टोकन" कहा जाता है) खर्च करता है। यह बिल्कुल वैसा ही है जैसे हर बार एक परिचित रास्ते पर गाड़ी चलाने पर टोल टैक्स देना, भले ही आपने वह रास्ता हज़ार बार तय किया हो। रोबोट बार-बार उन्हीं सरल नियमों को फिर से बनाने में अपनी ऊर्जा बर्बाद करता है, जिन्हें उसे पहले से पता होना चाहिए।
बड़ा सवाल जो शोधकर्ता पूछ रहे हैं: क्या हम रोबोट को ये नियम एक बार सिखा सकते हैं, ताकि उसे हर बार इनके बारे में "सोचना" न पड़े? यदि हम रोबोट को चीज़ों को करने के सबसे अच्छे तरीकों का एक स्थायी "रेफरेंस शीट" (संदर्भ पत्र) दे सकें, तो क्या वह "सोचने वाले" रोबोट जितना ही स्मार्ट बन सकता है, लेकिन बिना उस महंगे ऊर्जा बिल के? यह COLM 2026 वर्कशॉप के नए शोध का केंद्र है, जो एक चतुर तरीके की खोज करता है जिससे बुद्धिमत्ता खोए बिना ऊर्जा बचाई जा सके।
पेपर का बड़ा विचार: "रीजन वाइड, नॉट डीप" (व्यापक रूप से तर्क करें, गहराई में नहीं)
इस अध्ययन के पीछे के शोधकर्ताओं ने, माइक्रोसॉफ्ट के साथ मिलकर, यह गौर किया कि ये "रीजनिंग" (तर्क करने वाले) रोबोट कैसे काम करते हैं। जब वे समान कार्यों की एक श्रृंखला को संभालते हैं—जैसे किसी स्टोर में ग्राहक की मदद करना या स्प्रेडशीट को व्यवस्थित करना—तो वे अपना एक बड़ा हिस्सा पहिए का पुन: आविष्कार करने में बिता देते हैं। वे बार-बार तर्क कर सकते हैं, "मुझे ग्राहक का अकाउंट टूल तब तक नहीं बुलाना चाहिए जब तक वे मुझे ईमेल न दे दें," भले ही यह नियम कभी न बदले। यह एक ऐसे छात्र की तरह है जो, हर बार गणित का टेस्ट देने पर, को शून्य से फिर से खोजने की कोशिश करता है, बजाय इसके कि वह इसे बस याद रखे।
टीम ने एक समाधान प्रस्तावित किया जिसे वे पैसिव स्किल डिस्टिलेशन (Passive Skill Distillation) कहते हैं। रोबोट को हर बार गहराई से "सोचने" के लिए मजबूर करने के बजाय (जो कि हर किताब के लिए लाइब्रेरी में गहरी खोज करने जैसा है), उन्होंने पैटर्न खोजने के लिए कई पिछले प्रयासों में से एक "वाइड सर्च" (व्यापक खोज) करने का निर्णय लिया।
उन्होंने इसे इस प्रकार किया:
- संग्रह (The Collection): उन्होंने पिछले प्रयासों का एक छोटा ढेर (लगभग 35 से 50 कार्य) इकट्ठा किया जहाँ एक रोबोट ने समस्याओं को हल करने की कोशिश की थी। ये वे प्रयास हो सकते थे जहाँ रोबोट "सोच" रहा था या बिना सोचे सिर्फ "कार्य" कर रहा था।
- विश्लेषक (The Analyst): उन्होंने यह डेटा एक अलग, बहुत स्मार्ट कोडिंग रोबोट (एक "एजेंट") को सौंपा। उन्होंने इस विश्लेषक से लॉग्स (रिकॉर्ड) देखने, यह पता लगाने के लिए कहा कि रोबोट कहाँ विफल हुआ, और क्यों विफल हुआ।
- रेफरेंस शीट (The Reference Sheet): विश्लेषक रोबोट ने साधारण अंग्रेजी में नियमों का एक छोटा, सरल सेट लिखा (लगभग 40 से 130 पंक्तियाँ)। उदाहरण के लिए, वह लिख सकता है: "यूज़र की आईडी खोजने से पहले, सुनिश्चित करें कि ईमेल एड्रेस वास्तव में मैसेज में मौजूद है, अन्यथा आपको एरर मिलेगा।"
- इंजेक्शन (The Injection): उन्होंने इस छोटे "स्किल" (कौशल) को लिया और इसे गैर-सोचने वाले रोबोट के सिस्टम निर्देशों में डाल दिया। अब, रोबोट को नियम याद रखने के लिए "सोचने" की आवश्यकता नहीं है; वह बस रेफरेंस शीट पढ़ता है और कार्य करता है।
उन्होंने क्या पाया: स्मार्ट, तेज़ और सस्ता
परिणाम आश्चर्यजनक रूप से अच्छे थे। जब उन्होंने इन "रेफरेंस शीट" वाले रोबोटों का चार अलग-अलग चुनौतीपूर्ण बेंचमार्क (जैसे वर्चुअल घर व्यवस्थित करना, स्प्रेडशीट ठीक करना और कस्टमर सर्विस कॉल संभालना) पर परीक्षण किया, तो कौशल से लैस रोबोटों ने महंगे "सोचने वाले" रोबोटों के लगभग बराबर, या कभी-कभी उनसे भी बेहतर प्रदर्शन किया।
- स्कोर: कुछ परीक्षणों में, कौशल-संवर्धित (skill-enhanced) गैर-सोचने वाला रोबोट सोचने वाले रोबोट से भी आगे निकल गया। उदाहरण के लिए, ALFWorld (एक वर्चुअल घर व्यवस्थित करने) नामक कार्य में, कौशल-संवर्धित रोबोट का स्कोर 0.787 था, जबकि सोचने वाले रोबोट का स्कोर केवल 0.713 था।
- बचत: सोचने वाले रोबोटों ने कौशल-संवर्धित रोबोटों की तुलना में 3 से 6 गुना अधिक आउटपुट टोकन का उपयोग किया। कुछ मामलों में, कौशल-संवर्धित रोबोट ने 2.7 से 6 गुना कम टोकन का उपयोग किया।
- लागत: इस रेफरेंस शीट को बनाना अविश्वसनीय रूप से सस्ता था। कौशल उत्पन्न करने के लिए प्रति डोमेन केवल 2.44 खर्च हुए, जबकि सोचने वाले रोबोट हर कार्य चलाने पर वह "टैक्स" चुकाते रहते हैं।
ट्विस्ट: आपको "सोचने वाले" लॉग्स की आवश्यकता नहीं है
सबसे दिलचस्प निष्कर्षों में से एक यह था कि शोधकर्ताओं को एक अच्छा रेफरेंस शीट बनाने के लिए वास्तव में "सोचने वाले" लॉग्स की आवश्यकता नहीं थी। उन्होंने केवल उन रोबोटों के लॉग्स का उपयोग करके कौशल बनाने की कोशिश की जो नहीं सोचते थे (वे जो केवल कार्य करते थे और अक्सर विफल हो जाते थे)। आश्चर्यजनक रूप से, ये कौशल "सोचने वाले" लॉग्स से बने कौशल के समान ही अच्छे थे।
वास्तव में, एक विशिष्ट परीक्षण (SpreadsheetBench) के लिए, "गैर-सोचने वाले" विफलताओं से बना कौशल, सोचने वाले लॉग्स से बने कौशल से 10 अंक बेहतर था। शोधकर्ता सुझाव देते हैं कि ऐसा इसलिए है क्योंकि "सोचने वाले" लॉग्स रोबोट के आंतरिक संवाद से भरे होते हैं कि उसने क्या सोचा था, जबकि "गैर-सोचने वाले" लॉग्स दिखाते हैं कि वास्तविक दुनिया में वास्तव में क्या गलत हुआ। यह ड्राइविंग सीखने जैसा है: ड्राइवर के मैनुअल (सोचने वाला लॉग) को पढ़ना मददगार है, लेकिन कार के फुटपाथ से टकराने का वीडियो (विफलता का लॉग) देखना आपको ठीक से सिखाता है कि क्या नहीं करना है।
जहाँ रेफरेंस शीट काम नहीं करती
शोधकर्ताओं ने सावधानीपूर्वक नोट किया कि यह हर चीज़ के लिए जादू की छड़ी नहीं है। रेफरेंस शीट उन नियमों के लिए सबसे अच्छी काम करती है जो हमेशा एक जैसे रहते हैं, जैसे "हमेशा टूल को कॉल करने से पहले ईमेल चेक करें।" हालाँकि, उन कार्यों के लिए जिनमें हर समस्या के लिए अद्वितीय, चरण-दर-चरण तर्क की आवश्यकता होती है—जैसे कि एक जटिल स्प्रेडशीट जहाँ प्रत्येक सेल एक अलग वेरिएबल पर निर्भर करता है, या एक कस्टमर सर्विस कॉल जिसमें एक बहुत ही विशिष्ट, अजीब इतिहास होता है—रेफरेंस शीट उतनी मदद नहीं कर सकी। उन मामलों में, "गहरी खोज" के रूप में सोचना अभी भी आवश्यक है।
निचोड़
यह पेपर आर्टिफिशियल इंटेलिजेंस को देखने के एक नए तरीके का सुझाव देता है। हर सिंगल टास्क के लिए हर रोबोट को गहराई से "सोचने" के लिए मजबूर करने के बजाय, हम उन्हें सामान्य पैटर्न एक बार और हमेशा के लिए सिखा सकते हैं। कई पिछली गलतियों के माध्यम से एक "वाइड सर्च" करके, हम रोबोट को एक स्थायी कौशल सेट दे सकते हैं जो उन्हें उनके "सोचने वाले" समकक्षों की तुलना में तेज़, सस्ता और कभी-कभी अधिक स्मार्ट बनाता है। यह साबित होता है कि कई कार्यों के लिए, आपको हर बार पहिए का पुन: आविष्कार करने की आवश्यकता नहीं है; आपको बस एक अच्छे मानचित्र की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।