Can Large Language Models Generalize Procedures Across Representations?
यह शोध पत्र प्रदर्शित करता है कि एक दो-चरणीय सुदृढीकरण अधिगम (reinforcement learning) पाठ्यक्रम, जो बड़े भाषा मॉडलों को क्रमवार रूप से प्रतीकात्मक डेटा (कोड/ग्राफ) और उसके बाद प्राकृतिक भाषा पर प्रशिक्षित करता है, प्रक्रियात्मक कार्यों के क्रॉस-रिप्रजेंटेशन सामान्यीकरण को सक्षम बनाता है, जिससे एक छोटा 1.5B मॉडल GPT-4o के ज़ीरो-शॉट प्लानिंग प्रदर्शन के बराबर प्रदर्शन करने में सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को केक बनाना सिखा रहे हैं। आपके पास उसे निर्देश देने के तीन तरीके हैं:
- प्राकृतिक भाषा (Natural Language): एक किताब में लिखी रेसिपी ("मैदा मिलाएं, फिर अंडे डालें...")।
- कोड (Code): एक कंप्यूटर प्रोग्राम जो चरणों और समय की सूची देता है।
- ग्राफ (Graph): एक फ्लोचार्ट जिसमें तीर (arrows) दिखाते हैं कि कौन सा चरण अगले चरण से पहले होना चाहिए।
बड़ा सवाल जो यह शोध पत्र पूछता है, वह यह है: यदि आप रोबोट को फ्लोचार्ट (ग्राफ) या कोड का उपयोग करके सिखाते हैं, तो क्या वह स्वचालित रूप से लिखित रेसिपी (प्राकृतिक भाषा) का पालन करना जान जाएगा?
शोधकर्ताओं ने पाया कि इसका उत्तर ज्यादातर नहीं है।
समस्या: "भाषा की बाधा" (The "Language Barrier")
लेखकों ने पाया कि लार्ज लैंग्वेज मॉडल्स (LLMs) उन छात्रों की तरह हैं जो निर्देशों के फॉर्मेट को याद करने में बहुत अच्छे हैं लेकिन उनके पीछे के तर्क (logic) को समझने में खराब हैं।
- "सिंगल-फॉर्मेट" का जाल (The "Single-Format" Trap): यदि आप एक रोबोट को केवल फ्लोचार्ट पर प्रशिक्षित करते हैं, तो वह फ्लोचार्ट का उस्ताद बन जाता है। लेकिन यदि आप फिर उसे एक लिखित रेसिपी का उपयोग करके कोई समस्या हल करने के लिए कहते हैं, तो वह भ्रमित हो जाता है। वह यह नहीं समझ पाता कि फ्लोचार्ट में "चरण A को चरण B से पहले होना चाहिए" और वाक्य में "पहले A करें, फिर B करें" बिल्कुल एक ही नियम है।
- "आलसी" शॉर्टकट (The "Lazy" Shortcut): जब रोबोट एक नए फॉर्मेट में उत्तर का अनुमान लगाने की कोशिश करता है, तो वह अक्सर एक आलसी शॉर्टकट लेता है। चरणों के जटिल क्रम (क्रिटिकल पाथ) को समझने के बजाय, वह बस सभी समयों को जोड़ देता है। यह वैसा ही है जैसे कोई काम पर जाने के सबसे तेज़ रास्ते का पता लगाने के लिए हर संभावित सड़क के समय को जोड़ने की कोशिश करे, बजाय इसके कि वह वास्तव में सबसे छोटा रास्ता खोजे।
समाधान: दो चरणों वाला प्रशिक्षण शिविर (A Two-Stage Training Camp)
चूंकि रोबोट इसे खुद से "समझ" नहीं सका, इसलिए लेखकों ने इसे ठीक करने के लिए एक विशेष प्रशिक्षण पाठ्यक्रम (पाठ योजना) तैयार किया। इसे एक वाद्य यंत्र सीखने की तरह समझें:
- चरण 1: गणित की कक्षा (प्रतीकात्मक प्रशिक्षण - Symbolic Training): पहले, वे रोबोट को "कठिन" फॉर्मेट (कोड और फ्लोचार्ट) का उपयोग करके सिखाते हैं। यह रोबोट को फैंसी शब्दों से विचलित हुए बिना प्रक्रिया के सख्त, तार्किक नियमों को सीखने के लिए मजबूर करता है। यह संगीत के गाने बजाने की कोशिश करने से पहले संगीत के सिद्धांत सीखने जैसा है।
- चरण 2: जैम सेशन (प्राकृतिक भाषा अनुकूलन - Natural Language Adaptation): एक बार जब रोबोट तर्क समझ जाता है, तो वे उसे प्राकृतिक भाषा (रेसिपी) का उपयोग करके सिखाना शुरू करते हैं। क्योंकि रोबोट पहले से ही चरण 1 से नियम जानता है, अब वह उन्हें नई भाषा में लागू कर सकता है।
परिणाम: यह दो-चरणीय विधि अद्भुत काम करती है। इस तरह प्रशिक्षित एक छोटा रोबोट (1.5 बिलियन पैरामीटर्स वाला) लगभग उतना ही अच्छा प्रदर्शन करता है जितना कि एक विशाल, सुपर-स्मार्ट रोबोट (GPT-4o) जो इस विशिष्ट प्रशिक्षण को पहले कभी नहीं देख पाया।
गुप्त सामग्री: "जेनेरेटिव एनालॉजी" (The Secret Ingredient: "Generative Analogy")
यह क्यों काम किया? पेपर सुझाव देता है कि रोबोट ने जेनेरेटिव एनालॉजी का उपयोग करना सीख लिया।
- आवृत्ति बनाम एनालॉजी (Frequency vs. Analogy):
- आवृत्ति (Frequency) यह याद रखने जैसा है कि "राजा + रानी = शाही" क्योंकि आपने इसे दस लाख बार देखा है।
- एनालॉजी (Analogy) शब्दों के बीच के संबंध को समझना है ताकि आप उन्हें नई चीजों पर लागू कर सकें (जैसे, "डॉक्टर + नर्स = अस्पताल की टीम")।
- शोधकर्ताओं ने पाया कि सफल रोबोट केवल पैटर्न को याद नहीं कर रहे थे; वे एक मानसिक पुल बना रहे थे। उन्होंने महसूस किया, "ओह, यह फ्लोचार्ट संरचना इस वाक्य की संरचना के समान (analogous) है।" दो-चरणीय प्रशिक्षण ने उन्हें वह पुल बनाने के लिए मजबूर किया।
सावधानी: यह जादू नहीं है (अभी तक)
पेपर रोबोट और मनुष्यों के बीच एक महत्वपूर्ण अंतर बताता है:
- मनुष्य उन जीनियस की तरह हैं जो एक बार फ्लोचार्ट देख सकते हैं और तुरंत समझ सकते हैं कि रेसिपी कैसे लिखनी है। हम तुरंत सामान्यीकरण (generalize) कर लेते हैं।
- रोबोट मेहनती छात्रों की तरह हैं जिन्हें दूसरे फॉर्मेट में सफलतापूर्वक लागू करने से पहले एक लंबे समय तक एक फॉर्मेट में तर्क का अभ्यास करने की आवश्यकता होती है। उन्हें उस कनेक्शन को बनाने के लिए उस "अतिरिक्त होमवर्क" (दो-चरणीय प्रशिक्षण) की आवश्यकता होती है।
सारांश
यह पेपर सिद्ध करता है कि केवल AI को कोड या ग्राफ पर प्रशिक्षित करने से वह प्राकृतिक भाषा के कार्यों में स्वतः कुशल नहीं हो जाता है। हालांकि, यदि आप पहले उसे तर्क (कोड/ग्राफ का उपयोग करके) सिखाते हैं और फिर उसे भाषा सिखाते हैं, तो वह उन तार्किक नियमों को मानवीय भाषा में अनुवाद करना सीख सकता है। यह AI को एक पैटर्न-याद करने वाले से बदलकर एक वास्तविक समस्या-समाधानकर्ता में बदल देता है जो चरणों के पीछे के "क्या" के बजाय "क्यों" को समझ सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।