AlgoTrace: Algorithmic Primitives and Compositional Geometry of Reasoning in Language Models
यह शोध पत्र AlgoTrace को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो लार्ज लैंग्वेज मॉडल्स के लेटेंट स्पेस के भीतर पुन: प्रयोज्य एल्गोरिद्मिक प्रिमिटिव्स की पहचान करता है और उनमें हेरफेर करता है, यह प्रदर्शित करते हुए कि इन वेक्टर्स पर ज्यामितीय ऑपरेशन्स के माध्यम से मल्टी-स्टेप रीजनिंग को निर्देशित और संयोजित किया जा सकता है ताकि क्रॉस-टास्क जनरलाइजेशन को बढ़ाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स आधुनिक आर्टिफिशियल इंटेलिजेंस के इंजन हैं, जो कहानियाँ लिखने, समीकरणों को हल करने और जटिल तर्क पहेलियों को सुलझाने में सक्षम हैं। वर्षों से, वैज्ञानिक यह जानना चाहते थे कि ये सिस्टम वास्तव में कैसे सोचते हैं। क्या वे केवल अपने प्रशिक्षण डेटा से पैटर्न को याद करते हैं, या वे वास्तविक, चरण-दर-चरण तर्क करते हैं? इसका उत्तर देने के लिए, शोधकर्ताओं ने मॉडल्स के भीतर झांकना शुरू कर दिया है, न कि उनके द्वारा लिखे गए शब्दों को, बल्कि उन अदृश्य गणितीय संकेतों को जो काम करते समय उनकी आंतरिक परतों के माध्यम से प्रवाहित होते हैं। ये संकेत, जिन्हें अक्सर 'लेटेंट एक्टिवेशन्स' (latent activations) कहा जाता है, मशीन के भीतर विचार की कच्ची सामग्री हैं। प्रश्न यह था कि क्या ये संकेत एक संरचित मानचित्र बनाते हैं जहाँ विशिष्ट प्रकार की सोच विशिष्ट स्थानों पर होती है, ठीक वैसे ही जैसे मानव मस्तिष्क के विभिन्न भाग विभिन्न कार्यों के लिए विशिष्ट होते हैं। यदि ऐसा कोई मानचित्र मौजूद है, तो इसका अर्थ होगा कि तर्क करना एक अराजक धुंध नहीं है, बल्कि विशिष्ट, पुन: प्रयोज्य मानसिक उपकरणों के परिदृश्य के माध्यम से की जाने वाली एक यात्रा है।
शोधकर्ताओं की एक टीम ने अब इस परिदृश्य का मानचित्र तैयार किया है, जिससे यह पता चला है कि लार्ज लैंग्वेज मॉडल्स वास्तव में समस्याओं को हल करने के लिए बुनियादी, पुन: प्रयोज्य निर्माण खंडों (building blocks) के एक सेट पर निर्भर करते हैं। वे इन निर्माण खंडों को "एल्गोरिद्मिक प्रिमिटिव्स" (algorithmic primitives) कहते हैं। एक प्रिमिटिव को एक बड़ी प्रक्रिया के एकल, मौलिक चरण के रूप में समझें, जैसे कि यात्रा की योजना बनाते समय आपके वर्तमान स्थान के निकटतम शहर को खोजना, या यह जांचना कि क्या कोई गणितीय समीकरण संतुलित है। शोधकर्ताओं ने इन चरणों को मॉडल के भीतर होते हुए ट्रेस करने के लिए एक नई विधि विकसित की। कठिन समस्याओं को हल करते समय मॉडल के आंतरिक संकेतों में होने वाले परिवर्तनों को देखकर, वे विचार के समान क्षणों को एक साथ समूहित करने में सक्षम रहे। उन्होंने पाया कि जब मॉडल एक जटिल पहेली को हल कर रहा होता है, तो वह इन विशिष्ट मानसिक अवस्थाओं के एक क्रम के माध्यम से गुजरता है, ठीक वैसे ही जैसे एक यात्री मानचित्र पर एक शहर से दूसरे शहर की ओर बढ़ता है।
यह समझने के लिए कि क्या हो रहा था, टीम ने मॉडल्स का चार बहुत अलग प्रकार की चुनौतियों पर परीक्षण किया: कई शहरों का दौरा करने वाले ट्रैवलिंग सेल्समैन के लिए सबसे छोटा मार्ग खोजना, सत्य और असत्य कथनों वाली तर्क पlets को हल करना, कठिन गणित प्रतियोगिता की समस्याओं से निपटना, और एक आभासी भूलभुलैया (maze) के माध्यम से रास्ता खोजना। जैसे-जैसे मॉडल्स ने इन कार्यों पर काम किया, शोधकर्ताओं ने प्रत्येक चरण पर आंतरिक संकेतों को रिकॉर्ड किया। उन्होंने इन संकेतों को समूहों (clusters) में बांटने के लिए एक कंप्यूटर प्रोग्राम का उपयोग किया, यह पाते हुए कि जब मॉडल कुछ विशिष्ट कार्य कर रहा होता है, जैसे कि दूरी की गणना करना या समाधान को सत्यापित करना, तो संकेतों के कुछ समूह लगातार दिखाई देते हैं। फिर उन्होंने एक स्वचालित प्रणाली का उपयोग करके उन सटीक क्षणों में मॉडल द्वारा लिखे गए टेक्स्ट को पढ़ा, जिससे पुष्टि हुई कि आंतरिक संकेत बाहरी क्रियाओं से मेल खाते हैं। उदाहरण के लिए, संकेतों का एक क्लस्टर हमेशा तब दिखाई देता था जब मॉडल अगले सबसे नजदीकी शहर को चुनने की प्रक्रिया में होता था, जबकि दूसरा क्लस्टर तब दिखाई देता था जब वह अपने काम की दोबारा जांच कर रहा होता था।
सबसे महत्वपूर्ण खोज यह थी कि ये मानसिक निर्माण खंड केवल निष्क्रिय मार्कर नहीं हैं; उन्हें सक्रिय रूप से नियंत्रित किया जा सकता है। शोधकर्ताओं ने प्रत्येक प्रिमिटिव के लिए एक विशिष्ट "वेक्टर" (vector) निकाला, जो अनिवार्य रूप से मॉडल के आंतरिक स्थान में एक दिशा है। फिर उन्होंने इन वेक्टर्स को मॉडल के सोचने के दौरान वापस उसमें इंजेक्ट किया। जब उन्होंने "निकटतम पड़ोसी खोजने" वाला वेक्टर जोड़ा, तो मॉडल ने तुरंत उस रणनीति का अधिक बार उपयोग करना शुरू कर दिया, भले ही वह विशिष्ट समस्या के लिए सबसे अच्छा दृष्टिकोण न हो। जब उन्होंने "एक नया पथ बनाने" वाला वेक्टर जोड़ा, तो मॉडल ने अधिक विकल्पों की खोज करना शुरू कर दिया। इससे सिद्ध हुआ कि ये आंतरिक संकेत मॉडल के व्यवहार का प्रत्यक्ष कारण हैं। एक विशिष्ट मानसिक स्विच को चालू या बंद करके, शोधकर्ता मॉडल को अलग तरह से सोचने के लिए निर्देशित कर सकते थे, जो यह सुझाव देता है कि मॉडल का तर्क इन विशिष्ट, हेरफेर योग्य भागों से बना है।
अध्ययन ने यह भी दिखाया कि इन निर्माण खंडों को जोड़ा जा सकता है। जिस तरह आप प्राथमिक रंगों को मिलाकर नए रंग बना सकते हैं, शोधकर्ताओं ने पाया कि दो अलग-अलग प्रिमिटिव वेक्टर्स को जोड़ने से एक नया, संयुक्त व्यवहार उत्पन्न होता है। उदाहरण के लिए, वे एक ऐसा वेक्टर ले सकते थे जो मॉडल को एक पथ का अंत खोजने में मदद करता है और दूसरा जो उसे मानों की तुलना करने में मदद करता है, उन्हें मिला सकते थे, और मॉडल अचानक एक अधिक जटिल कार्य करने में सक्षम हो जाता जिसे दोनों कौशलों की आवश्यकता होती। यह सुझाव देता है कि मॉडल की तर्क करने की क्षमता एक एकल, अखंड कौशल नहीं है, बल्कि एक लचीला ज्यामिति है जहाँ सरल संचालन को जटिल समाधानों में असेंबल किया जा सकता है।
इसके अलावा, शोधकर्ताओं ने एक मानक मॉडल की तुलना एक ऐसे मॉडल से की जिसे बेहतर ढंग से तर्क करने के लिए विशेष रूप से प्रशिक्षित किया गया था। उन्होंने पाया कि प्रशिक्षित मॉडल इन निर्माण खंडों का अधिक प्रभावी ढंग से उपयोग करता है। यह अनुमान लगाने (brute-force guessing) के बजाय सत्यापन और योजना जैसे संरचित चरणों पर अधिक निर्भर करता है। प्रशिक्षित मॉडल ने एक प्रकार की समस्या से दूसरे प्रकार की समस्या में इन कौशलों को स्थानांतरित करने की अधिक क्षमता भी दिखाई। एक गणित की समस्या को हल करते समय सीखा गया मानसिक उपकरण सफलतापूर्वक एक नेविगेशन पहेली को हल करने में मदद करने के लिए उपयोग किया जा सकता था। यह इंगित करता है कि प्रशिक्षण प्रक्रिया ने मॉडल को केवल अधिक तथ्य ही नहीं सिखाए, बल्कि विभिन्न डोमेन में इन मौलिक तर्क चरणों को संयोजित और पुन: उपयोग करने की उसकी क्षमता को भी मजबूत किया।
ये निष्कर्ष आर्टिफिशियल इंटेलिजेंस को देखने का एक नया तरीका प्रदान करते हैं। इन मॉडल्स को ब्लैक बॉक्स के रूप में देखने के बजाय जो जादू से उत्तर उत्पन्न करते हैं, अब हम उन्हें एल्गोरिद्मिक चरणों के एक संरचित स्थान में चलने वाली प्रणालियों के रूप में देख सकते हैं। शोधकर्ताओं ने प्रदर्शित किया कि इन चरणों की ज्यामिति को समझकर, हम न केवल यह समझा सकते हैं कि मॉडल गलती क्यों करता है, बल्कि आंतरिक संकेतों को समायोजित करके इसे ठीक भी कर सकते हैं। यह कार्य सुझाव देता है कि अधिक विश्वसनीय और सक्षम आर्टिफिशियल इंटेलिजेंस का मार्ग इन बुनियादी निर्माण खंडों को बेहतर ढंग से संयोजित और सामान्यीकृत करने के लिए इन प्रणालियों को सिखाने में निहित है, जिससे वे उन उपकरणों को संयोजित करके उन समस्याओं को हल कर सकें जिन्हें उन्होंने पहले कभी नहीं देखा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।