Reasoning Structure of Large Language Models
यह शोध पत्र एक स्केलेबल बेंचमार्क और पाइपलाइन प्रस्तुत करता है जो असंरचित तर्क ट्रेसेस (unstructured reasoning traces) को सत्यापन योग्य ग्राफ में परिवर्तित करता है, जिससे पारंपरिक सटीकता और टोकन गणना मेट्रिक्स से परे विफलता मोड के बेहतर निदान और मॉडल व्यवहारों की तुलना के लिए तर्क संरचना और दक्षता का मात्रात्मक विश्लेषण सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दो शेफ को बिल्कुल एक जैसा केक बनाने की कोशिश करते हुए देख रहे हैं। दोनों शेफ अंत में आपको एक बेहतरीन, स्वादिष्ट केक थमा देते हैं। यदि आप केवल अंतिम उत्पाद को देखते हैं, तो आपको लग सकता है कि दोनों ने एक ही काम किया है। लेकिन क्या होगा अगर एक शेफ ने एक सटीक, चरण-दर-चरण रेसिपी का पालन किया, जबकि दूसरे ने रसोई में इधर-उधर घूमकर, दस अलग-अलग सामग्रियों को आज़माया, कुछ बैच जला दिए, और अंत में गलती से सही मिश्रण ढूंढ निकाला?
लंबे समय तक, जब हम AI "रीज़निंग" (तर्क करने वाले) मॉडल्स का परीक्षण करते थे, तो हम केवल अंतिम केक (उत्तर) या प्रक्रिया का वर्णन करने के लिए उन्होंने कितने शब्दों का उपयोग किया (टोकन काउंट) को देखते थे। यह शोध पत्र तर्क देता है कि यह एक शेफ को केवल केक के स्वाद से आंकने जैसा है, इस बात को नज़रअंदाज़ करते हुए कि क्या वह वास्तव में खाना बनाना जानता था या वह सिर्फ भाग्यशाली था।
यहाँ शोधकर्ताओं ने पर्दे के पीछे झाँकने के लिए क्या किया, इसे सरल भाषा में समझाया गया है:
1. पहेली का खेल का मैदान (The Puzzle Playground)
AI को निबंध लिखने या कोई अस्पष्ट पहेली सुलझाने के लिए कहने के बजाय, शोधकर्ताओं ने उन्हें 21 अलग-अलग लॉजिक पहेलियाँ दीं (जैसे "टेंट्स", जहाँ आपको सख्त नियमों के आधार पर पेड़ों के पास टेंट लगाने होते हैं)। ये पहेलियाँ मस्तिष्क के लिए एक नियंत्रित जिम की तरह हैं। इनके नियम स्पष्ट हैं, और आप इसमें धोखाधड़ी नहीं कर सकते; या तो आप इसे हल करते हैं या आप हार जाते हैं। शोधकर्ताओं ने इन पहेलियों को कठिन से कठिन बनाया, जैसे बारबेल पर वजन बढ़ाना।
2. शब्दों को मानचित्र में बदलना
जब एक AI किसी पहेली को हल करता है, तो वह आमतौर पर विचारों की एक लंबी धारा (एक "ट्रेस") लिखता है। शोधकर्ताओं ने एक विशेष उपकरण बनाया जो इस अव्यवस्थित टेक्स्ट को एक विजुअल मैप (ग्राफ) में बदल देता है।
- नोड्स (बिंदु): प्रत्येक बिंदु AI द्वारा बनाया गया एक एकल तथ्य या दावा है (जैसे, "इस स्थान पर एक पेड़ है")।
- एजेस (रेखाएँ): रेखाएँ बिंदुओं को जोड़ती हैं ताकि यह दिखाया जा सके कि एक तथ्य दूसरे तथ्य की ओर कैसे ले जाता है (जैसे, "क्योंकि यहाँ एक पेड़ है, इसलिए वहाँ एक टेंट होना ही चाहिए")।
यह एक पैराग्राफ के टेक्स्ट को एक संरचित आरेख (डायग्राम) में बदल देता है जिसे आप माप सकते हैं।
3. नया स्कोरकार्ड: "रीज़निंग एफिशिएंसी" (तर्क दक्षता)
शोधकर्ताओं ने एक नया मीट्रिक पेश किया जिसे एफिशिएंसी () कहा जाता है। इसे AI की सोच कितनी "केंद्रित" है, यह मापने के रूप में समझें।
- उच्च दक्षता (लेज़र): AI का मैप एक सीधी, संकीर्ण सुरंग की तरह दिखता है। यह आवश्यक तथ्यों को इकट्ठा करता है और बिना भटके सीधे समाधान की ओर बढ़ता है।
- कम दक्षता (कोहरा): AI का मैप एक उलझे हुए मकड़ी के जाल जैसा दिखता है। यह कई गलत रास्तों (dead ends) की खोज करता है, एक ही तथ्यों को बार-बार दोहराता है, और समस्या के किनारों पर भटकता रहता है (शायद) इससे पहले कि उत्तर मिल सके।
4. उन्होंने क्या खोजा
इस मैप और एफिशिएंसी स्कोर का उपयोग करके, उन्होंने कुछ आश्चर्यजनक चीजें पाईं जो पुराने "अंतिम उत्तर" वाले स्कोर से छूट गई थीं:
- अधिक शब्द बेहतर सोच: सिर्फ इसलिए कि एक AI अधिक शब्दों (टोकन्स) का उपयोग करता है, इसका मतलब यह नहीं है कि वह बेहतर सोच रहा है। वास्तव में, शोधकर्ताओं ने पाया कि अतिरिक्त शब्द अक्सर AI द्वारा खुद को "दोबारा जांचने" या चक्कर काटने के कारण थे, न कि वास्तव में समस्या को हल करने के कारण।
- "डिफ्यूज" (बिखराव) की समस्या: कुछ मॉडल्स सही उत्तर तो दे देते थे लेकिन उनका मैप बहुत ही अस्त-व्यस्त और बिखरा हुआ होता था। वे एक ऐसे जासूस की तरह थे जिसने अपराधी को तो ढूंढ लिया, लेकिन पहले उसे 50 निर्दोष लोगों का इंटरव्यू लेना पड़ा। अन्य मॉडल "केंद्रित" थे, जो एक साफ, सीधे रास्ते के साथ उत्तर ढूंढते थे।
- कठिनाई की दीवार: जैसे-जैसे पहेलियाँ कठिन होती गईं, AI मॉडल्स विफल होने लगे। भले ही शोधकर्ताओं ने उन्हें शब्दों (कंप्यूटिंग पावर) का विशाल मात्रा में उपयोग करने की अनुमति दी, फिर भी मॉडल्स सबसे कठिन पहेलियों को हल नहीं कर सके। यह स्पष्ट है कि केवल AI को "सोचने" (अधिक टोकन्स) के लिए अधिक समय देने से मौलिक तर्क संबंधी कमियों को ठीक नहीं किया जा सकता।
- संरचना मायने रखती है: "एफिशिएंसी" स्कोर एक ऐसे मॉडल के बीच अंतर बता सकता था जो स्मार्ट और केंद्रित था, बनाम एक ऐसा मॉडल जो केवल अनुमान लगा रहा था और चेक कर रहा था, भले ही दोनों का अंतिम स्कोर समान हो।
निष्कर्ष (The Bottom Line)
यह शोध पत्र हमें AI की सोच को देखने का एक नया तरीका देता है। केवल यह पूछने के बजाय कि, "क्या उसने उत्तर सही दिया?" अब हम पूछ सकते हैं, "वह वहां तक कैसे पहुँचा?"
यह उस छात्र के बीच का अंतर है जो उत्तर कुंजी (answer key) को रट लेता है और उस छात्र के बीच का अंतर है जो वास्तव में गणित को समझता है। शोधकर्ताओं ने तर्क के चरणों को मैप करके "समझने" वाले हिस्से को देखने के लिए एक उपकरण बनाया, यह साबित करते हुए कि AI कैसे तर्क करता है, यह उतना ही महत्वपूर्ण है जितना कि वह क्या उत्तर देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।