How Hard Does It Think? Analyzing Step-Aware Reasoning Energy in LLM Chain-of-Thought Trajectories
यह शोध पत्र स्टेप-अवेयर रीजनिंग एनर्जी (SARE) प्रस्तुत करता है, जो सेंटर्ड कर्नेल अलाइनमेंट का उपयोग करने वाला एक ज्यामितीय ढांचा है जो व्यक्तिगत चेन-ऑफ-थॉट स्टेप स्तर पर कम्प्यूटेशनल प्रयास को परिमाणित करता है, जो पारंपरिक आउटपुट-स्तरीय मेट्रिक्स की तुलना में तर्क संबंधी सफलता की अधिक प्रभावी ढंग से भविष्यवाणी करने वाले गैर-समान ऊर्जा वितरण और चरण-समान संक्रमणों को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जादूगर को टोपी से खरगोश निकालते हुए देख रहे हैं। बाहर से देखने पर, यह एक सहज, जादुई करतब जैसा दिखता है। लेकिन यदि आप जादूगर के मस्तिष्क के भीतर झाँक सकें, तो आपको विचारों का एक अराजक मिश्रण दिखाई देगा: "क्या खरगोश तैयार है? क्या मैंने गलत टोपी छिपा दी? रुको, क्या वह एक कबूतर है?" लंबे समय तक, आर्टिफिशियल इंटेलिजेंस (AI) का अध्ययन करने वाले वैज्ञानिक केवल उस दर्शक की तरह थे, जो केवल अंतिम करतब—कंप्यूटर द्वारा दिया गया उत्तर—देख सकते थे। वे देख नहीं पा रहे थे कि अंदर कितनी मानसिक कसरत चल रही है। हाल ही में, शोधकर्ताओं ने एक तरीका खोजा जिससे वे AI को "ज़ोर से सोचने" (think out loud) के लिए प्रेरित कर सकते हैं, जिसमें उसे अपने चरणों को लिखने के लिए कहा जाता है, जिसे 'चेन-ऑफ-थॉट' (Chain-of-Thought) नामक तकनीक कहा जाता है। यह वैसा ही है जैसे जादूगर से प्रदर्शन करते समय अपनी चालों का वर्णन करने के लिए कहना। लेकिन यहाँ एक पेंच है: केवल इसलिए कि जादूगर बात कर रहा है, इसका मतलब यह नहीं है कि हम समझ गए हैं कि वह प्रत्येक विशिष्ट क्षण में कितनी मेहनत कर रहा है। क्या वह एक जटिल गणित की समस्या से जूझ रहा है, या वह केवल एक तथ्य दोहरा रहा है जिसे उसने याद किया है? अंतर जानना महत्वपूर्ण है क्योंकि यदि हम बता सकें कि AI वास्तव में "काम" कर रहा है या केवल अनुमान लगा रहा है, तो हम तर्क प्रक्रिया में त्रुटियों की पहचान कर पाएंगे।
यह बिल्कुल वही है जिसे पेपर "हाउ हार्ड डज़ इट थिंक?" (How Hard Does It Think?) समझने की कोशिश कर रहा है। लेखक, जो विश्वविद्यालयों और एडोब (Adobe) के शोधकर्ताओं की एक टीम है, एक नया तरीका प्रस्तावित करते हैं जिससे AI द्वारा अपने तर्क के हर एक चरण पर खर्च की जाने वाली "कंप्यूटेशनल ऊर्जा" (computational effort) को मापा जा सके। वे इस नए टूल को स्टेप-अवेयर रीजनिंग एनर्जी (SARE) कहते हैं। केवल अंतिम उत्तर या AI द्वारा स्वयं को दिए गए आत्मविश्वास के स्कोर को देखने के बजाय, SARE एक उच्च-तकनीकी स्टेथोस्कोप की तरह कार्य करता है, जो एक विचार से दूसरे विचार पर जाते समय AI के मस्तिष्क के आंतरिक कंपनों को सुनता है।
इसका मूल विचार यह है: कल्पना कीजिए कि AI का मस्तिष्क विचारों का एक विशाल पुस्तकालय है। जब AI एक सरल तथ्य के बारे में सोचता है, जैसे कि "आकाश नीला है," तो पुस्तकालय में विचार मुश्किल से हिलते हैं; वे अपनी व्यवस्थित पंक्तियों में ही रहते हैं। लेकिन जब AI को एक कठिन पहेली हल करनी होती है, तो विचार नाचने लगते हैं, आपस में जगह बदलते हैं और एक नया संबंध खोजने के लिए खुद को पुनर्गठित करते हैं। शोधकर्ताओं ने पाया कि वे इस "नाच" या पुनर्गठन को माप सकते हैं। यदि AI के मस्तिष्क में विचार प्रक्रिया के दौरान लगातार बदल रहे हैं और पुनर्गठित हो रहे हैं, तो उस चरण में बहुत अधिक ऊर्जा लगती है। यदि विचार स्थिर रहते हैं, तो AI बस बिना प्रयास के आगे बढ़ रहा है।
टीम ने इस विचार का परीक्षण तीन अलग-अलग AI मॉडलों (LLaMA-3.2-3B, Phi-4-mini, और Gemma-3-4B) पर छह विभिन्न प्रकार की चुनौतियों के माध्यम से किया, जिनमें गणित की समस्याओं से लेकर सामान्य ज्ञान की पहेलियाँ शामिल थीं। उन्होंने जो पाया वह बेहद दिलचस्प था। पहला, "ऊर्जा" समान रूप से वितरित नहीं है। यह एक रोलरकोस्टर की तरह है: कुछ चरण (जैसे कि शुरुआत जहाँ AI समस्या को समझता है, या अंत जहाँ वह सब कुछ जोड़ता है) में मानसिक ऊर्जा का एक बड़ा विस्फोट होता है। अन्य चरण, जैसे कि बीच में एक सरल तथ्य को याद करना, बहुत शांत होते हैं और कम ऊर्जा का उपयोग करते हैं।
इससे भी महत्वपूर्ण बात यह है कि उन्होंने विफलता से जुड़े एक स्पष्ट पैटर्न की खोज की। जब कोई AI गलत उत्तर देता है, तो तर्क पथ अक्सर एक ऐसे चरण को दिखाता है जहाँ महत्वपूर्ण क्षण पर कम ऊर्जा गतिविधि होती है। उदाहरण के लिए, यदि AI को अंत में अपने गणित की दोबारा जाँच करनी है, तो एक सही पथ में ऊर्जा का एक बड़ा उछाल (बहुत सारा पुनर्गठन) दिखाई देगा, लेकिन एक गलत पथ में अक्सर एक सपाट रेखा (AI ने जाँच के दौरान बस लापरवाही बरती) दिखाई देती है। यह सुझाव देता है कि AI के आंतरिक विचारों के पुनर्गठन को देखकर, हम गलत परिणामों के साथ एक संबंध की पहचान कर सकते हैं। पेपर स्पष्ट करता है कि यह एक ऑफलाइन विश्लेषण उपकरण है: यह विशिष्ट तर्क जंक्शनों पर विफलता के साथ सह-घटित होने वाले ऊर्जा हस्ताक्षरों को प्रकट करता है, न कि भविष्य की घटनाओं की भविष्यवाणी करता है।
शोधकर्ताओं ने अपने नए "ऊर्जा" मीटर की तुलना पुराने तरीकों से भी की जो केवल यह देखते हैं कि AI कितना आत्मविश्वासी लगता है या वह कितने शब्दों का उपयोग करता है। कई मामलों में, उनका नया तरीका गलतियों को पकड़ने में बेहतर था। वास्तव में, कुछ कठिन सत्य-असत्य (true-or-false) प्रश्नों के लिए, पुराने तरीके पूरी तरह से विफल रहे (शून्य स्कोर किया), जबकि ऊर्जा पद्धति ने त्रुटियों को खोजने का रास्ता ढूंढ लिया।
तो, इसका क्या अर्थ है? यह सुझाव देता है कि AI के सोचने का तरीका केवल एक 'ब्लैक बॉक्स' नहीं है। प्रत्येक चरण के "प्रयास" को मापकर, हम तर्क की छिपी हुई संरचना को देख सकते हैं। पेपर यह दावा नहीं करता है कि उसने AI की सभी समस्याओं को हल कर लिया है, बल्कि यह एक शक्तिशाली नया दृष्टिकोण प्रदान करता है। यह सुझाव देता है कि यदि हम AI को यह पहचानने के लिए सिखा सकें कि वह कब "लापरवाही" (coasting) कर रहा है और उसे सही क्षणों पर अपने विचारों को "पुनर्गठित" करने के लिए मजबूर कर सकें, तो हम इसे अधिक स्मार्ट और विश्वसनीय बना सकते हैं। यह न केवल यह समझने की दिशा में एक कदम है कि AI क्या सोचता है, बल्कि यह भी कि वह कितनी मेहनत से सोच रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।