💬 NLP

Intention Collapse: Intention-Level Metrics for Reasoning in Language Models

यह शोध पत्र भाषा मॉडल के तर्क (reasoning) का विश्लेषण करने के लिए "इंटेंशन कोलैप्स" (intention collapse) को एक ढांचे के रूप में प्रस्तुत करता है, जो एंट्रॉपी (entropy), प्रभावी आयामीता (effective dimensionality) और रिकवरेबिलिटी (recoverability) मेट्रिक्स के माध्यम से प्री-जनरेशन आंतरिक अवस्थाओं को मापता है, जिससे यह पता चलता है कि चेन-ऑफ-थॉट प्रॉम्प्टिंग विषम आंतरिक अनिश्चितता व्यवस्थाओं (heterogeneous internal uncertainty regimes) को प्रेरित करती है और विलक्षण रूप से, विशेष रूप से बहुविकल्पीय प्रारूपों में, अंतिम व्यवहारिक सटीकता घटने के बावजूद अंतर्निहित ज्ञान रिकवरेबल बना रह सकता है।

मूल लेखक: Patricio Vera

प्रकाशित 2026-01-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Patricio Vera

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक भाषण देने जा रहे हैं। बोलने से पहले ही, आपका मस्तिष्क यादों, आधे-अधूरे तर्कों, भावनाओं और संभावित शब्दों के चयन का एक अराजक तूफान बन जाता है। यह "इरादे" (intent) का एक समृद्ध, अव्यवस्थित, उच्च-आयामी बादल है।

लेकिन जब आप अंततः बोलते हैं, तो आप वह पूरा बादल नहीं छोड़ते। आप एक विशिष्ट वाक्य चुनते हैं। आप उस विशाल आंतरिक तूफान को शब्दों की एक एकल, रैखिक श्रृंखला में समेट देते हैं।

यह शोध पत्र तर्क देता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) भी बिल्कुल ऐसा ही करते हैं। लेखक इस प्रक्रिया को "इंटेंशन कोलैप्स" (Intention Collapse - इरादे का सिमटना) कहते हैं।

यहाँ उनके द्वारा की गई खोजों का विवरण दिया गया है, जिसे सरल उपमाओं के माध्यम से समझाया गया है।

1. मूल विचार: "भाषण-पूर्व" का क्षण

अधिकांश लोग AI के उत्तर को देखते हैं और अंतिम शब्दों के आधार पर उसका न्याय करते हैं। लेकिन यह शोध पत्र कहता है कि हमें AI के "मस्तिष्क" के भीतर यह देखना चाहिए कि पहला शब्द चुनने से ठीक पहले क्या हो रहा है।

इसे एक फोटोग्राफर द्वारा फोटो खींचने जैसा समझें।

दृश्य (The Scene): जटिल, 3D दुनिया (AI की आंतरिक स्थिति)।
फोटो (The Photo): सपाट, 2D छवि (टेक्स्ट आउटपुट)।
कोलैप्स (The Collapse): वह क्षण जब शटर क्लिक होता है। जानकारी खो जाती है। 3D गहराई को 2D पिक्सल में समेटा (flatten) जाता है।

लेखक इस "दृश्य" (आंतरिक स्थिति) को मापने का प्रयास करना चाहते थे ताकि यह देख सकें कि क्या हम भविष्यवाणी कर सकते हैं कि "फोटो" (उत्तर) अच्छा होगा या बुरा, और विभिन्न प्रॉम्प्टिंग तकनीकें उस दृश्य को कैसे बदलती हैं।

2. AI के मन के लिए तीन "हेल्थ चेक"

इस आंतरिक स्थिति को मापने के लिए, लेखकों ने तीन सरल मेट्रिक्स बनाए। इन्हें AI के इरादे के लिए "वाइटल साइन्स" (vital signs) की तरह समझें:

इंटेंशन एंट्रॉपी (भ्रम का मीटर - The "Confusion" Meter):
- उपमा: कल्पना कीजिए कि आप एक चौराहे पर खड़े हैं। यदि आप जानते हैं कि आपको किस दिशा में जाना है, तो आपकी "एंट्रॉपी" कम है। यदि आपको बिल्कुल पता नहीं है और आप बाएं, दाएं या सीधे जाने की समान संभावना रखते हैं, तो आपकी एंट्रॉपी अधिक है।
- AI में: यह मापता है कि अगले शब्द के लिए AI की संभावना कितनी फैली हुई है। कम एंट्रॉपी का अर्थ है कि वह बहुत आश्वस्त है; उच्च एंट्रॉपी का अर्थ है कि वह अनिश्चित है या कई विकल्पों पर विचार कर रहा है।
प्रभावी आयाम (समृद्धि का मीटर - The "Richness" Meter):
- उपमा: एक पेंटिंग की कल्पना करें। क्या यह एक साधारण स्टिक फिगर (कम आयामी) है, या यह कई परतों वाले अर्थों वाला एक जटिल, विस्तृत परिदृश्य (उच्च आयामी) है?
- AI में: यह मापता है कि AI के आंतरिक विचार कितना "स्थान" उपयोग कर रहे हैं। क्या उसके विचार सरल और संकीर्ण हैं, या जटिल और बहुआयामी हैं?
रिकवरेबिलिटी (छिपे हुए ज्ञान का मीटर - The "Hidden Knowledge" Meter):
- उपमा: एक छात्र की कल्पना करें जो गणित के सवाल का जवाब जानता है लेकिन घबराहट के कारण गलत नंबर लिख देता है। यदि आप उसके सिर के अंदर देख पाते, तो आप देखते कि उसे उत्तर पता था।
- AI में: शोधकर्ताओं ने एक सरल "प्रोब" (एक छोटा डिटेक्टर) को प्रशिक्षित किया जो AI की आंतरिक स्थिति को देखता और अनुमान लगाता कि क्या अंतिम उत्तर सही होगा। यदि प्रोब सही अनुमान लगा पाता, तो इसका मतलब था कि AI के पास आंतरिक रूप से सही जानकारी थी, भले ही वह उसे लिखने में विफल रहा हो।

3. प्रयोग: "चेन-ऑफ-थॉट" (Chain-of-Thought) का परीक्षण

"चेन-ऑफ-थॉट" (CoT) एक लोकप्रिय तकनीक है जहाँ आप AI को कहते हैं, "जवाब देने से पहले चरण-दर-चरण सोचें।" हर कोई यह मानता है कि इससे AI अधिक स्मार्ट हो जाता है। शोधकर्ताओं ने इसे तीन अलग-अलग AI मॉडल्स (Mistral, LLaMA, Qwen) पर तीन प्रकार के कार्यों (गणित, अमूर्त तर्क, और गणितीय शब्द समस्या) पर परखा।

उन्होंने तीन स्थितियों की तुलना की:

बेसलाइन (Baseline): केवल उत्तर दें।
CoT: चरण-दर-चरण सोचें।
बैबल (Babble): चेतना की एक लंबी, बड़बड़ाती हुई धारा लिखें (यह देखने के लिए कि क्या केवल अधिक लिखना मदद कर रहा है, या सोचना मदद कर रहा है)।

4. आश्चर्यजनक निष्कर्ष

निष्कर्ष 1: "चरण-दर-चरण सोचना" हमेशा बेहतर नहीं होता।

गणित (मुक्त प्रतिक्रिया): CoT बहुत अच्छा काम करता है। सटीकता काफी बढ़ जाती है।
अमूर्त तर्क (बहुविकल्पीय): CoT ने वास्तव में चीजों को खराब कर दिया। AI सीधे उत्तर देने की तुलना में "ज़ोर से सोचने" के लिए मजबूर होने पर खराब प्रदर्शन करता है।
सीख (The Takeaway): AI को अपने तर्क को मौखिक रूप से व्यक्त करने के लिए मजबूर करना कभी-कभी उसे भ्रमित कर सकता है, खासकर जब उसे विकल्पों (A, B, C, D) में से चुनना हो।

निष्कर्ष 2: अलग-अलग AI अलग तरह से "सोचते" हैं।
जब CoT का उपयोग किया जाता है, तो आंतरिक "भ्रम" (एंट्रॉपी) अलग-अलग मॉडल्स के लिए अलग तरह से बदलता है:

Mistral: अधिक आश्वस्त हो गया (कम एंट्रॉपी)। इसने अपना ध्यान केंद्रित किया।
LLaMA: कम आश्वस्त हो गया (उच्च एंट्रॉपी)। इसने अपनी संभावनाओं को खोल दिया।
सीख: AI के अंदर "तर्क करने" का कोई एक तरीका नहीं है। एक मॉडल की "सोच" दूसरे मॉडल का "भ्रम" लग सकती है।

निष्कर्ष 3: AI को उत्तर पता हो सकता है, लेकिन वह बताने में विफल हो सकता है।
यह सबसे दिलचस्प हिस्सा है। कुछ मामलों में (जैसे अमूर्त तर्क कार्य पर Qwen), AI की आंतरिक स्थिति में उच्च रिकवरेबिलिटी (Recoverability) देखी गई। "प्रोब" आसानी से देख सकता था कि AI को सही उत्तर पता है। हालाँकि, AI का अंतिम लिखित उत्तर गलत था।

उपमा: यह उस ड्राइवर की तरह है जो सड़क को पूरी तरह से जानता है (उच्च आंतरिक ज्ञान) लेकिन आखिरी सेकंड में गलती से गलत दिशा में मुड़ जाता है (विफल कोलैप्स)।
सीख: समस्या हमेशा यह नहीं होती कि AI के पास ज्ञान की कमी है। कभी-कभी, समस्या "कोलैप्स" की होती है—उस ज्ञान को एक विशिष्ट प्रारूप (जैसे बहुविकल्पीय अक्षर) में बदलने का अंतिम चरण ही जहाँ त्रुटि होती है।

निष्कर्ष 4: "बड़बड़ाना" (Babbling) सोचना नहीं है।
"बैबल" कंट्रोल (केवल बहुत सारी निरर्थक बातें लिखना) ने CoT के समान आंतरिक परिवर्तन उत्पन्न नहीं किए। यह साबित करता है कि CoT केवल आउटपुट को लंबा बनाने के बारे में नहीं है; यह वास्तव में AI के विचारों की आंतरिक संरचना को बदल देता है।

सारांश

यह शोध पत्र सुझाव देता है कि हमें AI के उत्तरों को केवल "सही" या "गलत" के रूप में देखना बंद कर देना चाहिए। इसके बजाय, हमें "इंटेंशन कोलैप्स" (Intention Collapse) को देखना चाहिए—वह क्षण जब AI बोलने का निर्णय लेता है।

कभी-कभी, AI को "ज़ोर से सोचने" के लिए कहना उसे ध्यान केंद्रित करने (कम एंट्रॉपी) में मदद करता है।
कभी-कभी, यह उसे अधिक सोचने और भ्रमित होने (उच्च एंट्रॉपी) पर मजबूर कर देता है।
कभी-कभी, AI आंतरिक रूप से सत्य को जानता है लेकिन उसे आवश्यक प्रारूप में सही ढंग से व्यक्त करने में विफल रहता है।

"पूर्व-भाषण" (pre-speech) स्थिति को मापकर, हम बेहतर ढंग से समझ सकते हैं कि AI क्यों विफल होता है, न कि केवल यह कि वह विफल हुआ।

तकनीकी सारांश: इंटेंशन कोलैप्स (Intention Collapse): भाषा मॉडलों में तर्क के लिए इंटेंशन-स्तरीय मेट्रिक्स

समस्या विवरण
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) की समृद्ध, उच्च-आयामी आंतरिक अवस्थाओं (internal states) और उनके द्वारा उत्पन्न होने वाले विविक्त (discrete), रैखिक टोकन अनुक्रमों (linear token sequences) के बीच संरचनात्मक विच्छेद को संबोधित करता है। लेखक इस 'मैनी-टू-वन' (many-to-one) मैपिंग को इंटेंशन कोलैप्स (intention collapse) के रूप में औपचारिक रूप देते हैं: एक आंतरिक इंटेंशन स्पेस $I$ (पूर्व-जेनरेशन लेटेंट स्टेट) से एक बाहरी भाषा स्पेस $L$ (external language space) में होने वाला अपरिवर्तनीय प्रोजेक्शन। मौजूदा रीजनिंग-बढ़ाने वाली तकनीकें (जैसे, चेन-ऑफ-थॉट, सेल्फ-रिफाइनमेंट) अक्सर केवल अंतिम सटीकता (final accuracy) पर आधारित मूल्यांकन करती हैं, जो यह छिपा देती हैं कि ये विधियाँ जेनरेशन से पहले आंतरिक अवस्था को कैसे नया आकार देती हैं। मुख्य समस्या $I$ के सूचनात्मक और ज्यामितीय गुणों को मापने के लिए एक एकीकृत ढांचे के अभाव की है, और यह निर्धारित करने की भी है कि $I$ को नया आकार देना कब सहायक होता है और कब हानिकारक, विशेष रूप से विभिन्न रिस्पॉन्स फॉर्मेट्स के संदर्भ में।

कार्यप्रणाली (Methodology)
लेखक इंटेंशन स्टेट $I$ को पहले आउटपुट टोकन के चयन से ठीक पहले, अंतिम प्रॉम्प्ट स्थिति पर छिपी हुई प्रस्तुतियों (hidden representations) के संग्रह के रूप में परिभाषित करके 'इंटेंशन कोलैप्स' को संचालित करते हैं। वे $I$ पर गणना किए जाने वाले तीन मॉडल-अज्ञेइक (model-agnostic) और कम गणना-गहन मेट्रिक्स का प्रस्ताव करते हैं:

इंटेंशन एंट्रॉपी ( $H_{int}(I)$ ): प्री-कोलैप्स क्षण पर अगले-टोकन वितरण (next-token distribution) की शैनन एंट्रॉपी, जो मॉडल के तत्काल निरंतरता (continuation) के संकेंद्रण या प्रसार को मापती है।
प्रभावी आयामीता ( $d_{eff}(I)$ ): प्री-कोलैप्स हिडन स्टेट्स पर PCA आइजनवैल्यूज़ का पार्टिसिपेशन रेशियो, जो इंटेंशन रिप्रेजेंटेशन की ज्यामितीय समृद्धि को पकड़ता है।
**लेटेंट नॉलेज रिकोवरेबिलिटी ($Recov(I; Z) $):** टास्क परिणामों (जैसे, उत्तर की शुद्धता) की भविष्यवाणी करने के लिए$ I$ पर प्रशिक्षित लीनियर प्रोब्स का AUROC, जो उस सूचना की मात्रा को मापता है जो प्री-कोलैप्स मौजूद है लेकिन अंतिम आउटपुट में व्यक्त करने में विफल हो सकती है।

प्रायोगिक डिजाइन (Experimental Design)
इस ढांचे का मूल्यांकन एक $3 \times 3$ अनुभवजन्य अध्ययन में किया गया है:

मॉडल: Mistral-7B-Instruct, LLaMA-3.1-8B-Instruct, और Qwen-2.5-7B-Instruct।
बेंचमार्क: GSM8K (फ्री-रिस्पॉन्स गणित), ARC-Challenge (बहुविकल्पीय अमूर्त तर्क), और AQUA-RAT (बहुविकल्पीय गणित)।
इन्फरेंस रिजीम (Inference Regimes): बेसलाइन (डायरेक्ट आंसर), चेन-ऑफ-थॉट (CoT), और बैबल (एक वर्बोसिटी कंट्रोल जो असंबंधित स्ट्रीम-ऑफ-कॉन्शसनेस टेक्स्ट उत्पन्न करता है)।
प्रोटोकॉल: प्रत्येक सेल के लिए $n=200$ आइटम; प्रॉम्प्ट-कंडीशनिंग प्रभावों को अलग करने के लिए ग्रीडी डिकोडिंग ( $T=0$ ); पहले टोकन जेनरेशन से ठीक पहले $I$ का निष्कर्षण।

मुख्य परिणाम

फॉर्मेट-निर्भर CoT की प्रभावकारिता: CoT सार्वभौमिक रूप से लाभकारी नहीं है। यह सभी मॉडलों के लिए GSM8K (फ्री-रिस्पेंस) पर बड़े सटीकता लाभ प्रदान करता है, लेकिन ARC-Challenge (बहुविकल्पीय) पर लगातार प्रदर्शन को कम करता है और AQUA-RAT पर मिश्रित परिणाम देता है। यह सुझाव देता है कि प्री-कोलैप्स स्टेट को बदलना सभी रिस्पॉन्स फॉर्मेट के तहत एक विश्वसनीय विविक्त प्रतिबद्धता (discrete commitment) की गारंटी नहीं देता है।
विषम एंट्रॉपी व्यवस्था (Heterogeneous Entropy Regimes): CoT, बेसलाइन के सापेक्ष विशिष्ट एंट्रॉपी बदलाव प्रेरित करता है ( $\Delta H = H_{int}(CoT) - H_{int}(Base)$ )। मिस्ट्रल (Mistral) CoT के तहत कम प्री-कोलैप्स एंट्रॉपी प्रदर्शित करता है ( $\Delta H < 0$ ), जबकि लामा (LLaMA) उच्च प्री-कोलैप्स एंट्रॉपी प्रदर्शित करता है ( $\Delta H > 0$ )। यह इस बात पर प्रकाश डालता है कि विभिन्न मॉडल परिवार रीजनिंग के दौरान आंतरिक अनिश्चितता को प्रबंधित करने के लिए कितने विषम हैं।
सिग्नल और सटीकता का विच्छेद (Dissociation of Signal and Accuracy): रिकोवरेबिलिटी ($Recov$) सटीकता से विच्छेदित हो सकती है। कुछ सेटिंग्स में (जैसे, ARC-Challenge पर Qwen), प्रोब AUROC घटित सटीकता के बावजूद संयोग (chance) से काफी ऊपर रहता है। यह इंगित करता है कि सूचनात्मक आंतरिक संकेत $I$ में मौजूद हो सकते हैं, लेकिन वे सही विविक्त निर्णयों में विश्वसनीय रूप से परिवर्तित होने में विफल रहते हैं, विशेष रूप से बहुविकल्पीय फॉर्मेट में।
वर्बोसिटी कंट्रोल: बैबल (Babble) कंट्रोल पुष्टि करता है कि CoT के प्रभाव केवल आउटपुट की लंबाई के कारण नहीं हैं; बैबल, CoT के तहत देखे गए मेट्रिक-परफॉर्मेंस संबंधों को दोहराता नहीं है।

महत्व और योगदान
लेखक का दावा है कि 'इंटेंशन कोलैप्स' LLM व्यवहार के बारे में तर्क करने के लिए एक एकीकृत लेंस प्रदान करता है, जो विविध इन्फरेंस-टाइम विधियों को एक सामान्य ऑब्जेक्ट ( $I$ ) पर हस्तक्षेप के रूप में पुनर्गठित करता है। मुख्य योगदान शामिल हैं:

वैचारिक सेतु (Conceptual Bridge): लेटेंट नॉलेज एलिसिटेशन, प्री-जेनरेशन पर्याप्तता, और अनिश्चितता अनुमान के साहित्यों को प्री-कोलैप्स स्टेट की विशिष्ट सीमा के माध्यम से जोड़ना।
नैदानिक उपयोगिता (Diagnostic Utility): यह प्रदर्शित करना कि आंतरिक पृथकरणीयता (recoverability) और अंतिम प्रतिबद्धता विश्वसनीयता (commitment reliability) अलग-अलग घटनाएं हैं। यह ढांचा समझाता है कि मॉडल क्यों "जानते" हैं (उच्च $Recov$) लेकिन फिर भी गलत आउटपुट देते हैं (कम सटीकता), जो फॉर्मेट-प्रेरित प्रतिबद्धता विफलताओं के कारण होता है।
अनुसंधान एजेंडा: एडेप्टिव इन्फरेंस के लिए ठोस दिशाएं प्रस्तावित करना, जैसे कि स्टेट-डिपेंडेंट डिकोडिंग पॉलिसी ( $H_{int}$ के आधार पर सैंपलिंग को समायोजित करना) और अर्ली-एग्जिट रणनीतियां ( $Recov$ का उपयोग करके अनावश्यक गणना से बचना), जिससे इंटेंशन कोलैप्स को टेस्ट-टाइम कंप्यूट को अनुकूलित करने के एक व्यावहारिक उपकरण में बदला जा सके।

लेखक एक सीमित दायरे को बनाए रखते हुए नोट करते हैं कि उनके निष्कर्ष सहसंबंधी (correlational) हैं और केवल टेक्स्ट-ओनली बेंचमार्क और विशिष्ट मॉडल परिवारों तक सीमित हैं। वे इस बात पर जोर देते हैं कि इंटेंशन कोलैप्स एक संरचनात्मक समानता (structural analogy) है, न कि LLMs में सचेत इरादे (conscious intention) का दावा।

1. मूल विचार: "भाषण-पूर्व" का क्षण

2. AI के मन के लिए तीन "हेल्थ चेक"

3. प्रयोग: "चेन-ऑफ-थॉट" (Chain-of-Thought) का परीक्षण

4. आश्चर्यजनक निष्कर्ष

सारांश

इसी तरह के और पेपर