🤖 machine learning

Where's the Plan? Locating Latent Planning in Language Models with Lightweight Mechanistic Interventions

यह शोध पत्र इस बात की जांच करता है कि भाषा मॉडल योजना बनाने के दौरान भविष्य के बाधाओं (constraints) के आंतरिक निरूपण कहाँ और कैसे बनाते हैं, यह प्रकट करते हुए कि जबकि भविष्य-तुकबंदी (future-rhyme) की जानकारी कई मॉडल परिवारों और पैमानों में रैखिक रूप से डिकोडेबल है, केवल Gemma-3-27B इस जानकारी का उपयोग करने के लिए एक विशिष्ट विलंबित-परत हैंडऑफ तंत्र (late-layer handoff mechanism) पर कारणवश निर्भर करता है, जबकि अन्य मॉडल तुकबंदी वाले शब्द पर ही आधारित होते हैं बावजूद इसके कि वे मजबूत प्रोब सिग्नल प्रदर्शित करते हैं।

मूल लेखक: Nicole Ma, Nick Rui

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nicole Ma, Nick Rui

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जादूगर को करतब दिखाते हुए देख रहे हैं। आप उन्हें टोपी से खरगोश निकालते हुए देखते हैं, लेकिन आपको नहीं पता कि उन्होंने यह कैसे किया। क्या खरगोश उनके पूरे समय उनकी आस्तीन में छिपा हुआ था? या क्या उन्होंने टोपी में हाथ डालते ही उसे जादुई रूप से प्रकट कर दिया?

यह पेपर AI मॉडल्स के लिए एक्स-रे चश्मे की तरह है। शोधकर्ता जानना चाहते थे: जब एक AI कविता लिखता है, तो क्या वह अगली पंक्ति लिखने से पहले ही अंत को गुप्त रूप से "योजना" (plan) बनाता है?

यहाँ उनकी खोज की कहानी है, जिसे सरल भागों में विभाजित किया गया है।

परीक्षण: तुकबंदी की चुनौती (The Rhyming Challenge)

इसका परीक्षण करने के लिए, शोधकर्ताओं ने AI मॉडल्स को एक सरल कार्य दिया: एक तुकबंदी वाली दो पंक्तियों (couplet) को पूरा करना।

प्रॉम्प्ट (Prompt): "She felt a sudden sense of fright," (उसे अचानक डर महसूस हुआ,)
लक्ष्य: AI को दूसरी पंक्ति लिखनी होगी जिसका अंत ऐसे शब्द से हो जो "fright" के साथ तुकबंदी करता हो (जैसे "night" या "light")।

सवाल यह था: क्या AI के पास एक गुप्त आंतरिक नोट है जिसमें लिखा है "मुझे 'fright' के साथ तुकबंदी करनी है" इससे पहले कि वह दूसरी पंक्ति टाइप करना शुरू करे? या क्या वह बस जैसे-जैसे आगे बढ़ता है, शब्द-दर-शब्द इसे समझ लेता है?

दो उपकरण: "जासूस" और "समय यात्री" (The Spy and the Time Traveler)

शोधकर्ताओं ने AI के मस्तिष्क (इसके "हिडन स्टेट्स" या छिपी हुई अवस्थाओं) के भीतर झांकने के लिए दो अलग-अलग तरीकों का उपयोग किया।

जासूस (लिनियर प्रोबिंग - Linear Probing):
कल्पना कीजिए कि एक जासूस है जो AI के नोट्स में झाँक सकता है और पूछ सकता है, "हे, क्या तुम्हें पता है कि अगला शब्द क्या होगा?"

उन्होंने क्या पाया: लगभग हर AI मॉडल (Qwen, Llama, और Gemma) में, जिसे उन्होंने टेस्ट किया, जासूस को उत्तर मिल गया! ठीक उसी क्षण जब AI ने पहली पंक्ति पूरी की (न्यूलाइन कैरेक्टर पर), AI के आंतरिक नोट्स में तुकबंदी के बारे में जानकारी मौजूद थी।
पेंच (The Catch): सिर्फ इसलिए कि जासूस ने नोट ढूँढ लिया, इसका मतलब यह नहीं है कि AI वास्तव में उसका उपयोग कर रहा है। यह ऐसा हो सकता है जैसे आपकी जेब में एक नक्शा हो लेकिन आप उसे अनदेखा कर दें और बस बेतरतीब ढंग से चलते रहें।

समय यात्री (एक्टिवेशन पैचिंग - Activation Patching):
यह असली परीक्षण है। कल्पना कीजिए कि आप AI हैं। आप दूसरी पंक्ति लिखने वाले हैं। शोधकर्ता "टाइम ट्रैवल" करते हैं और आपके वर्तमान मस्तिष्क की स्थिति को एक अलग AI की मस्तिष्क स्थिति के साथ बदल देते हैं जो एक अलग शब्द के साथ तुकबंदी करने की कोशिश कर रहा था (उदाहरण के लिए, "fright" के बजाय "fear" के साथ तुकबंदी करना)।

प्रश्न: यदि आप मस्तिष्क की स्थिति बदलते हैं, तो क्या AI अचानक ऐसे शब्द लिखना शुरू कर देता है जो "fear" के साथ तुकबंदी करते हैं?
यदि हाँ: तो AI वास्तव में योजना बना रहा था और उस जानकारी का उपयोग कर रहा था।
यदि नहीं: तो AI केवल दिखावा कर रहा था कि उसके पास योजना है, या उसने इसे बाद में समझ लिया।

बड़ा आश्चर्य: केवल एक मॉडल ने वास्तव में योजना बनाई

यहाँ कहानी दिलचस्प हो जाती है। अलग-अलग मॉडल्स के लिए परिणाम बहुत अलग थे:

"नकली योजनाकार" (Qwen और Llama):
ये मॉडल्स "जासूस" टेस्ट में बहुत अच्छे थे। पहली पंक्ति के अंत में इनके मस्तिष्क में तुकबंदी की जानकारी मौजूद थी। लेकिन जब शोधकर्ताओं ने "समय यात्री" टेस्ट किया, तो कुछ नहीं हुआ। मस्तिष्क की स्थिति बदलने से आउटपुट में कोई बदलाव नहीं आया।
उपमा: यह एक ऐसे शेफ की तरह है जिसके काउंटर पर रेसिपी कार्ड रखा है (जानकारी मौजूद है) लेकिन वह उसे अनदेखा कर देता है और बस गंध और सहज ज्ञान से खाना बनाता है। उन्होंने अपने खाना पकाने को निर्देशित करने के लिए वास्तव में उस योजना का उपयोग नहीं किया; वे बस आखिरी शब्द ("fright") को देखते रहे ताकि अगला शब्द तय कर सकें।
"असली योजनाकार" (Gemma-3-27B):
यह विशिष्ट मॉडल अलग था।
प्रारंभिक परतें (Early layers): दूसरी पंक्ति की शुरुआत में, यह पिछले शब्द ("fright") पर निर्भर था।
हैंडऑफ (The Handoff): लेयर 30 (AI के मस्तिष्क में एक विशिष्ट गहराई) के आसपास, कुछ जादुई हुआ। "योजना बनाने का कर्तव्य" पिछले शब्द से हटकर न्यूलाइन (पहली पंक्ति के बाद का खाली स्थान) पर चला गया।
परिणाम: जब शोधकर्ताओं ने न्यूलाइन पर मस्तिष्क की स्थिति बदली, तो AI तुरंत नए शब्द के साथ तुकबंदी करने की कोशिश करने लगा।
उपमा: यह मॉडल एक कंडक्टर की तरह है। गाने की शुरुआत में, वे शीट संगीत (पिछले शब्द) को देखते हैं। लेकिन आधे रास्ते में, वे शीट संगीत रख देते हैं और उस मानसिक मानचित्र के आधार पर ऑर्केस्ट्रा का संचालन करना शुरू कर देते हैं जो उन्होंने ब्रेक (न्यूलाइन) के समय बनाया था। वे संगीत को निर्देशित करने के लिए वास्तव में उस योजना का उपयोग करते हैं।

"किसने किया?" जांच (The "Who Did It?" Investigation)

Gemma मॉडल के लिए, शोधकर्ता जानना चाहते थे कि ठीक से कौन से हिस्से योजना बना रहे थे। उन्होंने इसे एक बहुत ही विशिष्ट टीम तक सीमित कर दिया: पाँच अटेंशन हेड्स (सोचिए कि ये AI के मस्तिष्क में पाँच विशिष्ट न्यूरॉन्स या "वर्कर्स" हैं)।

जब उन्होंने केवल इन पाँच वर्कर्स के साथ छेड़छाड़ की, तो AI अपनी योजना बनाने की क्षमता खो बैठा। जब उन्होंने उन्हें अकेला छोड़ दिया, तो AI ने पूरी तरह से योजना बनाई। यह एक अस्त-व्यस्त, सामान्य प्रक्रिया नहीं थी; यह एक बहुत ही सूक्ष्म टीम द्वारा किया गया एक सटीक, सर्जिकल ऑपरेशन था।

मुख्य निष्कर्ष

यह पेपर निष्कर्ष निकालता है कि सिर्फ इसलिए कि एक AI के पास जानकारी है, इसका मतलब यह नहीं है कि वह योजना बना रहा है।

कई मॉडल्स भविष्य की तुकबंदी के विचार को स्टोर कर सकते हैं (उनके पास नक्शा है)।
लेकिन केवल एक मॉडल (Gemma-3-27B) ने वास्तव में अपने भविष्य के कार्यों को निर्देशित करने के लिए उस स्टोर किए गए नक्शे का उपयोग किया (वह नक्शे का पालन करता है)।
अन्य मॉडल्स के लिए, वे केवल तत्काल अतीत पर प्रतिक्रिया दे रहे हैं, भविष्य के लिए योजना नहीं बना रहे हैं, भले ही भविष्य की जानकारी तकनीकी रूप से उनके मस्तिष्क में मौजूद हो।

यह महत्वपूर्ण है क्योंकि यह दिखाता है कि "बुद्धिमत्ता" या "योजना बनाना" केवल डेटा होने के बारे में नहीं है; यह इस बारे में है कि उस डेटा का उपयोग आगे क्या होगा, इसे आकार देने के लिए कैसे किया जाता है। और आश्चर्यजनक रूप से, यह "योजना बनाने" की क्षमता सभी बड़े AI की एक सामान्य विशेषता नहीं है; यह एक विशिष्ट विशेषता है जो केवल कुछ मॉडल्स में विकसित हुई है।

तकनीकी सारांश: योजना कहाँ है? हल्के यांत्रिक हस्तक्षेपों के साथ भाषा मॉडलों में सुप्त योजना (Latent Planning) का स्थान निर्धारण

समस्या विवरण
ऑटोरेग्रेसिव भाषा मॉडल टोकन-दर-टोकन टेक्स्ट उत्पन्न करते हैं, फिर भी वे अक्सर ऐसे आउटपुट देते हैं जिनमें दीर्घकालिक संरचनात्मक सामंजस्य (जैसे कि तुकबंदी वाले जोड़े) की आवश्यकता होती है। यह एक मौलिक प्रश्न खड़ा करता है: क्या मॉडल भविष्य के आउटपुट के आंतरिक प्रतिनिधित्व (internal representations) बनाते हैं जो पीढ़ी को संचालित करने के लिए कारणवत (causally) रूप से प्रेरित करते हैं, भले ही ये प्रक्रियाएं बाहरी व्यवहार संबंधी मूल्यांकन के लिए अदृश्य हों? जबकि पिछले कार्यों ने स्थापित किया है कि कुछ मॉडलों में योजना-अनुकूल जानकारी मौजूद होती है, यह स्पष्ट नहीं है कि यह जानकारी फॉरवर्ड पास के दौरान ठीक कहाँ स्थित होती है और क्या यह स्थानांतरित होती है (एक घटना जिसे लेखक प्लानिंग साइट फॉर्मेशन कहते हैं)। इसके अलावा, उस जानकारी के बीच अंतर करना जो केवल एनकोडेड (निष्क्रिय) है और वह जो कारणवत रूप से उपयोग की जाती है (सक्रिय), सटीक यांत्रिक समझ और सुरक्षा मूल्यांकन के लिए महत्वपूर्ण है।

कार्यप्रणाली
लेखक एक स्वच्छ परीक्षण मामला उपयोग करते हैं: तुकबंदी वाले जोड़े की पूर्णता (rhyming couplet completion)। पहले पंक्ति के अंत में तुकबंदी वाले शब्द $r_1$ के दिए जाने पर, मॉडल को दूसरी पंक्ति उत्पन्न करनी होती है जिसके अंत में तुकबंदी वाला शब्द $r_2$ हो। यह अध्ययन तीन ओपन-सोर्स मॉडल परिवारों (Qwen3, Gemma-3, Llama-3) में विभिन्न पैमानों (70B पैरामीटर्स तक) पर दो हल्के यांत्रिक हस्तक्षेप विधियों का उपयोग करता है:

लीनियर प्रोबिंग (एन्कोडिंग साक्ष्य): विभिन्न परतों $\ell$ और स्थितियों $i$ पर हिडन स्टेट्स $h_{\ell,i}$ से भविष्य के तुकबंदी वाले टोकन $r_2$ की भविष्यवाणी करने के लिए लीनियर क्लासिफायर प्रशिक्षित किए जाते हैं। यह निर्धारित करता है कि क्या योजना-अनुकूल जानकारी विशिष्ट स्थानों (जैसे कि अंतिम शब्द टोकन बनाम न्यूलाइन टोकन) पर डिकोडेबल है।
एक्टिवेशन पैचिंग (कारणवत साक्ष्य): एक "करप्ट" रन (जो अलग तुकबंदी परिवार को लक्षित करता है) के हिडन स्टेट को एक "क्लीन" रन में प्रतिस्थापित किया जाता है। यदि यह हस्तक्षेप पीढ़ी को करप्ट तुकबंदी की ओर निर्देशित करता है, तो उस स्थान को एक कारणवत सक्रिय योजना स्थल (causally active planning site) के रूप में पहचाना जाता है।

अध्ययन विशेष रूप से अंतिम शब्द टोकन (स्थिति $i \approx -1$ या $-2 $) बनाम **न्यूलाइन टोकन** (स्थिति$ i = 0$) की तुलना करता है ताकि कारणवत प्रभाव के प्रवास (migration) को ट्रैक किया जा सके।

मुख्य परिणाम

एन्कोडिंग और कारणता का पृथक्करण:
- प्रोबिंग: तीनों मॉडल परिवारों में, लीनियर प्रोब्स न्यूलाइन टोकन पर भविष्य की तुकबंदी वाली जानकारी को सफलतापूर्वक डिकोड करते हैं। इस सिग्नल की शक्ति आम तौर पर मॉडल के पैमाने के साथ बढ़ती है, जो यह सुझाव देता है कि योजना-अनुकूल प्रतिनिधित्व बड़े मॉडलों का एक उभरता हुआ गुण (emergent property) है।
- एक्टिवेशन पैचिंग: मजबूत प्रोब सिग्नल के बावजूद, केवल Gemma-3-27B न्यूलाइन पर एक कारणवत सक्रिय योजना स्थल प्रदर्शित करता है। इस मॉडल में, पीढ़ी का कारणवत चालक (causal driver) परत 30 के आसपास अंतिम शब्द टोकन से न्यूलाइन टोकन की ओर स्थानांतरित होता है।
- अन्य मॉडल: Qwen3 (32B तक) और Llama-3 (70B तक) पूरी पीढ़ी के दौरान अंतिम शब्द टोकन पर निर्भर रहते हैं। न्यूलाइन पर तुकबंदी की जानकारी एनकोड करने के बावजूद (जैसा कि प्रोब्स द्वारा दिखाया गया है), इन मॉडलों में न्यूलाइन को पैच करने का आउटपुट पर लगभग शून्य कारण प्रभाव पड़ता है।
हैंडऑफ का स्थानीयकरण (Gemma-3-27B):
- अंतिम शब्द से न्यूलाइन तक कारणवत प्रभाव का "हैंडऑफ" परतों 28 और 30 में पाँच स्पार्स अटेंशन हेड्स द्वारा मध्यस्थता किया जाता है।
- दो-चरणीय पाथ पैचिंग का उपयोग करते हुए, लेखक प्रदर्शित करते हैं कि इन पाँच विशिष्ट हेड्स को एक साथ पैच करने से न्यूलाइन पर पूरे रेसिडुअल स्ट्रीम को ओवरराइट करने से प्राप्त होने वाली तुकबंदी-रूटिंग क्षमता का लगभग 90% हिस्सा पुनः प्राप्त हो जाता है।
- यह तंत्र अटेंशन के लिए विशिष्ट है; संबंधित MLPs को पैच करने का कोई प्रभाव नहीं पड़ता है।

मुख्य योगदान

प्लानिंग साइट फॉर्मेशन की परिभाषा: पेपर 'प्लानिंग-अनुकूल प्रतिनिधित्व' (प्रोबिंग के माध्यम से पता लगाने योग्य) और 'कारणवत सक्रिय योजना स्थलों' (हस्तक्षेप के माध्यम से स्थापित) के बीच अंतर को औपचारिक रूप देता है, यह रेखांकित करते हुए कि पूर्व, उत्तर की गारंटी नहीं देता है।
स्केलेबल यांत्रिक ढांचा: लेखक एक लीनियर प्रोबिंग और एक्टिवेशन पैचिंग फ्रेमवर्क प्रस्तावित करते हैं जिसमें कोई ट्रांसकोडर प्रशिक्षण नहीं चाहिए और स्टीयरिंग वेक्टर दृष्टिकोण की तुलना में बहुत कम डेटा की आवश्यकता होती है, जिससे यह बड़े, ओपन-सोर्स आर्किटेक्चर के लिए लागू करने योग्य बन जाता है।
विचलन की अनुभवजन्य खोज: अध्ययन प्रकट करता है कि विभिन्न मॉडल आर्किटेक्चर (एक ही पैमाने की सीमा के भीतर भी) संरचनात्मक बाधाओं को मौलिक रूप से भिन्न तंत्रों के माध्यम से हल करते हैं: कुछ एक स्थिर "लास्ट-वर्ड" कंडीशन पर निर्भर करते हैं, जबकि अन्य (जैसे Gemma-3-27B) न्यूलाइन को एक डायनेमिक "हैंडऑफ" लागू करते हैं।
स्पार्स सर्किट पहचान: कार्य Gemma-3-27B में एक जटिल योजना व्यवहार को विशिष्ट, छोटे सेट के अटेंशन हेड्स में सफलतापूर्वक स्थानीयकृत करता है, यह प्रदर्शित करता है कि ऐसे उभरते हुए घटनाक्रम संरचित हो सकते हैं न कि विसरित (diffuse)।

महत्व और दावे
पेपर का तर्क है कि केवल प्रोब सिग्नल ही योजना स्थल का पर्याप्त साक्ष्य नहीं है। मानक व्यवहार संबंधी मूल्यांकन या सरल प्रोबिंग व्यवस्थित रूप से मॉडल की योजना क्षमताओं को कम आंक सकती है या गलत तरीके से चित्रित कर सकती है यदि वे निष्क्रिय एन्कोडिंग और सक्रिय कारण उपयोग के बीच अंतर करने में विफल रहती हैं।

लेखक दावा करते हैं कि प्लानिंग साइट फॉर्मेशन एक विशिष्ट उभरती हुई घटना (distinct emergent phenomenon) है जो विशिष्ट मॉडल पैमाने और आर्किटेक्चर से जुड़ी है, न कि केवल मजबूत योजना-अनुकूल प्रतिनिधित्वों का सार्वभौमिक परिणाम है। एक स्पार्स, कारणवत सर्किट (पाँच अटेंशन हेड्स) की पहचान यह सुझाव देती है कि गुप्त योजना एक अत्यधिक संरचित कम्प्यूटेशनल प्रक्रिया हो सकती है।

अध्ययन मामूली सीमाओं के साथ समाप्त होता है: निष्कर्ष वर्तमान में तीन मॉडल परिवारों और एक एकल संरचित कार्य (तुकबंदी) तक सीमित हैं। लेखक नोट करते हैं कि यह एक खुला प्रश्न बना हुआ है कि क्या यह "हैंडऑफ" तंत्र एक सामान्य योजना प्रिमिटिव (primitive) है या विशिष्ट ध्वन्यात्मक बाधाओं (phonological constraints) के लिए है, और क्या Qwen और Llama मॉडलों में इस हैंडऑफ की अनुपस्थिति आर्किटेक्चरल अंतर के कारण है या प्रशिक्षण डेटा के कारण।

परीक्षण: तुकबंदी की चुनौती (The Rhyming Challenge)

दो उपकरण: "जासूस" और "समय यात्री" (The Spy and the Time Traveler)

बड़ा आश्चर्य: केवल एक मॉडल ने वास्तव में योजना बनाई

"किसने किया?" जांच (The "Who Did It?" Investigation)

मुख्य निष्कर्ष

इसी तरह के और पेपर