← नवीनतम पेपर
🤖 AI

Decomposing how prompting steers behavior

यह शोध पत्र एक नेस्टेड ज्यामितीय अपघटन ढांचे (nested geometric decomposition framework) को प्रस्तुत करता है जो यह प्रकट करता है कि प्रॉम्प्टिंग किस प्रकार बड़े भाषा और विजन-लैंग्वेज मॉडलों के आंतरिक निरूपणों (internal representations) को रूपांतरित करके उन्हें निर्देशित करती है, यह प्रदर्शित करते हुए कि एफाइन रूपांतरण (affine transformations)—विशेष रूप से क्रॉस-डायमेंशनल लीनियर मिक्सिंग—निर्देशित कार्य संरचनाओं से मेल खाने और लक्षित व्यवहारों को पुनः प्राप्त करने के लिए निरूपणों को पुनर्गठित करने का मुख्य तंत्र हैं।

मूल लेखक: Fan L. Cheng, Nikolaus Kriegeskorte

प्रकाशित 2026-06-03
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Fan L. Cheng, Nikolaus Kriegeskorte

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) या विजन-लैंग्वेज मॉडल (VLM) की कल्पना एक विशाल, जटिल फैक्ट्री के रूप में करें। इस फैक्ट्री के अंदर, कच्चा माल (जैसे कि बिल्ली की एक तस्वीर या एक उदास कहानी के बारे में एक वाक्य) कन्वेयर बेल्टों (मॉडल की परतों) की एक श्रृंखला के माध्यम से बहता है। जैसे-जैसे वे आगे बढ़ते हैं, सामग्रियों को प्रोसेस किया जाता है, उन्हें नया आकार दिया जाता है और व्यवस्थित किया जाता है।

आमतौर पर, फैक्ट्री के उत्पादन को बदलने के लिए, आपको मशीनों को फिर से बनाना पड़ता है (मॉडल को रिट्रेन करना)। लेकिन प्रॉम्प्टिंग (prompting) एक मैनेजर की तरह है जो फैक्ट्री के फर्श पर आकर एक नया निर्देश चिल्लाता है: "रंग के आधार पर छाँटना बंद करो, अब आकार के आधार पर छाँटो!" मशीनें नहीं बदलती हैं, लेकिन आउटपुट अचानक बदल जाता है।

यह शोध पत्र एक सरल लेकिन गहरा प्रश्न पूछता है: मैनेजर की एक चीख वास्तव में कन्वेयर बेल्ट पर रखी वस्तुओं को कैसे पुनर्व्यवस्थित करती है ताकि वे अलग तरह से छाँट सकें?

यहाँ उनकी खोज का विवरण दिया गया है, रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए:

1. प्रयोग: "जादुई मानचित्र" (The Magic Map)

शोधकर्ताओं ने वस्तुओं का एक सेट लिया (जैसे 1,000 अलग-अलग छवियां) और उन्हें दो अलग-अलग निर्देशों के साथ मॉडल को दिखाया:

  • प्रॉम्प्ट A: "क्या इस तस्वीर में लोग हैं?" (हाँ/नहीं उत्तर)।
  • प्रॉम्प्ट B: "इस तस्वीर में कितने लोग हैं?" (एक संख्यात्मक उत्तर)।

उन्होंने मॉडल की "आंतरिक अवस्था" (कन्वेयर बेल्ट पर वस्तुओं की व्यवस्था) को विभिन्न गहराइयों पर देखा। उन्होंने पाया कि प्रॉम्प्ट A के लिए वस्तुओं का आकार, प्रॉम्प्ट B की तुलना में अलग था।

इसके बाद उन्होंने पूछा: "क्या हम एक सरल मानचित्र बना सकते हैं जो 'हाँ/नहीं' वाली व्यवस्था को 'गिनती' वाली व्यवस्था में बदल सके?"

2. "मानचित्रों" के पांच स्तर (The Nested Decomposition)

इसका उत्तर खोजने के लिए, उन्होंने पांच अलग-अलग प्रकार के गणितीय "मानचित्रों" (परिवर्तन/transformations) का परीक्षण किया, जो सबसे सरल से शुरू होकर अधिक जटिल होते गए। इन्हें किताबों के ढेर को पुनर्व्यवस्थित करने के विभिन्न तरीकों के रूप में सोचें:

  1. ट्रांसलेशन (The Slide - खिसकाना): बस किताबों के पूरे ढेर को मेज पर एक नई जगह पर खिसका देना, बिना किताबों को छुए।
  2. रिजिड + यूनिफॉर्म स्केलिंग (The Rigid Move - कठोर गति): ढेर को हिलाना और शायद पूरी चीज़ को थोड़ा बड़ा या छोटा करना, लेकिन किताबों को एक-दूसरे के सापेक्ष बिल्कुल उसी आकार में रखना।
  3. रिजिड + एक्सिस स्केलिंग (The Stretch - खिंचाव): ढेर को हिलाना और विशिष्ट दिशाओं में खींचना (जैसे कि एक रबर शीट को क्षैतिज रूप से खींचना लेकिन लंबवत नहीं)।
  4. एफाइन (The Mix - मिश्रण): हिलना, खींचना और मिलाना। यह किताबों को लेने और उन्हें आपस में मिलाने जैसा है। यह "ऊपरी" किताब को लेकर "बगल वाली" किताब के साथ मिलाकर एक नई स्थिति बनाना है।
  5. नॉनलीनियर (The Warp - मोड़ना): मेज को ही मोड़ देना, किताबों को जटिल और अप्रत्याशित तरीकों से मरोड़ देना।

3. बड़ी खोज: यह ज्यादातर एक "मिश्रण" (Mix) है

शोधकर्ताओं ने पाया कि:

  • "स्लाइड" (Translation) अधिकांश भारी काम करता है। केवल आंतरिक अवस्था को एक नई जगह पर ले जाना (स्लाइड करना) बदलाव के एक बड़े हिस्से की व्याख्या करता है।
  • लेकिन "मिश्रण" (Affine) असली गुप्त मंत्र है। स्लाइड करने से मदद तो मिलती है, लेकिन मॉडल को नए कार्य को पूरी तरह से समझने के लिए अपने आंतरिक फीचर्स को मिलाने (mix) की वास्तव में आवश्यकता होती है (क्रॉस-डायमेंशनल लीनियर मिक्सिंग)।
  • "मोड़ना" (Nonlinear) आवश्यक नहीं है। आश्चर्यजनक रूप से, उन्हें बदलाव को समझाने के लिए जटिल, घुमावदार गणित की आवश्यकता नहीं पड़ी। एक बार जब हमने "मिश्रण" (Affine) जोड़ दिया, तो मॉडल के व्यवहार को लगभग पूरी तरह से पुनः प्राप्त कर लिया गया। जटिल, गैर-रेखीय (non-linear) चीजों ने बहुत अधिक मूल्य नहीं जोड़ा।

उपमा: कल्पना करें कि आपके पास लेगो (LEGO) का एक बॉक्स है जिससे एक किला बनाया गया है (प्रॉम्प्ट A)। आप इसे एक अंतरिक्ष यान (स्पेसशिप) में बदलना चाहते हैं (प्रॉम्प्ट B)।

  • आपको प्लास्टिक को पिघलाने की आवश्यकता नहीं है (Nonlinear)।
  • आपको केवल बॉक्स को कमरे में दूसरी जगह खिसकाने की आवश्यकता नहीं है (Translation)।
  • आपको किले को खोलना होगा, कुछ टुकड़ों को खींचना होगा, और नए ढांचे में ईंटों को पुनर्व्यवस्थित/मिलाना होगा। इस शोध पत्र ने पाया कि यह "पुनर्व्यवस्था और मिश्रण" ही कैसे प्रॉम्प्ट काम करते हैं, इसका मुख्य तंत्र है।

4. "कारण" परीक्षण (The "Causal" Test): क्या वह मानचित्र वास्तव में काम करता है?

यह सिद्ध करने के लिए कि यह केवल एक संयोग नहीं था, उन्होंने मॉडल पर एक "सर्जरी" की:

  1. उन्होंने मॉडल को "हाँ/नहीं" वाले प्रॉम्प्ट के साथ एक छवि दी।
  2. एक विशिष्ट परत (layer) पर, उन्होंने प्रक्रिया को रोक दिया।
  3. उन्होंने उस आंतरिक अवस्था को लिया और उस पर अपना "मिक्सिंग मैप" (Mixing Map) लागू किया।
  4. उन्होंने मॉडल को प्रोसेसिंग पूरी करने दी।

परिणाम: मॉडल अचानक "गिनती" वाले उत्तर देने लगा, भले ही तकनीकी रूप से अभी भी उससे "हाँ/नहीं" वाला प्रश्न पूछा जा रहा था! इसने सिद्ध कर दिया कि ज्यामितीय परिवर्तन (मानचित्र) ही व्यवहार परिवर्तन का कारण (cause) है।

5. अलग-अलग मॉडल, अलग-अलग रणनीतियाँ

ठीक वैसे ही जैसे अलग-अलग फैक्ट्रियों के अलग-अलग मैनेजर होते हैं, अलग-अलग AI मॉडल अलग-अलग रणनीतियों का उपयोग करते हैं:

  • OPT-2.7B शुरुआती चरणों में "खिंचाव" और "मिश्रण" (जटिल रूपांतरण) पर बहुत अधिक निर्भर लगता है।
  • Llama3 और Qwen3 शुरुआती चरणों में अधिक "स्लाइड" (Translation) पर निर्भर लगते हैं, शायद एक विशिष्ट "इंस्ट्रक्शन कोड" का उपयोग करते हैं जो डेटा को सही जगह पर ले जाने के लिए बस उसे खिसका देता है।

सारांश

यह शोध पत्र निष्कर्ष निकालता है कि जब आप किसी AI को नया निर्देश देते हैं, तो उसे अपने मस्तिष्क को मौलिक रूप से फिर से लिखने या जटिल, घुमावदार गणित करने की आवश्यकता नहीं होती है। इसके बजाय, यह मुख्य रूप से अपनी आंतरिक समझ को एक नई जगह पर खिसकाता (slide) है और नए कार्य के अनुकूल होने के लिए अपने फीचर्स को एक सीधी रेखा के तरीके से मिलाता (mix) है (Affine transformation)।

यह हमें एक स्पष्ट, ज्यामितीय चित्र देता है कि AI मॉडल निर्देशों को कैसे "सुनते" हैं: वे अनिवार्य रूप से अपनी आंतरिक डेटा की एक परिष्कृत, बहु-चरणीय पुनर्व्यवस्था कर रहे हैं, और अब हम सटीक रूप से माप सकते हैं कि उस पुनर्व्यवस्था में कितना हिस्सा एक साधारण स्लाइड है और कितना एक जटिल मिश्रण।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →