आर्टिफिशियल इंटेलिजेंस की दुनियामें, लार्ज लैंग्वेज मॉडल्स (LLMs) को अक्सर सार्वभौमिक उपकरणों के रूप में माना जाता है: आप एक प्रश्न पूछते हैं, और वे उत्तर प्रदान करते हैं। वर्षों से, शोधकर्ता जानते हैं कि जिस तरह से आप वह प्रश्न पूछते हैं, विशेष शब्द, स्वरूपण (फॉर्मेटिंग), या प्रॉम्प्ट की शैली, परिणाम को नाटकीय रूप से बदल सकती है। एक ऐसा प्रॉम्प्ट जो एक मॉडल को प्रतिभाशाली दिखा सकता है, वह दूसरे को मूर्ख बना सकता है, और यहाँ तक कि पाठ में छोटे, अर्थहीन बदलाव भी इस रैंकिंग को बदल सकते हैं कि कौन सा मॉडल "सर्वश्रेष्ठ" है। यह घटना, जिसे प्रॉम्प्ट-मॉडल इंटरैक्शन (prompt-model interaction) के रूप में जाना जाता है, गणित की समस्याओं को हल करने या कोड लिखने जैसे कार्यों में अच्छी तरह से प्रलेखित है। हालांकि, एक अनसुलझा रहस्य बना हुआ था: क्या यह संवेदनशीलता उस जटिल मशीनरी से संबंधित है जिसका उपयोग मॉडल कार्यों को करने के लिए करता है, या यह स्वयं मॉडल द्वारा सूचना को संसाधित करने के तरीके का एक मौलिक गुण है? इस उत्तर को खोजने के लिए, वैज्ञानिकों को मॉडल को तब देखना था जब वह कुछ भी नहीं कर रहा हो। उन्हें मशीन को एक शुद्ध, कार्य-मुक्त अस्तित्व की स्थिति में देखने की आवश्यकता थी, जो निर्देशों, लक्ष्यों, या सही होने के दबाव से मुक्त हो।

शोधकर्ताओं की एक स्वतंत्र टीम ने कार्य को पूरी तरह से हटाकर इसकी जांच करने का निर्णय लिया। मॉडल से कोई समस्या हल करने के लिए पूछने के बजाय, उन्होंने उसे पाठ का एक छोटा क्रम दिया और देखा कि क्या होता है जब मॉडल को लगातार एक लूप में अगले शब्द, और फिर उसके बाद के शब्द की भविष्यवाणी करने के लिए मजबूर किया जाता है। क्योंकि मॉडल यादृच्छिक रूप से नमूना (sampling) नहीं ले रहा था, बल्कि सबसे संभावित अगले शब्द को चुनने के लिए एक सख्त, नियत (deterministic) नियम का पालन कर रहा था, यह प्रक्रिया एक पहाड़ी से नीचे लुढ़कती गेंद की तरह थी जो अंततः एक घाटी में स्थिर हो जाती है। कुछ मामलों में, गेंद एक एकल, स्थिर घाटी में लुढ़कती और हमेशा के लिए वहीं रहती; अन्य मामलों में, वह एक लूप में फंस सकती थी या बिना किसी दिशा के भटक सकती थी। शोधकर्ताओं ने यह मापा कि मॉडल की भविष्यवाणियां कितनी बार उस स्थिर अवस्था में स्थिर हुईं, जिसे उन्होंने 'फिक्स्ड-पॉइंट फ्रैक्शन' (fixed-point fraction) कहा। फिर उन्होंने परीक्षण किया कि एक छोटा सा टेक्स्ट प्रीफिक्स (prefix), क्रम शुरू होने से पहले केवल नौ शब्द या टोकन, जोड़ने से यह व्यवहार कैसे बदलता है। लक्ष्य सरल था: यह देखना कि क्या थोड़ा सा अतिरिक्त टेक्स्ट मॉडल के आंतरिक प्रक्षेपवक्र (trajectory) को मौलिक रूप से बदल सकता है, भले ही मॉडल कुछ भी हासिल करने की कोशिश न कर रहा हो।

परिणाम चौंकाने वाले थे और शोधकर्ताओं की अपनी अपेक्षाओं को चुनौती देते थे। उन्होंने पाया कि प्रॉम्प्ट और मॉडल के बीच का इंटरैक्शन इस कार्य-मुक्त आउटपुट (readout) में पूरी शक्ति के साथ पहुंच गया। केवल नौ टोकन के कंडीशनिंग टेक्स्ट को जोड़ने मात्र से मापे गए रीडआउट (readout) को उसकी पूरी सीमा में ले जाने के लिए पर्याप्त था। कुछ मॉडलों के लिए, इस छोटे से जुड़ाव ने मॉडल की भविष्यवाणियों के अराजक, भटकते हुए पैटर्न को एक पूर्णतः स्थिर पैटर्न में बदल दिया। अन्य के लिए, इसने एक पहले से स्थिर पैटर्न को नष्ट कर दिया और भविष्यवाणियों को एक लूप में भेज दिया। प्रभाव इतना शक्तिशाली था कि यह मॉडल के व्यवहार के संरचनात्मक वर्गीकरण को पूरी तरह से बदल सकता था। इसे संदर्भ देने के लिए, शोधकर्ताओं ने इस बदलाव की तुलना 'इंस्ट्रक्शन ट्यूनिंग' (instruction tuning) के प्रभाव से की, जो एक विशाल प्रशिक्षण प्रक्रिया है जो आमतौर पर मानक बेंचमार्क पर मॉडल के प्रदर्शन को साठ अंकों से अधिक बढ़ा देती है। जबकि उस भारी-भरकम प्रशिक्षण ने मॉडल के कार्य प्रदर्शन को महत्वपूर्ण रूप से बढ़ाया, इसने इस विशिष्ट संरचनात्मक आउटपुट को पूरी तरह से अपरिवर्तित छोड़ दिया। इसके विपरीत, मात्र नौ शब्दों के प्रीफिक्स ने मापे गए रीडआउट को एक चरम से दूसरे चरम पर बदल दिया। इसने सिद्ध किया कि प्रॉम्प्ट-मॉडल इंटरैक्शन केवल निर्देशों का पालन करने के तरीके की एक विचित्रता नहीं है; यह इस बात का एक गहरा, संरचनात्मक तथ्य है कि मॉडल पाठ के एक अंश को कैसे पढ़ता है।

शोधकर्ताओं ने फिर समझाने की कोशिश की कि ऐसा क्यों हुआ, और कई स्वाभाविक सिद्धांत प्रस्तुत किए जो तर्कसंगत लग रहे थे। उन्होंने सोचा कि क्या जोड़े गए पाठ की लंबाई कारण थी, या सामग्री, चाहे वह साधारण गद्य हो या फॉर्मेट किया गया कोड, कारक थी। उन्होंने यह भी विचार किया कि क्या यह प्रभाव सार्वभौमिक था, जिसका अर्थ था कि यह हमेशा मॉडलों को एक ही दिशा में धकेलता है, या यह कुछ विशेष प्रकार के मॉडलों का एक विशिष्ट गुण था, जैसे कि निर्देश का पालन करने के लिए प्रशिक्षित मॉडल। उन्होंने इन विचारों का कड़ाई से परीक्षण किया, छोटे समूहों के साथ शुरुआत की और फिर अपने नमूने को अधिक विविध आर्किटेक्चर और टेक्स्ट प्रकारों तक विस्तृत किया। उनके द्वारा प्रस्तुत पांच विशिष्ट कारकीकरण (candidate explanations) नमूना विस्तार के तहत विफल रहे। प्रभाव केवल इस बारे में नहीं था कि पाठ कितना लंबा था; वास्तव में, संबंध सुचारू या अननुमानित नहीं था, जिसमें कुछ मॉडल एक अतिरिक्त शब्द के प्रति अत्यधिक प्रतिक्रिया देते थे जबकि अन्य इसे अनदेखा कर देते थे। पाठ की सामग्री भी इस पैटर्न को समझाने में विफल रही; जो एक मॉडल के लिए काम करता था वह अक्सर दूसरे के लिए विफल हो गया, और परिवर्तन की दिशा टेक्स्ट और मॉडल की विशिष्ट जोड़ी के आधार पर बदल गई। यहाँ तक कि यह विचार भी कि निर्देश-प्रशिक्षित मॉडल इन परिवर्तनों का विरोध करेंगे, गलत साबित हुआ जब उन्होंने विभिन्न प्रकार के टेक्स्ट का परीक्षण किया।

इन पांच कारकीकरणों के विफल होने के बाद जो शेष बचा, वह एक सरल, जिद्दी वास्तविकता थी: प्रभाव प्रॉम्प्ट और मॉडल की विशिष्ट जोड़ी का था, न कि उनमें से किसी एक का व्यक्तिगत गुण। एक एकल, निश्चित नौ-शब्दों का प्रीफिक्स चार अलग-अलग मॉडलों को पूर्ण स्थिरता की स्थिति की ओर ले जा सकता था, जबकि अन्य दो मॉडलों को पूर्ण अराजकता की ओर धकेल सकता था। वह टेक्स्ट जिसने एक मॉडल की भविष्यवाणियों को स्थिर कर दिया, उसने दूसरे को ध्वस्त कर दिया। यह व्यवहार तब भी बना रहा जब शोधकर्ताओं ने ऐसे टेक्स्ट का उपयोग किया जो वास्तविक दुनिया में सामान्य हैं, जिससे यह सिद्ध हुआ कि यह अजीब या यादृच्छिक शब्दों का उपयोग करने का परिणाम नहीं था। शोधकर्ताओं ने मॉडलों के आंतरिक तंत्र को भी देखा, विशेष रूप से इस पर कि मॉडल ने अनुक्रम के बिल्कुल पहले टोकन पर कितना ध्यान (attention) दिया। एक लोकप्रिय सिद्धांत ने सुझाव दिया कि शुरुआती टोकन एक "सिंक" (sink) के रूप में कार्य करते हैं, जो मॉडल के ध्यान को सोख लेते हैं और परिणाम को निर्धारित करते हैं। हालांकि, जब उन्होंने इसे मापा, तो यह सिद्धांत परिवर्तन की दिशा बताने में विफल रहा। कुछ मॉडलों में, अटेंशन सिंक बढ़ा और स्थिरता बढ़ गई; अन्य में, अटेंशन सिंक बढ़ा लेकिन स्थिरता गिर गई। यान्त्रिक स्पष्टीकरण वास्तविक दुनिया के टेक्स्ट के लिए तो सही था, लेकिन उनके प्रोब (probe) में उपयोग किए गए यादृच्छिक इनपुट के लिए पूरी तरह से टूट गया, जिससे पता चला कि शोधकर्ता उस क्षेत्र के बाहर काम कर रहे थे जहां वह यान्त्रिक सिद्धांत लागू होता है।

अध्ययन यह निष्कर्ष निकालता है कि इस घटना की व्याख्या की इकाई स्वयं प्रॉम्प्ट-मॉडल का जोड़ा है। ऐसा कोई एकल नियम नहीं है कि टेक्स्ट की लंबाई, सामग्री, या मॉडल का प्रकार यह अनुमान लगा सके कि एक विशिष्ट मॉडल एक विशिष्ट प्रॉम्प्ट के प्रति कैसे प्रतिक्रिया करेगा। शोधकर्ताओं ने पाया कि उनके अपने सार्वभौमिक नियम खोजने के प्रयास अक्सर एक सूक्ष्म त्रुटि के कारण विफल रहे: एक ऐसी मात्रा पर कठोर मानदंड लागू करना जिसमें भिन्नता की कोई गुंजाइश नहीं थी। उदाहरण के लिए, उन्हें शुरू में लगा कि उन्होंने एक सार्वभौमिक दिशा खोज ली है जहां सभी मॉडल एक ही दिशा में चलते हैं, केवल तभी जब उन्हें एहसास हुआ कि उनके छोटे नमूना आकार ने अपवादों को छिपा दिया था। अपने नमूने को व्यापक बनाकर और उन पैटर्न को स्वीकार करने से इनकार करके जो विफल नहीं हो सकते थे, उन्होंने सुनिश्चित किया कि उनके निष्कर्ष ईमानदार थे। अंतिम चित्र अत्यधिक विशिष्टता का है। एक मॉडल द्वारा पाठ के एक अंश को पढ़ने का तरीका मॉडल का एक सामान्य गुण नहीं है, न ही यह टेक्स्ट का एक सामान्य गुण है। यह एक अद्वितीय इंटरैक्शन है जो केवल तभी उभरता है जब वह विशिष्ट टेक्स्ट उस विशिष्ट मॉडल से मिलता है। शोधकर्ता वैज्ञानिक समुदाय को इसका परीक्षण जारी रखने के लिए आमंत्रित करते हैं, लेकिन जब तक कोई नया कारक उसी कठोर नमूना विस्तार का सामना नहीं कर लेता, उत्तर यही रहता है कि यह इंटरैक्शन एक जोड़ी-विशिष्ट घटना है, जो सरल वर्गीकरण के प्रति प्रतिरोधी है।