🤖 machine learning

CompilerKV: Risk-Adaptive KV Compression via Offline Experience Compilation

CompilerKV एक ऑफलाइन-कंपाइल्ड KV रिटेंशन पॉलिसी पेश करता है जो शोर वाले ऑनलाइन एस्टीमेशन को कुशल $O(1)$ लुकअप से बदलने के लिए क्रॉस-प्रॉम्ट रेगुलैरिटी का लाभ उठाता है, जो मौजूदा प्रीफिल-ओनली कंप्रेशन विधियों की तुलना में अत्यधिक मेमोरी बाधाओं के तहत अत्याधुनिक प्रदर्शन और बेहतर स्केलेबिलिटी प्राप्त करता है।

मूल लेखक: Ning Yang, Chengzhi Wang, Yibo Liu, Baoliang Tian, Haijun Zhang

प्रकाशित 2026-05-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ning Yang, Chengzhi Wang, Yibo Liu, Baoliang Tian, Haijun Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत लंबी कहानी याद रखने की कोशिश कर रहे हैं ताकि बाद में उससे जुड़े सवालों के जवाब दे सकें। आपका मस्तिष्क (AI मॉडल) सबसे महत्वपूर्ण हिस्सों को पकड़ने के लिए एक सीमित मात्रा में "मानसिक स्क्रैचपैड" स्थान (जिसे KV Cache कहा जाता है) का उपयोग करता है।

यदि कहानी छोटी है, तो आप सब कुछ याद रख सकते हैं। लेकिन यदि कहानी 1,00,000 शब्दों लंबी है, तो आपका स्क्रैचपैड भर जाएगा। आपको जगह बनाने के लिए कुछ हिस्सों को फेंकना होगा। समस्या यह है: एक बार जब आपने कुछ फेंक दिया, तो आप उसे कभी वापस नहीं पा सकते। यदि आपने गलती से उस हिस्से को हटा दिया जहाँ खलनायक अपनी गुप्त योजना का खुलासा करता है, तो आपकी पूरी कहानी बिखर जाएगी।

पुराना तरीका: उसी क्षण अनुमान लगाना

पिछले तरीकों ने यह तय करने की कोशिश की कि क्या रखना है, यह देखते हुए कि कहानी अभी कैसी है, वास्तविक समय में। वे कहते थे, "इस शब्द का अटेंशन स्कोर (attention score) अधिक है, इसलिए यह महत्वपूर्ण होना चाहिए!" या "यह वाक्य जटिल लग रहा है, इसे रखें!"

इस शोध पत्र के लेखक तर्क देते हैं कि यह एक फिल्म के केवल एक शोर भरे फ्रेम को देखकर पूरी फिल्म का न्याय करने जैसा है। क्योंकि कहानी बहुत लंबी है और डेटा अव्यवस्थित है, केवल एक प्रॉम्प्ट (एक कहानी) को देखना गलत अनुमानों की ओर ले जाता है। आप एक चमकते हुए लेकिन बेकार शब्द को रख सकते हैं और एक शांत लेकिन महत्वपूर्ण सुराग को फेंक सकते हैं।

नया तरीका: COMPILERKV (एक "प्री-गेम रणनीति")

लेखक COMPILERKV पेश करते हैं। मौके पर अनुमान लगाने के बजाय, वे पहले से ही एक रणनीति "कंपाइल" (compile) करते हैं, जैसे कोई कोच बड़े मैच से पहले गेम फिल्म का अध्ययन करता है।

यह कैसे काम करता है, इसे तीन सरल चरणों में विभाजित किया गया है:

1. "शोर फिल्टर" (Stabilized Utility)

कल्पना कीजिए कि आप एक भीड़भाड़ वाले कमरे में सुन रहे हैं। कुछ लोग चिल्ला रहे हैं (transient spikes), और कुछ माइक्रोफोन बस दूसरों की तुलना में तेज़ हैं (scale bias)।

समाधान: COMPILERKV केवल यह नहीं सुनता कि कौन सबसे ज़ोर से चिल्ला रहा है। यह शोर को सुचारू बनाता है और वॉल्यूम को सामान्य (normalize) करता है। यह पूछता है, "क्या यह व्यक्ति वास्तव में कुछ महत्वपूर्ण कह रहा है, या वे बस शोर मचा रहे हैं?" यह AI को अस्थायी शोर से धोखा खाने से रोकता है।

2. "विशेषज्ञ मानचित्र" (Head Heterogeneity Table)

AI के भीतर, कई अलग-अलग "मस्तिष्क कोशिकाएं" (जिन्हें अटेंशन हेड्स कहा जाता है) होती हैं। कुछ तथ्य खोजने में विशेषज्ञ हैं (जैसे एक लाइब्रेरियन), जबकि अन्य केवल शोर मचाने वाली बातें करती हैं।

समाधान: लेखकों ने हजारों कहानियों का ऑफलाइन अध्ययन किया और महसूस किया: कुछ मस्तिष्क कोशिकाएं हमेशा विश्वसनीय होती हैं, और अन्य हमेशा शोर भरी होती हैं। उन्होंने एक स्थायी "विशेषज्ञों का मानचित्र" बनाया।
उपमा: पूरी टीम से राय मांगने के बजाय, सिस्टम जानता है: "यदि 'लाइब्रेरियन' कोशिका कहती है कि एक शब्द महत्वपूर्ण है, तो हम उसे रखेंगे, भले ही 'चैटरबॉक्स' कोशिकाएं कहें कि वह बेकार है।" यह महत्वपूर्ण जानकारी को बचाने के लिए विश्वसनीय विशेषज्ञों को "वीटो पावर" देता है।

3. "जोखिम मीटर" (Risk-Adaptive Threshold)

सभी कहानियाँ एक जैसी नहीं होतीं। कुछ सरल होती हैं (एक रेसिपी); अन्य जटिल और भ्रमित करने वाली होती हैं (एक रहस्य उपन्यास)।

समाधान: सिस्टम यह जांचता है कि वर्तमान कहानी कितनी "जोखिम भरी" है।
- कम जोखिम (सरल कहानी): "हम आक्रामक हो सकते हैं। 90% टेक्स्ट को हटा दें; हम ठीक रहेंगे।"
- उच्च जोखिम (भ्रमित करने वाली कहानी): "यह खतरनाक है! रूढ़िवादी बनें। बस सावधानी के तौर पर 95% टेक्स्ट को रखें।"
उपमा: यह यात्रा के लिए पैकिंग करने जैसा है। यदि आप जानते हैं कि मौसम बेहतरीन है, तो आप हल्का सामान पैक करते हैं। यदि तूफान की चेतावनी है, तो आप अतिरिक्त सामान पैक करते हैं। COMPILERKV स्वचालित रूप से यह तय करने के लिए कि उसे कितना रखना है, वर्तमान प्रॉम्प्ट के आधार पर खुद को समायोजित करता है।

यह एक बड़ी बात क्यों है

शोध पत्र का दावा है कि मौके पर अनुमान लगाने (ऑनलाइन ह्यूरिस्टिक्स) के बजाय इस "प्री-गेम स्टडी" (ऑफलाइन कंपाइलेशन) को करके, उन्हें बहुत बेहतर परिणाम मिलते हैं:

यह पोर्टेबल है: उनके द्वारा बनाया गया "विशेषज्ञों का मानचित्र" विभिन्न AI मॉडलों पर काम करता है। यह एक सार्वभौमिक नियम पुस्तिका की तरह है जो विभिन्न प्रकार के मस्तिष्क पर लागू होती है।
यह मेमोरी बचाता है: वे AI को बहुत कम मेमोरी बजट (मूल टेक्स्ट का केवल 1.5%) पर चलते रहने के योग्य बना सकते हैं और फिर भी प्रश्नों के सही उत्तर दे सकते हैं।
यह लंबी सामग्री को संभालता है: जब विशाल संदर्भों (1,28,000 शब्दों तक) पर परीक्षण किया गया, तो COMPILERKV मजबूत रहा जबकि अन्य तरीके विफल हो गए। उदाहरण के लिए, एक "नीडल इन अ हेस्टैक" (Needle in a Hayestack) परीक्षण में (एक विशाल टेक्स्ट में एक विशिष्ट तथ्य खोजना), COMPILYKV ने 89% बार सुई को खोज निकाला, जबकि अगली सबसे अच्छी विधि ने इसे केवल 42% बार खोजा।

निचोड़

COMPILERKV एक पल के भीतर सटीक निर्णय लेने की कोशिश करना बंद करता है। इसके बजाय, यह तय करने के लिए कि क्या रखना है, एक पूर्व-निर्धारित, जोखिम-जागरूक रणनीति का उपयोग करता है। यह एक जुआरी द्वारा लगाई गई जंगली बाजी और एक शतरंज के ग्रैंडमास्टर के बीच का अंतर है, जिसने वर्षों के अनुभव के आधार पर सर्वोत्तम चालों की पहले से गणना कर ली है। परिणाम एक ऐसा AI है जो बिना मेमोरी खत्म किए या महत्वपूर्ण हिस्सों को भूले, भारी मात्रा में टेक्स्ट को याद रख सकता है।

तकनीकी सारांश: COMPILERKV

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) संदर्भ लंबाई (context length) के साथ की-वैल्यू (KV) कैश के रैखिक विकास के कारण मेमोरी बाधाओं का सामना करते हैं। प्रीफिल-ओनली KV कम्प्रेशन (Prefill-only KV compression) एक डिप्लॉयमेंट-फ्रेंडली समाधान के रूप में उभरा है, जहाँ प्रीफिल चरण के अंत में टोकन्स के एक उपसमूह (subset) को चुना जाता है और पूरे डिकोडिंग पास के लिए फ्रीज कर दिया जाता है। यह दृष्टिकोण रनटाइम मेमोरी उपयोग को शून्य डिकोडिंग-टाइम हस्तक्षेप के साथ एक निश्चित लागत में बदल देता है।

हालाँकि, यह शोध पत्र मौजूदा प्रीफिल-ओनली विधियों (जैसे, SnapKV, PyramidKV, HeadKV) में एक मौलिक सांख्यिकीय बेमेल (statistical mismatch) की पहचान करता है। ये विधियाँ एक एकल, शोर वाले (noisy) प्रॉम्प्ट से सांख्यिकी का उपयोग करके सुधारात्मक संकेतों—विशेष रूप से प्रति-हेड विश्वसनीयता (कौन से अटेंशन हेड्स रिट्रीवल के लिए महत्वपूर्ण हैं) और प्रॉम्प्ट-लेवल कम्प्रेशन सेंसिटिविटी (एक विशिष्ट प्रॉम्प्ट कितना कंप्रेस किया जा सकता है)—का ऑनलाइन अनुमान लगाने का प्रयास करती हैं। लेखक तर्क देते हैं कि यह गलत सांख्यिकीय इकाई है:

E1 (सिंगल-प्रॉम्प्ट नॉइज़): प्रति-प्रॉम्प्ट अटेंशन स्कोर हेवी-टेल्ड (heavy-tailed) और स्केल-बायस्ड होते हैं; बड़े परिमाण (magnitudes) अर्थपूर्ण महत्व की गारंटी नहीं देते हैं, और अनुमान में छोटी त्रुटियां अपरिवर्तनीय चयन त्रुटियों का कारण बनती हैं।
E2 (हेड हेट्रोजेनिटी): अटेंशन हेड्स कार्यात्मक रूप से विशिष्ट होते हैं। कुछ "रिट्रीवल-क्रिटिकल" होते हैं, जबकि अन्य लगातार शोर वाले होते हैं। नैइव एग्रीगेशन (Naïve aggregation) शोर वाले हेड्स को स्कोर पर हावी होने देता है।
E3 (प्रॉम्प्ट-लेवल रिस्क वेरिएंस): विभिन्न प्रॉम्प्ट्स की कम्प्रेशन सीमाएं अलग-अलग होती हैं। एक निश्चित रिटेंशन नियम उच्च-एन्ट्रॉपी या उच्च-परप्लेक्सिटी वाले प्रॉम्प्ट्स पर विफल हो जाता है, जिससे विनाशकारी सूचना हानि होती है।

मौजूदा विधियाँ प्रत्येक प्रॉम्प्ट के लिए ऑनलाइन इन संकेतों का पुन: अनुमान लगाती हैं, जो इस तथ्य का लाभ उठाने में विफल रहती हैं कि ये संकेत सिंगल-प्रॉम्प्ट स्थिरता के बजाय उच्च क्रॉस-प्रॉम्प्ट रेगुलरिटी (cross-prompt regularity) प्रदर्शित करते हैं।

2. कार्यप्रणाली: COMPILERKV (Methodology: COMPILERKV)

लेखक COMPILERKV प्रस्तावित करते हैं, जो एक KV-रिटेंशन पॉलिसी है जो ऑनलाइन अनुमान लगाने के बजाय एक कैलिब्रेशन कॉर्पस से ऑफलाइन सुधारात्मक टेबल्स को संकलित (compile) करती है। मुख्य अंतर्दृष्टि यह है कि हेड विश्वसनीयता रैंकिंग और रिस्क फीचर्स से सुरक्षित थ्रेसहोल्ड का मैपिंग, स्थिर आर्किटेक्चरल प्रायर्स (architectural priors) हैं जिन्हें एक बार सीखा जा सकता है और पुनः उपयोग किया जा सकता है।

यह फ्रेमवर्क तीन जुड़े हुए घटकों से बना है जो प्रीफिल चरण के दौरान कार्य करते हैं:

A. स्टेबलाइज्ड टोकन यूटिलिटी (Addressing E1)

ट्रांजिएंट अटेंशन स्पाइक्स और इंटर-हेड स्केल बायस को बिना सीखे हटाने के लिए, यह विधि एक पैरामीटर-फ्री यूटिलिटी स्कोर की गणना करती है:

विंडो-एग्रीगेटेड अटेंशन: प्रॉम्प्ट टेल (tail) पर एक ऑब्जर्वेशन विंडो $\Omega$ पर अटेंशन को एग्रीगेट करके ट्रांजिएंट स्पाइक्स को स्मूथ करता है।
हेड-रिलेटिव नॉर्मलाइजेशन: टोकन स्कोर को हेड के मीन वैल्यू नॉर्म द्वारा नॉर्मलाइज करता है, जिससे स्केल बायस हट जाता है।
फॉर्मूला: $u^{(l,h)}_t = \alpha_t \cdot \rho^{(l,h)}_t$ , जहाँ $\alpha_t$ विंडो मास है और $\rho$ नॉर्मलाइज्ड वैल्यू नॉर्म है।

B. हेड हेट्रोजेनिटी टेबल (Addressing E2)

सभी हेड्स को समान मानने या ऑनलाइन महत्व का पुन: अनुमान लगाने के बजाय, COMPILERKV निरंतर विश्वसनीयता भार (reliability weights) का एक फ्रोज़न टेबल $W_{head}[l, h]$ संकलित करता है।

ऑफलाइन कम्प्लेशन: इसे एक कैलिब्रेशन कॉर्पस पर कंजर्वेटिव Q-लर्निंग (CQL) के माध्यम से सीखा जाता है। स्टेट $(l, h, B_l)$ है, और एक्शन एक डिस्क्रीटाइज्ड विश्वसनीयता भार है।
मैकेनिज्म: इन्फरेंस के दौरान, एक टोकन की यूटिलिटी को उसके हेड की विश्वसनीयता द्वारा री-स्केल किया जाता है। महत्वपूर्ण रूप से, एग्रीगेशन वेटेड मैक्स-पूलिंग ( $\hat{u}^{(l)}_t = \max_h (u^{(l,h)}_t \cdot W_{head}[l, h])$ ) का उपयोग करता है। यह रिट्रीवल-क्रिटिकल हेड्स को "वीटो पावर" देता है: यदि एक क्रिटिकल हेड एक टोकन की ओर मजबूती से ध्यान देता है, तो उसे रिटेन किया जाता है, भले ही शोर वाले हेड्स का सर्वसम्मति (consensus) न हो।

C. रिस्क-एडाप्टिव थ्रेसहोल्ड गेट (Addressing E3)

अलग-अलग कम्प्रेशन सीमाओं वाले प्रॉम्प्ट्स को संभालने के लिए, एक रिस्क-एडाप्टिव थ्रेसहोल्ड गेट प्रॉम्प्ट-लेवल रिस्क फीचर्स को रिटेंशन थ्रेसहोल्ड में मैप करता है।

रिस्क सिग्नल्स: ऑब्जर्वेशन विंडो पर कंप्यूट किए गए अटेंशन एंट्रॉपी (स्ट्रक्चरल रिस्क) और लोकल परप्लेक्सिटी (सिमेंटिक रिस्क) का उपयोग करता है।
ऑफलाइन कम्प्लेशन: एक लुकअप टेबल (LUT) डिस्क्रीटाइज्ड रिस्क बिन्स $(b_{ent}, b_{ppl})$ को रिटेंशन थ्रेसहोल्ड $\tau^{(l)}$ में मैप करता है। इसे भी CQL के माध्यम से संकलित किया जाता है।
कंजर्वेटिव बायस: CQL ऑब्जेक्टिव दुर्लभ, उच्च-जोखिम वाले स्टेट्स (उच्च एंट्रॉपी/परप्लेक्सिटी) पर आक्रामक थ्रेसहोल्ड को दंडित करता है, जिससे टेबल को सुरक्षित रिटेंशन की ओर बायस किया जाता है जहाँ ऑनलाइन ह्यूरिस्टिक्स आमतौर पर विफल हो जाते हैं।
इलास्टिक सिलेक्शन: अंतिम सिलेक्शन उन सभी टोकन्स को रिटेन करता है जिनकी यूटिलिटी थ्रेसहोल्ड $\tau^{(l)}$ से ऊपर है। यदि कैंडिडेट सेट बजट $B_l$ से अधिक है, तो इसे टॉप- $B_l$ टोकन्स तक क्लैंप किया जाता है। यदि यह कम है, तो सभी कैंडिडेट्स रखे जाते हैं (इलास्टिक अंडर-रिटेंशन)।

D. सैद्धांतिक आधार (Theoretical Grounding)

शोध पत्र एक औपचारिक विश्लेषण प्रदान करता है जो दिखाता है कि एप्रोक्सिमेशन एरर को डिस्कर्डेड टेल मास (Proposition 4.1) द्वारा नियंत्रित किया जाता है। यह तर्क देता है कि फाइनाइट-टेबल कैलिब्रेशन एरर को सिंगल प्रॉम्प्ट के अटेंशन रोज़ में स्वतंत्रता मानकर नहीं, बल्कि प्रॉम्प्ट लेवल (स्वतंत्र प्रॉम्प्ट्स के बीच) पर नियंत्रित किया जाता है, जिससे वेरिएंस कम होता है।

3. मुख्य योगदान (Key Contributions)

समस्या को फिर से परिभाषित करना: यह पहचानना कि प्रीफिल-ओनली कम्प्रेशन में सुधार के लिए सांख्यिकीय इकाई क्रॉस-प्रॉम्प्ट स्केल होनी चाहिए, न कि सिंगल प्रॉम्प्ट।
ऑफलाइन कम्प्लेशन: हेड विश्वसनीयता और रिस्क-एडाप्टिव थ्रेसहोल्ड को ऑफलाइन संकलित करने की विधि पेश करना, जिससे वे पोर्टेबल आर्किटेक्चरल प्रायर्स बन जाते हैं।
कपल्ड पॉलिसी: एक संयुक्त अनुकूलन (joint optimization) का प्रस्ताव जो हेड विश्वसनीयता वेट और रिस्क थ्रेसहोल्ड को एक ही डाउनस्ट्रीम रिवॉर्ड के विरुद्ध कैलिब्रेट करता है, बजाय इसके कि वे स्वतंत्र मॉड्यूल हों।
पोर्टेबिलिटी: प्रदर्शित करना कि संकलित टेबल्स विजातीय (disjoint) कॉर्प経過 और विभिन्न मॉडल फैमिली (जैसे, LLaMA से Mistral) के बीच न्यूनतम प्रदर्शन गिरावट के साथ ट्रांसफर होते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन चार 7B–8B बैकबोन (LLaMA-3, Mistral, Qwen2, InternLM) पर LongBench, RULER, और Needle-in-a-Haystack (NIAH) बेंचमार्क पर किया गया।

LongBench (512-टोकन बजट): COMPILERKV सभी चार बैकबोन पर कंप्रेस्ड-SOTA प्राप्त करता है, जो सबसे मजबूत बेसलाइन (जैसे, ChunkKV, HeadKV) से औसतन +1.67 पॉइंट्स (95% CI [+1.08, +2.37]) बेहतर है। कुछ बैकबोन पर, यह थोड़ा FullKV प्रदर्शन को भी पार कर जाता है, जिसे लेखक सूचना लाभ के बजाय डीनोइजिंग का परिणाम मानते हैं।
प्रेशर रेजीम्स (Pressure Regimes):
- RULER (128k कॉन्टेक्स्ट): एक फिक्स्ड 512/32k कैश रेशियो के तहत, COMPILERKV ~~73 का स्कोर बनाए रखता है, जो SnapKV (~~38) और KVZip (~~66.5) से काफी बेहतर है, जबकि FullKV (~~79) से नीचे रहता है।
- NIAH (32k): SnapKV के 0.42 के मुकाबले 0.89 सटीकता प्राप्त करता है।
- बैचिंग: 16 के बैच साइज के साथ 32k इनपुट पर, COMPILERKV व्यवहार्य रहता है, जबकि FullKV मेमोरी की कमी (OOM) के कारण विफल हो जाता है।
ट्रांसफरेबिलिटी:
- क्रॉस-कॉर्पस: हेड विश्वसनीयता रैंकिंग विजातीय कैलिब्रेशन कॉर्प経過 के बीच उच्च स्पीयरमैन सहसंबंध ( $\bar{\rho} \approx 0.90$ ) दिखाती है।
- क्रॉस-मॉडल: मॉडल्स के बीच डायरेक्ट टेबल ट्रांसफर (जैसे, LLaMA-3 से Mistral) लक्ष्य-विशिष्ट कम्प्लेशन की तुलना में केवल 0.4–0.8 LongBench पॉइंट्स का नुकसान करता है।
दक्षता (Efficiency): ऑनलाइन ओवरहेड न्यूनतम है: प्रति लेयर $O(1)$ टेबल लुकअप और कैंडिडेट पूल पर एक सिंगल सॉर्ट। यह 32k कॉन्टेक्स्ट पर FullKV की तुलना में 2.45× डिकोडिंग थ्रूपुट तक प्राप्त करता है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि COMPILERKV फिक्स्ड बजट पर FullKV के अंतर को कम करता है क्योंकि यह रिटेंशन पॉलिसी के कंप्यूटेशन में सांख्यिकीय बेमेल को ठीक करता है। ऑनलाइन, शोर वाले, सिंगल-प्रॉम्प्ट अनुमान से हटकर, एक ऑफलाइन, कम्पाइल्ड, क्रॉस-प्रॉम्प्ट प्रायर के रूप में सुधारात्मक संकेतों के कंप्यूटेशन को बदलकर, यह चयन प्रक्रिया को शोर और हेट्रोजेनिटी के खिलाफ स्थिर करता है।

लेखक इस बात पर जोर देते हैं कि नवीनता केवल "हेड अवेयरनेस" (जो HeadKV जैसे पूर्ववर्ती तरीकों में भी है) नहीं है, बल्कि निरंतर हेड विश्वसनीयता और प्रॉम्प्ट-रिस्क थ्रेसहोल्ड का संयुक्त ऑफलाइन कम्प्लेशन है। यह हेड विश्वसनीयता को एक ट्यूनिंग ट्रिक से बदलकर एक पुन: प्रयोज्य वैज्ञानिक वस्तु में बदल देता है जिसे एक बार संकलित किया जा सकता है और $O(1)$ ऑनलाइन ओवरहेड के साथ विभिन्न मॉडल्स और कॉन्टेक्स्ट्स में तैनात किया जा सकता है। यह कार्य सुझाव देता है कि प्रीफिल-ओनली कम्प्रेशन के लिए, "सही" संकेत मॉडल के आर्किटेक्चरल गुण हैं, न कि इनपुट प्रॉम्प्ट की क्षणिक विशेषताएं।