Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models
यह शोध पत्र पांच मॉडलों में सिंथेटिक "बुक ऑफ वेरा" कॉर्पस का उपयोग करते हुए एक नियंत्रित मूल्यांकन प्रस्तुत करता है, जो यह प्रकट करता है कि प्रारूप की परवाह किए बिना जब नियमों की संख्या 80 से अधिक हो जाती है तो निर्देश पालन (इंस्ट्रक्शन एडहेरेंस) ढह जाता है, जबकि दीर्घ-संदर्भ प्रदर्शन (लॉन्ग-कॉन्टेक्स्ट परफॉरमेंस) भ्रम (हैलुसिनेशन) के बजाय तीव्र रिकॉल गिरावट और इनकार की दरों द्वारा अभिलक्षित है, और मार्कडाउन के लिए प्लेन टेक्स्ट की तुलना में कोई सुसंगत लाभ नहीं है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को कोई काम करना सिखाने की कोशिश कर रहे हैं। आपके पास कुछ लीवर (levers) हैं जिन्हें आप उसे बेहतर काम करने के लिए खींच सकते हैं। एक लीवर है फॉर्मेट (format): आप अपने निर्देशों को एक साफ-सुथरी सूची, एक उबाऊ पैराग्राफ, एक फैंसी टेबल, या बस सादे टेक्स्ट के रूप में लिख सकते हैं। दूसरा लीवर है स्केल (scale): आप एक बार में कितने निर्देश देते हैं, और काम करते समय उसे कितना बैकग्राउंड डेटा (जैसे कि एक विशाल किताब) याद रखने के लिए कहते हैं। लंबे समय तक, लोगों ने इस पर बहस की कि कौन सी लेखन शैली सबसे अच्छी है, यह मानते हुए कि रोबोट उन्हें पूरी तरह से समझ लेगा चाहे आप कितने भी नियम जोड़ दें या किताब कितनी भी मोटी क्यों न हो। लेकिन आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs - वे AI जो कहानियाँ लिखते हैं और सवालों के जवाब देते हैं) के साथ, एक बढ़ती हुई आशंका है कि ये लीवर अकेले काम नहीं करते हैं। यदि आप रोबोट को बहुत अधिक नियम देते हैं, या उसे बहुत कुछ याद रखने के लिए कहते हैं, तो आपकी लिखने की शैली अचानक महत्वहीन हो सकती है, या इससे बुरा, यह अजीब तरीके से टूटने लग सकती है। यह शोध पत्र एक सरल लेकिन पेचीदा सवाल पूछता है: क्या आपके निर्देशों का फॉर्मेट वास्तव में मदद करता है, या यह केवल शोर में खो जाता है जब काम बहुत बड़ा हो जाता है?
इस अध्ययन के पीछे के शोधकर्ताओं, मशीन ह्यूमन इंटेलिजेंस लैब के नेटेनेल एलियाव (Netanel Eliav) ने अनुमान लगाना बंद करने और परीक्षण करना शुरू किया। उन्होंने एक विशाल, नकली ब्रह्मांड बनाया जिसे "बुक ऑफ वेयरा" (Book of Veyra) कहा गया। इसे "बुक ऑफ वेयरा" के रूप में सोचें—एक विशाल, काल्पनिक विश्वकोश जिसमें 8,780 अद्वितीय काल्पनिक चीजें शामिल हैं—जैसे सौर मंडल, गिल्ड्स और अजीब जीव—प्रत्येक के बारे में विशिष्ट तथ्य हैं। क्योंकि यह किताब एक कंप्यूटर प्रोग्राम द्वारा बनाई गई थी न कि इंटरनेट से पढ़कर, AI ने इसे पहले से याद नहीं किया होगा; इसे जानकारी खोजने के लिए प्रदान किए गए पृष्ठों को वास्तव में पढ़ना ही था। उन्होंने इसी किताब को चार अलग-अलग तरीकों से लिखा: एक मार्कडाउन लिस्ट (बोल्ड हेडर और बुलेट्स के साथ), प्लेन टेक्स्ट (केवल शब्द), बहते हुए गद्य (प्रोज़ - जैसे कि एक कहानी), और एक टेबल के रूप में। फिर, उन्होंने यह किताब पांच अलग-अलग AI मॉडल्स के सामने रखी और दो बड़े प्रयोग चलाए।
सबसे पहले, उन्होंने निर्देश पालन (Instruction Following) का परीक्षण किया। उन्होंने AI को एक लघु निबंध लिखते समय पालन करने के लिए नियमों की एक सूची दी। उन्होंने 10 नियमों से शुरुआत की और अधिक नियम जोड़ते गए, जब तक कि एक साथ 160 नियम नहीं हो गए। वे देखना चाहते थे कि क्या AI नियमों की सूची लंबी होने पर भी उन सभी नियमों का पूरी तरह से पालन कर सकता है, और क्या नियमों को एक फैंसी लिस्ट फॉर्मेट में लिखना, उन्हें पैराग्राफ में लिखने की तुलना में अधिक मदद करता है। परिणाम एक कठिन क्रैश (crash) था। चाहे नियम किसी भी तरह से लिखे गए हों, एक बार जब सूची लगभग 80 नियमों तक पहुँच गई, तो AI की हर एक नियम को पूरी तरह से पालन करने की क्षमता शून्य हो गई। इससे कोई फर्क नहीं पड़ता था कि नियम टेबल में थे या लिस्ट में; AI सब कुछ सही करने के लिए हार मान चुका था। आश्चर्यजनक रूप से, आप नियमों को कहाँ रखते हैं, यह उनके दिखने के तरीके से अधिक मायने रखता था। नियमों को "सिस्टम प्रॉम्प्ट" (रोबोट के छिपे हुए मस्तिष्क के निर्देश) में रखने बनाम "यूज़र टर्न" (चैट संदेश) में रखने से परिणाम काफी बदल गए, लेकिन अलग-अलग रोबोट्स के लिए अलग-अलग तरीके से। कुछ मॉडल्स के लिए, नियमों को चैट में रखना मददगार था; अन्य के लिए, इसने नुकसान पहुँचाया। कोई सार्वभौमिक "सर्वश्रेष्ठ" स्थान नहीं था।
दूसरा, उन्होंने "बुक ऑफ वेयरा" के साथ स्मृति और ईमानदारी (Memory and Honesty) का परीक्षण किया। उन्होंने AI को 2,000 शब्दों से लेकर एक विशाल 512,000 शब्दों तक के बुक चंक्स (chunks) दिए। उन्होंने AI से विशिष्ट तथ्यों को याद करने, यह जांचने के लिए कि क्या वह एक गलत कथन से सहमत होने के लिए झूठ बोलेगा (sycophancy/चापलूसी), या ऐसे तथ्य बनाने के लिए कि जो वहां नहीं थे (hallucination/भ्रम) पूछा। परिणाम दिलचस्प थे। लगभग 64,000 से 128,000 शब्दों तक, AI ने सब कुछ पूरी तरह से याद रखा, चाहे फॉर्मेट कुछ भी हो। लेकिन एक बार जब उन्होंने उस सीमा को पार किया, तो चीजें गड़बड़ा गईं। सटीकता केवल धीरे-धीरे कम नहीं हुई; यह गिर गई, और कैसे गिरी, यह पूरी तरह से फॉर्मेट और विशिष्ट AI मॉडल पर निर्भर था। एक मॉडल के लिए, 128k शब्दों पर प्लेन टेक्स्ट बहुत खराब था, जबकि लिस्ट और टेबल बहुत अच्छे काम कर रहे थे। दूसरे के लिए, इसके विपरीत था। कोई एक "सर्वश्रेष्ठ" फॉर्मेट नहीं था।
यहाँ सबसे बड़ा आश्चर्य है: जैसे-जैसे किताब लंबी होती गई, AI ने अधिक झूठ बोलना या गलत बयानों से सहमत होना शुरू नहीं किया। वास्तव में, तथ्य बनाने की दर शून्य थी, और झूठ से सहमत होने की दर बहुत कम रही। इसके बजाय, AI कुछ और करने लगा: उत्तर देने से इनकार करना (refusing to answer)। जैसे-जैसे किताब मॉडल की मेमोरी लिमिट के करीब पहुँची, AI बस कहने लगा, "मुझे नहीं पता" या "मैं इसका उत्तर नहीं दे सकता," और कभी-कभी 90% तक उत्तर देने से मना कर दिया। वह भ्रमित होकर झूठ नहीं बोल रहा था; वह अभिभूत (overwhelmed) होकर बंद हो रहा था।
शोध पत्र ने लागत (cost) को भी देखा। कुछ फॉर्मेट, जैसे कि टेबल, प्लेन टेक्स्ट की तुलना में अधिक "टोकन" (AI द्वारा टेक्स्ट की लंबाई मापने के लिए उपयोग की जाने वाली मुद्रा) लेते हैं। जब शोधकर्ताओं ने यह देखने के लिए स्कोर को समायोजित किया कि किस फॉर्मेट ने खर्च किए गए प्रति टोकन सबसे अच्छा सटीकता दी, तो विजेता फिर से बदल गए। कभी-कभी, एक ऐसा फॉर्मेट जो थोड़ा कम सटीक दिखता था, वास्तव में बेहतर सौदा था क्योंकि उसे पढ़ना सस्ता था।
मुख्य निष्कर्ष यह है कि आप केवल एक "सर्वश्रेष्ठ" फॉर्मेट जैसे कि मार्कडाउन या टेबल चुनकर यह मान नहीं सकते कि यह हमेशा काम करेगा। यह शोध पत्र सिद्ध करता है कि फॉर्मेट बेकार है यदि आप स्केल (scale) पर भी विचार नहीं करते हैं। यदि आपके पास बहुत अधिक निर्देश (लगभग 80 या अधिक) हैं, तो फॉर्मेट मायने नहीं रखता क्योंकि AI एक दीवार से टकरा जाता है। यदि आपके पास एक विशाल कॉन्टेक्स्ट (128k शब्दों से अधिक) है, तो फॉर्मेट बहुत मायने रखता है, लेकिन "सर्वश्रेष्ठ" वाला फॉर्मेट इस बात पर निर्भर करता है कि आप कौन सा AI मॉडल उपयोग कर रहे हैं। लेखक निष्कर्ष निकालते हैं कि वह विफलता मोड (failure mode) जिसके बारे में हमें चिंता करनी चाहिए, वह AI का झूठ बोलना नहीं है; बल्कि वह है कि जब कार्य बहुत बड़ा हो जाता है, तो AI हार मान लेता है और उत्तर देने से इनकार कर देता है। उन्होंने अपने सभी टूल्स और नकली "बुक ऑफ वेयरा" को जारी कर दिया है ताकि कोई भी इन सीमाओं का स्वयं परीक्षण कर सके, क्योंकि खेल के नियम हर नए रोबोट से मिलने पर बदलते रहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।