Your Prompt Is Not the Only Prompt: How Much Do LLMs Weight Structured-Output Schema Descriptions?
यह शोध पत्र यह प्रदर्शित करता है कि जबकि सिस्टम प्रॉम्प्ट आमतौर पर निर्देश प्लेसमेंट के लिए सबसे सुरक्षित डिफ़ॉल्ट बने रहते हैं, स्कीमा विवरण एक शक्तिशाली और मॉडल-निर्भर निर्देश चैनल है जो प्रॉम्प्ट को ओवरराइड कर सकता है, जिससे संरचित-आउटपुट प्रदर्शन को अनुकूलित करने के लिए एकीकृत स्कीमा डिज़ाइन और अनुभवजन्य सत्यापन महत्वपूर्ण हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े शाब्दिक (literal) रोबोट को खिलौनों के एक बिखरे हुए ढेर को छाँटना सिखाने की कोशिश कर रहे हैं। आपके पास इसे निर्देश देने के दो तरीके हैं: या तो आप उससे सीधे बात कर सकते हैं (जैसे एक शिक्षक व्याख्यान देते समय करता है), या आप उसे एक विशेष फॉर्म दे सकते हैं जिसमें भरने के लिए बॉक्स बने हैं, जहाँ निर्देशों को बॉक्स के ठीक बगल में लिखा गया है। यह "लार्ज लैंग्वेज मॉडल्स" (LLMs) की दुनिया है, जो कई आधुनिक एआई टूल्स के पीछे का मस्तिष्क हैं। आमतौर पर, लोग सोचते हैं कि "बातचीत" (प्रॉम्ट) ही वह जगह है जहाँ असली नियम रहते हैं, और "फॉर्म" (स्ट्रक्चर्ड आउटपुट स्कीमा) केवल एक उबाऊ टेम्पलेट है जिसका रोबोट को पालन करना है। लेकिन हाल ही में, डेवलपर्स यह सोचने लगे हैं कि क्या रोबोट वास्तव में फॉर्म पर लिखे नोट्स को पढ़ता भी है, या वह उन्हें अनदेखा कर देता है और केवल शिक्षक की बात सुनता है? यह सवाल महत्वपूर्ण है क्योंकि यदि हम अपने सबसे महत्वपूर्ण नियम गलत जगह रख देते हैं, तो रोबोट खिलौनों को पूरी तरह से गलत तरीके से छाँट सकता है, जिससे उन ऐप्स और टूल्स के काम करने का तरीका बिगड़ सकता है जिन पर हम रोज़ाना निर्भर रहते हैं।
सिन-यिंग (अलीना) लिन नामक एक शोधकर्ता ने इस बहस को सुलझाने के लिए एक चतुर प्रयोग करने का फैसला किया। बहस करने के बजाय, उन्होंने एक खेल तैयार किया जहाँ एक रोबोट को छोटे संदेशों को चार गुप्त श्रेणियों में छाँटना था, जिसमें "टोमिल" (tomil) और "वारेक" (varek) जैसे काल्पनिक नामों का उपयोग किया गया था ताकि रोबोट वास्तविक दुनिया के ज्ञान के आधार पर उत्तरों का अनुमान न लगा सके। फिर उन्होंने निर्देशों के साथ "म्यूजिकल चेयर्स" का खेल खेला, जिसमें शिक्षक के व्याख्यान (सिस्टम प्रॉम्ट) से सटीक परिभाषाओं को फॉर्म के नोट्स (स्कीमा विवरण) में स्थानांतरित किया गया, और कभी-कभी उन्हें उपयोगकर्ता के चैट बॉक्स में भी रखा गया।
उन्होंने जो पाया वह थोड़ा आश्चर्यजनक था: रोबोट के कान सभी एक समान आकार के नहीं होते हैं। कुछ मॉडल्स के लिए, जैसे GPT-4.1 और GPT-5.4 (बिना विशेष थिंकिंग मोड के), शिक्षक की आवाज़ ही सर्वोपरि थी। जब परिभाषाओं को फॉर्म में स्थानांतरित किया गया, तो इन रोबोट्स भ्रमित हो गए और उनकी सटीकता लगभग 11 से 13 प्रतिशत अंक गिर गई। वे ऐसा सोचते थे, "फॉर्म केवल भरने के लिए है; असली नियम तो भाषण में हैं!" हालाँकि, अन्य मॉडल्स के लिए, जैसे क्लाउड हाइकू 4.5 (Claude Haiku 4.5), फॉर्म ही बॉस था। जब फॉर्म पर दिए गए निर्देश बदल दिए गए, तो इस रोबोट का प्रदर्शन 52.5% सटीकता से गिरकर एक निराशाजनक 7% रह गया। यह पता चला कि कुछ रोबोटों के लिए, फॉर्म पर लिखे नोट्स इतने तेज़ हैं कि वे शिक्षक के सही निर्देशों को दबा देते हैं।
पेपर ने उन रोबोटों को ठीक करने के लिए एक "जादुई ट्रिक" भी खोज निकाली जो फॉर्म को अनदेखा कर रहे थे। एक अनिवार्य चरण जोड़कर जहाँ रोबोट को अंतिम उत्तर चुनने से पहले एक बॉक्स में अपना तर्क (reasoning) लिखना पड़ता था, प्रदर्शन 15 से 24 प्रतिशत अंक बढ़ गया। ऐसा लग रहा था जैसे रोबोट को "अपना काम दिखाने" (show its work) के लिए मजबूर करने से वह फॉर्म पर लिखे नियमों पर ध्यान देने लगा।
तो, मुख्य निष्कर्ष यह नहीं है कि कौन सी जगह हमेशा बेहतर होती है। इसके बजाय, पेपर सुझाव देता है कि प्रत्येक रोबोट मॉडल का अपना व्यक्तित्व होता है और वह अलग-अलग चैनलों को अलग-अलग वॉल्यूम पर सुनता है। फिलहाल सबसे सुरक्षित दांव यह है कि अपने सबसे महत्वपूर्ण नियमों को सिस्टम प्रॉम्ट (शिक्षक की आवाज़) में रखें, लेकिन आपको सावधान रहना चाहिए कि फॉर्म पर विरोधाभासी नियम न लिखें, अन्यथा कुछ रोबोट गलत नियमों का पालन करेंगे। असली सबक यह है कि आप केवल अनुमान नहीं लगा सकते; आपको प्रत्येक रोबोट का परीक्षण करना होगा कि वह कहाँ सबसे अच्छी तरह सुनता है, और कभी-कभी, निर्देशों को पूरी तरह से फिर से लिखने के बजाय फॉर्म के आकार को बदलकर उसमें एक "सोचने का चरण" (thinking step) शामिल करना एक अधिक शक्तिशाली समाधान होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।