Structured Output Collapses Answer Diversity Across 44 Language Models
यह अध्ययन प्रदर्शित करता है कि स्कीमा प्रवर्तन (schema enforcement) के बिना भी, JSON जैसे संरचित आउटपुट प्रारूपों की मांग करना, 44 भाषा मॉडलों में उत्तरों की विविधता को काफी कम कर देता है और प्रमुख प्रतिक्रियाओं की ओर मॉडल अभिसरण (convergence) को बढ़ाता है, जो यह प्रकट करता है कि केवल प्रॉम्प्ट का रजिस्टर ही—न कि डिकोडिंग बाधाएं—मॉडल व्यवहार के मापने योग्य समरूपीकरण (homogenization) को संचालित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एआई का गुप्त जीवन: जब शिष्टता कोड से मिलती है
कल्पना कीजिए कि आप एक विशाल, अत्यंत बुद्धिमान पुस्तकालय से बात कर रहे हैं जिसने लगभग सब कुछ पढ़ लिया है जो कभी लिखा गया था। यह पुस्तकालय एक आर्टिफिशियल इंटेलिजेंस (AI) है, और यह बातचीत करने, चुटकुले सुनाने और कहानियाँ लिखने की अपनी क्षमता के लिए प्रसिद्ध है। लेकिन यहाँ एक पेंच है: जबकि इंसान अव्यवस्थित, बहते हुए वाक्यों में बात करना पसंद करते हैं, कंप्यूटर उस तरह से बात नहीं करते। कंप्यूटर सख्त, व्यवस्थित बक्सों में बात करते हैं जिन्हें "स्ट्रक्चर्ड डेटा" (structured data) कहा जाता है, जैसे कि JSON या XML। इसे एक कवि द्वारा लिखी गई मुक्त-रूप कविता और एक कैशियर द्वारा वस्तुओं को रजिस्टर में स्कैन करने के बीच के अंतर की तरह समझें, जहाँ हर वस्तु को एक विशिष्ट स्थान में फिट होना चाहिए।
लंबे समय से, वैज्ञानिक अध्ययन कर रहे हैं कि जब ये एआई कवियों की तरह चैट कर रहे होते हैं तो वे कैसा व्यवहार करते हैं। वे पूछते हैं, "एक पेड़ का नाम बताओ," और देखते हैं कि एआई क्या कहता है। आमतौर पर, यदि आप 44 अलग-अलग एआई से यह प्रश्न पूछते हैं, तो वे या तो अलग-अलग पेड़ चुन सकते हैं, या वे गलती से एक ही पेड़ चुन सकते हैं। यह शोध पत्र एक सरल लेकिन पेचीदा सवाल पूछता है: क्या होगा जब हम एआई को कवि की तरह चैट करने के बजाय एक कैशियर की तरह उत्तर देने के लिए मजबूर करते हैं? क्या एआई अपना मन बदल लेता है? क्या यह अधिक उबाऊ हो जाता है? या यह वैसा ही रहता है? यह महत्वपूर्ण है क्योंकि आपके फोन पर जिससे आप बात कर रहे हैं वह ए-आई, उस ए-आई से बहुत अलग हो सकता है जो वास्तव में बैकग्राउंड में सॉफ्टवेयर चला रहा है, और हमें जानना होगा कि क्या यह अंतर दुनिया के काम करने के तरीके को बदल देता है।
महान एआई व्यक्तित्व परिवर्तन
इस अध्ययन में, शोधकर्ताओं ने "वन-वर्ड सेंसस" (One-Word Census) नामक एक प्रसिद्ध परीक्षण लिया। एक गेम शो की कल्पना करें जहाँ 44 अलग-अलग एआई मॉडल से 31 प्रश्न पूछे जाते हैं, जैसे "एक पेड़ का नाम लें" या "एक शब्द चुनें।" मूल गेम में, एआई केवल साधारण अंग्रेजी में उत्तर देते थे। शोधकर्ताओं ने पाया कि बिना किसी नियमों के भी, एआई कुछ निश्चित उत्तरों पर सहमत होते थे (जैसे पेड़ के लिए "ओक"), लेकिन फिर भी उनमें कुछ व्यक्तित्व और विविधता थी।
फिर, शोधकर्ताओं ने नियम बदल दिए। उन्होंने प्रश्न नहीं बदले, और न ही उन्होंने उत्तरों को मजबूर करने के लिए किसी विशेष कंप्यूटर ट्रिक का उपयोग किया। उन्होंने बस प्रॉम्प्ट के अंत में एक छोटा सा निर्देश जोड़ दिया: "केवल JSON के साथ उत्तर दें।"
JSON डेटा लिखने का एक तरीका है जो एक लेबल वाले छोटे बॉक्स जैसा दिखता है, जैसे {"word": "oak"}। यह वह भाषा है जिसका उपयोग सॉफ्टवेयर एक अन्य सॉफ्टवेयर से बात करने के लिए करता है। शोधकर्ता यह देखना चाहते थे कि क्या केवल एआई को इस प्रारूप में बोलने के लिए कहने से उसके निर्णय बदलने लगेंगे।
बड़ी खोज: "फॉर्मेट टैक्स" (Format Tax)
परिणाम आश्चर्यजनक थे। जब एआई को JSON में उत्तर देने के लिए मजबूर किया गया, तो वे बहुत अधिक एक जैसे हो गए। उत्तरों की विविधता तेजी से गिर गई।
- परिवर्तन से पहले: साधारण चैट में, सबसे आम उत्तर (मोड) लगभग 41% बार चुना गया।
- परिवर्तन के बाद: JSON में, वही उत्तर 64% बार चुना गया।
- विविधता: एआई द्वारा दिए गए अद्वितीय शब्दों की संख्या 52 से घटकर केवल 36 रह गई।
शोधकर्ता इसे "प्रोग्रेसिव फॉर्मेट टैक्स" कहते हैं। यह अद्वितीय होने पर लगने वाले टैक्स की तरह है। जो एआई साधारण चैट में सबसे रचनात्मक और अद्वितीय थे, उन्होंने JSON में बोलने के लिए कहे जाने पर अपना अधिकांश व्यक्तित्व खो दिया। एक विशिष्ट एआई, जो सबसे अधिक "एक्सप्लोरेटरी" (असामान्य उत्तर चुनने वाला) था, ने अपनी विशिष्टता के 1.31 बिट्स खो दिए। यह उसकी आधी अनूठी पहचान खो देने जैसा है, सिर्फ इसलिए क्योंकि उसे अपने उत्तर को एक बॉक्स में रखना पड़ा।
यह कोई ग्लिच नहीं है, यह एक "रजिस्टर" है
आप सोच सकते हैं कि एआई भ्रमित हो गया या कंप्यूटर ने उसे एक ही उत्तर चुनने के लिए मजबूर किया। लेकिन अध्ययन ने इसे खारिज कर दिया।
- कोई "कूलिंग" ट्रिक नहीं: कभी-कभी, जब लोग चाहते हैं कि एआई कम रैंडम हो, तो वे "टेम्परेचर" (temperature) नॉब को कम कर देते हैं। शोधकर्ताओं ने जांच की और पाया कि "टेम्परेचर" नहीं बदला। एआई अपने सोचने के तरीके में अभी भी उतने ही रैंडम थे; वे बस अलग-अलग रैंडम चीजें चुन रहे थे।
- डिकोडिंग एरर नहीं: उन्होंने यह भी परीक्षण किया कि क्या कंप्यूटर किसी अन्य शब्द को रोककर उत्तर को मजबूर कर रहा था। उन्होंने पाया कि बिना किसी कंप्यूटर अवरोध के भी, केवल JSON के लिए कहने मात्र से एआई ने अपना मन बदल लिया। यह बदलाव एआई के मस्तिष्क में होता है (रजिस्टर के प्रति उसकी प्रतिक्रिया), न कि कंप्यूटर के मुँह (डिकोडर) में।
इसे एक ऐसे व्यक्ति के रूप में सोचें जो पार्टी में और नौकरी के साक्षात्कार (इंटरव्यू) में अलग तरह से व्यवहार करता है। पार्टी में (साधारण चैट), वह रोमांचक कहानियाँ सुना सकता है और अजीब शब्द चुन सकता है। इंटरव्यू में (JSON), वह अचानक बहुत पेशेवर हो जाता है और "सुरक्षित," मानक उत्तर चुनता है। एआई टूटा नहीं है; वह बस "कोड-स्विचिंग" कर रहा है।
"शार्पनर" (Sharpener), न कि "री-इंडेक्सर"
अध्ययन में पाया गया कि एआई ने नए उत्तर नहीं चुने। इसने बस उन उत्तरों पर जोर दिया जो उसे पहले से ही पसंद थे।
- 28 में से 31 श्रेणियों में, साधारण चैट में सबसे लोकप्रिय उत्तर वही था जो JSON में भी सबसे लोकप्रिय था।
- जिन कुछ मामलों में उत्तर बदला (जैसे बोर्ड गेम के लिए "चेस" से "मोनोपॉली" पर स्विच करना), वह इसलिए हुआ क्योंकि मूल पसंदीदा विकल्प कमजोर था। JSON प्रारूप एक "शार्पनर" की तरह कार्य करता है, जो एआई के पसंदीदा चुनाव को और अधिक मजबूत बनाता है, न कि चुनाव को पूरी तरह से बदलता है।
"व्यक्तित्व" प्रारूप में है
एक सबसे दिलचस्प खोज यह है कि एआई का "व्यक्तित्व" उसके प्रारूप (format) पर निर्भर करता है।
- कुछ एआई का एक "डिफ़ॉल्ट" उत्तर होता है जिसे वे पसंद करते हैं। उदाहरण के लिए, एक एआई को साधारण चैट में पनीर के लिए "गौडा" कहना पसंद था। लेकिन JSON के लिए पूछे जाने पर, उसने "गौडा" कहना बंद कर दिया और भीड़ की पसंद की ओर वापस चला गया।
- इसके विपरीत, कुछ एआई ने केवल JSON के लिए नए डिफॉल्ट विकसित किए। एक एआई ने नीले रंग के लिए 0% बार चैट में "सेरुलियन" (cerulean) कहा, लेकिन JSON में 100% बार कहा।
- इसका मतलब है कि एक एआई का केवल एक व्यक्तित्व नहीं होता। उसका एक "चैट व्यक्तित्व" होता है और एक "JSON व्यक्तित्व" होता है। वे पूरी तरह से अलग हो सकते हैं।
यह क्यों होता है?
शोधकर्ताओं ने यह देखने के लिए विभिन्न प्रारूपों का परीक्षण किया कि परिवर्तन का कारण क्या था।
- JSON और XML: इन प्रारूपों ने, जिनका उपयोग टूल्स और सॉफ्टवेयर के लिए किया जाता है, एआई को समान उत्तरों में सिमटने के लिए मजबूर किया।
- YAML और CSV: ये भी डेटा प्रारूप हैं, लेकिन एआई ने अपने उत्तरों में उतना बदलाव नहीं किया।
- ब्रैकेट्स (Brackets): जब उत्तर को केवल वर्गाकार कोष्ठक
[answer]में रखने के लिए कहा गया, तो एआई वास्तव में अधिक विविध हो गए।
यह सुझाव देता है कि परिवर्तन केवल "संरचना" के बारे में नहीं है। यह उन विशिष्ट प्रारूपों के बारे में है जिनका उपयोग एआई टूल्स के लिए करते हैं। चूंकि एआई को सॉफ्टवेयर टूल्स से बात करने के लिए JSON का उपयोग करने के लिए प्रशिक्षित किया जाता है, इसलिए JSON के लिए पूछना एक "टूल मोड" को सक्रिय करता है जो उन्हें अधिक रूढ़िवादी और एकसमान बना देता है।
यह आपके लिए क्या मायने रखता है
शोध पत्र एक व्यावहारिक चेतावनी के साथ समाप्त होता है। हम आमतौर पर एआई मॉडल को इस आधार पर आंकते हैं कि वे साधारण अंग्रेजी में हमारे साथ कैसे चैट करते हैं। हम सोचते हैं कि "सर्वश्रेष्ठ" एआई वह है जो चैट विंडो में सबसे दिलचस्प, विविध उत्तर देता है। लेकिन यह अध्ययन दिखाता है कि जब उसी एआई का वास्तव में सॉफ्टवेयर (जिसमें लगभग हमेशा JSON की आवश्यकता होती है) द्वारा उपयोग किया जाता है, तो वह बहुत अधिक उबाऊ और एकसमान हो जाता है।
यदि आप एक ऐसा ऐप बना रहे हैं जो फिल्में सुझाने, पेड़ चुनने या विचार मंथन करने के लिए एआई का उपयोग करता है, तो वह एआई जिसे आप चैट विंडो में देखते हैं, उस एआई की तुलना में बहुत अधिक रचनात्मक हो सकता है जो वास्तव में आपका ऐप चला रहा है। "JSON संस्करण" वाला एआई मापने योग्य रूप से कम विविध है। एआई जिसके साथ हम बात करते हैं और वह जो काम करता है, उनके बीच का अंतर प्रारूप की एक निश्चित लागत है, न कि कोई दुर्लभ दुर्घटना।
संक्षेप में: यदि आप जानना चाहते हैं कि एक एआई वास्तव में क्या सोचता है, तो केवल उससे चैट करने के लिए न कहें। उसे एक फॉर्म भरने के लिए कहें। आप इस बात से हैरान हो सकते हैं कि वह कितना अधिक उबाऊ हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।