Two Confounds in Cross-Model Value Comparison: Response Determinism and the Access Harness
यह शोधपत्र क्रॉस-मॉडल वैल्यू तुलनाओं में दो महत्वपूर्ण भ्रमों (confounds) की पहचान करता है और उन्हें सुधारता है: रिस्पॉन्स डिटरमिनिज्म (response determinism), जो वास्तविक मूल्य अंतर को मजबूर-विकल्प प्रतिबद्धताओं (forced-choice commitments) की तीक्ष्णता के साथ मिला देता है, और एक्सेस हार्नेस (access harness), जहाँ परिनियोजन-विशिष्ट क्लाइंट परतें मॉडल के स्पष्ट मूल्य प्रोफाइल को महत्वपूर्ण रूप से बदल देती हैं, जिससे एकल-ड्रॉ मापों (single-draw measurements) के आधार पर रैंकिंग विकृत हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह देखने के लिए दो अलग-अलग ब्रांडों के आइसक्रीम का स्वाद लेना चाह रहे हैं कि कौन सा अधिक "मीठा" है। आप ब्रांड A का एक स्कूप और ब्रांड B का एक स्कूप लेते हैं। ब्रांड A वनीला है, और ब्रांड B भी वनीला ही है, लेकिन ब्रांड B को एक बहुत छोटे, अत्यधिक केंद्रित शॉट ग्लास में परोसा गया है, जबकि ब्रांड A एक विशाल, फूले हुए बाउल में है। यदि आप केवल एक चम्मच चखते हैं, तो ब्रांड B बहुत अधिक मीठा महसूस हो सकता है क्योंकि वह बहुत तीव्र और केंद्रित है, न कि इसलिए कि ब्रांड A मौलिक रूप से अलग है।
यही वह बात है जो यह शोध पत्र आर्टिफिशियल इंटेलिजेंस (AI) मॉडल के बारे में खोज निकालता है। लंबे समय से, शोधकर्ता विभिन्न AI मॉडलों की तुलना एक एकल प्रश्न पूछकर कर रहे हैं: "यदि आपको विकल्प A और विकल्प B के बीच चुनना हो, तो आप किसे चुनेंगे?" उन्होंने माना कि यदि मॉडल X ने A चुना और मॉडल Y ने B चुना, तो उन दोनों के "व्यक्तित्व" या "मूल्य" पूरी तरह से अलग थे।
होंग-इन वॉन और ह्योसेप किम कहते हैं: "रुकिए जरा। आप एक साथ दो अलग-अलग चीजें माप रहे हैं, और आप उन्हें आपस में मिला रहे हैं।"
दो भ्रम (The Two Mix-Ups)
1. "प्रतिबद्धता" का भ्रम (Determinism/निश्चयवाद)
पहला भ्रम इस बारे में है कि एक मॉडल अपने उत्तर के प्रति कितना दृढ़ (commit) होता है।
दो लोगों को एक क्विज़ का उत्तर देते हुए कल्पना करें।
- व्यक्ति A पूरी तरह से आश्वस्त है। जब भी आप उससे पूछते हैं, वह चिल्लाकर "A!" कहता है।
- व्यक्ति B थोड़ा अनिश्चित है। वह 60% बार "A" कहता है और 40% बार "B" कहता है।
यदि आप उनसे केवल एक बार पूछते हैं, और व्यक्ति A "A" कहता है और व्यक्ति B "B" कहता है, तो आप सोच सकते हैं कि वे पूरी तरह से विपरीत हैं। लेकिन वे नहीं हैं! दोनों ही "A" की ओर झुके हुए हैं। व्यक्ति A बस एक मुखर, निर्णायक "A" प्रशंसक है, जबकि व्यक्ति B एक शांत, हिचकिचाने वाला "A" प्रशंसक है।
यह शोध पत्र दिखाता है कि जब शोधकर्ता केवल एक एकल उत्तर (एक "सिंगल-ड्रॉ") का उपयोग करके AI मॉडलों की तुलना करते हैं, तो वे गलती से इस "मुखरता" या "निर्णायकता" को मूल्यों के अंतर के रूप में गिन लेते हैं।
- निष्कर्ष: लेखकों ने नौ अलग-अलग AI मॉडलों का परीक्षण किया। उन्होंने पाया कि कुछ मॉडल अविश्वसनीय रूप से निर्णायक हैं (जैसे कि एक मॉडल जिसे GPT-5.5 कहा जाता है, जो अपनी निश्चितता के पैमाने पर 0.95 था), जबकि अन्य बहुत नरम हैं (जैसे कि एंथ्रोपिक का "ओपस" मॉडल, जो एक विशिष्ट ऐप के माध्यम से मापने पर केवल 0.34 था)।
- ट्विस्ट: यह "निर्णायकता" कोई स्थिर व्यक्तित्व विशेषता नहीं है जिसका अनुमान आप केवल मॉडल का नाम देखकर लगा सकें। मॉडलों के एक परिवार में, एक छोटा, सस्ता मॉडल वास्तव में बड़े, महंगे फ्लैगशिप मॉडल की तुलना में अधिक निर्णायक था। दूसरे परिवार में, बड़ा मॉडल अधिक निर्णायक था। लेखक सुझाव देते हैं कि आप केवल यह जानकर मॉडल की "मुखरता" का अनुमान नहीं लगा सकते कि उसे किसने बनाया है या वह कितना बड़ा है; आपको हर बार इसका उपयोग करते समय इसे मापना होगा।
2. "डिलीवरी ट्रक" का भ्रम (The Access Harness/एक्सेस हार्नेस)
दूसरा भ्रम और भी चालाकी भरा है। यह आइसक्रीम के बारे में नहीं है; यह उस ट्रक के बारे में है जो इसे डिलीवर करता है।
लेखकों ने महसूस किया कि आपके द्वारा AI से सवाल पूछने का तरीका उत्तर को बदल देता है। वे इसे "एक्सेस हार्नेस" कहते हैं।
- कल्पना कीजिए कि आप पिज्जा ऑर्डर करते हैं। यदि आप सीधे पिज्जा प्लेस को कॉल करते हैं ("रॉ API"), तो आपको पिज्जा ठीक वैसा ही मिलता है जैसा शेफ ने बनाया है।
- लेकिन यदि आप किसी विशिष्ट डिलीवरी ऐप (जैसे कि "CLI" या सब्सक्रिप्शन टूल) के माध्यम से ऑर्डर करते हैं, तो वह ऐप किचन को एक नोट भेज सकता है: "इसे अतिरिक्त तीखा बनाएं!" या "ग्राहक को 'ना' कहने न दें।"
लेखकों ने पाया कि कुछ AI मॉडलों के लिए, "डिलीवरी ऐप" (AI से बात करने के लिए उपयोग किया जाने वाला सॉफ्टवेयर) मॉडल के व्यक्तित्व को पूरी तरह से बदल देता है।
- प्रमाण: उन्होंने एक ही AI मॉडल को लिया और एक ही सवाल दो बार पूछा: एक बार सीधे कनेक्शन के माध्यम से और एक बार एक लोकप्रिय सब्सक्रिप्शन ऐप के माध्यम से।
- परिणाम: सब्सक्रिप्शन ऐप के माध्यम से, "ओपस" मॉडल बहुत नरम और अनिश्चित (0.34) दिखा। लेकिन जब उन्होंने उन्हें सीधे कच्चे (raw) कनेक्शन के माध्यम से पूछा, तो वह वास्तव में काफी निर्णायक (0.66) था। ऐप ने उसके व्यक्तित्व को "सपाट" (flattened) कर दिया था।
- "इनकार" का तरीका: एक मामले में, सीधे कनेक्शन ने दिखाया कि मॉडल 10% बार उत्तर देने से मना कर रहा था क्योंकि उसे लगा कि सवाल अनुचित था। लेकिन सब्सक्रिप्शन ऐप ने मॉडल को हर बार उत्तर देने के लिए मजबूर किया, जिससे वह आज्ञाकारी दिखने लगा। लेखकों ने सिद्ध किया कि यह एक छिपे हुए "सिस्टम प्रॉम्प्ट" (निर्देशों का एक सेट जो ऐप प्रश्न के साथ भेजता है) के कारण हुआ था, जिसने मॉडल को बताया, "बस एक अक्षर चुनें, बहस न करें।"
AI के "व्यक्तित्व" के लिए इसका क्या अर्थ है
तो, इस शोध पत्र ने वास्तव में क्या सिद्ध किया?
- इसने सिद्ध किया कि जो "दूरी" हम AI मॉडलों के बीच देखते हैं, वह अक्सर नकली होती है। यह इस बात का मिश्रण है कि वे कितने मुखर हैं और हमने उनसे बात करने के लिए किस सॉफ्टवेयर का उपयोग किया।
- इसने सिद्ध किया कि जिस सॉफ्टवेयर का उपयोग हम AI से बात करने के लिए करते हैं (वह "हार्नेस"), वह तटस्थ पाइप नहीं है; वह सक्रिय रूप से AI के मूल्यों को आकार देता है।
- यह सुझाव देता है (लेकिन पूरी तरह से तय नहीं करता) कि "निर्णायकता" मॉडलों के बीच बहुत भिन्न होती है और यह "बड़े मॉडल अधिक मुखर होते हैं" जैसे सरल नियम का पालन नहीं करती है।
क्या उत्तर नहीं है?
यह शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि हम केवल मॉडल के नाम को देखकर उसके मूल्यों को जान सकते हैं। यह इस विचार को भी खारिज करता है कि मॉडलों के बीच के सभी अंतर केवल "शोर" (noise) हैं।
- अच्छी खबर: इन दोनों भ्रमों को ठीक करने के बाद भी, लेखकों ने पाया कि कुछ मॉडलों के बीच वास्तव में असहमति है। उदाहरण के लिए, "ग्रोक-3" नामक एक मॉडल वास्तव में OpenAI या Google के मॉडलों की तुलना में लगभग 73% से 88% प्रश्नों पर अलग दिशा में झुकता है। ये वास्तविक अंतर हैं, केवल माप की त्रुटियां नहीं।
- बुरी खबर: एक ही कंपनी के परिवार के भीतर (जैसे एंथ्रोपिक के विभिन्न मॉडलों के बीच) हमें जो अंतर दिखाई देते थे, वे ज्यादातर इस बात के कारण थे कि वे कितने मुखर थे, या जिस ऐप का वे उपयोग कर रहे थे वह उन्हें कैसे आकार दे रहा था।
मुख्य निष्कर्ष (The Takeaway)
यदि आप जानना चाहते हैं कि क्या दो AI मॉडलों के मूल्य अलग हैं, तो आप केवल उन्हें एक प्रश्न नहीं पूछ सकते और देख नहीं सकते कि वे क्या कहते हैं। आपको:
- उन्हें एक ही प्रश्न कई बार पूछना होगा ताकि यह देखा जा सके कि वे केवल "मुखर" हैं या वास्तव में "अलग" हैं।
- यह सुनिश्चित करना होगा कि आप उनसे बिल्कुल एक ही "दरवाजे" (समान सॉफ्टवेयर कनेक्शन) के माध्यम से बात कर रहे हैं, क्योंकि वह दरवाजा ही उनके विचार बदल सकता है।
लेखकों ने AI व्यक्तित्व के रहस्य को हमेशा के लिए हल नहीं किया है, लेकिन उन्होंने उन्हें देखने के लिए एक बेहतर आवर्धक लेंस (magnifying glass) बनाया है। उन्होंने हमें दिखाया कि जिसे हम गहरा दार्शनिक मतभेद समझ रहे थे, वह शायद सिर्फ एक AI का चिल्लाना और दूसरे का फुसफुसाना था, या एक AI का एक सख्त मैनेजर से बात करना और दूसरे का एक शांत दोस्त से बात करना था। वास्तविक अंतर वहां हैं, लेकिन उन्हें देखने के लिए आपको शोर को साफ करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।