कल्पना कीजिए कि आप यह तय करने की कोशिश कर रहे हैं कि साल की सबसे अच्छी फिल्म कौन सी है। आप अपने दोस्तों के एक समूह को उन्हें देखने और एक स्कोर देने के लिए कहते हैं। लेकिन यहाँ एक ट्विस्ट है: आप एक दोस्त से एक सख्त फिल्म समीक्षक की तरह निर्णय लेने के लिए कहते हैं जो धीमी गति से चलने वाली फिल्मों से नफरत करता है, दूसरे से एक किशोर की तरह निर्णय लेने के लिए जो शानदार स्पेशल इफेक्ट्स की तलाश में है, और तीसरे से एक माता-पिता की तरह निर्णय लेने के लिए जो शैक्षिक मूल्य की जांच कर रहा है। अचानक, "सबसे अच्छी" फिल्म बदल सकती है, यह इस पर निर्भर करता है कि आपने किससे पूछा है! यह सूचना पुनर्प्राप्ति (Information Retrieval - IR) मूल्यांकन का सार है, जो यह जानने का विज्ञान है कि सर्च इंजन सही उत्तर कितनी अच्छी तरह खोजते हैं। दशकों तक, मनुष्यों ने यह निर्णय लेने का काम किया है, लेकिन यह धीमा और महंगा है। अब, वैज्ञानिक लार्ज लैंग्वेज मॉडल्स (LLMs)—सुपर-स्मार्ट AI चैटबॉट्स—का उपयोग इस निर्णय को करने के लिए कर रहे हैं। बड़ा सवाल यह है कि यदि हम AI को किसी प्रकार के लोगों की तरह "अभिनय" करने के लिए कहते हैं, तो क्या यह परिणामों को बदल देता है? क्या AI का उत्तर उस "मुखौटे" पर निर्भर करता है जो उसने पहना हुआ है?

यह शोध पत्र ठीक इसी सवाल की गहराई में जाता है। शोधकर्ता यह देखना चाहते थे कि क्या AI को एक विशिष्ट "व्यक्तित्व" (जैसे "एक डॉक्टर" या "एक वकील") देने से उसके द्वारा खोज परिणामों को रैंक करने का तरीका बदल जाता है, या क्या वह बिना कुछ बदले वही उत्तर देता है। उन्होंने इन व्यक्तित्वों को एक 'स्ट्रेस टेस्ट' की तरह इस्तेमाल किया, AI को उकसाकर यह देखने के लिए कि उसकी राय कितनी डगमगाती है। उन्होंने पाया कि हालांकि AI अपने विजेताओं और हारने वालों की पूरी सूची को पूरी तरह से नहीं बदल देता है, लेकिन वह थोड़ा चंचल हो जाता है। परिणाम बताते हैं कि AI का निर्णय कोई स्थिर सत्य नहीं है; यह इस बात पर थोड़ा बदल जाता है कि वह कौन सी भूमिका निभा रहा है, और यह बदलाव छोटे, कम शक्तिशाली AI मॉडल के लिए बड़े, बुद्धिमान मॉडलों की तुलना में अधिक महत्वपूर्ण होता है।

रूप बदलने वाले न्यायाधीश की कहानी

सर्च इंजन की दुनिया में, हमें यह जानने की आवश्यकता होती है कि क्या एक नया एल्गोरिदम वास्तव में पुराने वाले से बेहतर है। यह पता लगाने के लिए, हम कई परीक्षण खोज (test searches) चलाते हैं और एक "आकलनकर्ता" से पूछते हैं कि परिणाम कितने अच्छे हैं। पारंपरिक रूप से, यह मनुष्यों द्वारा किया जाता था। लेकिन मनुष्य थक जाते हैं, महंगे होते हैं, और कभी-कभी आपस में असहमत भी होते हैं। इसलिए, शोधकर्ताओं ने न्यायाधीश के रूप में AI मॉडल का उपयोग करना शुरू कर दिया। विचार यह था कि यदि आप AI को सही ढंग से प्रॉम्प्ट करते हैं, तो वह एक पेशेवर मानव न्यायाधीश की तरह कार्य कर सकता है।

लेकिन यहाँ एक पेंच है: AI संवेदनशील है। यदि आप प्रश्न पूछने का तरीका बदलते हैं, तो उत्तर बदल सकता है। यह शोध पत्र पूछता है: यदि हम न्यायाधीश की पहचान बदल दें तो क्या होगा? केवल AI को "एक न्यायाधीश बनने" के लिए कहने के बजाय, शोधकर्ताओं ने उसे "एक डॉक्टर बनने", "एक वकील बनने", या "एक संशयवादी तथ्य-जांचकर्ता (skeptical fact-checker) बनने" के लिए कहा। वे यह देखना चाहते थे कि क्या ये अलग-अलग "मुखौटे" AI को इस बारे में अपना मन बदलने पर मजबूर करेंगे कि कौन से खोज परिणाम अच्छे हैं।

प्रयोग: AI को सजाना

शोधकर्ताओं ने दो अलग-अलग खोज प्रश्नों (जिन्हें डेटासेट कहा जाता है) के सेट का उपयोग करके एक विशाल प्रयोग आयोजित किया। एक सेट तथ्यात्मक, छोटे प्रश्नों के बारे में था (जैसे "नोबेल पुरस्कार किसने जीता?") और दूसरा जटिल, खुले विषयों के बारे में था (जैसे "शिक्षकों को राज्य परीक्षणों को कैसे संभालना चाहिए?")।

उन्होंने छह अलग-अलग AI मॉडल—कुछ विशाल और शक्तिशाली, कुछ छोटे और हल्के—लिए और उनसे खोज परिणामों का निर्णय लेने के लिए कहा। लेकिन उन्होंने केवल उनसे निर्णय लेने के लिए नहीं कहा; उन्होंने उन्हें विशिष्ट भूमिकाएँ दीं:

1. क्वेरी-एलाइनड जज (Query-Aligned Judge): उपयोगकर्ता का मतलब क्या था, इस पर केंद्रित।
2. डोमेन एक्सपर्ट (Domain Expert): स्वास्थ्य या कानून जैसे विशिष्ट क्षेत्रों पर केंद्रित।
3. ऑर्थोगोनल जज (Orthogonal Judge): एक "विपरीत विचार वाला" (contrarian) जो चीजों को बिल्कुल अलग कोण से देखता है।
4. एविडेंस वेरिफायर (Evidence Verifier): एक सख्त तथ्य-जांचकर्ता जो सबूतों की मांग करता है।
5. ग्लोबल असेसर (Global Assessor): एक मानक, पेशेवर रेटर।

उन्होंने इन भूमिकाओं को बनाने के दो अलग-अलग तरीके भी आजमाए: एक अमूर्त विवरणों (जैसे "एक माता-पिता") का उपयोग करके और दूसरा विस्तृत कौशल सूचियों (जैसे "पाठ्यचर्या विकास में कौशल रखने वाला व्यक्ति") का उपयोग करके।

उन्होंने क्या पाया: AI एक मूड रिंग है, पत्थर नहीं

परिणाम दिलचस्प और थोड़े आश्चर्यजनक थे। AI ने अपना मानसिक संतुलन पूरी तरह से नहीं खोया। जब उन्होंने व्यक्तित्व बदला, तो AI ने अचानक यह निर्णय नहीं लिया कि एक बुरा परिणाम एकदम सही है और एक बेहतरीन परिणाम बहुत बुरा है। इसके बजाय, परिवर्तन सूक्ष्म थे, जैसे एक मूड रिंग का रंग बदलना।

1. "कठोरता" का बदलाव
ज्यादातर समय, AI की रैंकिंग मानक आधार रेखा (baseline) के काफी करीब रही। हालांकि, व्यक्तित्वों ने यह बदल दिया कि AI कितना सख्त था। उदाहरण के लिए, "एविडेंस वेरिफायर" व्यक्तित्व अधिक सख्त होने की प्रवृत्ति रखता था, जो उन परिणामों को कम अंक देता था जिनमें ठोस प्रमाण नहीं थे। "कॉन्ट्रेरियन" (विपरीत विचार वाला) व्यक्तित्व मानक दृष्टिकोण से असहमत होने की अधिक संभावना रखता था। लेकिन महत्वपूर्ण बात यह है कि ये परिवर्तन आमतौर पर स्कोर को थोड़ा ऊपर या नीचे ही ले जाते थे; इन्होंने पूरी सूची को अस्त-व्यस्त नहीं किया।

2. आकार मायने रखता है: बड़े दिमाग बनाम छोटे दिमाग
यह एक प्रमुख निष्कर्ष था। सबसे बड़े, सबसे शक्तिशाली AI मॉडल (जैसे 70-बिलियन पैरामीटर वाले) बहुत स्थिर थे। वे जो भी "मुखौटा" पहनें, वे अपनी रैंकिंग को काफी हद तक समान रखते थे। वे एक बुद्धिमान बुजुर्ग न्यायाधीश की तरह थे जो नियमों को जानते हैं और वेशभूषा बदलने से विचलित नहीं होते।
हालांकि, छोटे, कम शक्तिशाली AI मॉडल बहुत संवेदनशील थे। जब आपने एक छोटे AI को "कॉन्ट्रेरियन" का मुखौटा पहनाया, तो वह भ्रमित हो गया और उसकी रैंकिंग बहुत ज्यादा उछल-कूद करने लगी। यह सुझाव देता है कि यदि आप निर्णय लेने के लिए एक कमजोर AI का उपयोग करते हैं, तो परिणाम अविश्वसनीय हो सकते हैं क्योंकि आपने इसे एक निश्चित तरीके से "अभिनय" करने के लिए कहा था।

3. "कॉन्ट्रेरियन" सबसे अधिक विघटनकारी है
सभी भूमिकाओं में से, "ऑर्थोगोनल" (या कॉन्ट्रेरियन) व्यक्तित्व ने रैंकिंग में सबसे बड़े बदलाव किए। यह समझ में आता है: यदि आप AI को चीजों को बिल्कुल अलग कोण से देखने के लिए कहते हैं, तो वह एक "डोमेन एक्सपर्ट" होने की तुलना में अपना मन अधिक बदलेगा। शोधकर्ताओं ने पाया कि एक सामान्य कॉन्ट्रेरियन की तुलना में एक "स्किल-ग्राउंडेड" कॉन्ट्रेरियन (जिसके पास विशिष्ट कौशल की सूची हो) ने अधिक हलचल पैदा की।

4. यह व्यक्तित्व कौन है इसके बारे में नहीं है, बल्कि वे क्या करते हैं इसके बारे में है
शोधकर्ताओं ने सोचा कि क्या व्यक्तित्व का स्रोत मायने रखता है। क्या इससे फर्क पड़ता था कि व्यक्तित्व अमूर्त विवरणों के डेटाबेस से आया है या पेशेवर कौशल के डेटाबेस से? उन्होंने पाया कि इससे ज्यादा फर्क नहीं पड़ता था। चाहे AI को "समाजशास्त्र के प्रोफेसर" या "पाठ्यचर्या विकास में कौशल रखने वाले व्यक्ति" के रूप में बताया गया हो, प्रभाव समान था। सबसे महत्वपूर्ण बात भूमिका (जैसे तथ्य-जांचकर्ता होना बनाम कॉन्ट्रेरियन होना) और AI मॉडल का आकार था।

यह क्यों महत्वपूर्ण है

यह शोध पत्र यह नहीं कहता कि AI न्यायाधीश बेकार हैं। वास्तव में, यह सुझाव देता है कि वे बड़े परिदृश्य को स्थिर रखने में काफी अच्छे हैं, विशेष रूप से बड़े, शक्तिशाली मॉडल। हालांकि, यह हमें चेतावनी देता है कि AI न्यायाधीश पूर्ण सत्यवादी नहीं हैं। उनके विचार इस बात से प्रभावित हो सकते हैं कि कार्य को कैसे प्रस्तुत किया गया है।

लेखक सुझाव देते हैं कि हमें इन "व्यक्तित्व परिवर्तनों" को एक नैदानिक उपकरण (diagnostic tool) के रूप में उपयोग करना चाहिए। इसे एक पुल के लिए स्ट्रेस टेस्ट की तरह समझें। यदि आप पुल को थोड़ा हिलाते हैं (व्यक्तित्व बदलते हैं) और वह बहुत अधिक डगमगाता है, तो आप जानते हैं कि पुल (या खोज प्रणाली) में एक कमजोर हिस्सा है। यह देखकर कि कौन सी खोज प्रणालियाँ रैंकिंग बदल देती हैं जब AI का "मूड" बदलता है, शोधकर्ता उन प्रणालियों को ढूंढ सकते हैं जो मूल्यांकन के प्रति बहुत संवेदनशील हैं।

संक्षेप में, यह शोध पत्र हमें सिखाता है कि हालांकि AI एक महान न्यायाधीश हो सकता है, हमें उस "पोशाक" के बारे में सावधान रहने की आवश्यकता है जिसे हम उसे पहनाते हैं। यदि हम विश्वसनीय परिणाम चाहते हैं, तो हमें सबसे बड़े, सबसे स्मार्ट मॉडलों का पालन करना चाहिए और यह समझना चाहिए कि जिस तरह से हम AI को निर्णय लेने के लिए कहते हैं, वह परिणाम को सूक्ष्म रूप से प्रभावित कर सकता है। यह एक याद दिलाता है कि कृत्रिम बुद्धिमत्ता की दुनिया में भी, दृष्टिकोण मायने रखता है।