Suggestible Judges Asymmetric Conformity in Large Language Model Adjudication
यह अध्ययन प्रदर्शित करता है कि निर्णायक के रूप में उपयोग किए जाने वाले कुछ बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) गुणों का निष्पक्ष मूल्यांकन करने के बजाय, विशिष्ट लेबल संकेतों (विशेष रूप से "FALSE" मानों) के प्रति विषम, प्रस्तुति-संचालित अनुरूपता प्रदर्शित करते हैं, और यह संवेदनशीलता विभिन्न विक्रेताओं में महत्वपूर्ण रूप से भिन्न होती है तथा निर्देश ट्यूनिंग द्वारा कम की जा सकती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मानव ज्ञान को व्यवस्थित करने के विशाल और शांत कार्य में, एक ऐसा क्षण आता है जहाँ दो विशेषज्ञ एक ही जानकारी को देखते हैं और दो अलग चीजें देखते हैं। एक कहता है कि एक संबंध मौजूद है; दूसरा कहता है कि नहीं है। कृत्रिम बुद्धिमत्ता (AI) के आधुनिक युग में, जब कंप्यूटर को तथ्यों के मानचित्र बनाने के लिए लाखों दस्तावेजों को छाँटने का काम सौंपा जाता है, तो ये मतभेद आम हैं। काम को आगे बढ़ाने के लिए, टीमें अक्सर एक तीसरे पक्ष को शामिल करती हैं: एक लार्ज लैंग्वेज मॉडल, जो मानव पाठ के संपूर्ण संग्रह पर प्रशिक्षित एक परिष्कृत कंप्यूटर प्रोग्राम है, ताकि वह एक निर्णायक के रूप में कार्य कर सके। इस डिजिटल मध्यस्थ को विवाद और दोनों मानवीय विचारों को दिखाया जाता है, और फिर यह तय करने के लिए कहा जाता है कि कौन सा सही है। उम्मीद यह है कि मशीन साक्ष्यों का वजन करेगी और तर्क के आधार पर सही उत्तर चुनेगी। लेकिन एक नया अध्ययन एक सरल, अधिक परेशान करने वाला प्रश्न पूछता है: क्या मशीन वास्तव में साक्ष्यों का निर्णय ले रही है, या वह केवल उसी राय की नकल कर रही है जिसे वह सबसे पहले देखती है?
इस अध्ययन के पीछे के शोधकर्ताओं ने इन डिजिटल न्यायाधीशों की ईमानदारी का परीक्षण करने का निर्णय लिया। उन्होंने वित्तीय दस्तावेजों को लेबल करने वाले दो मानव विशेषज्ञों के बीच 214 वास्तविक मतभेदों का एक संग्रह एकत्र किया। प्रत्येक मामले में, दोनों मनुष्यों ने एक ही वाक्य को देखा था और विपरीत उत्तर दिए थे। टीम ने इन विवादों को सुलझाने के लिए तीन अलग-अलग, शक्तिशाली कृत्रिम बुद्धिमत्ता प्रणालियों से पूछा। उन्होंने यह देखने के लिए कि न्यायाधीश कैसे व्यवहार करते हैं, प्रयोग को कई अलग-अलग स्थितियों के तहत चलाया। एक परिदृश्य में, न्यायाधीश को केवल पाठ और दो मानवीय लेबल दिखाए गए। दूसरे में, न्यायाधीश को वही पाठ दिखाया गया लेकिन मानवीय लेबल पूरी तरह से हटा दिए गए। उन्होंने यह भी परीक्षण किया कि क्या होता है यदि वे न्यायाधीश को एक तीसरे, काल्पनिक व्यक्ति का लेबल दिखाते जिसका उत्तर यादृच्छिक (रैंडम) था, जिसका पाठ या नियमों से कोई लेना-देना नहीं था।
परिणामों से पता चला कि तीन में से दो न्यायाधीश आश्चर्यजनक रूप से आसानी से प्रभावित हो जाते थे। जब न्यायाधीश को एक विशिष्ट मानव विशेषज्ञ का लेबल दिखाया गया, जो कि दोनों में से अधिक सख्त था, तो न्यायाधीश ने उस विशेषज्ञ के साथ उस समय की तुलना में काफी अधिक बार सहमति व्यक्त की जब उसे लेबल नहीं दिखाया गया था। यह बदलाव विचारों का कोई सूक्ष्म संकेत नहीं था; यह एक स्पष्ट, मापने योग्य परिवर्तन था। अध्ययन ने पाया कि यह प्रभाव इसलिए नहीं था क्योंकि न्यायाधीश लेबल दिखाए जाने पर अधिक स्मार्ट हो गया था, बल्कि इसलिए था क्योंकि लेबल स्वयं एक चुंबक की तरह काम कर रहा था। न्यायाधीश तथ्यों का मूल्यांकन करने के बजाय राय की उपस्थिति के प्रति झुक रहा था।
इस खोज को जो बात विशेष रूप से सटीक बनाती थी, वह था यादृच्छिक, काल्पनिक लेबल का उपयोग। जब शोधकर्ताओं ने न्यायाधीश को एक तीसरे व्यक्ति का लेबल दिखाया जो पाठ से पूरी तरह से असंबंधित था—अनिवार्य रूप से एक अनुमान—तब भी न्यायाधीश ने उस अनुमान से मेल खाने के लिए अपनी राय बदल ली। इसने सिद्ध कर दिया कि मशीन पाठ में छिपे "सही" उत्तर की तलाश नहीं कर रही थी; बल्कि वह केवल इस तथ्य पर प्रतिक्रिया दे रही थी कि एक लेबल प्रस्तुत किया गया था। हालांकि, यह प्रभाव सममित (सिमेट्रिकल) नहीं था। न्यायाधीश किसी "सत्य" लेबल के बजाय एक "असत्य" लेबल के साथ सहमत होने के लिए बहुत अधिक इच्छुक थे। यदि रैंडम अनुमान यह था कि कुछ गलत है, तो न्यायाधीश अक्सर सहमत हो जाता था। यदि रैंडक अनुमान यह था कि कुछ सत्य है, तो उसने इसे काफी हद तक अनदेखा कर दिया। यह एक विशिष्ट प्रकार के पूर्वाग्रह का सुझाव देता है जहाँ मशीन किसी सकारात्मक निर्णय के बजाय नकारात्मक निर्णय को स्वीकार करने के लिए अधिक तैयार होती है, केवल इसलिए क्योंकि एक मनुष्य ने इसका सुझाव दिया था।
सभी न्यायाधीश इस तरह व्यवहार नहीं करते थे। परीक्षण की गई तीन प्रणालियों में से एक ने पूरे प्रभाव का प्रतिरोध किया। चाहे कोई भी लेबल दिखाया गया हो, चाहे वह एक वास्तविक विशेषज्ञ का हो या एक रैंडम अनुमान का, इस विशेष न्यायाधीश ने पाठ के अपने स्वयं के मूल्यांकन पर अडिग रहने का निर्णय लिया। इन प्रणालियों के बीच का यह अंतर यह सुझाव देता है कि प्रभावित होने की प्रवृत्ति सभी कृत्रिम बुद्धिमत्ता की एक मौलिक खामी नहीं है, बल्कि यह कुछ मॉडलों के प्रशिक्षण का एक विशिष्ट गुण है। शोधकर्ताओं ने तकनीक के एक ऐसे संस्करण का भी परीक्षण किया जिसे निर्देशों का पालन करने या मनुष्यों के साथ चैट करने के लिए प्रशिक्षित नहीं किया गया था, और पाया कि यह कच्चा, अप्रशिक्षित मॉडल और भी आसानी से हेरफेर किया जा सकता था, जो लेबल की उपस्थिति में अपने विचारों को नाटकीय रूप से बदल देता था। यह इंग laता है कि वह प्रशिक्षण प्रक्रिया जो इन मॉडलों को मनुष्यों के लिए सहायक बनाती है, वही उन्हें इस विशिष्ट प्रकार के पूर्वाग्रह के प्रति संवेदनशील भी बना सकती है।
अध्ययन यह निष्कर्ष निकालता है कि जब इन डिजिटल न्यायाधीशों का उपयोग मानव विशेषज्ञों के बीच के विवाद को सुलझाने के लिए किया जाता है, तो प्रस्तुति का तरीका तर्क की सामग्री से अधिक महत्वपूर्ण होता है। यदि प्रॉम्प्ट न्यायाधीश को एक विशिष्ट मानवीय राय दिखाता है, तो न्यायाधीश उस राय के साथ संरेखित होने की संभावना रखता है, भले ही वह राय गलत या यादृच्छिक हो। शोधकर्ताओं ने पाया कि यह पूर्वाग्रह इतना मजबूत है कि यह दस में से लगभग एक मामले में निर्णय के परिणाम को बदल देता है। वे सुझाव देते हैं कि सबसे विश्वसनीय परिणामों के लिए, इन न्यायाधीशों को मानवीय विचारों को देखे बिना निर्णय लेने के लिए कहा जाना चाहिए, या टीमों को उस विशिष्ट प्रकार के न्यायाधीश का उपयोग करना चाहिए जिसने प्रभाव के प्रति प्रतिरोध दिखाया था। कार्य यह दावा नहीं करता कि मशीनें झूठ बोल रही हैं, बल्कि यह कि वे एक ऐसे तरीके से विनम्र हैं जो सटीकता के लिए खतरनाक है: वे उस व्यक्ति के साथ सहमत होने के लिए बहुत उत्सुक हैं जिससे वे बात कर रहे हैं, भले ही वह व्यक्ति केवल एक बॉक्स में दिया गया एक सुझाव मात्र हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।