Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence
यह शोध पत्र यह प्रदर्शित करता है कि जज के रूप में कार्य करने वाले लार्ज लैंग्वेज मॉडल्स (LLMs) अपने संदर्भ मेटाडेटा में शामिल पूर्व स्कोर से महत्वपूर्ण रूप से पक्षपाती होते हैं, जिससे व्यवस्थित रेटिंग बदलाव और निर्णय संबंधी त्रुटियां होती हैं जो चेन-ऑफ-थॉट (Chain-of-Thought) या चेतावनियों जैसे शमन प्रयासों के बावजूद बनी रहती हैं, जिससे LLM-एज़-ए-जज सिस्टम में मूल्यांकन स्वतंत्रता की धारणा को चुनौती मिलती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल परिदृश्य में, आर्टिफिशियल इंटेलिजेंस (AI) केवल प्रश्न पूछने वाले उपकरण से विकसित होकर एक ऐसी प्रणाली बन गया है जो अन्य प्रणालियों की गुणवत्ता का निर्णय करती है। यह नई भूमिका, जिसे अक्सर "AI एज जज" (AI as a judge) कहा जाता है, निबंधों को ग्रेड देने, कोड की समीक्षा करने और मानव पाठक तक पहुँचने से पहले सामग्री को फ़िल्टर करने के लिए तेजी से उपयोग की जा रही है। इस अभ्यास के पीछे धारणा यह है कि AI जज प्रत्येक कार्य का मूल्यांकन उसके अपने गुणों के आधार पर करता है, और हर सबमिशन को एक नई शुरुआत के रूप में देखता है। हालाँकि, मानव मनोविज्ञान लंबे समय से 'एंकरिंग' (anchoring) नामक एक घटना को जानता है, जहाँ किसी व्यक्ति का अनुमान या निर्णय उस संख्या की ओर सूक्ष्म रूप से खिंच जाता है जो उसने पहले देखी होती है, भले ही वह संख्या यादृच्छिक (random) या अप्रासंगिक हो। दशकों से, शोधकर्ताओं ने लोगों में इसे देखा है, चाहे वह अदालती सजा हो या मूल्य वार्ता। डिजिटल युग के लिए महत्वपूर्ण प्रश्न यह है कि क्या ये समान मानव-समान पूर्वाग्रह उन मशीनों के भीतर भी मौजूद हैं जिन पर हम निष्पक्ष होने के लिए भरोसा करते हैं। यदि एक AI जज पृष्ठभूमि में देखे गए पिछले स्कोर से प्रभावित होता है, तो स्वचालित मूल्यांकन की पूरी प्रणाली व्यवस्थित रूप से पक्षपाती हो सकती है, जिससे सामग्री की अनुचित अस्वीकृति या स्वीकृति हो सकती है।
इन्फोबिप (Infobip) के शोधकर्ताओं की एक टीम ने इस धारणा का सीधे परीक्षण करने का निर्णय लिया। उन्होंने यह देखने के लिए एक प्रयोग डिजाइन किया कि क्या एक AI जज का स्कोर केवल इसलिए बदल जाता है क्योंकि उसे किसी दूसरे जज द्वारा दिया गया पिछला स्कोर दिखाया गया है, भले ही वह पिछला स्कोर वर्तमान कार्य से पूरी तरह से असंबंधित हो। उन्होंने आठ अलग-अलग लार्ज लैंग्वेज मॉडल्स (LLMs) को इकट्ठा किया, जिनमें विशाल, शक्तिशाली प्रणालियों से लेकर छोटी, अधिक कुशल प्रणालियाँ शामिल थीं, और उन्हें बीस अलग-अलग टेक्स्ट को ग्रेड करने के लिए कहा। इन टेक्स्ट ने चार विशिष्ट क्षेत्रों को कवर किया: लेखों का सारांश देना, कंप्यूटर कोड की समीक्षा करना, रचनात्मक कहानियाँ लिखना और तथ्यात्मक प्रश्नों के उत्तर देना। शोधकर्ताओं ने AI जजों के लिए तीन अलग-अलग परिदृश्य बनाए। पहले परिदृश्य में, जज ने केवल कार्य और टेक्स्ट देखा। दूसरे में, जज ने टेक्स्ट के साथ एक नोट देखा कि यह एक संशोधन (revision) है। तीसरे में, जज ने टेक्स्ट के साथ एक नोट देखा जिसमें एक विशिष्ट संख्या शामिल थी जो पिछले प्रयास से प्राप्त "पूर्व स्कोर" (prior score) को दर्शाती थी। महत्वपूर्ण रूप से, ये पूर्व स्कोर यादृच्छिक रूप से उत्पन्न संख्याएँ थीं जो हमेशा उत्तीर्ण होने वाले ग्रेड (passing grade) से नीचे थीं, जिसका अर्थ है कि उन्हें गैर-सूचनात्मक और अप्रासंगिक बनाने के लिए डिज़ाइन किया गया था।
परिणाम अधिकांश परीक्षण किए गए मॉडलों में स्पष्ट और सुसंगत थे। जब AI जजों को यादृच्छिक पूर्व स्कोर दिखाया गया, तो उनका ग्रेडिंग स्तर काफी नीचे गिर गया। टेक्स्ट को एक स्वतंत्र कार्य के रूप में देखने के बजाय, मॉडल उस निचले नंबर से अपने निर्णय को बांधने (anchor करने) लगे। अध्ययन में, आठ में से सात मॉडलों ने पूर्व स्कोर की उपस्थिति में स्कोर में सांख्यिकीय रूप से महत्वपूर्ण गिरावट दिखाई। यह प्रभाव केवल एक मामूली उतार-चढ़ाव नहीं था; कुछ मॉडलों के लिए, यह बदलाव इतना बड़ा था कि मूल्यांकन का परिणाम ही बदल गया। उदाहरण के लिए, परीक्षण किए गए सबसे शक्तिशाली मॉडलों में से एक में, पूर्व स्कोर की उपस्थिति के कारण टेक्स्ट की स्वीकृति दर में लगभग बाईस प्रतिशत अंकों की गिरावट आई। इसका मतलब है कि वह सामग्री जिसे अच्छी गुणवत्ता के रूप में स्वीकृत किया जाना चाहिए था, अचानक इसलिए खारिज कर दी गई क्योंकि जज ने पृष्ठभूमि में एक निचली संख्या देखी थी। शोधकर्ताओं ने पाया कि यह पूर्वाग्रह सभी प्रकार के कार्यों में एक समान नहीं था; यह रचनात्मक लेखन और तथ्यात्मक प्रश्नों में सबसे मजबूत था, जबकि कोड समीक्षा में प्रतिक्रिया कमजोर और असंगत थी।
मशीन के भीतर यह कैसे हुआ, इसे समझने के लिए शोधकर्ताओं ने उन विशिष्ट शब्दों को देखा जिन पर मॉडल स्कोर उत्पन्न करते समय विचार कर रहे थे। उन्होंने एक ऐसा पैटर्न पाया जो क्रमिक गिरावट के बजाय एक स्विच के पलटने जैसा था। जब पूर्व स्कोर पेश किया गया, तो उच्च स्कोर चुनने की मॉडल की संभावना तेजी से गिर गई, और कम स्कोर चुनने की संभावना उछलकर ऊपर आ गई। हालाँकि, उस पूर्व स्कोर के विशिष्ट मान (value) को बदलने से अधिक फर्क नहीं पड़ा; संख्या की उपस्थिति मात्र ने ही इस बदलाव को ट्रिगर कर दिया। यह सुझाव देता है कि मॉडल सावधानीपूर्वक नया औसत नहीं निकाल रहे हैं, बल्कि वे मेटाडेटा के अस्तित्व के प्रति प्रतिक्रिया दे रहे हैं। शोधकर्ताओं ने यह भी परीक्षण किया कि क्या सरल निर्देश इस समस्या को ठीक कर सकते हैं। उन्होंने ग्रेड देने से पहले मॉडलों को चरण-दर-चरण सोचने के लिए कहने की कोशिश की, और उन्होंने मॉडलों को पूर्व स्कोर को अनदेखा करने की स्पष्ट चेतावनी देने की भी कोशिश की। इनमें से कोई भी रणनीति काम नहीं आई। वास्तव में, कुछ मामलों में, चरण-दर-चरण निर्देशों ने पूर्वाग्रह को और भी बदतर बना दिया, और स्पष्ट चेतावनी भी स्कोर को गिरने से रोकने में विफल रही, भले ही इसने मॉडलों की विशिष्ट संख्या का पालन करने की प्रवृत्ति को कम कर दिया था।
अध्ययन आगे बढ़कर यह देखने के लिए गया कि क्या यह पूर्वाग्रह अमूर्त संख्याओं के बजाय वास्तविक दुनिया के निर्णयों को प्रभावित करता है। संदेश अभियानों (messaging campaigns) के एक डेटासेट का उपयोग करते हुए, जिन्हें मनुष्यों द्वारा पहले ही सुरक्षित या प्रतिबंधित के रूप में लेबल किया गया था, शोधकर्ताओं ने परीक्षण किया कि जब AI जजों को एक गलत पूर्व लेबल दिया गया, तो वे कैसा प्रदर्शन करते हैं। जब AI को एक गलत पूर्व लेबल दिखाया गया, तो यह उन लगभग आधे मामलों में त्रुटि को सुधारने में विफल रहा जहाँ यह अन्यथा सुधार लेता। इसके बजाय, यह अक्सर मेटाडेटा में दिए गए गलत लेबल पर टिका रहा। एक युग्मित परीक्षण (paired test) में, जहाँ AI ने पहले सही उत्तर दिया था, गलत पूर्व लेबल के परिचय ने इसे दस प्रतिशत से अधिक मामलों में अपने सही निर्णय को गलत निर्णय में बदल दिया। यह प्रदर्शित करता है कि पूर्वाग्रह सरल स्कोरिंग से परे श्रेणीगत निर्णयों तक फैला हुआ है जो यह निर्धारित करते हैं कि सामग्री को अनुमति दी जानी चाहिए या ब्लॉक किया जाना चाहिए। शोधकर्ताओं ने निष्कर्ष निकाला कि इस पूर्वाग्रह को रोकने का एकमात्र विश्वसनीय तरीका प्रासंगिक मेटाडेटा को प्रॉम्प्ट से पूरी तरह से हटा देना है। उन्होंने पाया कि कोई भी प्रॉम्प्टिंग या चेतावनी उस स्वतंत्र निर्णय को पूरी तरह से बहाल नहीं कर सकी जो पूर्व जानकारी की उपस्थिति के बाद खो गया था।
इन निष्कर्षों के निहितार्थ उन सभी के लिए महत्वपूर्ण हैं जो निष्पक्ष मूल्यांकन के लिए AI पर भरोसा करते हैं। अध्ययन दिखाता है कि स्वचालित प्रणालियों में निष्पक्षता की धारणा नाजुक है। भले ही प्रदान की गई जानकारी स्पष्ट रूप से अप्रासंगिक हो, मॉडल संदर्भ के प्रभाव से मुक्त नहीं हैं। यह पूर्वाग्रह कोई 'बग' नहीं है जिसे एक साधारण निर्देश से आसानी से ठीक किया जा सके; यह इन प्रणालियों द्वारा सूचना को संसाधित करने के तरीके का एक मौलिक हिस्सा प्रतीत होता है। शोधकर्ताओं ने जोर दिया कि हालांकि उनके परीक्षणों में विशिष्ट मॉडलों और कार्यों को कवर किया गया था, लेकिन परिणाम एक व्यापक भेद्यता (vulnerability) का सुझाव देते हैं। भरोसेमंद सिस्टम बनाने के लिए, डेवलपर्स को उस संदर्भ को सावधानीपूर्वक इंजीनियर करना चाहिए जिसमें AI काम करता है, यह सुनिश्चित करते हुए कि कोई भी बाहरी संख्या या लेबल वर्तमान मूल्यांकन में प्रवेश न करे। आगे का मार्ग प्रत्येक विशिष्ट मॉडल और कार्य के लिए सक्रिय सत्यापन की मांग करता है, न कि इस निष्क्रिय विश्वास की कि मशीन दुनिया को स्पष्ट रूप से देख रही है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।