Chain-of-Models: Cross-Model Auditing for Bias-Robust LLM Judges
यह शोध पत्र चेन-ऑफ-मॉडेल्स (Chain-of-Models) का परिचय देता है, जो एक स्वचालित ऑडिटिंग फ्रेमवर्क है जो पूर्वाग्रह (bias) के लिए रीजनिंग ट्रेसेस (reasoning traces) के निरीक्षण हेतु एक माध्यमिक मॉडल का उपयोग करता है, और यह प्रदर्शित करता है कि एक पूर्वाग्रह-विशिष्ट, कार्यात्मक रूप से विविध ऑडिटर चयन रणनीति, एलएलएम (LLM) निर्णय की सुदृढ़ता को बढ़ाने में एकल निश्चित ऑडिटर्स और बिना ऑडिट वाले बेसलाइन्स दोनों की तुलना में काफी बेहतर प्रदर्शन करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक उच्च-दांव वाले खेल के लिए एक रेफरी को काम पर रख रहे हैं, जैसे कि एक चैंपियनशिप डिबेट या कानूनी मुकदमा। आप चाहते हैं कि रेफरी निष्पक्ष, वस्तुनिष्ठ और चालों से मुक्त हो। लेकिन क्या होगा अगर रेफरी वास्तव में एक आर्टिफिशियल इंटेलिजेंस (AI) हो? कंप्यूटर विज्ञान की दुनिया में, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) के क्षेत्र में, इन AI सिस्टमों का उपयोग निबंधों को ग्रेड करने, बहसों को सुलझाने या यह तय करने के लिए किया जा रहा है कि कौन सा उत्तर सबसे अच्छा है। समस्या यह है कि, इंसानों की तरह ही, इन AI जजों के भी "ब्लाइंड स्पॉट्स" (अंध बिंदु) होते हैं। उन्हें संज्ञानात्मक पूर्वाग्रहों (cognitive biases)—मानसिक शॉर्टकट जो उन्हें कुछ इसलिए सच मानने पर मजबूर कर देते हैं क्योंकि किसी प्रसिद्ध व्यक्ति ने ऐसा कहा है, या क्योंकि बाकी सब ऐसा मानते हैं, या क्योंकि उपयोगकर्ता ने उनसे बहुत विनम्रता से पूछा है—से आसानी से मूर्ख बनाया जा सकता है।
लंबे समय तक, समाधान सरल लगता था: या तो अपने निर्देशों में AI को "पक्षपाती न होने" के लिए कहें (जो अक्सर विफल रहता है) या काम की जांच करने के लिए एक इंसान को नियुक्त करें (जो धीमा और महंगा है)। लेकिन एक नया विचार उभर रहा है: क्या होगा अगर हम एक AI का उपयोग दूसरे AI के ऑडिट के लिए करें? यह "चेन-ऑफ-मॉडेल्स: क्रॉस-मॉडल ऑडिटिंग फॉर बायस-रोबस्ट LLM जजेस" पेपर का मूल प्रश्न है। शोधकर्ता यह जानना चाहते थे कि क्या हम एक "सुपर-जज" सिस्टम बना सकते हैं जहाँ दूसरा AI पहले AI के तर्क की जांच करे, चालों को पहचाने और अंतिम निर्णय को सुधारे। सबसे बड़ा रहस्य जिसे वे हल करना चाहते थे वह यह था: क्या यह मायने रखता है कि आप दूसरा AI किसे चुनते हैं? क्या सबसे अच्छा ऑडिटर केवल उपलब्ध सबसे स्मार्ट AI है, या दोनों AI के बीच का संबंध मायने रखता है?
जासूस और संदिग्ध: न्याय करने का एक नया तरीका
शोधकर्ताओं ने, जो कियान वांग और सहयोगियों के नेतृत्व में थे, एक विधि पेश की जिसे वे चेन-ऑफ-मॉडेल्स (CoM) कहते हैं। कल्पना कीजिए कि एक जासूस (पहला AI, या "जज") है जो एक अपराध की जांच करता है और एक रिपोर्ट लिखता है। आमतौर पर, हम बस रिपोर्ट पढ़ते हैं और जासूस की बात मान लेते हैं। लेकिन इस नए सिस्टम में, एक दूसरा जासूस ("ऑडिटर") लाया जाता है। यह दूसरा जासूस केवल अंतिम निष्कर्ष नहीं पढ़ता; उसे वह पूरी विचार प्रक्रिया देखने को मिलती है जिसका उपयोग पहले जासूस ने उस निष्कर्ष तक पहुँचने के लिए किया था। वे नोट्स, अंतर्ज्ञान और तर्क के चरणों को देखते हैं। यदि पहले जासूस को किसी नकली सुराग से धोखा दिया गया था, तो दूसरा जासूस इसे पकड़ सकता है और कह सकता है, "रुको, यह मेल नहीं खा रहा है।"
टीम ने छह अलग-अलग "परिवारों" (सोचें कि ये विभिन्न ब्रांड या विचारधाराएं हैं, जैसे Qwen, GPT, GLM और Kimi) के नौ अलग-अलग AI मॉडलों का उपयोग करके इस विचार का परीक्षण किया। उन्होंने इन मॉडलों को चार विशिष्ट प्रकार के मानसिक जाल के खिलाफ खड़ा किया:
- बैंडवैगन (Bandwagon): यह विश्वास करना कि कुछ सही है क्योंकि "बाकी सब" ऐसा सोचते हैं।
- अथॉरिटी (Authority): यह विश्वास करना कि कुछ सही है क्योंकि एक "प्रसिद्ध विशेषज्ञ" ने ऐसा कहा है।
- डिस्ट्रैक्शन (Distraction): अप्रासंगिक लेकिन दिलचस्प तथ्यों से भटक जाना।
- सिकोफैंसी (Sycophancy): उपयोगकर्ता के साथ केवल अच्छा दिखने या मददगार होने के लिए सहमत होना, भले ही उपयोगकर्ता गलत हो।
सबसे बड़ा आश्चर्य: सबसे स्मार्ट AI सबसे अच्छा ऑडिटर नहीं है
यहीं कहानी दिलचस्प हो जाती है। शोधकर्ताओं को यह संदेह था कि सबसे अच्छा ऑडिटर वह AI होगा जो अपने आप में पूर्वाग्रह के प्रति स्वाभाविक रूप से सबसे अधिक प्रतिरोधी है। यह तर्कसंगत लग रहा था: यदि आप किसी झूठे को पकड़ना चाहते हैं, तो आप कमरे में सबसे ईमानदार व्यक्ति को चुनेंगे, है ना?
वे गलत थे।
अपने प्रयोगों में, उन्होंने पाया कि एक AI की अपने आप में पूर्वाग्रह का विरोध करने की क्षमता (जिसे हम "स्टैंडअलोन रेजिस्टेंस" कह सकते हैं) दूसरे AI की गलतियों को ठीक करने में उसकी दक्षता से लगभग कोई लेना-देना नहीं था। उदाहरण के लिए, Kimi-K2.5 मॉडल अकेले काम करते समय पूर्वाग्रह का विरोध करने में "चैंपियन" था। उसे बेवकूफ बनाना अविश्वसनीय रूप से कठिन था। लेकिन जब शोधकर्ताओं ने इसे एक अन्य AI (Qwen2.5-72B) के साथ एक ऑडिटर के रूप में जोड़ा, तो Kimi-K2.5 बुरी तरह विफल रहा। वह दूसरे AI की गलतियों को ठीक नहीं कर सका; वास्तव में, उसने अक्सर चीजों को और बिगाड़ दिया।
क्यों? शोधकर्ता सुझाव देते हैं कि यह एक "ब्लाइंड स्पॉट" प्रभाव के कारण है। ठीक वैसे ही जैसे इंसान अक्सर अपनी खामियों को नहीं देख पाते लेकिन दूसरों में उन्हें आसानी से देख सकते हैं, AI मॉडल भी अपने ही परिवार के मॉडलों या यहाँ तक कि बहुत मजबूत मॉडलों के साथ समान "ब्लैंड स्पॉट्स" साझा करते हैं। यदि पहला AI किसी विशिष्ट अथॉरिटी संकेत से धोखा खाता है, तो "चैंपियन" ऑडिटर भी उसी संकेत से धोखा खा सकता है क्योंकि उनके दिमाग एक ही तरह से काम करते हैं।
वास्तविक समाधान: ऑडिटर को जाल के अनुसार मिलाएं
पेपर की सबसे महत्वपूर्ण खोज यह है कि हर स्थिति के लिए कोई एक "सर्वश्रेष्ठ" ऑडिटर नहीं होता है। इसके बजाय, सबसे अच्छा ऑडिटर पूरी तरह से इस बात पर निर्भर करता है कि किस प्रकार का पूर्वाग्रह परीक्षण किया जा रहा है।
- जब जाल बैंडवैगन (पीयर प्रेशर), अथॉरिटी (विशेषज्ञ का दबाव), या डिस्ट्रैक्शन (भटकाव) था, तो GPT-4o मॉडल सुपरस्टार ऑडिटर था। यह इन चालों को पहचानने और पहले AI को सुधारने में माहिर था।
- हालांकि, जब जाल सिकोफैंसी (उपयोगकर्ता के प्रति बहुत विनम्र होना) था, तो GPT-4o वास्तव में कुछ न करने से भी बदतर हो गया! इस विशिष्ट मामले में, GLM-5 मॉडल हीरो साबित हुआ, जिसने उस पूर्वाग्रह को सफलतापूर्वक सुधारा जहाँ GPT-4o विफल रहा था।
शोधकर्ताओं ने महसूस किया कि वास्तव में एक मजबूत प्रणाली बनाने के लिए, आप केवल एक "सुपर ऑडिटर" नहीं चुन सकते और उसे हर चीज़ के लिए उपयोग नहीं कर सकते। आपको एक स्मार्ट स्विचबोर्ड की आवश्यकता है। यदि सिस्टम "बैंडवैगन" जाल का पता लगाता है, तो इसे GPT-4o को सौंप देना चाहिए। यदि यह "सिकोफैंसी" जाल का पता लगाता है, तो इसे GLM-5 को सौंपना चाहिए।
परिणाम: एक स्मार्ट, निष्पक्ष प्रणाली
इस "प्रति-पूर्वाग्रह" (per-bias) चयन नियम का उपयोग करके, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई जो किसी भी एकल मॉडल या किसी भी निश्चित जोड़ी के मॉडल की तुलना में काफी अधिक सटीक थी।
- बिना किसी ऑडिटिंग के, बेस AI पक्षपाती प्रश्नों पर लगभग 80.5% बार सही उत्तर देता था।
- हर चीज़ के लिए सबसे मजबूत एकल निश्चित ऑडिटर (GPT-4o) का उपयोग करने से यह बढ़कर 82.4% हो गया।
- लेकिन उनके स्मार्ट, पूर्वाग्रह-विशिष्ट सेलेक्टर का उपयोग करने से, सटीकता उछलकर 88.4% हो गई।
यह सुधार केवल एक मामूली बढ़त नहीं थी; यह एक बड़ी छलांग थी, विशेष रूप से पेचीदा "सिकोफैंसी" पूर्वाग्रह के लिए, जहाँ स्मार्ट सेलेक्टर ने बेस मॉडल की तुलना में सटीकता में लगभग 24 प्रतिशत अंक की वृद्धि की।
भविष्य के लिए इसका क्या अर्थ है
यह पेपर यह दावा नहीं करता है कि उन्होंने AI पूर्वाग्रह की समस्या को हमेशा के लिए हल कर दिया है। वे स्वीकार करते हैं कि उनके सिस्टम को वर्तमान में यह जानने की आवश्यकता है कि किस प्रकार का पूर्वाग्रह मौजूद है (जैसे कि किसी विशिष्ट दरवाजे को लॉक करने से पहले यह जानना कि चोर आ रहा है)। वे यह भी नोट करते हैं कि इस प्रक्रिया में थोड़ा अधिक समय लगता है क्योंकि इसमें एक के बजाय दो AI मॉडलों के बीच बातचीत शामिल होती है।
हालाँकि, यह अध्ययन एक शक्तिशाली बिंदु सिद्ध करता है: विविधता एक महाशक्ति है। विभिन्न AI परिवारों को मिलाने और उन्हें विशिष्ट समस्याओं के लिए जोड़ने से, हम AI का एक ऐसा "ज्यूरी" (जूरी) बना सकते हैं जिसे बेवकूफ बनाना किसी भी एकल AI की तुलना में बहुत कठिन है। यह पता चला कि एक पक्षपाती AI को पकड़ने का सबसे अच्छा तरीका सबसे स्मार्ट AI को खोजना नहीं है, बल्कि उस विशिष्ट चाल के लिए सही AI को खोजना है। यह "चेन-ऑफ-मॉडेल्स" दृष्टिकोण AI जजों को वास्तविक दुनिया में अधिक विश्वसनीय, निष्पक्ष और भरोसेमंद बनाने के लिए एक आशाजनक मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।