Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation
यह शोध पत्र प्रदर्शित करता है कि "एविडेंस लॉकिंग" (evidence locking)—एक ऐसा वर्कफ़्लो जहाँ LLM जज अंतिम निर्णय देने से पहले एक अलग कॉल में साक्ष्य निकालते हैं और उन्हें सुरक्षित करते हैं—स्ट्रक्चर्ड वन-कॉल जजिंग की तुलना में मानव प्राथमिकताओं के साथ संरेखण को कम करके और उत्तर-क्रम विसंगति को बढ़ाकर मूल्यांकन प्रदर्शन को महत्वपूर्ण रूप से कम कर देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आप स्वयं अपराध स्थल को देखने के बजाय, किसी और द्वारा लिखी गई पुलिस रिपोर्ट पढ़ने के लिए मजबूर हैं। आपको पूरी तरह से उस लिखित सारांश के आधार पर यह तय करना है कि अपराधी कौन है। यह "AI जजेस" (AI न्यायाधीशों) की दुनिया है। आर्टिफिशियल इंटेलिजेंस के क्षेत्र में, हम अक्सर स्मार्ट कंप्यूटर मॉडल्स से रेफरी के रूप में कार्य करने के लिए कहते हैं, जो यह निर्णय लेते हैं कि दो उत्तरों में से कौन सा बेहतर है। आमतौर पर, ये AI जज मूल उत्तरों और प्रश्न को एक साथ देखते हैं, जिससे वे तुरंत निर्णय ले पाते हैं। लेकिन हाल ही में, एक नया विचार लोकप्रिय हुआ है: "आइए AI को पहले अपने कारण लिखने के लिए कहें!" उम्मीद यह थी कि यदि AI को विजेता चुनने से पहले अपनी सोच समझाने और सबूत जुटाने के लिए कहा जाए, तो यह अधिक निष्पक्ष, तार्किक और धोखे से बचने वाला होगा। यह एक छात्र से गणित के टेस्ट में ग्रेड देने से पहले अपना काम दिखाने के लिए कहने जैसा है। लेकिन क्या होगा अगर वह लिखित "काम" वास्तव में समस्या को हल करने के लिए पर्याप्त न हो? क्या होगा अगर उस लिखित नोट को फ्रीज करने और मूल उत्तरों को हटा देने का कार्य वास्तव में AI को उसके काम में और भी खराब बना देता है?
यह शोध पत्र, जिसका शीर्षक "एविडेंस लॉक बिफोर कमिटमेंट" (Evidence Lock Before Commitment) है, ठीक इसी प्रश्न में गहराई से उतरता है। शोधकर्ता, फ्लोरिडा विश्वविद्यालय के दिव्यंश सिंह, एक विशिष्ट वर्कफ़्लो का परीक्षण करना चाहते थे जिसे कई लोग उपयोग करने लगे थे। उन्होंने पूछा: यदि हम AI को एक चरण में अपने साक्ष्य लिखने के लिए मजबूर करते हैं, उस नोट को सहेजते हैं, और फिर केवल उस नोट को दूसरे चरण में अंतिम निर्णय लेने के लिए देते हैं (बिना उसे मूल उत्तर दोबारा देखने देने के), तो क्या यह अभी भी अच्छे निर्णय लेता है? उन्होंने इसे दो बहुत ही स्मार्ट AI मॉडल्स, क्लॉड सोनेट 4.5 (Claude Sonnet 4.5) और जीपीटी-5 (GPT-5) के साथ, 24,000 अलग-अलग जजिंग परिदृश्यों में परखा।
परिणाम काफी चौंकाने वाले थे। शोधकर्ता ने पाया कि यह "एविडेंस लॉक" विधि वास्तव में AI जजों को बदतर बना देती है। जब AI को केवल अपने फ्रीज किए गए नोट्स पर निर्भर रहने के लिए मजबूर किया गया, तो यह मानव प्राथमिकताओं के साथ 4 से 6 प्रतिशत कम बार सहमत हुआ, जितना कि तब होता जब वह मूल उत्तरों को देख सकता था। यह उत्तरों को प्रस्तुत करने के क्रम से भी बहुत अधिक भ्रमित हो गया, और 8 से 10 प्रतिशत अधिक बार असंगत हो गया। दिलचस्प बात यह है कि केवल AI को मूल उत्तरों को देखते हुए ही साक्ष्य लिखने के लिए कहना (एक "स्ट्रक्चर्ड वन-कॉल" विधि) बिल्कुल ठीक रहा। समस्या लेखन में नहीं थी; समस्या "लॉकिंग" (Locking) में थी। साक्ष्य को फ्रीज करके और स्रोत तक पहुंच काटकर, AI ने पूरी तस्वीर देखने की अपनी क्षमता खो दी। शोध पत्र सुझाव देता है कि हालांकि लिखित रिकॉर्ड रखना ऑडिटिंग और बाद में काम की जांच करने के लिए बहुत अच्छा है, लेकिन अंतिम निर्णय लेते समय इसे मूल स्रोत सामग्री का स्थान नहीं लेना चाहिए। "फ्रोजन इंटरफेस" (Frozen Interface) निर्णय की गुणवत्ता को कम कर देता है, जो यह सिद्ध करता है कि कभी-कभी, आपको वास्तव में अपराध स्थल को स्वयं देखने की आवश्यकता होती है, न कि केवल रिपोर्ट पढ़ने की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।