AsymmetryZero: A Framework for Operationalizing Human Expert Preferences as Semantic Evals
यह शोध पत्र AsymmetryZero को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो मानव विशेषज्ञ प्राथमिकताओं को मॉडल-ओनली और एजेंटिक दोनों परिवेशों के लिए स्पष्ट, पुन: प्रयोज्य मूल्यांकन अनुबंधों में संचालित करता है, यह प्रदर्शित करते हुए कि कॉम्पैक्ट जूरी (compact juries) उच्च आंतरिक असहमति के बावजूद, फ्रंटियर जूरी की तुलना में समान कार्य-स्तरीय परिणाम प्राप्त कर सकती है और निर्णयन लागत एवं विलंबता को काफी कम कर सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल कुकिंग प्रतियोगिता आयोजित कर रहे हैं। आपके पास हजारों शेफ (AI मॉडल्स) हैं जो एक आदर्श व्यंजन बनाने की कोशिश कर रहे हैं, लेकिन "आदर्श" व्यक्तिपरक है। एक जज नमक पर ध्यान दे सकता है, दूसरा प्रस्तुति (प्रेजेंटेशन) पर, और तीसरा खाना पकाने के समय पर।
अतीत में, इन व्यंजनों को ग्रेड करने की कोशिश करना बहुत अव्यवदार था। कभी-कभी जज केवल एक अस्पष्ट नोट लिख देते थे जैसे "यह अच्छा लगता है," या वे इस बात पर अंतहीन बहस करते थे कि एक व्यंजन दूसरे से बेहतर क्यों था। यह पेपर AsymmetryZero नामक एक नई प्रणाली पेश करता है ताकि इस अव्यवस्था को ठीक किया जा सके, और फिर जज नियुक्त करने के दो अलग-अलग तरीकों का परीक्षण करता है।
यहाँ सरल शब्दों में इसका विवरण दिया गया है:
1. समस्या: "अस्पष्ट जज" का जाल
वर्तमान में, जब हम AI का परीक्षण करते हैं, तो हम अक्सर एक सुपर-स्मार्ट AI से दूसरे AI के काम को ग्रेड करने के लिए कहते हैं। लेकिन यदि आप केवल कहते हैं, "इस निबंध को ग्रेड करें," तो ग्रेड करने वाला मॉडल अपने स्वयं के छिपे हुए नियमों का उपयोग कर सकता है। उसे लंबे उत्तर पसंद हो सकते हैं, या वह विषय से भ्रमित हो सकता है। यह एक खाद्य आलोचक (फूड क्रिटिक) को काम पर रखने जैसा है जिसके पास कोई चेकलिस्ट नहीं है; आप कभी नहीं जान पाएंगे कि वह भोजन को परख रहा है या केवल अपने मूड को।
2. समाधान: "मूल्यांकन अनुबंध" (The Evaluation Contract)
लेखकों ने AsymmetryZero बनाया है, जो मूल रूप से ग्रेडिंग के लिए एक सख्त रेसिपी है।
एक अस्पष्ट प्रॉम्प्ट के बजाय, प्रत्येक कार्य के साथ एक "अनुबंध" (Contract) आता है। यह अनुबंध एक विस्तृत स्कोरकार्ड की तरह है जो कहता है:
- क्या हम ग्रेड कर रहे हैं? (जैसे, "क्या शेफ ने नमक का उपयोग किया?")
- कैसे हम इसकी जाँच करेंगे? (जैसे, "यदि 'नमक' शब्द दिखाई देता है, तो 10 अंक दें।")
- कौन निर्णय लेगा? (एक अकेला जज या एक समूह?)
- पासिंग स्कोर क्या है?
यह अनुबंध सरल AI (केवल टेक्स्ट लिखना) और जटिल AI एजेंटों (रोबोट जो टूल्स का उपयोग करते हैं और कई कदम उठाते हैं) दोनों के लिए काम करता है। खास बात यह है कि एक साधारण टेक्स्ट बॉट या एक जटिल रोबोट, दोनों को ग्रेड करने के लिए एक ही अनुबंध का उपयोग किया जा सकता है, और उनके स्कोर तुलनीय होंगे।
3. प्रयोग: "बड़े जज" बनाम "छोटे जज"
लेखक यह जानना चाहते थे कि: क्या हमें इन अनुबंधों को ग्रेड करने के लिए महंगे, सुपर-स्मार्ट जजों की आवश्यकता है, या क्या हम सस्ते, छोटे जजों का उपयोग कर सकते हैं?
उन्होंने 75 जटिल कार्यों (जैसे उन्नत गणित या कोडिंग समस्याओं को हल करना) के साथ एक परीक्षण सेट किया। उन्होंने कार्यों को हल करने के लिए चार अलग-अलग "प्रतियोगी" AI मॉडल्स का उपयोग किया। फिर उन्होंने उन समाधानों को ग्रेड करने के लिए दो अलग-अलग प्रकार के "जज" AI समूहों का उपयोग किया:
- द फ्रंटियर जुरी (The Big Judges): उपलब्ध सबसे शक्तिशाली, महंगी और स्मार्ट AI मॉडल्स में से 5 का एक पैनल।
- द कॉम्पैक्ट जुरी (The Small Judges): 5 छोटे, सस्ते और तेज़ AI मॉडल्स का एक पैनल।
4. परिणाम: "सस्ते जज" अधिक शोर वाले (Noisy) हैं
यहाँ उन्होंने पाया:
- अंतिम स्कोर समान है: जब आप सभी अंक जोड़ते हैं, तो "बड़े जज" आमतौर पर इस बात पर सहमत होते हैं कि प्रतियोगिता किसने जीती। यदि कोई कार्य बड़े जजों के लिए पास हुआ, तो वह आमतौर से छोटे जजों के लिए भी पास हुआ।
- विवरण अव्यवस्थित हैं: हालाँकि, जब आप व्यक्तिगत चरणों (स्कोरकार्ड पर विशिष्ट मानदंडों) को देखते हैं, तो छोटे जज बड़े जजों से 15% से 25% बार असहमत होते हैं।
- "एक-दूसरे पर उंगली उठाने" की समस्या: सबसे बड़ी समस्या यह थी कि छोटे जज आपस में भी सहमत नहीं हो पा रहे थे।
- बड़े जज एक शांत समिति की तरह थे; वे लगभग हमेशा सहमत होते थे (केवल 6-11% बार वे विभाजित थे)।
- छोटे जज एक अराजक कमरे की तरह थे; वे आपस में लगातार बहस करते थे (3 बनाम 2 के अनुपात में 30% बार विभाजित होते थे)।
उपमा (Analogy): कल्पना कीजिए कि गणित के टेस्ट को ग्रेड किया जा रहा है।
- बड़े जज: पाँचों प्रोफेसर उत्तर देखते हैं और कहते हैं, "हाँ, यह सही है।"
- छोटे जज: तीन प्रोफेसर कहते हैं "सही है", लेकिन दो कहते हैं "गलत क्योंकि लिखावट खराब है", भले ही गणित सही हो। वे आपस में ही बहस कर रहे हैं।
5. ट्रेड-ऑफ: लागत बनाम निरंतरता (Consistency)
छोटे जज अविश्वसनीय रूप से सस्ते और तेज़ थे।
- लागत: वे बड़े जजों की तुलना में लगभग 97% कम खर्च वाले थे।
- गति: वे लगभग 82% तेज़ थे।
फैसला:
यदि आप केवल एक त्वरित, सस्ता चेक चाहते हैं कि सिस्टम सामान्य रूप से काम कर रहा है या नहीं (जैसे कि एक "सेंटी चेक"), तो छोटे जज बेहतरीन हैं। वे बहुत सारा पैसा बचाते हैं।
लेकिन, यदि आपको यह जानने की आवश्यकता है कि कोई चीज़ क्यों विफल हुई, या यदि आपको उच्च-दांव वाले निर्णयों के लिए एक सटीक ऑडिट ट्रेल की आवश्यकता है, तो छोटे जज बहुत अधिक "शोर" (Noisy) पैदा करते हैं। वे सूक्ष्म विवरणों के लिए भरोसेमंद होने के लिए आपस में बहुत अधिक बहस करते हैं।
सारांश
यह पेपर तर्क देता है कि ग्रेडिंग के नियम कैसे लिखे जाते हैं (अनुबंध), यह उतना ही महत्वपूर्ण है जितना कि ग्रेड करने के लिए किसे काम पर रखा जाता है।
आप छोटे, सस्ते AI जजों का उपयोग करके बहुत सारा पैसा बचा सकते हैं, लेकिन आपको यह स्वीकार करना होगा कि वे आपस में अधिक बहस करेंगे। यदि आपको एक शांत, सुसंगत निर्णय की आवश्यकता है, तो आपको अभी भी महंगे, "फ्रंटियर" जजों की आवश्यकता है। यदि आपको केवल एक मोटा अनुमान चाहिए, तो सस्ते वाले काम कर देंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।