LLMs Judge Themselves: A Game-Theoretic Framework for Human-Aligned Evaluation
यह शोध पत्र स्वचालित पारस्परिक सहकर्मी मूल्यांकन और मतदान एकत्रीकरण के माध्यम से बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के मूल्यांकन के लिए एक नवीन गेम-थ्योरेटिक ढांचे का प्रस्ताव करता है, जो इन मॉडल-जनित रैंकिंग और मानव निर्णय के बीच संरेखण और विचलन का अनुभवजन्य विश्लेषण करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अराजक रसोई के हेड शेफ हैं। आपके पास छह अलग-अलग सु-शेफ (लार्ज लैंग्वेज मॉडल्स, या LLMs) हैं, और आपको यह पता लगाना है कि सबसे अच्छा रसोइया कौन है।
पुराने दिनों में, आप उन्हें एक ऐसी रेसिपी देते जिसमें एक ज्ञात उत्तर कुंजी होती (जैसे "सूप का स्वाद बिल्कुल ऐसा होना चाहिए")। यदि वे इसे सही कर लेते, तो उन्हें एक अंक मिलता। लेकिन आधुनिक खाना बनाना कुछ ऐसा है जैसे "एक नया फ्यूजन व्यंजन बनाएं।" यहाँ कोई एक "सही" उत्तर नहीं है, और स्वाद व्यक्तिपरक है। यदि आप एक शेफ को दूसरों का न्याय करने के लिए कहते हैं, तो वे पक्षपाती हो सकते हैं। यदि आप उन्हें स्वयं का न्याय करने के लिए कहते हैं, तो वे निश्चित रूप से खुद को पांच-सितारा समीक्षा देंगे!
यह शोध पत्र इस समस्या को हल करने का एक चतुर नया तरीका प्रस्तावित करता है: शेफ को एक-दूसरे का न्याय करने दें, लेकिन यह सुनिश्चित करने के लिए कि अंतिम स्कोर निष्पक्ष हो, खेल के नियमों का उपयोग करें।
यहाँ उनके "गेम-थ्योरेटिक फ्रेमवर्क" का सरल उपमाओं का उपयोग करके विवरण दिया गया है:
1. समस्या: "नार्सिसिस्टिक शेफ" (आत्ममुग्ध शेफ)
लेखकों ने देखा कि जब आप किसी AI को खुद को या अपने दोस्तों को ग्रेड देने के लिए कहते हैं, तो वह पक्षपाती हो जाता है। यह एक छात्र को अपनी परीक्षा को ग्रेड देने के लिए कहने जैसा है; वे खुद को A+ दे सकते हैं भले ही उन्होंने आधे उत्तर गलत किए हों। इसे सेल्फ-प्रेफरेंस बायस (स्व-वरीयता पूर्वाग्रह) कहा जाता है।
2. समाधान: "राउंड रॉबिन टूर्नामेंट"
एक ही AI मॉडल को बॉस बनाने या एक मानव जज को काम पर रखने (जो महंगा और धीमा होता है) के बजाय, लेखकों ने एक विकेंद्रीकृत टूर्नामेंट स्थापित किया।
- सेटअप: प्रत्येक AI मॉडल एक प्रश्न का उत्तर उत्पन्न करता है।
- द स्वैप (बदलाव): फिर, प्रत्येक AI मॉडल एक जज के रूप में कार्य करता है। वे सभी उत्तरों (अपने स्वयं के उत्तर सहित) को देखते हैं और उन्हें सबसे अच्छे से सबसे खराब के क्रम में रैंक करते हैं।
- ट्विस्ट: वे केवल विजेता का चयन नहीं करते; वे एक पूर्ण रैंकिंग सूची (1ला, 2रा, 3रा, आदि) बनाते हैं।
3. सीक्रेट सॉस: "वोटिंग एल्गोरिदम"
यदि आप शेफ को केवल वोट देने के लिए कहते हैं, तो सबसे तेज या सबसे पक्षपाती शेफ परिणाम को प्रभावित कर सकता है। इसे ठीक करने के लिए, लेखक गेम थ्योरी (विशेष रूप से, केमेनी-यंग जैसे वोटिंग एल्गोरिदम) का उपयोग करते हैं।
इसे एक जूरी विचार-विमर्श की तरह समझें:
- यदि शेफ A कहता है "डिश 1 सबसे अच्छी है," लेकिन शेफ B कहता है "डिश 2 सबसे अच्छी है," तो एल्गोरिदम सभी की सूची को देखता है।
- यह केवल वोटों को नहीं गिनता; यह आम सहमति (consensus) की तलाश करता है। यह पूछता है: "वह एकल रैंकिंग क्रम क्या है जो अधिकांश लोगों को खुश करता है, भले ही कोई भी पूरी तरह से खुश न हो?"
- यह गणितीय रूप से उस "मध्य मार्ग" को खोजता है जो समूह की सामूहिक राय का सबसे अच्छा प्रतिनिधित्व करता है, जिससे व्यक्तिगत शेफ के अजीब पूर्वाग्रह प्रभावी रूप से रद्द हो जाते हैं।
4. परिणाम: क्या यह काम करता है?
शोधकर्ताओं ने इसका परीक्षण चैटबॉट एरिना के विरुद्ध किया, जो मूल रूप से एक विशाल, वास्तविक दुनिया की लोकप्रियता प्रतियोगिता है जहाँ हजारों मनुष्य वोट देते हैं कि कौन सा AI बेहतर है।
- "मैथ" टेस्ट: जब कार्य वस्तुनिष्ठ था (जैसे गणित की समस्या हल करना), तो AI वोटिंग सिस्टम मानव राय के साथ लगभग पूरी तरह से संरेखित था। यह विशेषज्ञों के एक समूह के बीच सहमति जैसा था।
- "क्रिएटिव" टेस्ट: जब कार्य व्यक्तिपरक था (जैसे कविता लिखना), तो यह कठिन था, लेकिन समूह का वोट एक अकेले AI द्वारा निर्णय लेने की तुलना में बहुत बेहतर था।
- "सेल्फ-बायस" फिक्स: भले ही AIओं ने खुद को उच्च स्कोर देने की कोशिश की, वोटिंग एल्गोरिदम इतना स्मार्ट था कि वह शोर को अनदेखा कर सके। यह एक ऐसे रेफरी की तरह था जो जानता है कि खिलाड़ी धोखाधड़ी करने की कोशिश कर रहे हैं, इसलिए वह वास्तव में किसने सबसे अच्छा खेला यह देखने के लिए पूरे खेल को देखता है।
5. यह क्यों महत्वपूर्ण है
यह एक बड़ी बात है क्योंकि:
- यह सस्ता है: आपको हर AI प्रतिक्रिया को ग्रेड देने के लिए हजारों मनुष्यों को भुगतान करने की आवश्यकता नहीं है।
- यह अधिक निष्पक्ष है: यह AI को खुद की प्रशंसा करके "सिस्टम को गेम करने" से रोकता है।
- यह स्केलेबल है: आप इसका उपयोग सैकड़ों मॉडलों के परीक्षण के लिए भी कर सकते हैं। आपको हर मॉडल को दूसरे से बात करने की आवश्यकता नहीं है; गणित "स्पार्स" (विरल) तुलना नेटवर्क के साथ भी काम करता है।
निष्कर्ष
पेपर का तर्क है कि AI मूल्यांकन का अर्थ एक एकल "सही" उत्तर खोजना या एक मॉडल को बॉस बनाना नहीं होना चाहिए। इसके बजाय, इसे एक लोकतांत्रिक चुनाव की तरह माना जाना चाहिए। मॉडलों को एक-दूसरे पर वोट करने देने और उन वोटों को एकत्रित करने के लिए स्मार्ट गणित का उपयोग करने से, हमें एक ऐसी रैंकिंग मिलती है जो मानव विचारों के करीब होती है, बिना मानवीय लागत या AI के अहंकार के।
संक्षेप में: उन्होंने AI मूल्यांकन को एक ऐसे खेल में बदल दिया है जहाँ "भीड़ का ज्ञान" (भले ही भीड़ रोबोट की हो) "व्यक्तिगत ज्ञान" से बेहतर होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।