Evaluation of Large Language Models via Coupled Token Generation
यह शोध पत्र "कपलड टोकन जनरेशन" (coupled token generation) के लिए एक कारणत्मक ढांचे (causal framework) का प्रस्ताव करता है जो बड़े भाषा मॉडलों में यादृच्छिकता (randomness) को सिंक्रोनाइज़ करता है ताकि अधिक कुशल बेंचमार्किंग सक्षम की जा सके और यह प्रकट करता है कि मानक मूल्यांकन रैंकिंग अनियंत्रित जनरेशन रैंडमनेस द्वारा महत्वपूर्ण रूप से विकृत की जा सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कुकिंग कॉम्पिटिशन के जज हैं, और आपके पास दो शेफ हैं, शेफ A और शेफ B, और आप जानना चाहते हैं कि एक विशिष्ट डिश बनाने में कौन बेहतर है।
लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया में, ये "शेफ" AI मॉडल्स हैं, और "डिश" एक सवाल का जवाब है।
समस्या: "पासे का खेल" (The "Roll of the Dice")
वर्तमान में, जब हम इन AI शेफों का परीक्षण करते हैं, तो हम उनसे एक ही सवाल कई बार पूछते हैं। लेकिन इसमें एक पेंच है: AI मॉडल्स थोड़े ऐसे शेफ की तरह हैं जो हर बार खाना बनाते समय थोड़े रचनात्मक (या भाग्यशाली) हो जाते हैं।
भले ही आप शेफ A को बिल्कुल वही रेसिपी और सामग्री दें, वे आज थोड़ा अधिक नमक डाल सकते हैं और कल थोड़ा कम। ऐसा इसलिए है क्योंकि आधुनिक AI अपने शब्दों को चुनने के लिए "रैंडमनेस" (जिसे सैंपलिंग कहा जाता है) का उपयोग करते हैं। वे केवल सबसे स्पष्ट शब्द नहीं चुनते; वे यह तय करने के लिए एक पासा फेंकते हैं कि अगला शब्द क्या होगा।
इसलिए, यदि आप शेफ A से एक ही सवाल 10 बार पूछते हैं, तो आपको 10 थोड़े अलग जवाब मिल सकते हैं। कुछ बेहतरीन हो सकते हैं, कुछ अजीब। यह पता लगाने के लिए कि वास्तव में कौन बेहतर है, आपको हजारों बार पूछना पड़ता है ताकि एक विश्वसनीय औसत प्राप्त किया जा सके। यह धीमा, महंगा और निराशाजनक है।
समाधान: "कपलड" किचन (The "Coupled" Kitchen)
इस पेपर के लेखक इन शेफों को आंकने का एक चतुर नया तरीका प्रस्तावित करते हैं। वे इसे कप्ल्ड ऑटोरेग्रेसिव जनरेशन (Coupled Autoregressive Generation) कहते हैं।
कल्पना कीजिए कि आप शेफ A और शेफ B को एक ही किचन में रखते हैं, लेकिन आप उन्हें हर एक स्टेप के लिए बिल्कुल एक ही पासे (dice) का उपयोग करने के लिए मजबूर करते हैं।
- यदि शेफ A नमक डालने के निर्णय के लिए "6" रोल करता है, तो शेफ B को भी उसी निर्णय के लिए "6" ही रोल करना होगा।
- यदि शेफ A काली मिर्च डालने के निर्णय के लिए "2" रोल करता है, तो शेफ B को भी "2" ही रोल करना होगा।
वे अभी भी अपनी अनूठी रेसिपी (अपना आंतरिक ज्ञान और प्रशिक्षण) का उपयोग कर रहे हैं, लेकिन वे अपने यादृच्छिक (random) विकल्पों को बनाने के लिए एक ही पासे का उपयोग कर रहे हैं।
यह गेम-चेंजर क्यों है
1. यह एक निष्पक्ष दौड़ है ("भाग्य" का कारक)
पुराने तरीके (इंडिपेंडेंट जनरेशन) में, शेफ A "भाग्यशाली" हो सकता था और अच्छे नंबर रोल कर सकता था जिससे वे महान दिखें, जबकि शेफ B "दुर्भाग्यशाली" रोल कर सकता था जिससे वे खराब दिखें। आपको लग सकता है कि शेफ A बेहतर है, लेकिन वे बस एक भाग्यशाली दिन पर थे।
नए कप्ल्ड (Coupled) तरीके में, भाग्य को हटा दिया जाता है। यदि शेफ A बेहतर है, तो यह इसलिए है क्योंकि उनकी रेसिपी बेहतर है, न कि इसलिए कि उन्होंने बेहतर पासे फेंके। यह तुलना बहुत अधिक सटीक बनाता है।
2. आपको कम चखने की आवश्यकता है ("सैंपल साइज")
क्योंकि शेफ एक ही पासे फेंक रहे हैं, उनके उत्तर अब एक दूसरे से जुड़े हुए (linked) हैं। यदि प्रश्न आसान है, तो दोनों शेफ संभवतः एक ही समय में सही होंगे। यदि यह कठिन है, तो दोनों साथ मिलकर संघर्ष कर सकते हैं।
यह एक मजबूत "कोरिलेशन" (सहसंबंध) बनाता है। सांख्यिकी (statistics) में, जब दो चीजें एक साथ चलती हैं, तो आपको अंतर देखने के लिए बहुत कम सैंपल की आवश्यकता होती है।
- पुराना तरीका: आपको यह सुनिश्चित करने के लिए कि शेफ A बेहतर है, 1,000 डिश चखने की आवश्यकता हो सकती है।
- नया तरीका: क्योंकि वे एक ही पासे फेंक रहे हैं, आपको केवल 250 डिश चखने की आवश्यकता हो सकती है और आप उतने ही आश्वस्त होंगे।
- पेपर का निष्कर्ष: उन्होंने पाया कि इस विधि से परीक्षणों की संख्या में 75% तक की कमी आ सकती है। यह आपके समय और पैसे के तीन-चौथाई हिस्से को बचाने जैसा है!
3. रैंकिंग का सरप्राइज (द "टाई-ब्रेकर")
यहाँ सबसे आश्चर्यजनक बात है। पेपर दिखाता है कि कभी-कभी, शेफ की रैंकिंग इस बात पर निर्भर करती है कि आप पासा कैसे फेंकते हैं।
कल्पना कीजिए कि आपके पास तीन शेफ हैं: एलिस, बॉब और चार्ली।
- इंडिपेंडेंट रोलिंग (स्वतंत्र रोलिंग): एलिस सबसे अधिक बार जीतती है, बॉब दूसरे स्थान पर है, चार्ली आखिरी है।
- कप्ल्ड रोलिंग (कप्ल्ड रोलिंग): अचानक, चार्ली पहले स्थान पर पहुँच जाता है, एलिस दूसरे स्थान पर गिर जाती है, और बॉब आखिरी स्थान पर आता है।
क्यों? क्योंकि "इंडिपेंडेंट" दुनिया में, एलिस कठिन सवालों पर भाग्यशाली थी, और बॉब दुर्भाग्यपूर्ण था। "कप्ल्ड" दुनिया में, उन्होंने एक ही भाग्य का सामना किया। यह पता चलता है कि "इंडिपेंडेंट" रैंकिंग वास्तव में रैंडम शोर (random noise) के कारण पैदा हुआ एक भ्रम था। "कप्ल्ड" रैंकिंग प्रकट करती है कि वास्तव में कौन सबसे सुसंगत और विश्वसनीय शेफ है।
निचोड़ (The Bottom Line)
यह पेपर तर्क देता है कि हम वर्तमान में AI मॉडल्स को एक त्रुटिपूर्ण पैमाने से आंक रहे हैं जिसमें बहुत सारा "रैंडम नॉइज़" शामिल है।
विभिन्न AI मॉडल्स को रैंडमनेस के एक ही स्रोत (एक ही पासे) को साझा करने के लिए मजबूर करके, हम:
- भारी मात्रा में समय और पैसा बचा सकते हैं (कम परीक्षणों की आवश्यकता)।
- एक सच्ची तस्वीर प्राप्त कर सकते हैं कि कौन सा मॉडल वास्तव में बेहतर है, "भाग्य" के कारक को हटाकर।
- रैंकिंग को ठीक कर सकते हैं ताकि सबसे अच्छे मॉडल्स को वास्तव में सर्वश्रेष्ठ के रूप में पहचाना जा सके, न कि केवल सबसे भाग्यशाली के रूप में।
यह अंततः जजों को भोजन चखने का एक निष्पक्ष तरीका देने जैसा है, यह सुनिश्चित करता है कि विजेता वह है जिसके पास सबसे अच्छी रेसिपी है, न कि वह जिसने सबसे अच्छा पासा फेंका था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।