MonitrLLM: A Community-Centered Evaluation Infrastructure for Large Language Models
यह शोधपत्र MonitrLLM को प्रस्तुत करता है, जो एक ओपन-सोर्स इंफ्रास्ट्रक्चर है जो पूर्ण बातचीत के ट्रांसक्रिप्ट्स को उपयोगकर्ता-निर्धारित कार्य इरादों (task intents) और परिणाम मूल्यांकन के साथ जोड़कर LLM मूल्यांकन में एक महत्वपूर्ण अंतर को पाटता है, और एक पायलट अध्ययन के माध्यम से यह प्रकट करता है कि उच्च उपयोगकर्ता संतुष्टि अक्सर महत्वपूर्ण कार्य विफलता दरों के साथ सह-अस्तित्व में होती है, विशेष रूप से मल्टी-टर्न इंटरैक्शन में।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक सहायक बनने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं। लंबे समय से, वैज्ञानिक इन रोबोटों का परीक्षण एक स्वच्छ, शांत प्रयोगशाला में करते रहे हैं। वे रोबोट को एक विशिष्ट पहेली देते हैं, जैसे कि "इस गणित की समस्या को हल करें" या "बिल्ली के बारे में एक कविता लिखें," और वे एक सख्त मानदंड (rubric) के साथ इसे ग्रेड देते हैं। यदि रोबोट उत्तर सही देता है, तो उसे एक स्वर्ण स्टार मिलता है। यह एक ड्राइविंग टेस्ट की तरह है जहाँ आपको केवल एक खाली मैदान में समानांतर पार्किंग (parallel park) करनी होती है। यह आपको बताता है कि कार पार्क कर सकती है, लेकिन यह नहीं बताता कि क्या कार पीछे की सीट पर रोते हुए बच्चे के साथ एक बरसाती मंगलवार की यात्रा को संभाल सकती है।
लेकिन वास्तविक जीवन एक शांत प्रयोगशाला नहीं है। जब हम इन स्मार्ट भाषा मॉडलों का वास्तविक दुनिया में उपयोग करते हैं, तो हम केवल पहेलियाँ हल नहीं कर रहे होते हैं; हम काम पूरा करने की कोशिश कर रहे होते हैं। हम एक स्कूल प्रोजेक्ट पूरा करना चाहते हैं, कोड का एक हिस्सा डीबग करना चाहते हैं, या एक यात्रा की योजना बनाना चाहते हैं। समस्या यह है कि इन रोबोटों के परीक्षण के वर्तमान तरीके अक्सर सबसे महत्वपूर्ण हिस्से को छोड़ देते हैं: क्या वास्तव में मनुष्य को वह मिला जिसकी उसे आवश्यकता थी? कभी-कभी एक रोबोट एक विनम्र, आत्मविश्वासी उत्तर देता है जो सुनने में बहुत अच्छा लगता है लेकिन उस विशिष्ट कार्य के लिए पूरी तरह से बेकार होता है जिसे करने की मनुष्य कोशिश कर रहा था। यह एक ऐसे टूर गाइड की तरह है जो उत्तम अंग्रेजी बोलता है लेकिन आपको गलत संग्रहालय ले जाता है क्योंकि उसने यह नहीं सुना कि आप कहाँ जाना चाहते थे। हमें न केवल रोबोट का उत्तर देखने की आवश्यकता है, बल्कि मनुष्य के संघर्ष और सफलता की पूरी कहानी देखने की भी आवश्यकता है।
यही वह विषय है जिसके बारे में "MonitrLLM" पेपर है। शोधकर्ताओं ने इन ब्लाइंड स्पॉट (अंधे धब्बे) को ठीक करने के लिए MonitrLLM (जिसे आप इन भाषा मॉडलों के लिए एक "मॉनिटर" मान सकते हैं) नामक एक नया टूल बनाया है। केवल रोबोट की बातें देखने के बजाय, उन्होंने एक ऐसी प्रणाली बनाई है जो रोबोट की पूरी बातचीत को मनुष्य के अपने रिपोर्ट कार्ड के साथ जोड़ती है। उन्होंने 26 कॉलेज छात्रों के एक समूह को उनके सामान्य स्कूल और व्यक्तिगत कार्यों के लिए एक लोकप्रिय चैटबॉट का उपयोग करने के लिए कहा। लेकिन यहाँ एक मोड़ है: प्रत्येक बातचीत के बाद, छात्रों ने केवल "थम्स अप" या "थम्स डाउन" पर क्लिक नहीं किया। उन्हें एक छोटा सा फॉर्म भरना था जिसमें यह बताना था कि वे क्या करने की कोशिश कर रहे थे और क्या वे वास्तव में सफल हुए थे।
परिणाम आंखें खोलने वाले और थोड़े आश्चर्यजनक थे। यदि आप केवल छात्रों के संतुष्टि स्कोर को देखते, तो आप सोचते कि चैटबॉट एक सुपरस्टार है। औसत रेटिंग 5 में से 4.19 के बहुत उच्च स्तर पर थी। ऐसा लग रहा था कि हर कोई खुश था! लेकिन जब शोधकर्ताओं ने छात्रों की वास्तविक रिपोर्टों को देखा कि क्या उन्होंने अपने कार्य पूरे किए थे, तो एक छिपी हुई समस्या सामने आई। उच्च खुशी स्कोर के बावजूद, 23.1% इंटरैक्शन विफल रहे थे। छात्रों ने रोबोट की गलतियों के बावजूद अपना रास्ता बना लिया था, या वे बस विनम्र थे, लेकिन उन्होंने वास्तव में काम पूरा नहीं किया था।
अध्ययन ने यह भी पाया कि जब एक बातचीत लंबे समय तक चलती है और उसमें कई बार बातचीत (back-and-forth messages) होती है, तो यह वास्तव में एक चेतावनी का संकेत है, न कि एक गहरी, आकर्षक बातचीत का संकेत। डेटा ने दिखाया कि मल्टी-टर्न (बहु-चरण) बातचीत, सिंगल-टर्न (एकल-चरण) बातचीत की तुलना में 2.5 गुना अधिक बार विफल हुई। वास्तव में, जब किसी मनुष्य को रोबोट से "फिर से प्रयास करें" या "इसे ठीक करें" कहने के लिए बार-बार कहना पड़ता है, तो वे एक मजेदार चैट नहीं कर रहे होते हैं; वे एक सरल कार्य को पूरा करने के लिए एक हारती हुई लड़ाई लड़ रहे होते हैं।
शोधकर्ताओं ने यह भी खोजा कि कार्य का प्रकार बहुत मायने रखता है। जब छात्र कोडिंग या शैक्षणिक अनुसंधान कर रहे थे, तो विफलता दर (लगभग 30%) सामान्य, रोजमर्रा के कार्यों की तुलना में बहुत अधिक थी। यह सुझाव देता है कि काम जितना महत्वपूर्ण और सटीक होगा, रोबोट के चूकने की संभावना उतनी ही अधिक होगी, जिसे एक साधारण "थम्स अप" रेटिंग पकड़ नहीं पाती।
संक्षेप में, यह पेपर तर्क देता है कि हम केवल रोबोट के आउटपुट या एक साधारण खुशी के स्कोर को देखकर यह नहीं जान सकते कि वह काम कर रहा है या नहीं। हमें मनुष्य की कहानी सुनने की आवश्यकता है। एक टूल बनाकर जो पूरी बातचीत के ट्रांसक्रिप्ट को उपयोगकर्ता के सफलता के स्वयं के निर्णय से जोड़ता है, शोधकर्ताओं ने हमें दिखाया है कि भले ही एक रोबोट बहुत अच्छा प्रदर्शन करता हुआ प्रतीत हो, लेकिन वह हमें सबसे महत्वपूर्ण तरीकों से विफल हो सकता है। उन्होंने यह साबित नहीं किया कि रोबोट हमेशा के लिए टूट गए हैं, लेकिन उन्होंने यह साबित कर दिया कि उन्हें परखने का हमारा वर्तमान तरीका मुख्य विषय (plot) को मिस कर रहा है। उन्होंने दिखाया कि यदि हम जानना चाहते हैं कि ये उपकरण वास्तव में कितने सहायक हैं, तो हमें उनका उपयोग करने वाले लोगों से पूछना होगा: "क्या आपको वह मिला जिसकी आपको आवश्यकता थी?" और फिर केवल अंतिम ग्रेड को नहीं, बल्कि पूरी कहानी को सुनना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।