Designing Reliable LLM-as-a-judge Measurement Systems for Multi-turn Business Agents
यह शोध पत्र मल्टी-टर्न बिजनेस एजेंटों के मूल्यांकन के लिए एक व्यावहारिक, रखरखाव योग्य ढांचा प्रस्तुत करता है जो विश्वसनीय, कार्रवाई योग्य माप और एजेंट के प्रदर्शन एवं व्यावसायिक ज्ञान के अंतराल को सुनिश्चित करने के लिए मॉड्यूलर एलएलएम (LLM) जजों, इरादा-संरक्षण करने वाले उपयोगकर्ता सिमुलेशन और ह्यूमन-इन-द-लूप गवर्नेंस को एकीकृत करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल अर्थव्यवस्था में, व्यवसाय ग्राहकों के साथ जटिल बातचीत संभालने के लिए तेजी से आर्टिफिशियल इंटेलिजेंस (AI) पर निर्भर हो रहे हैं। ये साधारण, एक-बार होने वाली बातचीत नहीं हैं जहाँ एक बॉट किसी एक प्रश्न का उत्तर देकर गायब हो जाता है। इसके बजाय, ये बहु-स्तरीय संवाद (multi-turn dialogues) हैं जहाँ एक ग्राहक एक ही थ्रेड में उत्पाद के बारे में पूछ सकता है, कीमत की जाँच का अनुरोध कर सकता है, पता सत्यापित कर सकता है, और फिर शिपिंग में देरी के बारे में शिकायत कर सकता है। इनके डिजिटल सहायकों के सही ढंग से कार्य करने को सुनिश्चित करने के लिए, कंपनियों को उनके प्रदर्शन को ग्रेड देने के एक तरीके की आवश्यकता है। वर्षों से, शोधकर्ताओं ने "LLM-as-a-judge" नामक एक विधि का उपयोग किया है, जहाँ एक आर्टिफिशियल इंटेलिजेंस मॉडल दूसरे द्वारा दिए गए उत्तरों का मूल्यांकन करता है। यह दृष्टिकोण सरल कार्यों के परीक्षण के लिए मानक बन गया है, लेकिन जब बातचीत लंबी होती है, नियम एक कंपनी से दूसरी कंपनी में बदल जाते हैं, और सही उत्तर उन विशिष्ट तथ्यों पर निर्भर करता है जो AI को पता भी नहीं हो सकते, तो यह संघर्ष करता है। मुख्य चुनौती यह है कि एक बातचीत दो बहुत अलग कारणों से विफल हो सकती है: या तो AI ग्राहक को समझने में बहुत भ्रमित है, या व्यवसाय ने वास्तव में अपना काम करने के लिए AI को आवश्यक जानकारी प्रदान करने में विफल रहा है। इन दोनों विफलताओं के बीच अंतर करना महत्वपूर्ण है, क्योंकि एक भ्रमित AI को ठीक करने के लिए एक अलग समाधान की आवश्यकता होती है, जबकि व्यवसाय को अपने डेटा को अपडेट करने के लिए कहने के लिए एक अलग समाधान की आवश्यकता होती है।
मेटा के शोधकर्ताओं की एक टीम ने इस विशिष्ट समस्या को हल करने के लिए डिज़ाइन किया गया एक नया, व्यापक सिस्टम विकसित किया है। एजेंटों के मूल्यांकन को केवल प्रॉम्प्ट-लेखन (prompt-writing) के अभ्यास के रूप में मानने के बजाय, उन्होंने एक पूर्ण मापन प्रणाली बनाई जो वास्तविक दुनिया की जटिलता की नकल करती है। उनका दृष्टिकोण चार अलग-अलग भागों को जोड़ता है: एक विशिष्ट व्यवसाय के लिए सफलता का क्या अर्थ है इसकी स्पष्ट परिभाषा, विशेषीकृत AI जज (judges) का एक सेट जो बातचीत के विभिन्न पहलुओं की जाँच करता है, एक सिम्युलेटेड यूजर (simulated user) जो एजेंट की सीमाओं का परीक्षण करने के लिए उसके साथ बातचीत कर सकता है, और एक मानव समीक्षा प्रक्रिया जो पूरे सिस्टम की सटीकता की लगातार जाँच करती है। शोधकर्ताओं ने पाया कि इन हिस्सों को एक एकल, स्व-सुधारात्मक लूप (self-correcting loop) में जोड़कर, वे विश्वसनीय रूप से यह माप सकते थे कि क्या कोई एजेंट अपनी सीमाओं के कारण विफल हुआ या व्यवसाय के डेटा की कमी के कारण। समय के साथ, इस प्रणाली ने मानव समीक्षकों और स्वचालित जजों दोनों को एक साथ सुधारने की अनुमति दी, जिससे अकेले किसी भी एक के द्वारा प्राप्त किए जा يمكن तुलना में प्रदर्शन की अधिक सटीक तस्वीर बनी।
शोधकर्ताओं ने इस बात को स्वीकार करते हुए शुरुआत की कि हर बातचीत के लिए कोई एक "सही" उत्तर नहीं होता है। एक मानक परीक्षण में, एक मॉडल को सही और गलत उत्तरों की एक निश्चित सूची के विरुद्ध ग्रेड दिया जा सकता है। लेकिन एक वास्तविक व्यावसायिक सेटिंग में, "हम उस पते पर तीन दिनों में शिपिंग करते हैं" जैसा बयान तभी सही होता है जब कंपनी की वास्तव में ऐसी शिपिंग नीति हो। यदि कंपनी का डेटा गायब है, तो AI उत्तर नहीं जान सकता, और इसे विफलता कहना अनुचित होगा। टीम ने महसूस किया कि इन एजेंटों को निष्पक्ष रूप से मापने के लिए, उन्हें पहले बातचीत के लक्ष्य को स्पष्ट रूप से परिभाषित करना होगा। उन्होंने एक विशिष्टता (specification) बनाई जो प्रत्येक बातचीत को विशिष्ट अंतिम अवस्थाओं (end states) में विभाजित करती है। केवल "अच्छा" या "बुरा" कहने के बजाय, सिस्टम परिणाम को सात अलग-अलग संभावनाओं में वर्गीकृत करता है। ये पूर्ण समाधान (जहाँ ग्राहक की समस्या हल हो जाती है) से लेकर आंशिक समाधानों, या उन मामलों तक विस्तृत हैं जहाँ बातचीत अमान्य थी लेकिन अच्छी तरह से संभाली गई थी। महत्वपूर्ण रूप से, सिस्टम AI की समझने की अक्षमता (एक मॉडल गैप) और व्यवसाय के तथ्यों की कमी (एक नॉलेज गैप) के कारण होने वाली विफलताओं को अलग करता है। यह अंतर महत्वपूर्ण है क्योंकि यह व्यवसाय को बताता है कि समस्या को ठीक करने के लिए किसे जिम्मेदार ठहराना है: AI बनाने वाले इंजीनियरों को या डेटा अपडेट करने वाली बिजनेस टीम को।
इन एजेंटों का परीक्षण करने के लिए कि उन्हें हजारों वास्तविक ग्राहकों की आवश्यकता न पड़े, शोधकर्ताओं ने एक सिम्युलेटेड यूजर बनाया। यह एक AI प्रोग्राम है जिसे एक मानव ग्राहक की तरह कार्य करने के लिए डिज़ाइन किया गया है, लेकिन मूल कार्य के प्रति सच्चा रहने के लिए सख्त नियमों के साथ। सिम्युलेटर के दो मोड हैं। एक मोड में, यह ऐतिहासिक बातचीत को दोहराता है, एक वास्तविक ग्राहक की चैट से सटीक इरादों (intents) और तथ्यों को लेता है और उन्हें नए एजेंट को फीड करता है ताकि यह देखा जा सके कि वह कैसे प्रतिक्रिया देता है। दूसरे मोड में, यह नए परिदृश्य बनाने के लिए निर्देशों का पालन करता है, जैसे कि एक भ्रमित ग्राहक या सिस्टम को धोखा देने वाला स्पैमर। सिम्युलेटर की कुंजी यह है कि इसका ऑडिट किया जाता है ताकि यह सुनिश्चित हो सके कि यह गलती से ग्राहक के मूल लक्ष्य को नहीं बदल देता है। यदि सिम्युलेटर एक ऐसा नया अनुरोध बनाता है जो वास्तविक ग्राहक ने कभी नहीं किया था, तो यह एजेंट के प्रदर्शन का गलत रीडिंग देगा। शोधकर्ताओं ने सत्यापित किया कि यह सिम्युलेटेड यूजर एजेंट की बदलती प्रतिक्रियाओं के अनुकूल होते हुए भी मूल कार्य को सुरक्षित रख सकता है, जिससे यह प्री-लॉन्च टेस्टिंग के लिए एक विश्वसनीय उपकरण बन जाता है।
एक बार बातचीत उत्पन्न हो जाने के बाद, विशेषीकृत AI जजों की एक टीम द्वारा उनका मूल्यांकन किया गया। एक विशाल AI द्वारा एक एकल स्कोर देने पर निर्भर रहने के बजाय, सिस्टम कई छोटे, केंद्रित जजों का उपयोग करता है। एक जज जाँच करता है कि क्या AI ने मनगढ़ंत तथ्य बनाए, दूसरा जाँच करता है कि क्या उसने कंपनी की विशिष्ट प्रक्रियाओं का पालन किया, और तीसरा जाँच करता है कि क्या उसने ग्राहक के इरादे को सही ढंग से संभाला। इन व्यक्तिगत जाँचों को फिर एक अंतिम निर्णय बनाने के लिए नियमों के एक स्पष्ट सेट का उपयोग करके जोड़ा जाता है। यह संरचना सिस्टम को पारदर्शी बनाती है; यदि किसी बातचीत को विफलता के रूप में चिह्नित किया जाता है, तो सिस्टम उस विशिष्ट साक्ष्य की ओर इशारा कर सकता है जिसके कारण विफलता हुई, जैसे कि लुप्त मूल्य सूची या गलत समझ लिया गया निर्देश। शोधकर्ताओं ने इसमें मानव निरीक्षण (human oversight) की एक परत भी जोड़ी। एक मानव समीक्षक स्वतंत्र रूप से बातचीत के नमूने को देखता है, बिना यह देखे कि AI जजों ने क्या निर्णय लिया है। यदि मानव और AI के बीच असहमति होती है, तो एक वरिष्ठ विशेषज्ञ अंतिम निर्णय लेने के लिए हस्तक्षेप करता है। यह प्रक्रिया केवल एक लेबल ही नहीं बनाती; यह एक फीडबैक लूप बनाती है। असहमतियों का विश्लेषण यह देखने के लिए किया जाता है कि क्या मानव ने गलती की, क्या दिशानिर्देश अस्पष्ट थे, या क्या AI जज को फिर से प्रशिक्षित करने की आवश्यकता है।
इस प्रणाली के परिणाम, जिनका वास्तविक उत्पादन एजेंटों पर ढाई साल तक परीक्षण किया गया, सुधार का एक स्पष्ट पैटर्न दिखाते हैं। प्रारंभ में, स्वचालित जज विशिष्ट प्रकार की विफलताओं की पहचान करने में यादृच्छिक संभावना (random chance) से बहुत बेहतर नहीं थे। हालाँकि, जैसे-जैसे सिस्टम ने ऑडिटिंग और समायोजन के बार-बार चक्रों के माध्यम से काम किया, स्वचालित जजों की सटीकता काफी बढ़ गई। एक आयाम में, लापता व्यावसायिक ज्ञान का पता लगाने की सिस्टम की क्षमता कम स्कोर से उच्च स्तर की सटीकता तक सुधर गई, और अंततः उस विशिष्ट कार्य पर मानव समीक्षकों के प्रदर्शन को भी पीछे छोड़ दिया। इसके विपरीत, अन्य आयामों पर, मानव समीक्षक थोड़े अधिक सटीक बने रहे, लेकिन दोनों के बीच का अंतर समय के साथ कम होता गया। सबसे महत्वपूर्ण निष्कर्ष यह था कि संयुक्त वर्कफ़्लो—जहाँ मानव और मशीन एक साझा फीडबैक लूप में मिलकर काम करते थे—सबसे विश्वसनीय परिणाम देता था। इस प्रणाली ने मानव निर्णय का स्थान नहीं लिया; इसके बजाय, इसने एक साझेदारी बनाई जहाँ मशीन ने तथ्यों की जाँच करने का भारी काम संभाला और मनुष्यों ने जटिल बारीकियों पर ध्यान केंद्रित किया, जिसमें दोनों पक्ष एक-दूसरे की गलतियों से सीख रहे थे।
शोधकर्ताओं ने सावधानीपूर्वक नोट किया कि ये निष्कर्ष उनके अपने प्रोडक्शन एनवायरनमेंट के अवलोकन संबंधी डेटा (observational data) पर आधारित हैं, न कि किसी अन्य पद्धति के विरुद्ध नियंत्रित प्रयोग पर। उन्होंने यह दावा नहीं किया कि उनका सिस्टम सार्वभौमिक रूप से पूर्ण है या यह हर व्यवसाय के लिए बिल्कुल उसी तरह काम करेगा। मानव समीक्षक स्वयं भी अचूक नहीं थे, और सिस्टम का प्रदर्शन अंततः स्थिर (plateaued) हो गया, जिसका अर्थ है कि एक निश्चित बिंदु के बाद इसमें सुधार होना बंद हो गया। हालाँकि, अध्ययन ने प्रदर्शित किया कि AI मूल्यांकन को एक बार के परीक्षण के बजाय एक बनाए रखे जाने वाले माप तंत्र (maintained measurement system) के रूप में देखने से निरंतर सुधार संभव है। स्पष्ट लक्ष्यों को परिभाषित करके, विशेष जजों का उपयोग करके, सावधानीपूर्वक सिम्युलेटेड यूजर्स का उपयोग करके, और त्रुटियों को सुधारने के लिए मनुष्यों को लूप में रखकर, कंपनियाँ अपने डिजिटल एजेंटों को मापने का एक विश्वसनीय तरीका बना सकती हैं। यह दृष्टिकोण सुनिश्चित करता है कि जब कोई बातचीत विफल होती है, तो व्यवसाय को ठीक पता होता है कि क्यों, और वे सही कार्रवाई कर सकते हैं, चाहे वह डेटाबेस को अपडेट करना हो या मॉडल को फिर से प्रशिक्षित करना हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।