Results-Actionability Gap: Understanding How Practitioners Evaluate LLM Products in the Wild
उन्नीस चिकित्सकों के साक्षात्कार के माध्यम से, यह शोध पत्र एलएलएम-संचालित (LLM-powered) उत्पादों के मूल्यांकन में एक प्रमुख चुनौती के रूप में "परिणाम-कार्रवाई-योग्यता अंतराल" (results-actionability gap) की पहचान करता है और अनौपचारिक व्याख्यात्मक प्रथाओं तथा व्यवस्थित मूल्यांकन ढांचों के बीच के अंतर को पाटने के लिए रणनीतियों का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जिसने अभी-अभी एक नया, सुपर-स्मार्ट रोबोट किचन असिस्टेंट खरीदा है। यह रोबोट लगभग सब कुछ बना सकता है, लेकिन यह थोड़ा अनिश्चित (unpredictable) है। कभी-कभी यह एक उत्कृष्ट कृति (masterpiece) बनाता है, और कभी-कभी यह गलती से मिठाई में चीनी की जगह नमक डाल देता है।
आपका काम यह सुनिश्चित करना है कि यह रोबोट सुरक्षित और स्वादिष्ट हो, इससे पहले कि आप अपने ग्राहकों को खाना परोसें। लेकिन समस्या यह है: आपके पास इस रोबोट का परीक्षण करने के लिए कोई मानक रेसिपी बुक नहीं है।
यह बिल्कुल वही स्थिति है जो "Results-Actionability Gap: Understanding How Practitioners Evaluate LLM Products in the Wild" नामक शोध पत्र में वर्णित है। शोधकर्ताओं ने 19 लोगों (शेफ, इंजीनियर, डिज़ाइनर) से बात की जो LLMs (जो AI चैटबॉट्स के पीछे की तकनीक है) का उपयोग करके उत्पाद बनाने की कोशिश कर रहे हैं—और उन्होंने पाया कि ये टीमें कैसे संघर्ष कर रही हैं और कैसे सफल हो रही हैं।
यहाँ उनके निष्कर्षों की कहानी है, जिसे सरल अवधारणाओं में विभाजित किया गया है।
1. पुराने नियम काम नहीं करते
अतीत में, यदि आपने एक कैलकुलेटर ऐप बनाया था, तो आप उसका परीक्षण पूरी तरह से कर सकते थे। यदि आपने 2 + 2 टाइप किया, तो उसे ही 4 कहना था। यदि इसने 5 कहा, तो आप जानते थे कि क्या टूटा है।
लेकिन LLMs इम्प्रोवाइजेशनल जैज़ संगीतकारों (improvisational jazz musicians) की तरह हैं। वे सख्त नियमों का पालन नहीं करते; वे संभावना के आधार पर अगले नोट का अनुमान लगाते हैं।
- समस्या: आप केवल एक चेकलिस्ट नहीं चला सकते। यदि AI एक मज़ेदार चुटकुला लिखता है, तो आप "मज़ेदार" को कैसे मापेंगे? क्या यह 10 में से 8 है? क्या यह 9 है?
- वास्तविकता: शोधकर्ताओं ने पाया कि टीमें इन जैज़ संगीतकारों पर पुराने, कठोर परीक्षण उपकरणों (जैसे मानकीकृत गणित परीक्षण) का उपयोग करने की कोशिश कर रही हैं, और यह काम नहीं कर रहा है। परीक्षण "बेकार होने की कगार पर" हैं।
2. "वाइब चेक" (Vibe Check) वास्तव में जीनियस है
क्योंकि पुराने परीक्षण विफल हो जाते हैं, टीमों ने कुछ बहुत ही मानवीय काम करना शुरू कर दिया है: द वाइब चेक (The Vibe Check)।
कल्पना कीजिए कि आप एक नया सूप चख रहे हैं। आप तुरंत रासायनिक विश्लेषक (chemical analyzer) नहीं निकालते। आप एक चम्मच लेते हैं, चखते हैं, और सोचते हैं, "हम्म, यह थोड़ा अधिक नमकीन लग रहा है, लेकिन इसकी बनावट अच्छी है।"
- शोध पत्र इसे क्या कहता है: "वाइब चेक" या "अंतर्ज्ञान" (gut feeling) मूल्यांकन।
- शोधकर्ताओं ने क्या पाया: वे पहले सोचते थे कि यह अव्यवसायिक या आलसी है। लेकिन उन्होंने महसूस किया कि यह वास्तव में आवश्यक है। क्योंकि AI इतना अप्रत्याशित है, इसलिए आपको एक इंसान की आवश्यकता है जो अपनी अंतर्दृष्टि का उपयोग करके उन अजीब, संदर्भ-विशिष्ट त्रुटियों को पहचान सके जिन्हें एक कंप्यूटर मीट्रिक मिस कर सकता है।
- बदलाव: "वाइब चेक" को रोबोट से बदलने के बजाय, हमें यह सीखना चाहिए कि "वाइब चेक" को अधिक व्यवस्थित कैसे बनाया जाए।
3. बड़ी समस्या: "परिणाम-कार्रवाई योग्यता अंतराल" (The Results-Actionability Gap)
यह सबसे महत्वपूर्ण खोज है। यह शीर्षक का मुख्य विचार है।
कल्पना कीजिए कि आप मुख्य शेफ हैं। आप सूप चखते हैं (मूल्यांकन) और कहते हैं, "इसका स्वाद अजीब है। यह 10 में से 4 है।"
आप वह स्कोर अपनी इंजीनियरों की टीम (प्रॉम्ट इंजीनियर, डेटाबेस मैनेजर, मॉडल ट्रेनर) को सौंपते हैं।
वे पूछते हैं: "ठीक है, लेकिन इसे ठीक करने के लिए हम क्या बदलें?"
- क्या हमने बहुत अधिक नमक डाला (प्रॉम्ट)?
- क्या रोबोट ने फ्रिज से गलत सामग्री निकाली (डेटा रिट्रीवल)?
- क्या रोबोट का बस बुरा दिन चल रहा है (मॉडल स्वयं)?
द गैप (The Gap): आपके पास परिणाम (खराब स्कोर) है, लेकिन आपके पास यह जानने का कोई तरीका नहीं है कि इसे कैसे ठीक किया जाए।
शोध पत्र इसे Results-Actionability Gap कहता है। टीमें डेटा एकत्र कर रही हैं, लेकिन वे उस डेटा को किसी विशिष्ट कार्रवाई में अनुवादित नहीं कर पा रही हैं। यह ऐसा है जैसे कार के इंजन की लाइट जल रही हो, लेकिन मैकेनिक कहता है, "खैर, यह निश्चित रूप से इंजन है, लेकिन हमें नहीं पता कि कौन सा हिस्सा, इसलिए हम बस चलते रहेंगे और उम्मीद करेंगे कि यह फटेगा नहीं।"
4. यह क्यों हो रहा है? (चार अपराधी)
शोधकर्ताओं ने चार कारणों की पहचान की कि क्यों इन AI उत्पादों को ठीक करना इतना कठिन है:
- जनरलिस्ट बनाम स्पेशलिस्ट का बेमेल होना: AI एक "जनरलिस्ट" है (वह सब कुछ के बारे में थोड़ा जानता है)। आपका उत्पाद एक "स्पेशलिस्ट" है (उसे एक विशिष्ट चीज़ में परफेक्ट होना चाहिए, जैसे कानूनी सलाह)। AI आसानी से विषय से भटक जाता है।
- "सही उत्तर" का अभाव: गणित में, एक सही उत्तर होता है। AI में, "अच्छा" व्यक्तिपरक (subjective) है। एक व्यक्ति को एक चुटकुला बहुत मज़ेदार लगता है; दूसरा उसे अपमानजनक मान सकता है। मापने के लिए कोई 'ग्राउंड ट्रुथ' नहीं है।
- ब्लैक बॉक्स: जब AI विफल होता है, तो यह अक्सर पांच अलग-अलग सेटिंग्स के जटिल संयोजन के कारण होता है। एक चीज़ को बदलने से कुछ और टूट सकता है। यह एक स्विस आर्मी नाइफ को केवल उसकी कैंची को देखकर ठीक करने की कोशिश करने जैसा है।
- बहुत सारे नए उपकरण: AI का परीक्षण करने के तरीके इतने नए हैं कि टीमें अभिभूत हो जाती हैं और बस अस्त-व्यस्त स्प्रेडशीट्स पर टिकी रहती हैं, जो "तकनीकी ऋण" (technical debt) पैदा करता है (एक ऐसा बिखराव जिसे बाद में साफ करना और भी कठिन हो जाता है)।
5. सफल टीमें इसे कैसे ठीक करती हैं?
शोध पत्र केवल समस्याओं की ओर इशारा नहीं करता है; यह सफलता के लिए तीन "रेसिपी" प्रदान करता है जो उन टीमों पर आधारित हैं जो इसे सही कर रही हैं:
- रेसिपी 1: डिज़ाइन में मूल्यांकन को शामिल करें (Evaluation-by-Design)
डोंट वेट अंटिल द केक इज बेक्ड टू टेस्ट इट। केक बनने का इंतज़ार न करें कि उसे चखें। बैटर को मिलाते समय ही चखना शुरू कर दें। उत्पाद बनाने से पहले ही तय कर लें कि "सफलता" क्या है और आप इसकी जांच कैसे करेंगे। - रेसिपी 2: एक "विफलता लॉग" रखें (Continuous Sense-Making)
केवल यह न कहें कि "यह बुरा था।" लिखें कि यह क्यों बुरा था। यदि AI रूखा लगा, तो नोट करें कि किस प्रॉम्ट के कारण ऐसा हुआ। अपने "वाइब्स" को एक साझा नोटबुक में बदलें ताकि पूरी टीम गलतियों से सीख सके। - रेसिपी 3: एक बार में एक चीज़ बदलें (Incremental Testing)
पूरी रेसिपी को फेंककर फिर से शुरू न करें। यदि सूप नमकीन है, तो केवल नमक बदलें। यदि यह अभी भी खराब है, तो केवल काली मिर्च बदलें। इससे आपको ठीक से पता लगाने में मदद मिलेगी कि किस चीज़ ने समस्या पैदा की।
निचोड़ (The Bottom Line)
शोध पत्र बताता है कि AI उत्पाद बनाने वाले लोग इसलिए असफल नहीं हो रहे हैं क्योंकि वे अपने काम में बुरे हैं। वे संघर्ष कर रहे हैं क्योंकि यह तकनीक मौलिक रूप से उस चीज़ से अलग है जिसके लिए हम अभ्यस्त हैं।
हम AI को कैलकुलेटर बनाने के लिए मजबूर नहीं कर सकते। हमें यह स्वीकार करना होगा कि यह एक जैज़ संगीतकार है। इसे एक कठोर बॉक्स में डालने के बजाय, हमें उन मनुष्यों का समर्थन करने की आवश्यकता है जो अपने अंतर्ज्ञान ("वाइब चेक") का उपयोग करके इसे निर्देशित करने के लिए कर रहे हैं, और उन्हें अपने सहज ज्ञान को स्पष्ट, कार्रवाई योग्य चरणों में बदलने में मदद करने की आवश्यकता है।
संक्षेप में: पैमाने (ruler) से अपरिमेय को मापने की कोशिश करना बंद करें। टीमों को संगीत सुनने, नोट्स लिखने और एक बार में एक वाद्य यंत्र को ट्यून करने के तरीके सिखाना शुरू करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।