Identifying Model Quality Effects on User Engagement: A Within-Version Causal Estimator with Synthetic Data Validation
यह शोध पत्र एक नवीन कारण अनुमान ढांचा (causal estimation framework) प्रस्तुत करता है जो एक ही एलएलएम (LLM) संस्करण के भीतर विभिन्न क्षमताओं में गैर-समान गुणवत्ता सुधारों का लाभ उठाकर उपयोगकर्ता जुड़ाव पर मॉडल अपडेट के प्रभाव को अलग करता है, एक ऐसी विधि जिसे सिंथेटिक डेटा पर मान्य किया गया है जो माप त्रुटि को ठीक करने के बाद मानक दृष्टिकोणों से काफी बेहतर प्रदर्शन करती है और वास्तविक कारण प्रभावों को सटीक रूप से पुनर्प्राप्त करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंपनियाँ विशाल भाषा मॉडल बनाती हैं जो कोड लिख सकते हैं, कहानियाँ ड्राफ्ट कर सकते हैं और जटिल समस्याओं को हल कर सकते हैं। यह जानने के लिए कि क्या ये मॉडल बेहतर हो रहे हैं, इंजीनियर उन्हें सख्त, ऑफलाइन परीक्षणों से गुजारते हैं जहाँ उत्तर ज्ञात होते हैं और स्कोरिंग सटीक होती है। वे निश्चित रूप से कह सकते हैं कि एक नया संस्करण पुराने की तुलना में कोडिंग में बारह प्रतिशत बेहतर है। साथ ही, वे अपने उपयोगकर्ता संख्या पर भी नज़र रखते हैं। जब एक नया मॉडल लॉन्च होता है, जो अक्सर प्रेस कवरेज और मार्केटिंग अभियानों की लहर के साथ आता है, तो वे देखते हैं कि अधिक लोग उत्पाद का उपयोग कर रहे हैं। लेकिन एक कठिन प्रश्न बना हुआ है: क्या मॉडल की वास्तविक बुद्धिमत्ता में सुधार के कारण अधिक लोगों ने इसका उपयोग किया, या उपयोगकर्ताओं की वृद्धि केवल इसलिए हुई क्योंकि हर कोई इसके लॉन्च के बारे में सुन रहा था?
यह शोर भरे वातावरण में कार्य-कारण संबंध (cause and effect) की एक क्लासिक समस्या है। जब एक नया संस्करण आता है, तो सब कुछ एक साथ बदल जाता है। मॉडल स्मार्ट हो जाता है, लेकिन मार्केटिंग टीम विज्ञापन चलाती है, समाचार कहानियाँ लिखते हैं, और मौसमी रुझान बदल जाते हैं। इन एक साथ होने वाले परिवर्तनों के तूफान में, मॉडल की गुणवत्ता के विशिष्ट योगदान को अलग करना लगभग असंभव है। आप कुछ उपयोगकर्ताओं को पुराने, खराब मॉडल पर और दूसरों को नए मॉडल पर आसानी से नहीं रख सकते, क्योंकि इससे पहले समूह के लिए एक बुरा अनुभव पैदा होता है और इसे बनाए रखना परिचालन रूप से कठिन होता है। मॉडल की गुणवत्ता को आसपास के शोर से अलग करने का तरीका खोजे बिना, कंपनियाँ इस संघर्ष में जूझती रहती हैं कि क्या उनके इंजीनियरिंग निवेश वास्तव में उपयोगकर्ता जुड़ाव (user engagement) को बढ़ा रहे हैं।
गूगल के एक शोधकर्ता, जॉन ट्रिबिया (John Tribbia) ने इस पहेली को सुलझाने के लिए एक अलग तरीका प्रस्तावित किया है, जो इस बात पर आधारित है कि विभिन्न लोग वास्तव में तकनीक का उपयोग कैसे करते हैं। मूल विचार एक सरल अवलोकन पर निर्भर करता है: मॉडल हर कौशल में समान रूप से बेहतर नहीं होते हैं। एक नया संस्करण कंप्यूटर कोड लिखने में काफी बेहतर हो सकता है जबकि रचनात्मक लेखन (creative writing) में केवल थोड़ा ही सुधार कर सकता है। यह उपयोगकर्ताओं के एक ही समूह के भीतर एक प्राकृतिक प्रयोग (natural experiment) बनाता है। दो लोग एक ही समय में मॉडल के बिल्कुल एक ही नए संस्करण का उपयोग कर सकते हैं, लेकिन यदि एक व्यक्ति अपना दिन कोडिंग करने में बिताता है और दूसरा अपनी कल्पना या कथा (fiction) लिखने में, तो वे गुणवत्ता में बहुत अलग स्तर का सुधार अनुभव करते हैं। कोडर प्रदर्शन में एक बड़ी छलांग देखता है, जबकि कथा लेखक एक मामूली सुधार देखता है। क्योंकि यह अनुभव का अंतर उपयोगकर्ताओं की अपनी पूर्व-मौजूदा आदतों या नौकरी की भूमिकाओं से प्रेरित है, न कि नए मॉडल के प्रति प्रतिक्रिया से, यह गुणवत्ता के वास्तविक प्रभाव को मापने का एक स्वच्छ तरीका प्रदान करता है।
इस विचार का परीक्षण करने के लिए, शोधकर्ता ने एक सिम्युलेटेड दुनिया बनाई जहाँ उत्तर पहले से ही ज्ञात था। उन्होंने छब्बीस सप्ताह में एक लाख आभासी उपयोगकर्ताओं का एक डेटासेट बनाया, जिसमें मॉडल की गुणवत्ता के विभिन्न श्रेणियों में विशिष्ट, ज्ञात सुधार पेश किए गए। वह जानते थे कि "कोडिंग" कौशल में कितना सुधार हुआ और "लेखन" कौशल में कितना सुधार हुआ, और वह जानते थे कि इन सुधारों का उपयोगकर्ता गतिविधि पर वास्तविक प्रभाव क्या होना चाहिए। फिर उन्होंने इस डेटा पर अपनी नई विधि लागू की ताकि देखा जा सके कि क्या यह सत्य को खोज सकती है। यह विधि उल्लेखनीय रूप से अच्छा काम करती है। एक ही संस्करण पर विभिन्न कार्यों पर ध्यान केंद्रित करने वाले उपयोगकर्ताओं की तुलना करके, अनुमानक (estimator) ने वास्तविक प्रभाव का इक्यासी से अठासी प्रतिशत तक रिकवरी की। जो छोटा अंतर बचा था वह विधि की विफलता नहीं थी, बल्कि इस तथ्य का परिणाम था कि शोधकर्ता वर्तमान आदतों के प्रॉक्सी के रूप में पिछले उपयोग के पैटर्न का उपयोग कर रहे थे, जिससे थोड़ा सा सांख्यिकीय शोर (statistical noise) उत्पन्न हुआ।
शोधकर्ताओं ने इस शोर को सीधे संबोधित किया। उन्होंने गणना की कि उपयोगकर्ताओं की आदतें समय के साथ कितनी स्थिर थीं और उस जानकारी का उपयोग अपने अंतिम नंबरों को समायोजित करने के लिए किया। एक बार जब यह सुधार लागू किया गया, तो विधि ने पूर्ण प्रभाव को प्राप्त किया, जो बिल्कुल सही मान पर पहुँचा। यह सफलता अन्य सामान्य दृष्टिकोणों के बिल्कुल विपरीत थी। जब शोधकर्ताओं ने सरल विधियों का उपयोग किया जिन्होंने मॉडल के विशिष्ट संस्करण को अनदेखा किया या वास्तविक समय के उपयोग के डेटा का उपयोग किया जो गुणवत्ता परिवर्तनों से प्रभावित हो सकता था, तो परिणाम बहुत खराब थे। उन सरल विधियों ने केवल छहдесят दो से साठ-तीन प्रतिशत वास्तविक प्रभाव को ही प्राप्त किया, जिससे वे लक्ष्य से काफी पीछे रह गए। नया दृष्टिकोण यह भी सिद्ध करने में सफल रहा कि यह केवल यादृच्छिक पैटर्न नहीं खोज रहा है; जब शोधकर्ताओं ने डेटा को शफल (shuffle) किया ताकि किसी भी वास्तविक संबंध को हटाया जा सके, तो विधि ने सही ढंग से कोई प्रभाव नहीं पाया, जिससे पुष्टि हुई कि यह कुछ वास्तविक माप रहा है।
अध्ययन ने यह भी पता लगाया कि उपयोगकर्ता की आदतों को मापने के लिए उपयोग की जाने वाली अवधि का परिणामों पर क्या प्रभाव पड़ता है। शोधकर्ताओं ने पाया कि उपयोगकर्ता के व्यवहार के लंबे इतिहास का उपयोग करने से माप अधिक सटीक हो जाता है। जब उन्होंने नए मॉडल के आने से पहले उपयोगकर्ता की आदतों का सात सप्ताह का इतिहास देखा, तो परिणाम तीन सप्ताह की तुलना में बहुत अधिक स्पष्ट थे। यह एक व्यावहारिक ट्रेड-ऑफ का सुझाव देता है: एक कंपनी के पास जितना अधिक ऐतिहासिक डेटा होगा, वह अपने मॉडल अपडेट के प्रभाव को उतनी ही सटीकता से माप सकेगी। विधि ने विभिन्न प्रकार के उपयोगकर्ता परिणामों के बीच सफलतापूर्वक अंतर किया। इसने सही ढंग से पहचाना कि गुणवत्ता सुधारों ने उपयोगकर्ताओं के सक्रिय दिनों की संख्या को बढ़ाया, लेकिन इसने गलत दावा नहीं किया कि गुणवत्ता ने संदेशों की कुल मात्रा को बढ़ाया, जिससे यह पता चलता है कि मॉडल वास्तविक जुड़ाव और केवल गतिविधि के बीच अंतर कर सकता है।
यह दृष्टिकोण उन उत्पाद टीमों के लिए एक शक्तिशाली उपकरण प्रदान करता है जो पारंपरिक प्रयोग नहीं कर सकते। यह उन्हें यह समझने के लिए ग्राहकों के काम करने के प्राकृतिक अंतर का उपयोग करने की अनुमति देता है कि जुड़ाव को क्या संचालित करता है। नए मॉडल के आगमन से पहले उपयोगकर्ता की आदतों के मापन को फ्रीज करके और फिर विभिन्न समूहों को उनके द्वारा अनुभव किए जाने वाले विशिष्ट गुणवत्ता परिवर्तनों के प्रति कैसे प्रतिक्रिया मिलती है, यह देखकर, कंपनियाँ अपने इंजीनियरिंग कार्य के वास्तविक मूल्य को अलग कर सकती हैं। शोध से पता चलता है कि नियंत्रित प्रयोग के बिना भी, यह निर्धारित करना संभव है कि क्या मॉडल का सुधार ही लोगों के उत्पाद का अधिक उपयोग करने का कारण है, बशर्ते कि लॉन्च के शोर और विभिन्न उपयोगकर्ताओं के तकनीक के साथ अलग-अलग इंटरैक्शन के लिए हिसाब रखा जाए। निष्कर्ष बताते हैं कि सही सांख्यिकीय समायोजनों के साथ, सबसे व्यस्त उत्पाद लॉन्च में भी गुणवत्ता के संकेत को स्पष्ट रूप से सुना जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।