When Do LLMs Actually Help? Evaluating LLMs as Data Quality Annotators

आधुनिक वाणिज्य के विशाल, गूँजते बुनियादी ढांचे में, डेटा वह मुद्रा है जो व्यवस्था को चालू रखती है। हर बार जब कोई ग्राहक किसी उत्पाद की खोज करता है, कोई सुझाव प्राप्त करता है, या किसी मूल्य अपडेट को देखता है, तो एक विशाल डेटाबेस से जानकारी ली जा रही होती है। लेकिन ये डेटाबेस अव्यवस्थित होते हैं। वे डुप्लिकेट प्रविष्टियों, गलत वर्तनी वाले ब्रांड नामों और ऐसे रिकॉर्डों से भरे होते हैं जो समान दिखते हैं लेकिन अलग चीजों को संदर्भित करते हैं। दशकों से, कंपनियाँ इस गंदगी को साफ करने के लिए कठोर, नियम-आधारित प्रणालियों पर निर्भर रही हैं। ये प्रणालियाँ एक सख्त लाइब्रेरियन की तरह काम करती हैं जो यह जाँचती है कि क्या दो पुस्तकों के शीर्षक बिल्कुल एक ही तरह से लिखे गए हैं; यदि वे समान हैं, तो पुस्तकें एक ही हैं। यदि वे नहीं हैं, तो वे अलग हैं। यह दृष्टिकोण तेज़ और विश्वसनीय है, लेकिन यह तब विफल हो जाता है जब डेटा जटिल हो जाता है, जैसे कि जब किसी उत्पाद को किसी उपनाम या सहायक ब्रांड के तहत सूचीबद्ध किया जाता है। हाल ही में, एक नए प्रकार के कंप्यूटर प्रोग्राम, जिसे लार्ज लैंग्वेज मॉडल (LLM) के रूप में जाना जाता है, ने दृश्य में प्रवेश किया है। ये मॉडल विशाल मात्रा में टेक्स्ट पर प्रशिक्षित होते हैं और संदर्भ एवं अर्थ को उस तरह समझ सकते हैं जैसे सरल नियम नहीं कर सकते। वे बुद्धिमान संपादकों के रूप में कार्य करने का वादा करते हैं, जो उन त्रुटियों को पकड़ लेते हैं जिन्हें एक कठोर चेकलिस्ट मिस कर देती है। लेकिन जैसे-जैसे संगठन अपने पुराने उपकरणों को इन नए, लचीले उपकरणों से बदलने पर विचार कर रहे हैं, एक महत्वपूर्ण प्रश्न बना हुआ है: क्या ये बुद्धिमान संपादक वास्तव में सुसंगत हैं, और क्या वे वास्तव में पुराने तरीकों की तुलना में वास्तविक लाभ प्रदान करते हैं, या वे केवल एक महंगा अनुमान मात्र हैं?

काठमांडू के एक शोधकर्ता ने एक विशिष्ट लार्ज लैंग्वेज मॉडल को दो सामान्य डेटा गुणवत्ता कार्यों पर परखकर इसका उत्तर देने का प्रयास किया। पहला कार्य 'एंटिटी मैचिंग' (entity matching) था, जिसमें यह तय करना शामिल है कि क्या दो उत्पाद लिस्टिंग बिल्कुल एक ही वस्तु का वर्णन करती हैं। शोधकर्ता ने मॉडल का परीक्षण दो हजार से अधिक उत्पाद रिकॉर्ड के जोड़ों के डेटासेट के विरुद्ध किया, और इसके प्रदर्शन की तुलना एक सरल, नियम-आधारित प्रणाली से की जो ओवरलैपिंग शब्दों को देखती थी। परिणाम आश्चर्यजनक थे। सरल नियम-आधारित प्रणाली, जो साझा शब्दों को गिनने पर निर्भर थी, लगभग पूरी तरह से सफल रही, जिसने नब्बे प्रतिशत मामलों में मिलान को सही ढंग से पहचाना। लार्ज लैंग्वेज मॉडल ने, बिना किसी विशेष निर्देश के एक सीधे प्रॉम्प्ट का उपयोग करते हुए, लगभग उतना ही स्कोर प्राप्त किया और समान प्रदर्शन किया। इस विशिष्ट परिदृश्य में, जहाँ उत्पाद के नाम काफी हद तक शाब्दिक थे और उनमें कई शब्द समान थे, मॉडल की उन्नत बुद्धिमत्ता ने बुनियादी शब्द-गणना पद्धति की तुलना में कोई वास्तविक लाभ नहीं दिया। मॉडल अधिक स्मार्ट नहीं हुआ; इसने केवल पुराने, सस्ते उपकरण के प्रदर्शन का मुकाबला किया।

कहानी तब बदल गई जब शोधकर्ता ने मॉडल का परीक्षण एक अलग समस्या पर किया: ब्रांड के गलत लेबलिंग का पता लगाना। यहाँ, कार्य यह निर्धारित करना था कि क्या किसी उत्पाद को सही निर्माता के रूप में सौंपा गया है। शोधकर्ता ने पाँच सौ उत्पाद लिस्टिंग का एक परीक्षण सेट बनाया, जिनमें से कुछ को जानबूझकर गलत ब्रांड नामों के साथ बदल दिया गया था। सरल नियम-आधारित प्रणाली, जो यह जाँचती थी कि निर्माता का नाम उत्पाद के शीर्षक में शाब्दिक रूप से मौजूद है या नहीं, बुरी तरह विफल रही। इसने लगभग हर आइटम को त्रुटि के रूप में चिह्नित किया क्योंकि यह समझ नहीं पा सकी कि एक उत्पाद किसी मूल कंपनी (parent company) द्वारा बनाया जा सकता है या किसी सहायक कंपनी (subsidiary) के नाम से बेचा जा सकता है। हालाँकि, लार्ज लैंग्वेज मॉडल ने ब्रांडों के बीच संबंधों के बारे में अपने आंतरिक ज्ञान का उपयोग किया। इसने पहचान लिया कि एक उत्पाद जिसे स्टॉक टिकर संक्षिप्त नाम के साथ लेबल किया गया था, वास्तव में पूर्ण कंपनी के नाम से बनाया गया था, और इसने इन संबंधों को सही ढंग से पहचाना। इस कार्य में, मॉडल ने नियम-आधारित प्रणाली को काफी पीछे छोड़ दिया, और उन त्रुटियों को पकड़ा जिन्हें सरल चेकलिस्ट पूरी तरह से छोड़ देती। इसने प्रदर्शित किया कि मॉडल का मूल्य पूरी तरह से कार्य पर निर्भर करता है: यह तब चमकता है जब कार्य के लिए संदर्भ और पृष्ठभूमि ज्ञान की आवश्यकता होती है, लेकिन जब उत्तर केवल टेक्स्ट को देखने से मिल सकता है, तो यह बहुत कम लाभ देता है।

सटीकता के अलावा, अध्ययन ने इन मॉडलों के उपयोग के एक छिपे हुए खतरे की भी जांच की: निरंतरता (consistency)। यदि एक मानव संपादक एक ही दस्तावेज़ को दो बार पढ़ता है, तो उसे एक ही उत्तर देना चाहिए। यदि एक कंप्यूटर प्रोग्राम एक ही प्रश्न पूछे जाने पर हर बार अलग उत्तर देता है, तो वह स्वचालित निर्णय लेने के लिए अविश्वसनीय हो जाता है। शोधकर्ता ने मॉडल को लगातार पाँच बार एक ही दो सौ मिलान कार्यों के माध्यम से चलाया, जिससे इसकी सोचने की प्रक्रिया में थोड़ी सी अनिश्चितता (randomness) बनी रही। परिणामों ने लगभग पूर्ण स्तर की सहमति दिखाई। मॉडल ने पाँचों रन में नब्बे प्रतिशत आइटमों के लिए बिल्कुल वही उत्तर दिया। स्थिरता का यह उच्च स्तर बताता है कि, इन विशिष्ट प्रकार के बाइनरी निर्णयों के लिए, मॉडल एक अराजक भविष्यवक्ता नहीं बल्कि एक विश्वसनीय कार्यकर्ता है। हालाँकि, अध्ययन में यह भी पाया गया कि मॉडल को उसके निर्देशों में अधिक उदाहरण जोड़कर "स्मार्टर" बनाने की कोशिश करना उल्टा पड़ सकता है। जब शोधकर्ता ने उत्पाद कोड को संभालने के विशिष्ट उदाहरण देकर मॉडल के प्रदर्शन को सुधारने की कोशिश की, तो मॉडल ने सरल निर्देशों की तुलना में पूरे डेटासेट पर वास्तव में खराब प्रदर्शन किया। मॉडल ने अति-सुधार (overcorrect) कर लिया था, जिससे वह कोड पर बहुत अधिक निर्भर हो गया और उन वैध मिलानों को छोड़ दिया जिनमें वे कोड नहीं थे। यह एक चेतावनी थी कि एक छोटे नमूने पर नए निर्देश का परीक्षण करना भ्रामक हो सकता है; जो चीज़ कुछ उदाहरणों पर काम करती है, वह हमेशा पूरे डेटा पर काम नहीं करती।

अंतिम निष्कर्ष उन लोगों के लिए एक सूक्ष्म मार्गदर्शिका है जो इन उपकरणों का उपयोग करना चाहते हैं। लार्ज लैंग्वेज मॉडल कोई जादुई छड़ी नहीं हैं जो स्वचालित रूप से सभी डेटा समस्याओं को ठीक कर देते हैं। वे शक्तिशाली उपकरण हैं जो तब उत्कृष्ट होते हैं जब कार्य के लिए शब्दों के पीछे की दुनिया को समझने की आवश्यकता होती है, जैसे कि यह जानना कि दो अलग-अलग नाम एक ही कंपनी के हैं। लेकिन जब डेटा सीधा होता है और उत्तर स्पष्ट रूप से सामने होते हैं, तो एक सरल, पारंपरिक तरीका अक्सर उतना ही अच्छा और बहुत कम खर्चीला होता है। अध्ययन सुझाव देता है कि संगठनों को यह मान लेना चाहिए कि ये मॉडल हर स्थिति में श्रेष्ठ हैं। इसके बजाय, उन्हें अपने विशिष्ट समस्याओं पर इनका परीक्षण करना चाहिए ताकि यह देखा जा सके कि क्या मॉडल की संदर्भ समझने की क्षमता वास्तव में आवश्यक है। यदि डेटा साफ है और नियम स्पष्ट हैं, तो पुराने तरीके अभी भी सबसे अच्छे विकल्प हो सकते हैं। यदि डेटा अव्यवस्थित है और संबंध जटिल हैं, तो मॉडल सत्य को उजागर करने की कुंजी हो सकता है। आगे का रास्ता सभी पुराने सिस्टम को नए से बदलना नहीं है, बल्कि हाथ में मौजूद विशिष्ट कार्य के लिए सही उपकरण चुनना है।