A Multi-Model, Multi-Domain Benchmark of Large Language Model Agreement with Humans and with Each Other in Sentiment Classification
यह शोध पत्र पांच बड़े भाषा मॉडलों (LLMs), एक नियम-आधारित लेक्सिकन और एक पर्यवेक्षित ट्रांसफार्मर का मानव एनोटेशन के विरुद्ध मूल्यांकन करने वाला एक बहु-डोमेन बेंचमार्क प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि क्लॉड ओपस 4.7 और जीपीटी-5.5 जैसे शीर्ष स्तर के मॉडल मनुष्यों के साथ मजबूत संरेखण प्राप्त करते हैं, मॉडलों के बीच और मानव लेबल के साथ विशेष रूप से अनौपचारिक पाठ पर महत्वपूर्ण असहमति बनी रहती है, जो यह दर्शाता है कि मॉडल का चयन भावना वर्गीकरण परिणामों को भौतिक रूप से प्रभावित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कंप्यूटरों की दुनिया में जो भाषा को पढ़ और समझ सकते हैं, वहां एक ऐसा कार्य है जो इंटरनेट जितना ही पुराना है: यह पता लगाना कि कोई लेख खुश है, दुखी है, या केवल एक तथ्य बता रहा है। इसे सेंटिमेंट एनालिसिस (sentiment analysis) कहा जाता है। वर्षों से, लोगों ने इन उपकरणों का उपयोग यह अनुमान लगाने के लिए किया है कि किसी समाचार रिपोर्ट पर शेयर बाजार कैसी प्रतिक्रिया देगा, यह देखने के लिए कि क्या ग्राहक किसी उत्पाद से नाराज हैं, या स्वास्थ्य संकट के दौरान सार्वजनिक मनोदशा को ट्रैक करने के लिए किया है। हाल ही में, इन कंप्यूटर प्रोग्रामों की एक नई पीढ़ी आई है, जिन्हें लार्ज लैंग्वेज मॉडल्स (large language models) के रूप में जाना जाता है। ये उन्हीं प्रकार के सिस्टम हैं जो कहानियाँ लिख सकते हैं, प्रश्नों के उत्तर दे सकते हैं और बातचीत कर सकते हैं। क्योंकि वे मानवीय भाषा को समझने में इतने कुशल हैं, इसलिए कई लोगों ने उन्हें भावनाओं के आधार पर टेक्स्ट को छाँटने का काम करने के लिए उपयोग करना शुरू कर दिया है, इस उम्मीद में कि वे एक एकल कंप्यूटर कमांड के साथ मानव समीक्षकों के धीमे और महंगे काम की जगह ले लेंगे।
लेकिन इस नए दृष्टिकोण के साथ एक समस्या है। जिस तरह अलग-अलग लोग इस बात पर असहमत हो सकते हैं कि कोई मूवी रिव्यू व्यंग्यात्मक है या सच्चा, उसी तरह ये अलग-अलग कंप्यूटर प्रोग्राम भी एक-दूसरे से असहमत हो सकते हैं। एक प्रोग्राम किसी वाक्य को "सकारात्मक" कह सकता है, जबकि दूसरा ठीक उसी वाक्य को "नकारात्मक" कह सकता है। यदि कोई बैंक या अस्पताल महत्वपूर्ण निर्णय लेने के लिए इन उपकरणों पर निर्भर करता है, तो यह बहुत मायने रखता है कि वे किसे चुनते हैं। अब तक, किसी ने व्यवस्थित रूप से यह जांच नहीं की थी कि ये विभिन्न प्रोग्राम एक-दूसरे के साथ कितने सहमत हैं, या जब वे सभी एक ही टेक्स्ट को देख रहे हों, तो वे वास्तविक मानव न्यायाधीशों के साथ कितनी बार सहमत होते हैं।
अनीश के. एस. राजन नामक एक शोधकर्ता ने इस प्रश्न को सुलझाने का निर्णय लिया और एक विशाल, नियंत्रित प्रयोग चलाया। उन्होंने चार अलग-अलग तकनीकी कंपनियों से उपलब्ध पांच सबसे उन्नत भाषा मॉडलों को इकट्ठा किया, साथ ही दो पुराने, सरल उपकरणों को भी शामिल किया जो एक बेसलाइन के रूप में कार्य करते हैं। उन्होंने उन्हें पांच अलग-अलग डेटा सेटों से लिए गए कुल 8,872 वाक्य दिए। ये वाक्य विभिन्न स्रोतों से आए थे: औपचारिक वित्तीय रिपोर्ट, अनौपचारिक सोशल मीडिया पोस्ट, मूवी रिव्यू और अर्निंग कॉल्स। लक्ष्य यह देखना था कि क्या कंप्यूटर मानव द्वारा लेबल किए गए भावों को सही ढंग से पहचान सकते हैं, और इससे भी महत्वपूर्ण यह था कि वे एक-दूसरे के साथ कितनी बार सहमत होते हैं।
परिणामों ने प्रदर्शन में एक स्पष्ट विभाजन दिखाया। एंथ्रोपिक (Anthropic) नामक कंपनी के एक मॉडल और ओपनएआई (OpenAI) के एक अन्य मॉडल ने सबसे सटीक प्रदर्शन किया। जब इन दोनों ने औपचारिक वित्तीय टेक्स्ट को देखा, तो वे मानव निर्णयों से लगभग पूरी तरह मेल खाते थे। वे विश्लेषण किए गए वाक्यों पर लगभग 90 प्रतिशत मामलों में एक-दूसरे से सहमत भी थे। ओपनएआई का एक तीसरा मॉडल भी उनके बहुत करीब था, जिससे उच्च प्रदर्शन करने वाले उपकरणों का एक समूह बना जो आम तौर पर दुनिया को एक ही नज़रिए से देखते थे। हालांकि, गूगल का एक मॉडल, जिसे समस्याओं पर "सोचने" के लिए डिज़ाइन किया गया था, आश्चर्यजनक रूप से खराब प्रदर्शन करता है। इसने भावना को इतनी बार गलत पहचाना कि इसके परिणाम यादृच्छिक अनुमान (random guessing) से थोड़े ही बेहतर थे। शोधकर्ता ने एक विशिष्ट सिद्धांत का परीक्षण किया कि क्या यह विफलता इसलिए थी क्योंकि गूगल मॉडल सरल प्रश्नों पर बहुत अधिक समय बिता रहा था, जिसे "ओवरथिंकिंग" (overthinking) कहा जाता है। उन्होंने मॉडल को बहुत कम सोचने के समय के साथ उत्तर देने के लिए मजबूर किया, लेकिन खराब प्रदर्शन बना रहा। इससे यह विचार खारिज हो गया कि मॉडल केवल कार्य का अत्यधिक विश्लेषण कर रहा था; यह विफलता उस विशिष्ट मॉडल के व्यवहार में निहित थी।
एक अन्य ओपन-सोर्स मॉडल, जिसे क्लाउड सर्वर के बजाय शोधकर्ता के अपने कंप्यूटर पर चलाया जा सकता है, मध्यम स्तर पर अच्छा प्रदर्शन करता है। यह शीर्ष वाणिज्यिक मॉडलों जितना सटीक नहीं था, लेकिन यह उन पुराने, नियम-आधारित उपकरणों की तुलना में काफी बेहतर था जिनका वर्षों से उपयोग किया जाता रहा है। अध्ययन में यह भी पाया गया कि टेक्स्ट का प्रकार बहुत मायने रखता है। सभी मॉडल औपचारिक, पेशेवर लेखन को समझने में अनौपचारिक भाषा जैसे कि ट्वीट्स या टेक्स्ट मैसेज की तुलना में बहुत बेहतर थे। अनौपचारिक टेक्स्ट पर, सर्वश्रेष्ठ मॉडल भी "मध्यम" स्तर की सहमति तक गिर गए, जिसका अर्थ है कि वे अभी भी मनुष्यों और एक-दूसरे से बड़ी संख्या में असहमत थे।
शायद सबसे चौंकाने वाला निष्कर्ष यह था कि मॉडल वास्तव में एक-दूसरे के साथ कितना कम सहमत थे। जब शोधकर्ता ने छह उपकरणों के पूरे समूह को देखा, तो वे सभी केवल 14 से 24 प्रतिशत वाक्यों पर बिल्कुल एक जैसा उत्तर देते थे। शेष वाक्यों पर, कोई स्पष्ट बहुमत नहीं था। इसका मतलब है कि टेक्स्ट के एक बड़े हिस्से के लिए जिसे लोग रोज विश्लेषण करते हैं, अंतिम परिणाम पूरी तरह से इस बात पर निर्भर करता है कि आप वास्तव में किस कंप्यूटर प्रोग्राम का उपयोग कर रहे हैं। यदि एक वित्तीय विश्लेषक रिपोर्ट पढ़ने के लिए एक मॉडल का उपयोग करता है और दूसरा विश्लेषक दूसरे मॉडल का उपयोग करता है, तो वे एक ही समाचार के बारे में विपरीत निष्कर्षों पर पहुँच सकते हैं।
अध्ययन यह निष्कर्ष निकालता है कि हालांकि ये नए उपकरण शक्तिशाली हैं, लेकिन वे एक-दूसरे के विकल्प (interchangeable) नहीं हैं। मॉडल का चुनाव एक मामूली तकनीकी विवरण नहीं है; यह एक ऐसा निर्णय है जो डेटा को ही बदल देता है। औपचारिक वित्तीय दस्तावेजों वाले कार्यों के लिए, शीर्ष मॉडल विश्वसनीय और सुसंगत हैं। लेकिन अनौपचारिक टेक्स्ट के लिए, या ऐसे कार्यों के लिए जहाँ सकारात्मक और नकारात्मक के बीच का अंतर सूक्ष्म है, मॉडलों के बीच असहमति वास्तविक अनिश्चितता का संकेत है। इन मामलों में, शोधकर्ता सुझाव देते हैं कि केवल एक कंप्यूटर पर भरोसा करना जोखिम भरा है। इसके बजाय, सबसे अच्छा दृष्टिकोण कई मॉडलों का एक साथ उपयोग करना या उन वाक्यों के लिए मानव समीक्षा कराना है जहाँ कंप्यूटर असहमत होते हैं, यह सुनिश्चित करने के लिए कि अंतिम निर्णय केवल चुने गए सॉफ्टवेयर का परिणाम न हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।