On the Role of Citations in Preference Data
यह शोध पत्र इस बात की जांच करता है कि मानव न्यायाधीश और ओपन-सोर्स एलएलएम (LLM) वैज्ञानिक प्रश्नोत्तर में उद्धरणों का मूल्यांकन कैसे करते हैं, जो यह प्रकट करता है कि मनुष्य विविध लेकिन कम उद्धरणों को पसंद करते हैं जबकि एलएलएम मॉडल और डेटा के आधार पर भिन्न होने वाली उद्धरण-संबंधी प्राथमिकताएं प्रदर्शित करते हैं, जिससे रिवॉर्ड मॉडलिंग में प्राथमिकता डेटा संग्रह को बेहतर बनाने के लिए महत्वपूर्ण अंतर्दृष्टि प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, एक विशिष्ट प्रकार का कार्य इन प्रणालियों के सीखने और सुधारने के तरीके के केंद्र में आ गया है: कंप्यूटर को दो उत्तरों में से बेहतर को चुनने के लिए कहना। यह प्रक्रिया, जिसे 'प्रेफरेंस लर्निंग' (preference learning) कहा जाता है, आधुनिक एआई प्रशिक्षण के पीछे का इंजन है। जब कोई सिस्टम किसी प्रश्न के दो अलग-अलग उत्तर उत्पन्न करता है, तो एक निर्णायक—या तो मानव विशेषज्ञ या कोई अन्य एआई प्रोग्राम—यह तय करता है कि कौन सा बेहतर है। इन चुनावों का उपयोग मूल सिस्टम को यह सिखाने के लिए किया जाता है कि वह एक विश्वसनीय विशेषज्ञ की तरह व्यवहार कैसे करे। हालांकि, पहेली का एक महत्वपूर्ण हिस्सा अस्पष्ट बना हुआ है: जब ये निर्णायक उन उत्तरों को देखते हैं जिनमें बाहरी स्रोतों के संदर्भ शामिल होते हैं, जिन्हें उद्धरण (citations) कहा जाता है, तो वे वास्तव में क्या देख रहे होते हैं? क्या वे स्रोतों की कुल संख्या को महत्व देते हैं, उन स्रोतों की विविधता को, या सूचना की नवीनता को? यह समझना महत्वपूर्ण है क्योंकि उद्धरणों का उद्देश्य निर्माण (fabrication) के खिलाफ एक ढाल बनना है, जिससे उपयोगकर्ता यह सत्यापित कर सकें कि एआई सच बोल रहा है। यदि एआई को प्रशिक्षित करने वाली प्रणालियाँ यह नहीं समझती हैं कि इन संदर्भों को सही ढंग से कैसे तौलना है, तो परिणामी मॉडल गलत चीजों को प्राथमिकता देने के लिए सीख सकते हैं, जैसे कि गुणवत्ता की जांच किए बिना कई स्रोत सूचीबद्ध करना, या सूचना की विश्वसनीयता को पूरी तरह से अनदेखा करना।
शोधकर्ताओं की एक टीम ने इस सटीक प्रश्न की जांच करने के लिए एक अध्ययन किया कि मानव विशेषज्ञ और आर्टिफिशियल इंटेलिजेंस प्रोग्राम वैज्ञानिक उत्तरों का मूल्यांकन कैसे करते हैं जिनमें उद्धरण शामिल होते हैं। उन्होंने एक ऐसी स्थिति पर ध्यान केंद्रित किया जहाँ एक एआई को एक जटिल वैज्ञानिक प्रश्न पूछा जाता है और वह अकादमिक शोध पत्रों के संदर्भों के साथ एक लंबा, विस्तृत उत्तर प्रदान करता है। शोधकर्ताओं ने इन उत्तरों के हजारों जोड़े एकत्र किए, जहाँ मानव विशेषज्ञों द्वारा एक उत्तर को दूसरे के ऊपर चुना गया था, और फिर चार अलग-अलग लार्ज लैंग्वेज मॉडल्स (LLMs) को भी वही चुनाव करने के लिए कहा। निर्णयों के पीछे के छिपे हुए नियमों को समझने के लिए, टीम ने एक सांख्यिकीय पद्धति का उपयोग किया जिसने उन्हें उत्तरों के विशिष्ट लक्षणों को अलग करने की अनुमति दी, जैसे कि कितने उद्धरणों का उपयोग किया गया, स्रोत कितने विविध थे, और क्या संदर्भ पाठ से मेल खाते थे, जबकि उत्तर की लंबाई जैसे अन्य कारकों को नियंत्रित किया गया।
अध्ययन ने इन प्रतिक्रियाओं के मूल्यांकन में मानव निर्णायकों के बीच एक स्पष्ट और कुछ हद तक आश्चर्यजनक पैटर्न का खुलासा किया। जब लोगों ने वैज्ञानिक उत्तरों की समीक्षा की, तो उन्होंने उन प्रतिक्रियाओं को पसंद किया जो विभिन्न स्रोतों के एक विस्तृत दायरे से ली गई थीं, जो यह दर्शाता है कि वे व्यापकता और परिप्रेक्ष्य को महत्व देते हैं। हालांकि, उन्होंने कम उद्धरणों वाले उत्तरों को भी प्राथमिकता दी। यह इंगित करता है कि हालांकि मनुष्य देखना चाहते हैं कि उत्तर अच्छी तरह से शोधित है, लेकिन वे अत्यधिक संदर्भों से भरे हुए उत्तरों से विमुख हो जाते हैं। इसके अलावा, मनुष्य उन उत्तरों को दंडित करने में त्वरित थे जहाँ इन-टेक्स्ट (पाठ के भीतर के) संदर्भ अंत में दी गई स्रोतों की सूची से मेल नहीं खाते थे, जो एक सामान्य त्रुटि है जो यह संकेत देती है कि एआई संदर्भ बना रहा है। दिलचस्प बात यह है कि स्रोतों की आयु निर्णायक रूप से बहुत कम मायने रखती थी; निर्णायकों ने नए शोध पत्रों के मुकाबले पुराने शोध पत्रों के प्रति कोई मजबूत प्राथमिकता नहीं दिखाई।
इसके विपरीत, आर्टिफिशियल इंटेलिजेंस निर्णायक काफी अलग व्यवहार करते थे, और उनकी प्राथमिकताएं इस बात पर निर्भर करती थीं कि कौन सा विशिष्ट मॉडल निर्णय ले रहा है। जबकि एआई मॉडल भी विविध स्रोतों को पसंद करते थे, वे अक्सर मनुष्यों की तुलना में उद्धरणों की संख्या के प्रति बहुत अधिक प्रतिक्रिया दिखाते थे। कुछ एआई निर्णायक बहुत अधिक उद्धरणों वाले उत्तरों को नापसंद करते थे, जबकि अन्य उदासीन थे। अधिक महत्वपूर्ण बात यह है कि एआई मॉडल उन बेमेल संदर्भों को पहचानने या दंडित करने में विफल रहे जिन्हें मनुष्यों ने इतना समस्यात्मक पाया। इसके बजाय, एआई निर्णायक सतही विशेषताओं, जैसे कि प्रतिक्रिया की लंबाई से अत्यधिक प्रभावित थे। कई मॉडलों ने लगातार लंबे उत्तरों को प्राथमिकता दी, चाहे वह अतिरिक्त लंबाई मूल्य जोड़ रही हो या केवल स्थान भर रही हो। यह सुझाव देता है कि विशिष्ट प्रशिक्षण या वास्तविक स्रोत दस्तावेजों तक पहुंच के बिना, ये एआई सिस्टम सटीकता को सत्यापित करने के लिए उद्धरणों को वास्तव में "पढ़" नहीं रहे हैं, बल्कि वे पाठ के दृश्य या संरचनात्मक पैटर्न पर प्रतिक्रिया दे रहे हैं।
शोधकर्ताओं ने पाया कि ये अंतर केवल मामूली विसंगतियां नहीं थे बल्कि महत्वपूर्ण विचलन थे जो भविष्य के एआई सिस्टम को प्रशिक्षित करने के तरीके को प्रभावित कर सकते हैं। क्योंकि एआई मॉडलों का उपयोग अक्सर अन्य मॉडलों को प्रशिक्षित करने के लिए डेटा को लेबल करने के लिए किया जाता है, उनके विशिष्ट पूर्वाग्रहों को समझे बिना उन पर भरोसा करना एक ऐसी प्रणाली को जन्म दे सकता है जो वास्तविक सटीकता और स्रोत विविधता के बजाय लंबाई या उद्धरण संख्या को प्राथमिकता देने के लिए सीखती है। यह अध्ययन रेखांकित करता है कि हालांकि एआई कई तरीकों में मानवीय निर्णय की नकल कर सकता है, इसमें एक विश्वसनीय संदर्भ को क्या बनाता है, इसकी सहज समझ का अभाव है। लेखक सुझाव देते हैं कि बेहतर सिस्टम बनाने के लिए, डेवलपर्स को यह सुनिश्चित करने के लिए अधिक सावधान रहना चाहिए कि वे प्रेफरेंस डेटा कैसे एकत्र करते हैं, यह सुनिश्चित करते हुए कि मानवीय दिशानिर्देश उद्धरण की गुणवत्ता के बारे में स्पष्ट हों और एआई निर्णायक या तो स्रोतों को सत्यापित करने के लिए उपकरणों से लैस हों या उनके विशिष्ट पूर्वाग्रहों की गहरी समझ के आधार पर चुने गए हों। अंततः, यह कार्य एक अनुस्मारक के रूप में कार्य करता है कि एआई को अधिक विश्वसनीय बनाने की खोज में, हम इसे उत्तरों के बीच चयन करने के लिए कैसे कहते हैं, यह विवरण उतना ही महत्वपूर्ण है जितने कि स्वयं उत्तर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।