A dataset of rated conceptual arguments
यह शोध पत्र वैचारिक प्रश्नों (जैसे कि एआई सुरक्षा और नैतिकता) पर 442 स्थिति-आधारित ग्रंथों की 951 विशेषज्ञ-रेटेड आलोचनाओं के एक डेटासेट को प्रस्तुत करता है ताकि व्यक्तिगत तर्कों का आकलन करने की लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन किया जा सके, जिसमें यह पाया गया कि इन कार्यों पर प्रदर्शन मॉडल की सामान्य क्षमता रैंकिंग के साथ सह-संबंधित है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दार्शनिक बनना सिखाने की कोशिश कर रहे हैं। आप उसे गणित या कोडिंग आसानी से सिखा सकते हैं क्योंकि इन विषयों में एक स्पष्ट "उत्तर कुंजी" (answer key) होती है। यदि रोबोट कहता है कि , तो आप जानते हैं कि वह गलत है। लेकिन क्या होगा जब सवाल यह हो, "क्या स्वतंत्र इच्छा (free will) वास्तविक है?" या "लोगों के साथ निष्पक्ष व्यवहार करने का सबसे अच्छा तरीका क्या है?" इन "वैचारिक प्रश्नों" के लिए कोई उत्तर कुंजी नहीं है। कोई भी अंतिम सत्य (ground truth) नहीं जानता, और विशेषज्ञ हमेशा असहमत रहते हैं। यह विज्ञान का वह पेचीदा कोना है जहाँ आर्टिफिशियल इंटेलिजेंस अगला बड़ा कदम उठाने की कोशिश कर रहा है।
आमतौर पर, कंप्यूटर को सिखाने के लिए हमें उसे सही और गलत उत्तर दिखाने की आवश्यकता होती है। लेकिन जब उत्तर धुंधले हों, तो आप कंप्यूटर को ग्रेड कैसे देंगे? आप केवल यह नहीं पूछ सकते कि, "क्या आपने सही निष्कर्ष निकाला?" क्योंकि कोई नहीं जानता कि सही निष्कर्ष क्या है। इसके बजाय, यह शोध पत्र एक चतुर समाधान सुझाता है: अंतिम उत्तर को ग्रेड करना बंद करें और वहां तक पहुँचने के लिए उपयोग किए गए तर्कों को ग्रेड करना शुरू करें। इसे एक वाद-विवाद प्रतियोगिता (debate tournament) की तरह समझें। भले ही हम जीवन के अर्थ के बारे में यह नहीं जानते कि कौन "सही" है, फिर भी हम इस बात पर सहमत हो सकते हैं कि एक वक्ता ने दूसरे की तुलना में अधिक स्पष्ट, अधिक तार्किक और अधिक केंद्रीय बिंदु रखा। यह शोध पत्र इस विचार पर आधारित है कि हालांकि हम अभी तक बड़े दार्शनिक रहस्यों को हल नहीं कर सकते, लेकिन हम AI को अनिश्चितता के कोहरे में भी अच्छे तर्क बनाम खराब तर्क को पहचानने के योग्य बना सकते हैं।
यही वह काम था जिसे शोधकर्ताओं ने करने का लक्ष्य रखा। उन्होंने एक विशाल नया डेटासेट बनाया—951 "रेटेड" बहसों का एक डिजिटल पुस्तकालय—जहाँ मानव विशेषज्ञों ने न्यायाधीश की भूमिका निभाई। उन्होंने केवल यह नहीं पूछा, "कौन जीता?" इसके बजाय, उन्होंने हर तर्क को विशिष्ट अवयवों (ingredients) में विभाजित किया: बिंदु मुख्य विषय के लिए कितना केंद्रीय था? हमला कितना मजबूत था? क्या आलोचना स्पष्ट थी, या भ्रमित करने वाली थी? क्या इसमें गलत तथ्य थे? फिर उन्होंने इस डेटासेट का उपयोग यह परीक्षण करने के लिए किया कि आधुनिक AI मॉडल कितनी अच्छी तरह न्यायाधीश की भूमिका निभा सकते हैं।
परिणाम अच्छे समाचार और एक वास्तविकता के अहसास का मिश्रण थे। अध्ययन में पाया गया कि अधिक बुद्धिमान, अधिक शक्तिशाली AI मॉडल दार्शनिक तर्कों के बेहतर न्यायाधीश होते हैं। यदि आपके पास एक "हेवीवेट" AI है, तो वह एक "लाइटवेट" की तुलना में कमजोर तर्क को पहचानने में बेहतर है। यह सुझाव देता है कि जैसे-जैसे AI सामान्य सोच में बेहतर होता जाता है, वह स्वाभाविक रूप से धुंधले, वैचारिक बहसों में तर्क की गुणवत्ता को पहचानने में बेहतर होता जाता है।
हालाँकि, एक आश्चर्यजनक मोड़ आया। शोधकर्ताओं ने आधुनिक AI की एक लोकप्रिय विशेषता का परीक्षण किया जिसे "सोचना" (thinking) या "तर्क करना" (reasoning) कहा जाता है, जहाँ मॉडल उत्तर देने से पहले समस्या पर चरण-दर-चरण विचार करने के लिए रुकता है। आप उम्मीद कर सकते हैं कि AI को सोचने के लिए अधिक समय देने से वह एक बेहतर न्यायाधीश बनेगा। लेकिन शोध पत्र में पाया गया कि, आश्चर्यजनक रूप से, इस "सोचने" वाले मोड ने बहुत अधिक मदद नहीं की। कभी-कभी इसने थोड़ी मदद की, कभी-कभी इसने चीजों को थोड़ा बदतर बना दिया, लेकिन औसतन, अंतर नगण्य था। लेखक सुझाव देते हैं कि ऐसा इसलिए हो सकता है क्योंकि ये "सोचने वाले" मॉडल वर्तमान में मुख्य रूप से गणित और कोडिंग पर प्रशिक्षित हैं, जहाँ उत्तर काले और सफेद (स्पष्ट) होते हैं। उन्होंने दर्शन और नैतिकता के ग्रे क्षेत्रों (gray areas) के लिए उस अतिरिक्त सोचने के समय का उपयोग करना अभी तक नहीं सीखा है।
संक्षेप में, यह शोध पत्र सिद्ध करता है कि हम AI को बेहतर तर्क करना सिखाने के लिए एक डेटासेट बना सकते हैं, भले ही वहां कोई एक सही उत्तर न हो। यह दिखाता है कि जबकि AI इन बहसों का निर्णय लेने में अच्छा हो रहा है, केवल इसे "अधिक गहराई से सोचने" के लिए कहना वह जादुई बटन नहीं है जिसकी हमने उम्मीद की थी। दर्शन में बेहतर AI तर्क का मार्ग केवल अधिक प्रोसेसिंग पावर से परे हो सकता है; इसके लिए पूरी तरह से एक अलग प्रकार के प्रशिक्षण की आवश्यकता हो सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।