STRIVE: Probing Reasoning Limits in Graded Plausibility Generation and Evaluation
यह शोध पत्र STRIVE को प्रस्तुत करता है, जो एक LLM-आधारित ढांचा है जो संभाव्यता (plausibility) के स्तरों को बदलकर मनोभाषाई (psycholinguistic) अध्ययनों के लिए नियंत्रित घटना सेटों के निर्माण और मूल्यांकन को स्वचालित करता है, यह प्रदर्शित करते हुए कि वैश्विक तर्क (global reasoning) और मूल्यांकनकर्ता-निर्देशित परिशोधन (evaluator-guided refinement) को शामिल करने से निर्माण की गुणवत्ता और मानवीय सहमति में महत्वपूर्ण सुधार होता है, हालांकि संभाव्यता सीमाओं के निकट वाली घटनाओं के लिए अभी भी मानवीय निरीक्षण की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
"रुको, यह समझ में नहीं आ रहा" का विज्ञान
कल्पना कीजिए कि आपका मस्तिष्क एक सुपर-फास्ट मूवी प्रोजेक्टर है। जब आप "शेफ सब्जियां काट रहा है" जैसा वाक्य पढ़ते हैं, तो आपका मस्तिष्क तुरंत रसोई का एक मानसिक दृश्य चला देता है। लेकिन यदि आप पढ़ते हैं "शेफ एक बादल को काट रहा है," तो आपका मस्तिष्क अचानक, झटके से रुक जाता है। "रुको, यह समझ में नहीं आ रहा" का वह पल भर का अहसास एक सुपरपावर है जिसे इवेंट नॉलेज (घटना संबंधी ज्ञान) कहा जाता है। यह उन तथ्यों की अदृश्य लाइब्रेरी है जिसे हम सभी इस बारे में लेकर चलते हैं कि आमतौर पर कौन, क्या, कहाँ और किन उपकरणों के साथ करता है।
भाषा सीखने और उपयोग करने (जिसे साइकोलिंग्विस्ट कहते हैं) का अध्ययन करने वाले वैज्ञानिक इस लाइब्रेरी को परखना पसंद करते हैं। वे यह जानना चाहते हैं कि हमारा मस्तिष्क वास्तव में यह निर्णय कैसे लेता है कि कोई स्थिति "वास्तविक" है या "बेतुकी"। ऐसा करने के लिए, उन्हें "ट्रिक सेंटेंस" (चालाकी भरे वाक्य) बनाने की आवश्यकता होती है। उन्हें ऐसे वाक्यों की आवश्यकता होती है जो लगभग सही हों, लेकिन थोड़े से अलग हों, ताकि यह देखा जा सके कि हमारे मस्तिष्क को त्रुटि पकड़ने में कितना समय लगता है। समस्या क्या है? इन ट्रिक वाक्यों को हाथ से बनाना वैसा ही है जैसे लेगो (Lego) के एक आदर्श सेट को बनाने की कोशिश करना जहाँ हर एक टुकड़ा थोड़ा अलग है, लेकिन बाकी का टावर बिल्कुल वैसा ही रहता है। इसमें बहुत समय लगता है, और इंसान थक जाते हैं और गलतियाँ करते हैं। यह शोध पत्र आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करके इन मानसिक जालों को बनाने का एक नया तरीका पेश करता है, जो एक धीमे, मैनुअल काम को एक तेज़, स्वचालित कारखाने में बदल देता है।
मिलिए STRIVE से: वह AI जो "लगभग-सही" कहानियाँ बनाता है
इस अध्ययन के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व भीमन कुमार बागेल और शियांग लोरेन ली ने किया, एक फ्रेमवर्क बनाया जिसे वे STRIVE कहते हैं। STRIVE को एक बहुत ही सख्त, बहुत ही रचनात्मक शेफ के रूप में सोचें जिसे एक ही सूप रेसिपी के चार संस्करण बनाने का काम सौंपा गया है। रेसिपी (वाक्य की संरचना) बिल्कुल वैसी ही रहनी चाहिए, लेकिन मुख्य सामग्री (क्रिया करने वाला व्यक्ति) को बदलकर "अजीब होने" के चार अलग-अलग स्तर बनाए जाने चाहिए।
यहाँ वह मेनू है जिसे STRIVE "एक सॉकर बॉल पकड़ने" जैसी क्रिया के लिए बनाने की कोशिश करता है:
- स्पष्ट शेफ (Plausible-Easy/तर्कसंगत-आसान): एक गोलकीपर। (सब सहमत हैं: "हाँ, गोलकीपर गेंद पकड़ते हैं।")
- शायद वाला शेफ (Plausible-Hard/तर्कसंगत-कठिन): एक रेफरी। (हर कोई रुकता है: "खैर, रेफरी वहाँ होते हैं, और वे इसे पकड़ सकते हैं, लेकिन यह उनका मुख्य काम नहीं है।")
- "रुको, शायद?" वाला शेफ (Implausible-Hard/अतर्कसंगत-कठिन): एक हॉकी खिलाड़ी। (यह पेचीदा वाला है। वे एक एथलीट हैं, वे एक खेल खेलते हैं, वे पक (puck) पकड़ते हैं... लेकिन वे सॉकर के मैदान पर नहीं होते। यह इतना करीब है कि आपको सोचने पर मजबूर कर दे।)
- बेतुका शेफ (Implausible-Easy/अतर्कसंगत-आसान): एक बैले डांसर। (सब हंसते हैं: "बिल्कुल नहीं। बैले का सॉकर से कोई लेना-देना नहीं है।")
लक्ष्य इन चार वाक्यों को स्वचालित रूप से उत्पन्न करना है, यह सुनिश्चित करते हुए कि केवल "शेफ" बदले जबकि बाकी का दृश्य (गेंद, मैदान, हाथ) स्थिर रहे।
"रीज़निंग स्क्रैचपैड" का गुप्त नुस्खा
जब टीम ने पहली बार एक शक्तिशाली AI (GPT-5.1) से बस "ये वाक्य बनाओ" कहा, तो यह एक आपदा थी। AI श्रेणियों को मिला देता था या ऐसे शेफ चुन लेता था जो बहुत समान दिखते थे (जैसे एक कांच लगाने वाला और एक होम रेनोवेशन ठेकेदार, जो दोनों सामान्य काम के कपड़े पहनते हैं)। यह केवल 16.7% बार ही सही काम कर पाया।
शोध में पाया गया कि AI को अंतिम वाक्य लिखने से पहले एक "सोचने की जगह" की आवश्यकता थी। उन्होंने AI को एक रीज़निंग स्क्रैचपैड (तर्क नोटपैड) दिया—एक डिजिटल नोटबुक जहाँ उसे अंतिम वाक्य लिखने से पहले चरण-दर-चरण अपनी विचार प्रक्रिया लिखनी थी। उसे खुद से पूछना था: "क्या यह दृश्य वास्तविक है? क्या यह शेफ वास्तव में एक वर्दी पहनता है जिसे मैं पहचान सकूँ? क्या यह शेफ दूसरों के बहुत समान है?"
जब उन्होंने इस "बोलने से पहले सोचो" वाले चरण को जोड़ा, तो सफलता दर बढ़कर 28.3% हो गई। लेकिन वे वहीं नहीं रुके। उन्होंने दूसरा स्तर जोड़ा: एक AI क्रिटिक (आलोचक)। पहले AI द्वारा सूप बनाने के बाद, दूसरे AI ने उसे चखा और कहा, "हे, हॉकी खिलाड़ी यहाँ पूरी तरह सही नहीं है; वह एक अलग श्रेणी में आता है।" पहले AI को फिर से जाकर रेसिपी को ठीक करना पड़ा।
इस "Generate → Critique → Fix" (बनाओ → आलोचना करो → सुधारो) लूप के साथ, सफलता दर आसमान छूकर 75.0% तक पहुँच गई। यह पता चला कि AI के लिए भी, इंसानों की तरह, अपना होमवर्क करना और दूसरी राय लेना बहुत बड़ा अंतर पैदा करता है।
"कठिन" हिस्सा अभी भी कठिन है
सर्वश्रेष्ठ AI के साथ भी, शोध में एक जिद्दी सीमा पाई गई। सबसे कठिन वाक्य वे होते हैं जो बीच में आते हैं—"Implausible-Hard" वाले (जैसे हॉकी खिलाड़ी)। ये वे वाक्य हैं जो "समझ में आने" और "समझ में न आने" के बीच की खाई के बिल्कुल किनारे पर स्थित हैं।
अध्ययन ने दिखाया कि यहाँ तक कि सबसे स्मार्ट AI मूल्यांकनकर्ता भी इन पेचीदा मामलों को केवल 57% बार ही सही पकड़ पाते हैं। यह एक बड़ी बात है क्योंकि इसका मतलब है कि हालांकि AI इन प्रयोगों के बड़े हिस्से को बनाने का भारी काम कर सकता है, फिर भी मनुष्यों को सबसे भ्रमित करने वाले, सीमावर्ती मामलों की जांच करने के लिए हस्तक्षेप करने की आवश्यकता है। AI आसान चीजों और स्पष्ट बेतुकेपन के लिए बेहतरीन है, लेकिन यह उस "धुंधले क्षेत्र" में लड़खड़ा जाता है जहाँ मानवीय अंतर्ज्ञान की आवश्यकता होती है।
भविष्य के लिए इसका क्या अर्थ है
यह शोध पत्र यह दावा नहीं करता कि इसने भाषा विज्ञान की सभी समस्याओं को हल कर दिया है। इसके बजाय, यह एक शक्तिशाली नया उपकरण प्रदान करता है। इन नियंत्रित वाक्य सेटों के निर्माण को स्वचालित करके, STRIVE शोधकर्ताओं को पहले की तुलना में बहुत तेज़ी से और अधिक विविधता के साथ प्रयोग करने की अनुमति देता है। यह सुझाव देता है कि दुनिया के बारे में सोचने के तरीके का अध्ययन करने का भविष्य एक टीम-अप (साझेदारी) है: AI भारी मात्रा में उत्पादन और प्रारंभिक छंटनी को संभालता है, जबकि मानव विशेषज्ञ अपना ध्यान उन सूक्ष्म, कठिन किनारों पर केंद्रित करते हैं जहाँ मन के असली रहस्य छिपे होते हैं।
संक्षेप में, यह शोध पत्र सिद्ध करता है कि यदि आप एक AI को स्पष्ट नियमों का एक सेट, सोचने के लिए एक नोटपैड और अपने काम की आलोचना करने के लिए एक मित्र देते हैं, तो वह "लगभग-सही" कहानियों की एक लाइब्रेरी बना सकता है जो हमें यह समझने में मदद करती है कि हमारा अपना मस्तिष्क कैसे काम करता है। लेकिन सबसे पेचीदा पहेलियों के लिए, हमें अभी भी अपने मानव मस्तिष्क को प्रक्रिया में शामिल रखने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।