Inferential Question Answering
यह शोध पत्र इन्फेरेंशियल क्यूए (Inferential QA) को प्रस्तुत करता है, जो एक नया कार्य है जिसमें मॉडलों को स्पष्ट पाठ के बजाय अप्रत्यक्ष संकेतों से उत्तर निकालने की आवश्यकता होती है, और QUIT डेटासेट प्रस्तुत करता है यह प्रदर्शित करने के लिए कि वर्तमान क्यूए पाइपलाइन, उन्नत एलएलएम (LLMs) सहित, इस अनुमान-आधारित तर्क चुनौती के साथ काफी संघर्ष करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: खजाना खोजने और पहेली सुलझाने के बीच का अंतर
कल्पना कीजिए कि आप लुका-छिपी (Hide and Seek) का खेल खेल रहे हैं।
पारंपरिक प्रश्न उत्तर (पुराना तरीका) लुका-छिपी के उस खेल की तरह है जहाँ छिपने वाले व्यक्ति ने अपने सिर के ऊपर एक बड़ा, चमकता हुआ नियॉन साइन लगा रखा है जिस पर लिखा है, "मैं यहाँ हूँ!"
- प्रश्न: "व्यक्ति कहाँ है?"
- सुराग: एक दस्तावेज़ जो स्पष्ट रूप से कहता है, "व्यक्ति लाल पर्दे के पीछे छिपा है।"
- परिणाम: कंप्यूटर बस "लाल पर्दे के पीछे" वाला वाक्य उठा लेता है और आपको दे देता है। यह आसान है क्योंकि उत्तर आपके सामने ही है, बिल्कुल साफ दिख रहा है।
अनुमानित प्रश्न उत्तर (नया तरीका - Inferential Question Answering) लुका-छिपी के उस खेल की तरह है जहाँ छिपने वाले व्यक्ति ने कोई संकेत नहीं छोड़ा है। इसके बजाय, उन्होंने फर्श पर असंबद्ध सुरागों का ढेर बिखेर दिया है।
- प्रश्न: "कौन छिपा है?"
- सुराग: बार्सिलोना में खेले गए सॉकर मैच का एक टिकट, एक गोल्डन बॉल अवॉर्ड की फोटो, अर्जेंटीना का एक नक्शा, और एक नोट जिसमें लिखा है, "मैंने 45 ट्रॉफियां जीती हैं।"
- परिणाम: कंप्यूटर को इन बिखरे हुए सुरागों को देखना होगा, यह समझना होगा कि वे सभी एक विशिष्ट व्यक्ति (लियोनेल मेसी) की ओर इशारा करते हैं, और फिर उत्तर का अनुमान लगाना होगा। उत्तर "लियोनेल मेसी" सुरागों में कहीं भी लिखा नहीं है; कंप्यूटर को इसे खुद समझना होगा।
यह शोध पत्र तर्क देता है कि जबकि कंप्यूटर "नियॉन संकेतों" (पारंपरिक QA) को खोजने में माहिर हैं, वे वर्तमान में "पहेलियों" (अनुमानित QA) को सुलझाने में बहुत खराब हैं।
समस्या: कंप्यूटर बहुत शाब्दिक (Literal) हैं
लेखकों ने पाया कि आज के सबसे स्मार्ट AI मॉडल बहुत ही शाब्दिक लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह हैं।
- यदि आप एक लाइब्रेरियन से पूछते हैं, "वर्ल्ड कप किसने जीता?" और किताब कहती है, "फ्रांस ने वर्ल्ड कप जीता," तो लाइब्रेरियन आपको वह किताब थमा देता है।
- लेकिन यदि आप पूछते हैं, "किस देश की टीम नीले रंग के कपड़े पहनती है और 2018 में जीती थी?" और किताब केवल यह कहती है, "टीम नीले रंग के कपड़े पहनती है और 2018 में जीती थी," तो लाइब्रेरियन भ्रमित हो जाता है। वे कह सकते हैं, "मुझे इस टेक्स्ट में 'फ्रांस' शब्द नहीं दिख रहा है, इसलिए मैं उत्तर नहीं दे सकता।"
यह पेपर दिखाता है कि वर्तमान AI सिस्टम तब संघर्ष करते हैं जब उत्तर स्पष्ट रूप से लिखा नहीं होता। वे निष्कर्ष निकालने के लिए सुरागों के बीच संबंध जोड़ने में सक्षम नहीं हैं।
समाधान: "Quit" डेटासेट
इस समस्या को साबित करने के लिए, लेखकों ने Quit नामक एक नया प्रशिक्षण मैदान बनाया (जिसका अर्थ है Questions requiring Inference from Texts - टेक्स्ट से अनुमान की आवश्यकता वाले प्रश्न)।
सोचिए कि Quit एक विशाल डिटेक्टिव ट्रेनिंग एकेडमी (जासूस प्रशिक्षण अकादमी) है।
- छात्र: उनके पास 7,401 अलग-अलग "रहस्यमय मामले" (प्रश्न) हैं।
- सबूत: उनके पास 2.4 मिलियन "एविडेंस बैग्स" (अनुच्छेद/पैसेज) हैं।
- ट्विस्ट: किसी भी एविडेंस बैग में संदिग्ध का नाम नहीं है। इसके बजाय, उनमें संकेत हैं।
- उदाहरण: एक बैग कह सकता है, "वह अर्जेंटीना से है।" दूसरा कह सकता है, "वह बार्सिलोना के लिए खेलता है।" तीसरा कह सकता है, "उसने सबसे अधिक ट्रॉफियां जीती हैं।"
- छात्र (AI) को इन सभी बैगों को पढ़ना होगा और यह समझना होगा, "ओह! यह निश्चित रूप से लियोनेल मेसी है!"
लेखकों ने इन एविडेंस बैग्स को तीन श्रेणियों में वर्गीकृत किया है:
- प्रासंगिक (हरा - Relevant): सुराग इतने मजबूत हैं कि एक स्मार्ट जासूस मामला सुलझा सकता है।
- आंशिक (पीला - Partial): सुराग मौजूद हैं, लेकिन वे अस्पष्ट हैं। शायद वे दो अलग-अलग संदिग्धों की ओर इशारा करते हैं।
- अप्रासंगिक (लाल - Irrelevant): सुराग किसी पूरी तरह से अलग व्यक्ति या स्थान के बारे में हैं।
प्रयोग: जासूसों का परीक्षण
लेखकों ने इस नए डेटासेट पर सर्वश्रेष्ठ AI "जासूसों" (रिट्रीवर्स, रीरैंकर्स और रीडर्स) का परीक्षण किया ताकि यह देखा जा सके कि वे पुराने "नियॉन साइन" वाले खेलों की तुलना में कैसा प्रदर्शन करते हैं।
परिणाम निराशाजनक थे:
खोजकर्ता (Retrievers) विफल रहे:
- उपमा: एक ऐसे सर्च इंजन की कल्पना करें जो "मेसी" शब्द वाले किताबें खोजने में बहुत अच्छा है। लेकिन जब आप उससे ऐसी किताबें खोजने के लिए कहते हैं जो मेसी का वर्णन करती हैं बिना उनका नाम लिए, तो वह खाली हाथ वापस आता है।
- निष्कर्ष: AI सही "सुराग बैग" नहीं ढूंढ सका। वह उन बैगों को चुनता रहा जिनमें गलत शब्द थे या जो सूक्ष्म संकेतों को पूरी तरह से मिस कर गए।
छँटाई करने वाले (Rerankers) बहुत कम मदद कर पाए:
- उपमा: एक दूसरे AI की कल्पना करें जो पहले AI द्वारा खोजे गए सुराग बैगों की सूची को देखता है और सबसे अच्छे बैगों को ऊपर रखने की कोशिश करता है।
- निष्कर्ष: इस दूसरे AI की मदद से भी परिणाम बहुत बेहतर नहीं हुए। वे अभी भी गलत सुरागों के साथ अटके हुए थे।
समाधान करने वाले (Readers) फंस गए:
- उपमा: कल्पना कीजिए कि सबसे स्मार्ट AI ( "रीडर") को अंततः सुराग मिल जाते हैं। आप सोच सकते हैं, "यदि सुराग वहां हैं, तो स्मार्ट AI इसे सुलझा लेगा!"
- निष्कर्ष: यहाँ तक कि सबसे अधिक "तर्क-आधारित" (Reasoning-focused) AI मॉडल भी (जिन्हें सुपर स्मार्ट बनाने के लिए डिज़ाइन किया गया है) छोटे और सरल मॉडलों से बहुत बेहतर प्रदर्शन नहीं कर पाए। वे प्रभावी ढंग से बिंदुओं को जोड़ने में सक्षम नहीं थे।
चौंकाने वाली खोज:
पेपर में पाया गया कि फाइन-ट्यूनिंग (जो AI को अतिरिक्त होमवर्क देने जैसा है) ने वास्तव में समस्या को हल नहीं किया। AI मॉडल वर्तमान तरीकों का उपयोग करके अप्रत्यक्ष सुरागों से उत्तर निकालना नहीं सीख सके।
निष्कर्ष: हमें एक नए तरह के दिमाग की आवश्यकता है
पेपर यह निष्कर्ष निकालता है कि हमारे वर्तमान AI पाइपलाइन ऐसे सुपर-फास्ट स्कैनर्स की तरह हैं जो टेक्स्ट की नकल करने में तो बेहतरीन हैं लेकिन सोचने में खराब हैं।
- वर्तमान स्थिति: हमने ऐसा AI बनाया है जो उत्तर खोजने में उत्कृष्ट है यदि वह स्पष्ट रूप से लिखा गया हो।
- कमी: हमारे पास अभी तक ऐसा AI नहीं है जो वास्तव में अप्रत्यक्ष सुरागों को देखकर "तर्क" कर सके, ठीक वैसे ही जैसे एक मानव जासूस करता है।
लेखक अनुसंधान के एक नए युग का आह्वान कर रहे हैं। हमें केवल कंप्यूटर को "शब्द खोजने" के लिए सिखाना बंद करना होगा और उन्हें यह सिखाना शुरू करना होगा कि "बिंदुओं को कैसे जोड़ा जाए।" जब तक हम ऐसा नहीं करते, AI एक प्रतिभाशाली लाइब्रेरियन बना रहेगा जो रहस्य सुलझाने में असमर्थ है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।