Easy to Complete, Hard to Choose: Investigating LLM Performance on the ProverbIT Benchmark
यह शोध पत्र ProverbIT प्रस्तुत करता है, जो एक इतालवी कहावत बेंचमार्क है जो यह प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स बहुविकल्पीय कार्यों में सही कहावत के अंत को शाब्दिक समानार्थी शब्दों से अलग करने में संघर्ष करते हैं, जो यह सुझाव देता है कि उनका प्रदर्शन गहरे अर्थपूर्ण समझ के बजाय अधिक रटे हुए पैटर्न पर निर्भर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल पुस्तकालय में टहल रहे हैं जहाँ अलमारियाँ न केवल किताबों से, बल्कि मानव संवाद के संपूर्ण इतिहास से भरी हुई हैं। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है। इन AI सिस्टम को उन सुपर-फास्ट, सुपर-जुनूनी पाठकों के रूप में सोचें जिन्होंने इंटरनेट पर लिखी गई लगभग हर चीज़ को पढ़ डाला है। वे पैटर्न पहचानने में अविश्वसनीय रूप से कुशल हैं, जैसे यह जानना कि यदि कोई कहता है "बिल्ली और..." तो अगला शब्द लगभग निश्चित रूप से "कुत्ते" होगा। वे इस पैटर्न-मैचिंग का उपयोग ईमेल लिखने, गणित की समस्याओं को हल करने और यहाँ तक कि कोड लिखने के लिए करते हैं।
लेकिन यहाँ एक पेचीदा बात है: सिर्फ इसलिए कि एक AI ने लाखों कहानियाँ पढ़ ली हैं, इसका मतलब यह नहीं है कि वह उनके भीतर छिपे चुटकुलों, व्यंग्य या पुरानी कहावतों को वास्तव में समझता है। यहीं पर कहावतें (proverbs) काम आती हैं। एक कहावत एक छोटी, बुद्धिमानी भरी बात है जो पीढ़ियों से चली आ रही है, जैसे "मुँह में राम बगल में लब" (या "काम होने से पहले ही सफलता की उम्मीद न करें")। ये केवल यादृच्छिक शब्द नहीं हैं; ये सांस्कृतिक शॉर्टकट हैं जो साझा मानवीय अनुभवों पर निर्भर करते हैं। एक कंप्यूटर के लिए, एक कहावत को समझना एक पहेली को सुलझाने जैसा है जहाँ उत्तर इस बात पर निर्भर करता है कि संस्कृति के 'अहसास' को जाना जाए, न कि केवल शब्दों की शब्दकोश परिभाषा को। वैज्ञानिक जिज्ञासु हैं: क्या ये AI मॉडल वास्तव में चुटकुले को समझते हैं, या वे केवल इस आधार पर अनुमान लगा रहे हैं कि कौन से शब्द आमतौर पर एक साथ आते हैं?
यही वह चीज़ थी जिसे ProverbIT पेपर के पीछे के शोधकर्ता पता लगाना चाहते थे। उन्होंने एक विशेष परीक्षण, एक "क्विज़" बनाया जो पूरी तरह से इतालवी कहावतों से बना था, यह देखने के लिए कि विभिन्न AI मॉडल इन सांस्कृतिक पहेलियों को कितनी अच्छी तरह संभाल सकते हैं। उन्होंने केवल AI को वाक्य पूरा करने के लिए नहीं कहा; उन्होंने एक जाल बिछाया। उन्होंने मॉडल्स को अंत (endings) की एक सूची दी, लेकिन उन्होंने यह सुनिश्चित किया कि सही अंत उस सूची में न हो। इसके बजाय, सूची चालाक नकली विकल्पों से भरी थी: कुछ जो सुनने में समान थे, कुछ जिनका अर्थ एक ही था लेकिन सुनने में अजीब थे, और कुछ जो पूरी तरह से गलत थे। एकमात्र सही विकल्प था "उपरोक्त में से कोई नहीं" (None of the above)।
परिणाम चौंकाने वाले थे। जब शोधकर्ताओं ने AI से केवल कहावत को अपने आप पूरा करने के लिए कहा, तो लगभग हर मॉडल ने इसे सही कर लिया। यह एक छात्र को कविता सुनाने के लिए कहने जैसा था जिसे उसने याद किया हुआ है; उन्होंने इसे बखूबी निभाया। लेकिन जैसे ही शोधकर्ताओं ने मल्टीपल-चॉइस क्विज़ के साथ "ट्रिक" सवाल बदला, स्कोर तेजी से गिर गया। यहाँ तक कि सबसे उन्नत, "तर्क करने वाले" (reasoning) मॉडल्स भी—जिन्हें इंसान की तरह चरण-दर-चरण सोचने के लिए डिज़ाइन किया गया है—बुरी तरह लड़खड़ा गए। यह महसूस करने के बजाय कि सही उत्तर गायब है और "उपरोक्त में से कोई नहीं" चुनना, वे ज़िद होकर एक नकली विकल्प को चुनते रहे।
ऐसा क्यों हुआ? शोधकर्ताओं ने AI के "मस्तिष्क" (उसकी विचार प्रक्रिया) के अंदर झाँका और एक दिलचस्प खामी पाई। मॉडल्स को सही अंत का पता था। अपनी आंतरिक सोच में, वे सही वाक्यांश का बार-बार उल्लेख करते थे। लेकिन जब अंतिम निर्णय लेने की बारी आई, तो वे अपने स्वयं के ज्ञान को अनदेखा करते दिखे। वे इस बात पर इतने केंद्रित थे कि कौन सा शब्द सही सुनाई देता है या किसके समानार्थी लगता है, कि वे यह नहीं कह सके, "रुको, असली उत्तर यहाँ नहीं है।" यह एक ऐसे छात्र की तरह है जो जानता है कि उत्तर "42" है, देखता है कि विकल्पों में "40", "44" और "46" हैं, और फिर आत्मविश्वास से "44" पर गोला लगा देता है क्योंकि वह सबसे करीबी संख्या है, और पूरी तरह से भूल जाता है कि वास्तविक उत्तर पृष्ठ पर है ही नहीं।
यह अध्ययन सुझाव देता है कि जबकि ये AI मॉडल पैटर्न याद करने और तथ्य याद करने में अद्भुत हैं, वे अभी भी एक विशिष्ट प्रकार की सोच के लिए संघर्ष करते हैं: नकारात्मक तर्क (negative reasoning)। यह क्षमता कि विकल्पों के एक सेट को देखें और महसूस करें कि, "इनमें से कोई भी सही नहीं है।" वे शब्दों के पीछे के अर्थ को वास्तव में समझने के बजाय इस बात पर बहुत अधिक निर्भर करते हैं कि उन्होंने पहले क्या देखा है। इसलिए, हालांकि ये डिजिटल मस्तिष्क हर दिन स्मार्ट हो रहे हैं, उन्हें मानवीय बुद्धिमत्ता के सूक्ष्म, पेचीदा और कभी-कभी गायब हिस्सों के बारे में अभी भी बहुत कुछ सीखना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।