Beyond Memorization: Assessing Semantic Generalization in Large Language Models Using Phrasal Constructions
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) की अर्थ संबंधी सामान्यीकरण क्षमताओं का आकलन करने के लिए कंस्ट्रक्शन ग्रामर पर आधारित एक नवीन मूल्यांकन डेटासेट प्रस्तुत करता है, जो यह प्रकट करता है कि अत्याधुनिक मॉडल भी भिन्न अर्थों वाले वाक्यात्मक रूप से समान वाक्यांश संरचनाओं के बीच अंतर करने में संघर्ष करते हैं, और मानव अंतर्ज्ञान की तुलना में 40% से अधिक की प्रदर्शन गिरावट प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मानवीय भाषा समझना सिखा रहे हैं। आप उसे एक ऐसी लाइब्रेरी देते हैं जिसमें इंटरनेट पर मौजूद लगभग हर लिखी हुई किताब शामिल है। स्वाभाविक रूप से, रोबोट वह सब कुछ पढ़ने और दोहराने में अविश्वसनीय रूप से कुशल हो जाता है जो उसने देखा है। लेकिन क्या वह वास्तव में भाषा के नियमों को समझता है, या वह केवल एक सुपर-पावर्ड तोता है जिसने पैटर्न याद कर लिए हैं?
यह शोध पत्र, जिसका शीर्षक "मेमोराइजेशन से परे" (Beyond Memorization) है, ठीक यही सवाल पूछता है। शोधकर्ताओं ने यह देखने के लिए एक विशेष परीक्षण बनाया कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs) वह काम कर सकते हैं जो इंसान सहजता से करते हैं: यानी वाक्य की "कंकाल" (skeleton) को समझना, भले ही उसका "मांस" (flesh) यानी विशिष्ट शब्द बिल्कुल नए या कठिन हों।
यहाँ उनके अध्ययन का विवरण सरल उपमाओं (analogies) के माध्यम से दिया गया है।
मुख्य विचार: "वाक्य का कंकाल" (The Sentence Skeleton)
भाषाविज्ञान (Linguistics) में, एक अवधारणा है जिसे कंस्ट्रक्शन ग्रामर (Construction Grammar) कहा जाता है। एक वाक्य को केवल शब्दों की एक श्रृंखला के रूप में नहीं, बल्कि एक सांचे (mold) या कुकी कटर (cookie cutter) के रूप में सोचें।
- सांचा (The Mold): वाक्य की संरचना (जैसे, "कर्ता + क्रिया + कर्म + विशेषण")।
- आटा (The Dough): वे विशिष्ट शब्द जिन्हें आप उस सांचे में डालते हैं।
इंसान इसमें बहुत अच्छे होते हैं। यदि आप "किसी चीज़ को मारकर चपटा करने" के सांचे को जानते हैं (जैसे hammering the metal flat - धातु को हथौड़े से चपटा करना), तो आप तुरंत एक अजीब नए वाक्य को समझ सकते हैं जैसे brushing the hair smooth (बालों को ब्रश करके चिकना करना), भले ही आपने पहले कभी इस विशिष्ट संयोजन को न सुना हो। आप जानते हैं कि "कंकाल" का अर्थ है कि क्रिया ने परिणाम को उत्पन्न किया।
प्रयोग: कठिनाई के दो स्तर
शोधकर्ताओं ने दो परीक्षण (प्रयोग) बनाए ताकि यह देखा जा सके कि क्या AI इन सांचों को संभाल सकता है।
प्रयोग 1: "क्रिएटिव कुकी" टेस्ट
लक्ष्य: क्या AI एक परिचित सांचे को असामान्य सामग्रियों के साथ समझ सकता है?
- सेटअप: उन्होंने सामान्य वाक्य सांचों (जैसे "रिजल्टेटिव" सांचा, जहाँ एक क्रिया अवस्था में परिवर्तन का कारण बनती है) को लिया और उन्हें उन शब्दों से भरा जो उस विशिष्ट सांचे में शायद ही कभी उपयोग किए जाते हैं।
- उपमा: कल्पना कीजिए कि "चॉकलेट केक" की एक रेसिपी है। AI ने लाखों चॉकलेट केक खाए हैं। अब, वे उसे "सेवरी ब्रोकोली केक" (नमकीन ब्रोकोली केक) की रेसिपी देते हैं।
- परिणाम: AI ने बहुत अच्छा प्रदर्शन किया। यहाँ तक कि सबसे स्मार्ट मॉडल्स (जैसे GPT-4o और GPT-o1) भी समझ गए कि क्रिया ने परिणाम को जन्म दिया, भले ही शब्द अजीब थे। उन्होंने सफलतापूर्वक नियम को लागू किया।
प्रयोग 2: "एक जैसा दिखने वाला जाल" (Look-Alike Trap) टेस्ट
लक्ष्य: क्या AI दो ऐसे सांचों के बीच अंतर कर सकता है जो कागज पर बिल्कुल एक जैसे दिखते हैं लेकिन जिनका अर्थ पूरी तरह से अलग है?
- सेटअप: यह यहीं पर पेचीदा हो जाता है। शोधकर्ताओं ने पाया कि दो वाक्य संरचनाएं जो कागज पर बिल्कुल एक जैसी दिखती हैं (समान कर्ता, क्रिया, कर्म, विशेषण) लेकिन विपरीत अर्थ रखती हैं।
- वाक्य A (रिजल्टेटिव): "उसने धातु को हथौड़े से चपटा किया (hammered the metal flat)." (हथौड़े मारने के कारण धातु चपटी हो गई)।
- वाक्य B (डेपिक्टिव): "उसने सेब को ताज़ा खाया (ate the apple fresh)." (सेब खाने के समय पहले से ही ताज़ा था; खाने से वह ताज़ा नहीं हुआ)।
- उपमा: कल्पना कीजिए कि दो एक जैसे दिखने वाले डिब्बे हैं।
- बॉक्स 1 कहता है: "मैंने खिलौना बॉक्स के अंदर रखा (inside)।" (खिलौने को रखने की क्रिया के कारण वह अंदर है)।
- बॉक्स 2 कहता है: "मैं खिलौना बॉक्स के अंदर लेकर गया (inside)।" (ले जाने के समय खिलौना पहले से ही अंदर था)।
- एक इंसान के लिए, संदर्भ (context) बताता है कि कौन सा बॉक्स कौन सा है। AI के लिए, वे एक ही बॉक्स की तरह दिखते हैं।
- परिणाम: AI बुरी तरह विफल रहा।
- जब इन "एक जैसे दिखने वाले" वाक्यों के बीच अंतर करने के लिए कहा गया, तो बेहतरीन मॉडल्स का प्रदर्शन भी 40% से अधिक गिर गया।
- मॉडल्स ने "कारण" वाले अर्थ को "पहले से मौजूद" वाक्यों पर लागू करना जारी रखा। वे यह नहीं समझ पाए कि दूसरा उदाहरण होने के मामले में क्रिया ही कारण नहीं थी।
इसका क्या अर्थ है
शोध पत्र निष्कर्ष निकालता है कि जबकि AI नए शब्दों के लिए पैटर्न पहचानने और नियमों को लागू करने में बहुत अच्छा हो रहा है (प्रयोग 1), इसे संघर्ष करना पड़ता है जब इसे वाक्य की संरचना और शब्दों के विशिष्ट अर्थ के बीच संतुलन बनाना होता है ताकि कारण-और-प्रभाव (cause-and-effect) के संबंध को समझा जा सके (प्रयोग 2)।
- इंसान पहेली को सुलझाने के लिए व्याकरण के नियमों और वास्तविक दुनिया के ज्ञान (जैसे, "आप सेब को खाकर उसे ताज़ा नहीं बना सकते") के मिश्रण का उपयोग करते हैं।
- AI ऐसा लगता है कि वह देखे गए सबसे सामान्य पैटर्न पर बहुत अधिक निर्भर करता है। जब "एक जैसा दिखने वाले" जाल का सामना होता है, तो वह तर्क करने के बजाय सबसे अधिक बार देखे गए अर्थ पर लौट आता है।
निचोड़ (The Bottom Line)
शोधकर्ताओं ने एक डेटासेट (परीक्षण प्रश्नों का एक सेट) बनाया है यह साबित करने के लिए कि वर्तमान AI मॉडल्स अभी भी "तर्क करने" (reasoning) की तुलना में "याद करने" (memorizing) पर अधिक निर्भर हैं। वे रचनात्मक नए शब्दों को संभाल सकते हैं, लेकिन वे लड़खड़ा जाते हैं जब वाक्य की संरचना उन्हें गलत तर्क लागू करने के लिए भ्रमित करती है।
यह शोध पत्र स्पष्ट करता है: हम यह मान नहीं सकते कि क्योंकि एक AI धाराप्रवाह बोलता है, इसलिए वह भाषा के गहरे, कारण संबंधी तर्क (causal logic) को उसी तरह समझता है जैसे इंसान समझते हैं। यह एक ऐसा तोता है जिसने बहुत अच्छी तरह से गाना सीख लिया है, लेकिन जब गीत के बोल अर्थ बदल देते हैं, तो वह अभी भी भ्रमित हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।