Can LLMs interpret figurative language as humans do?: surface-level vs representational similarity
यद्यपि बड़े भाषा मॉडल संवाद की सतही-स्तर की व्याख्या में मनुष्यों के अनुरूप होते हैं, वे प्रतिनिधित्व स्तर पर महत्वपूर्ण रूप से भिन्न होते हैं, विशेष रूप से मुहावरों, स्लैंग और व्यंग्य जैसे संदर्भ-निर्भर और सामाजिक-व्यावहारिक लाक्षणिक भाषा को संसाधित करते समय, जिसमें GPT-4 परीक्षण किए गए मॉडलों के बीच मानवीय प्रतिमानों के सबसे निकटतम सन्निकटन का प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को इंसानी चुटकुले, कटाक्ष (sarcasm) और स्लैंग (slang) समझना सिखाने की कोशिश कर रहे हैं। आप उसे एक वाक्य दिखाते हैं जैसे, "यह खाना 'गैस' (gas) है," और उससे पूछते हैं, "क्या यह मज़ेदार है?" या "क्या यह सकारात्मक है?"
टेक्सास ए एंड एम यूनिवर्सिटी के शोधकर्ताओं द्वारा किया गया एक नया अध्ययन एक पेचीदा सवाल पूछता है: जब एक रोबोट वही जवाब देता है जो एक इंसान देता है, तो क्या वह वास्तव में उसी तरह से सोचता है जैसे एक इंसान सोचता है?
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसे कुछ रोज़मर्रा के उपमाओं (analogies) के माध्यम से समझाया गया है।
प्रयोग: "स्वाद परीक्षण" (The Taste Test)
शोधकर्ताओं ने एक विशाल स्वाद परीक्षण आयोजित किया, लेकिन आइसक्रीम के बजाय, उन्होंने इसमें 240 अलग-अलग वाक्यों का उपयोग किया। ये वाक्य भाषा के छह "स्वादों" को कवर करते थे:
- पारंपरिक (Conventional): सामान्य वाक्य (जैसे, "कुत्ता बाहर है")।
- मुहावरेदार (Idiomatic): वे वाक्यांश जहाँ शब्दों का अर्थ वह नहीं होता जो वे दिखते हैं (जैसे, "Bite the bullet")।
- भावनात्मक (Emotional): भावनाओं से भरे वाक्य।
- मज़ेदार (Funny): चुटकुले और पहेलियाँ।
- कटाक्षपूर्ण (Sarcastic): वह कहना जो आप वास्तव में नहीं कहना चाहते (उल्टा बोलना)।
- जेन ज़ी स्लैंग (Gen Z Slang): आधुनिक इंटरनेट की भाषा (जैसे, "This food is gas")।
उन्होंने 211 मनुष्यों और चार अलग-अलग AI मॉडलों (GPT-4, Llama, और Mistral सहित) से प्रत्येक वाक्य पर 40 अलग-अलग प्रश्नों पर रेटिंग देने को कहा, जैसे "क्या यह सकारात्मक है?" या "क्या यह चिंताजनक है?" जिसे 1 से 10 के पैमाने पर मापा गया।
तुलना करने के दो तरीके: "स्कोर" बनाम "मैप"
शोधकर्ताओं ने परिणामों को दो बहुत ही अलग तरीकों से देखा:
1. सतही समानता (द स्कोरबोर्ड)
यह एक सॉकर गेम के अंतिम स्कोर को देखने जैसा है। यदि AI एक चुटकुले के लिए "8/10" कहता है और एक इंसान "8/10" कहता है, तो वे एक जैसे दिखते हैं।
- निष्कर्ष: इस स्तर पर, AI मॉडल, विशेष रूप से सबसे स्मार्ट मॉडल (GPT-4), बहुत मानव-तुल्य दिखे। उन्होंने अधिकांश वाक्यों के लिए मनुष्यों के समान स्कोर दिए। ऐसा लगा जैसे वे एक ही टीम में हैं।
2. प्रतिनिधित्व समानता (द मैप)
यह अधिक गहरा हिस्सा है। कल्पना कीजिए कि आप और आपका दोस्त दोनों एक शहर का नक्शा बना रहे हैं।
- मानव मानचित्र (Human Map): आप जानते हैं कि "पिज्जा प्लेस" "पार्क" के ठीक बगल में है, और "स्कूल" "कब्रिस्तान" से दूर है। आपके नक्शे में एक विशिष्ट संरचना होती है जो दुनिया के बारे में आपकी समझ पर आधारित होती है।
- AI मानचित्र (AI Map): AI भी "पिज्जा प्लेस" और "पार्क" को पास रख सकता है, लेकिन गलत कारणों से। शायद वह सोचता है कि वे इसलिए पास हैं क्योंकि दोनों में "प्लेस" शब्द है, न कि इसलिए कि वे वास्तविक जीवन में कैसे कार्य करते हैं।
शोधकर्ताओं ने इन "मानचित्रों" की संरचना की तुलना करने के लिए रिप्रेजेंटेशनल सिमिलैरिटी एनालिसिस (RSA) नामक एक गणितीय उपकरण का उपयोग किया। उन्होंने केवल यह नहीं जांचा कि स्कोर मेल खाते हैं या नहीं; उन्होंने यह भी जांचा कि वाक्यों के बीच के संबंध समान हैं या नहीं।
बड़ा खुलासा: "इम्पोस्टर" प्रभाव
यहाँ उन्हें क्या पता चला:
- सतह भ्रामक है: AI मॉडल मानव स्कोर की नकल करने में बहुत अच्छे थे। यदि आपसे पूछा जाता, "क्या यह कटाक्ष है?", तो AI अक्सर "हाँ" कहता, ठीक वैसे ही जैसे एक इंसान करेगा।
- मैप अलग है: जब शोधकर्ताओं ने अंतर्निहित "मानचित्रों" को देखा, तो AI और मनुष्य वास्तव में एक-दूसरे से काफी दूर थे। AI अर्थों को मनुष्यों की तरह व्यवस्थित नहीं करता था। AI वाक्यों को अलग तरह से व्यवस्थित करता है।
उपमा:
AI को एक बहुत ही प्रतिभाशाली तोते के रूप में सोचें।
- यदि आप तोते से पूछते हैं, "क्या यह वाक्य मज़ेदार है?" तो वह बिल्कुल एक इंसान की तरह "हाँ" कह सकता है।
- लेकिन तोता वास्तव में चुटकुले को समझता नहीं है। वह बस यह जानता है कि जब मनुष्य शब्दों के इस विशिष्ट पैटर्न को सुनते हैं, तो वे आमतौर पर "हाँ" कहते हैं।
- हालाँकि, एक इंसान चुटकुले को इसलिए समझता है क्योंकि वह सामाजिक संदर्भ, लहजे और छिपे हुए अर्थ को समझता है।
"स्वाद" के अनुसार परिणाम
अध्ययन में पाया गया कि AI के "तोते वाले कौशल" कुछ प्रकार की भाषा के लिए दूसरों की तुलना में बेहतर काम करते हैं:
- भावनात्मक और पारंपरिक वाक्य: AI का मैप मानव मैप के कुछ हद तक समान था। यह अनुमान लगाना आसान है कि "मैं दुखी हूँ" नकारात्मक है, बजाय इसके कि "मैं इतना उत्साहित हूँ कि मैंने अपने पौधों को पानी दे दिया" मज़ेदार है।
- मुहावरे, कटाक्ष और स्लैंग: यहीं पर AI "मैप टेस्ट" में विफल रहा।
- मुहावरे: जब इंसान "Break a leg" सुनते हैं, तो वे जानते हैं कि इसका अर्थ "गुड लक" है। AI अक्सर बिना "break" और "leg" के शाब्दिक शब्दों में उलझे "गुड लक" की अवधारणा तक सही ढंग से पहुँचने में संघर्ष करता है।
- कटाक्ष और स्लैंग: ये सामाजिक संदर्भ और साझा मानवीय अनुभवों (जैसे जेन ज़ी स्लैंग) पर निर्भर करते हैं। इन चीज़ों के लिए AI का आंतरिक मैप, मानव मैप से बहुत अलग था। यह ऐसा था जैसे AI एक अलग भाषा बोल रहा हो, भले ही शब्द एक जैसे दिख रहे हों।
"बड़ा दिमाग" बनाम "छोटा दिमाग"
अध्ययन ने विभिन्न AI मॉडलों की तुलना की:
- GPT-4: यह "बड़ा दिमाग" था। इसका मैप मनुष्यों के सबसे करीब था, लेकिन फिर भी यह एक सटीक मिलान नहीं था। यह मानव के सबसे करीब था, लेकिन फिर भी इसमें कमियाँ थीं।
- छोटे मॉडल (Llama, Mistral): ये और भी दूर थे। उनके मैप बहुत अलग थे, खासकर कटाक्ष और स्लैंग जैसी कठिन चीज़ों के मामले में।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि सिर्फ इसलिए कि एक AI एक इंसान जैसा उत्तर देता है, इसका मतलब यह नहीं है कि वह भाषा को उसी तरह समझता है जैसे एक इंसान समझता है।
AI पैटर्न पहचानने (स्कोरबोर्ड की नकल करने) में उत्कृष्ट है, लेकिन इसमें वह गहरा, सामाजिक और प्रासंगिक "ग्राउंडिंग" (grounding) की कमी है जो मनुष्यों में होती है। यह अर्थ को अपने अनूठे तरीके से व्यवस्थित करता है, जो सरल कार्यों के लिए तो अच्छा काम करता है लेकिन जब भाषा जटिल, भावनात्मक या सांस्कृतिक रूप से विशिष्ट हो जाती है, तो यह विफल हो जाता है।
संक्षेप में: AI एक बहुत अच्छा अभिनेता है जो सही संवाद बोल सकता है, लेकिन इसका मतलब यह नहीं है कि वह उनके पीछे की भावनाओं को महसूस भी करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।