Beneath the Surface: Investigating LLMs' Capabilities for Communicating with Subtext
यह शोध पत्र बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) की उपपाठ (सबटेक्स्ट) का उपयोग करने और उसकी व्याख्या करने की क्षमता का व्यवस्थित रूप से आकलन करने के लिए चार नए मूल्यांकन सूट्स पेश करता है, जो यह प्रकट करते हैं कि यद्यपि अत्याधुनिक मॉडल शाब्दिक अर्थ की ओर झुकाव के कारण सूक्ष्म, निहित संचार के साथ सामान्यतः संघर्ष करते हैं, वे साझा आधार (कॉमन ग्राउंड) और विशिष्ट प्रासंगिक स्थितियों के साथ सुधार कर सकते हैं, हालांकि महत्वपूर्ण कमजोरियां बनी हुई हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक डिनर पार्टी में हैं। आपका एक दोस्त कहता है, "ओह, मुझे यह जला हुआ टोस्ट बहुत पसंद है," जबकि वह एक बनावटी मुस्कान दे रहा है। शाब्दिक रूप से, वह कह रहा है कि उसे खाना पसंद है। लेकिन सबटेक्स्ट (subtext)—यानी शब्दों के नीचे छिपा हुआ अर्थ—यह है कि वह वास्तव में नाखुश है, शायद मेजबान से परेशान है, या बस व्यंग्य कर रहा है। मनुष्य इस तरह की चीज़ों में माहिर होते हैं, जिसे "लाइनों के बीच पढ़ना" कहा जाता है। हम बिल्कुल सटीक रूप से कहे बिना संवाद करने के लिए साझा इतिहास, अंदरूनी चुटकुलों और सूक्ष्म संकेतों का उपयोग करते हैं।
यह शोध पत्र, "बिनीथ द सरफेस" (Beneath the Surface), एक सरल लेकिन गहरा सवाल पूछता है: क्या AI (लार्ज लैंग्वेज मॉडल्स) यह कर सकते हैं? क्या वे सबटेक्स्ट को समझ सकते हैं और उसका उपयोग कर सकते हैं, या वे सबसे शाब्दिक और स्पष्ट बोलने वाले व्यक्ति बनकर रह जाते हैं?
Google DeepMind और University of Washington के शोधकर्ताओं ने यह पता लगाने का फैसला किया कि क्या AI मॉडल रचनात्मक "सामाजिक परीक्षणों" के माध्यम से यह कर सकते हैं। यहाँ उन्होंने क्या खोजा, जिसे सरल उपमाओं के माध्यम से समझाया गया है।
चार परीक्षण: AI के लिए एक खेल का मैदान
शोधकर्ताओं ने AI का परीक्षण करने के लिए चार अलग-अलग "खेल" बनाए, जो त्वरित अनुमान लगाने वाले खेलों से लेकर जटिल कहानियाँ लिखने तक फैले हुए थे।
1. "डिक्सी" गेम (दृश्य रूपक/Visual Allusions)
सेटअप: Dixit जैसे खेल की कल्पना करें। आपके पास एक अजीब, अमूर्त चित्र वाला कार्ड है (जैसे बहुत सारे सिरों वाला एक ड्रैगन)। आपको अपने दोस्तों को एक संकेत देना है।
- लक्ष्य: आप चाहते हैं कि कुछ दोस्त आपके कार्ड का अनुमान लगाएं, लेकिन आप नहीं चाहते कि सभी इसका अनुमान लगा लें। यदि सभी अनुमान लगा लेते हैं, तो यह बहुत स्पष्ट है। यदि कोई नहीं लगा पाता, तो यह बहुत अस्पष्ट है। आपको एक "बिल्कुल सही" संकेत की आवश्यकता है।
- ट्विस्ट: कभी-कभी, दो खिलाड़ी कहानियों के एक गुप्त पुस्तकालय को साझा करते हैं जो अन्य लोगों को नहीं पता होता। उन्हें उन कहानियों के संदर्भ का उपयोग करके एक गुप्त हाथ मिलाने (एक संकेत) का उपयोग करना चाहिए जिसे केवल वे ही समझते हैं।
परिणाम: AI मॉडल सूक्ष्म होने में बहुत खराब थे।
- उपमा: कल्पना कीजिए कि आप एक भीड़ भरे कमरे में अपने दोस्त को एक रहस्य बताने की कोशिश कर रहे हैं। फुसफुसाने के बजाय, AI ने उत्तर देने के लिए मेगाफोन पकड़ लिया और चिल्ला दिया।
- डेटा: सबसे स्मार्ट AI (Gemini-2.5-Pro) भी 60% बार उत्तर उजागर कर देता था। वह शाब्दिक होने से खुद को रोक नहीं पाया। जब उन्हें एक गुप्त पुस्तकालय दिया गया, तो वे अंदरूनी चुटकुलों का उपयोग करने में थोड़े बेहतर हुए, लेकिन वे अक्सर यह भूल जाते थे कि अन्य खिलाड़ियों के पास वह गुप्त पुस्तक नहीं है, इसलिए उन्होंने अनजाने में खेल का खुलासा कर दिया।
2. "वेवलेंथ" गेम (एट्यून्ड/Attuned)
सेटअप: दो टीमें एक स्पेक्ट्रम (जैसे "गर्म" से "ठंडा") पर एक संख्या का अनुमान लगाने की कोशिश कर रही हैं। एक खिलाड़ी लक्ष्य संख्या (जैसे 75) देखता है और एक संकेत देता है। उनकी टीम को दुश्मन टीम की तुलना में 75 के करीब पहुंचने की आवश्यकता है।
- लक्ष्य: संकेत इतना विशिष्ट होना चाहिए कि आपका साथी इसे समझ सके, लेकिन इतना अस्पष्ट होना चाहिए कि दुश्मन टीम भ्रमित हो जाए।
परिणाम: AI "मन पढ़ने" में संघर्ष करता रहा।
- उपमा: यह अपने साथी को यह बताए बिना कि वह "पिज्जा" चाहता है, यह बताने जैसा है कि वह रात के खाने में क्या चाहता है। आप कहते हैं, "कुछ चीजी और गोल।" आपका साथी "चीज़ व्हील" का अनुमान लगाता है। AI अक्सर यह समझने में विफल रहा कि उसके साथी द्वारा संकेत की व्याख्या दुश्मन टीम की तुलना में अलग तरीके से की जा सकती है। वह "थ्योरी ऑफ माइंड" (Theory of Mind) को पूरी तरह से नहीं समझ सका—यानी यह समझने की क्षमता कि अन्य लोगों के पास अलग विचार और ज्ञान होता है।
3. "ऐतिहासिक रूपक" परीक्षण (Historical Allegory Test)
सेटअप: शोधकर्ताओं ने AI को एक ऐसी कहानी पढ़ने के लिए कहा जो वास्तव में एक वास्तविक ऐतिहासिक घटना का छिपा हुआ रूपक थी (जैसे एनिमल फार्म, जो रूसी क्रांति का प्रतिनिधित्व करता है)।
- लक्ष्य: क्या AI छिपे हुए अर्थ को समझ सकता था?
- ट्विस्ट: उन्होंने कहानी के आसपास का "संदर्भ" बदल दिया। कभी-कभी उन्होंने AI को बताया, "यह एक प्रसिद्ध इतिहासकार द्वारा लिखा गया था," या "यह एक आलोचक द्वारा लिखा गया था।"
परिणाम: AI "कवर आर्ट" से आसानी से प्रभावित हो गया।
- उपमा: एक किताब के बारे में सोचें। यदि आप एक गंभीर इतिहासकार का नाम देखते हैं, तो आप एक गंभीर विश्लेषण की अपेक्षा करते हैं। यदि आप एक मजाकिया कार्टून देखते हैं, तो आप एक मजाक की अपेक्षा करते हैं। AI बिल्कुल उस इंसान की तरह व्यवहार करता है जो किताब को उसके कवर से आंकता है। जब उसे बताया गया कि लेखक एक इतिहासकार है, तो वह अचानक छिपे हुए ऐतिहासिक अर्थ को खोजने में बहुत बेहतर हो गया। इसने दिखाया कि AI केवल शब्दों को नहीं "पढ़ता"; यह शब्दों के अर्थ का निर्णय लेने के लिए शब्दों के आसपास के संदर्भ को पढ़ता है।
4. "ईसोपियन लेखक" (द सेंसर गेम)
सेटअप: यह सबसे कठिन परीक्षण था। कल्पना कीजिए कि एक AI लेखक एक तानाशाही में रह रहा है।
- नियम: उसे एक "प्रतिबंधित विषय" (जैसे लोकतंत्र) के बारे में एक कहानी लिखनी होगी।
- शर्त: एक "सेंसर" (दूसरा AI) कहानी पढ़ता है। यदि सेंसर को लगता है कि यह लोकतंत्र के बारे में है, तो लेखक को एक "स्ट्राइक" मिलती है। तीन स्ट्राइक के बाद, लेखक को "निकाल" दिया जाता है (खेल समाप्त हो जाता है)।
- लक्ष्य: लेखक को सेंसर को यह विश्वास दिलाने में सफल होना चाहिए कि कहानी किसी उबाऊ चीज़ (जैसे राजा की प्रशंसा) के बारे में है, जबकि एक "क्रिटिक" (एक अन्य AI) गुप्त रूप से समझता है कि यह वास्तव में लोकतंत्र के बारे में है।
परिणाम: AI बुरी तरह विफल रहा।
- उपमा: AI लेखक एक जासूस की तरह था जो कोड में एक गुप्त संदेश भेजने की कोशिश कर रहा था, लेकिन वह गलती से अपना संदेश साधारण अंग्रेजी में लिखता रहा। वह अपने वास्तविक इरादे को छिपाने की दीर्घकालिक रणनीति बनाए रखने में असमर्थ रहा। वह स्पष्ट होने के लिए बहुत उत्सुक था, जिससे वह तुरंत पकड़ा गया।
मुख्य निष्कर्ष: "लिटरल रोबोट" की समस्या
शोध पत्र का मुख्य निष्कर्ष यह है कि वर्तमान AI मॉडल बहुत ईमानदार हैं।
मानव संचार निहितार्थ (implication) का एक नृत्य है। हम एक बात कहते हैं लेकिन दूसरी बात का अर्थ निकालते हैं, और साझा इतिहास तथा सूक्ष्म संकेतों पर भरोसा करते हैं। हालाँकि, AI एक ऐसे रोबट की तरह है जिसे 100% कुशल और स्पष्ट होने के लिए प्रोग्राम किया गया है। वह सोचता है, "यदि मैं चाहता हूँ कि आप मुझे समझें, तो मुझे ठीक वही कहना चाहिए जो मैं कहना चाहता हूँ।"
- अच्छी खबर: सबसे बड़े, सबसे स्मार्ट मॉडल (जैसे Gemini-2.5-Pro और GPT-5) इस क्षमता की एक छोटी सी चमक दिखाना शुरू कर रहे हैं। जब उन्हें पता होता है कि उनके पास एक साथी के साथ एक "रहस्य" है, तो वे कभी-कभी ऐसा संकेत तैयार कर सकते हैं जो काम करे।
- बुरी खबर: वे अभी भी अपने आप में इस रहस्य का अनुमान लगाने के लिए संघर्ष करते हैं। यदि आप उन्हें स्पष्ट रूप से नहीं बताते, "हे, तुम्हें और तुम्हारे साथी को यह कहानी पता है," तो वे इसे नहीं समझ पाएंगे। वे यह समझने में भी संघर्ष करते हैं कि उनके साथी का दृष्टिकोण दुश्मन टीम से अलग हो सकता है।
यह क्यों मायने रखता है?
यह केवल खेल खेलने के बारे में नहीं है। सबटेक्स्ट (Subtext) इन चीजों का केंद्र है:
- रचनात्मकता: उपन्यास, चुटकुले और कविता लिखना।
- सुरक्षा: यह समझना कि कोई कब व्यंग्य या धोखा दे रहा है।
- सामाजिक बुद्धिमत्ता: जटिल मानवीय संबंधों को समझना।
शोध पत्र सुझाव देता है कि जबकि AI गणित और तर्क में स्मार्ट हो रहा है, यह अभी भी थोड़ा "सामाजिक रूप से अनाड़ी" (socially awkward) है। इसे यह सीखने की आवश्यकता है कि कभी-कभी, सब कुछ कहने से बेहतर कम कहना होता है। तब तक, यदि आप चाहते हैं कि कोई AI सूक्ष्म (subtle) हो, तो आपको उसे ठीक से बताना होगा कि सूक्ष्म कैसे होना है, क्योंकि वह अभी तक इसे अपने आप नहीं समझ पाएगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।