Comparing Human and Large Language Model Interpretation of Implicit Information
यह शोध पत्र एक इम्प्लिसिट इंफॉर्मेशन एक्सट्रैक्शन (IIE) पाइपलाइन प्रस्तुत करता है ताकि यह मूल्यांकन किया जा सके कि बड़े भाषा मॉडल (LLMs) निहित अर्थों की व्याख्या करने में मनुष्यों की तुलना में कैसे प्रदर्शन करते हैं, जो यह प्रकट करता है कि हालांकि मॉडल निकाले गए ट्रिपलेट्स पर मानवीय निर्णयों के साथ संरेखित होते हैं, वे संदर्भ की सामाजिक या तथ्यात्मक प्रकृति के आधार पर सीमित कवरेज और विशिष्ट रूढ़िवादिता पैटर्न प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्यमयी उपन्यास पढ़ रहे हैं। लेखक लिखता है, "बटलर ने दरवाज़ा ज़ोर से पटका और पीछे के रास्ते से भाग निकला।"
एक इंसान क्या पढ़ता है: आप तुरंत बटलर के गुस्से वाले चेहरे की कल्पना करते हैं, दरवाज़े के टकराने की आवाज़ सुनते हैं, और मान लेते हैं कि वह किसी अपराध स्थल से भाग रहा है। आप अपने जीवन के अनुभवों और सामाजिक अंतर्ज्ञान से खाली जगहों को भर देते हैं। आप जानते हैं कि वह क्यों भागा और वह कैसा महसूस कर रहा है।
एक लार्ज लैंग्वेज मॉडल (LLM) क्या पढ़ता है: AI शब्दों को देखता है। वह जानता है कि "बटलर" एक व्यक्ति है और "दरवाज़ा" एक वस्तु है। वह जानता है कि "पटखना" (slammed) का अर्थ है ज़ोर से टकराना। लेकिन क्या वह जानता है कि बटलर डरा हुआ है? क्या वह जानता है कि वह दोषी है? यह शोध पत्र पूछता है: क्या AI भी उसी तरह खाली जगहों को भरता है जैसे हम करते हैं?
बड़ा प्रयोग: "निहित सूचना" (Implicit Information) का खेल
पॉलिटेक्निको डि मिलानो के शोधकर्ताओं ने यह पता लगाने के लिए एक खेल खेलने का फैसला किया। उन्होंने इम्प्लिसिट इंफॉर्मेशन एक्सट्रैक्शन (IIE) नामक एक कार्य बनाया। इसे "पंक्तियों के बीच पढ़ना" (Read Between the Lines) प्रतियोगिता समझें।
उन्होंने दो समूहों को वाक्य दिए:
- इंसान: स्वयंसेवकों की एक भीड़।
- AI मॉडल: दो शक्तिशाली चैटबॉट्स (मिस्ट्रल और GPT)।
लक्ष्य क्या था? एक नॉलेज ग्राफ (Knowledge Graph) बनाना। कल्पना कीजिए कि यह एक विशाल, डिजिटल मकड़ी का जाल है।
- नोड्स (बिंदु): कहानी के लोग और चीज़ें।
- स्ट्रिंग्स (रेखाएँ): उनके बीच के संबंध।
इंसानों और AI को वे रेखाएँ खींचनी थीं जो कहानी में स्पष्ट रूप से नहीं लिखी गई थीं। उन्हें अदृश्य संबंधों का अनुमान लगाना था।
पाइपलाइन: AI ने इसे कैसे हल करने की कोशिश की
शोधकर्ताओं ने AI के लिए तीन चरणों वाली एक असेंबली लाइन बनाई, जैसे कोई फैक्ट्री एक जटिल विचार को पैक करने की कोशिश कर रही हो:
- जासूस (निष्कर्षण/Extraction): AI वाक्य को पढ़ता है और हर तथ्य निकालता है, चाहे वह स्पष्ट हो ("बटलर भागा") या छिपा हुआ हो ("बटलर दोषी है")। वह जितना अधिक अनुमान लगा सकता है, लगाने की कोशिश करता है।
- संपादक (सत्यापन/Validation): AI अपने स्वयं के आलोचक के रूप में कार्य करता है। वह अपने ही अनुमानों को देखता है और पूछता है, "रुको, क्या मैंने यह मनगढ़ंत बनाया है? क्या टेक्स्ट में इसका कोई प्रमाण है?" यदि उसका अनुमान बहुत ज़्यादा काल्पनिक है, तो वह उस अनुमान को हटा देता है।
- समयपाल (टेम्पोरल एनालिसिस/Temporal Analysis): अंत में, AI यह समझने की कोशिश करता है कि समयरेखा क्या है। क्या दरवाज़ा भागने से पहले पटका गया था? या भागते समय?
परिणाम: "रूढ़िवादी रोबोट" बनाम "कल्पनाशील इंसान"
जब उन्होंने मानव मकड़ी के जाल की तुलना AI के मकड़ी के जाल से की, तो उन्हें कुछ दिलचस्प अंतर मिले:
1. "लुप्त हिस्सों" की समस्या
इंसान AI के अधिकांश अनुमानों से सहमत थे, लेकिन उन्होंने कहीं अधिक संबंध भी जोड़े।
- उपमा: कल्पना कीजिए कि AI एक ऐसा छात्र है जो केवल उन प्रश्नों के उत्तर देता है जो परीक्षा में स्पष्ट रूप से लिखे गए हैं। इंसान वे छात्र हैं जो शिक्षक के हाव-भाव को समझते हैं और हाशिए पर अतिरिक्त नोट्स भी जोड़ देते हैं। AI अक्सर बहुत "सुरक्षित" था और उन समृद्ध, सामाजिक विवरणों को छोड़ गया जिन्हें इंसान तुरंत पकड़ लेते थे।
2. "कठोरता" का स्विच
यह सबसे आश्चर्यजनक हिस्सा था। कहानी के प्रकार के आधार पर AI की कठोरता बदल गई:
- सामाजिक कहानियों में (जैसे बटलर वाली कहानी): AI एक सख्त लाइब्रेरियन की तरह था। जब तक टेक्स्ट में यह न लिखा हो कि "बटलर गुस्से में था," तब तक वह बटलर की भावनाओं का अनुमान लगाने से इनकार कर देता था। हालाँकि, इंसान रचनात्मक लेखक थे, जो भावनाओं को आसानी से भर देते थे।
- तथ्य-प्रधान कहानियों में (जैसे समाचार रिपोर्ट): AI थोड़ा अधिक सहज हो गया, लेकिन इंसान सख्त लाइब्रेरियन बन गए। जब टेक्स्ट छोटा और तथ्यात्मक था, तो इंसान बहुत सावधान थे कि वे ऐसी चीज़ों का अनुमान न लगाएं जो 100% प्रमाणित नहीं थीं। AI, आश्चर्यजनक रूप से, यहाँ कभी-कभी तर्क लगाने के लिए अधिक तैयार था।
3. "समय यात्रा" का संघर्ष
इंसान और AI दोनों ही यह बताने में अच्छे थे कि क्या हुआ, लेकिन AI इस बात में संघर्ष करता था कि चीज़ें एक-दूसरे के सापेक्ष कब हुईं।
- उपमा: यदि आप AI को बताते हैं, "मैंने नाश्ता किया, फिर मैं काम पर गया," तो वह समझ जाता है। लेकिन यदि आप कहते हैं, "मैं नाश्ता कर रहा था जब फोन बजा," तो AI कभी-कभी समय के बारे में भ्रमित हो जाता है, अक्सर कहता है, "मुझे नहीं पता, शायद वे एक ही समय पर हुए?" इंसानों को इसमें शायद ही कभी समस्या होती है; हम समय के प्रवाह को सहज रूप से समझते हैं।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि AI अभी तक बातचीत में एक मानवीय साथी नहीं है।
जब हम आपस में बात करते हैं, तो हम एक "सहयोगी नृत्य" में होते हैं जहाँ हम साझा मानवीय अनुभवों के साथ खाली जगहों को भरते रहते हैं। AI वर्तमान में एक बहुत अच्छा डांसर है जो कदमों को पूरी तरह से जानता है, लेकिन वह नृत्य के एहसास को पूरी तरह नहीं समझता। यह सामाजिक स्थितियों में बहुत रूढ़िवादी है और कभी-कभी समयरेखा में खो जाता है।
यह क्यों मायने रखता है?
यदि हम AI का उपयोग कानूनी अनुबंध, चिकित्सा रिपोर्ट या समाचार लिखने के लिए करते हैं, तो हमें पता होना चाहिए कि यह उन सूक्ष्म, निहित अर्थों को मिस कर सकता है जिन्हें एक इंसान पकड़ लेगा। यह एक बहुत ही बुद्धिमान सहायक रखने जैसा है जिसे शब्दों के पीछे के "मानवीय संदर्भ" को समझने के लिए थोड़े मार्गदर्शन की आवश्यकता होती है।
संक्षेप में: AI पन्ने पर लिखे शब्दों को पढ़ने में बहुत अच्छा है, लेकिन वह अभी भी "कमरे के माहौल" (context) को पढ़ना सीख रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।