Time Present and Time Past: Benchmarking Large Language Models on Temporally Evolving Document Understanding
यह शोध पत्र TIDE को प्रस्तुत करता है, जो समय के साथ विकसित होने वाले दस्तावेज़ों की समझ पर बड़े भाषा मॉडलों (LLMs) का मूल्यांकन करने के लिए एक नया विशेषज्ञ-सत्यापित बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान मॉडल वर्ज़न रिज़ॉल्यूशन (version resolution) में काफी संघर्ष करते हैं और अक्सर आधिकारिक, समय-विशिष्ट पाठ के बजाय आत्मविश्वासी पैरामीट्रिक ज्ञान को प्राथमिकता देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी खेल के लिए सही नियम खोजने की कोशिश कर रहे हैं, लेकिन नियम पुस्तिका एक जीवित चीज़ है जो हर दिन बदलती रहती है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ज्ञान को संभालने के दो मुख्य तरीके हैं। पहला तरीका एक विशाल विश्वकोश (encyclopedia) की तरह है: यदि कोई तथ्य बदल जाता है, तो पुराने तथ्य को बस मिटा दिया जाता है और उसे नए से बदल दिया जाता है। यदि आप किसी ऐसे देश की राजधानी के बारे में पूछते हैं जिसका नाम बदल गया है, तो विश्वकोश आपको बस नया नाम दिखा देता है। दूसरा तरीका, जो बहुत अधिक जटिल है, कानूनी अनुबंधों के ढेर या गेम पैच की तरह है। यहाँ, एक पुराना नियम गायब नहीं होता; वह उस समय के लिए पूरी तरह से सही रहता है जब वह सक्रिय था, जबकि एक नया नियम बाद में कार्यभार संभाल लेता है। यदि आप पूछते हैं, "2015 में गति सीमा क्या थी?" तो आपको 2015 के नियम की आवश्यकता है, न कि 2025 के नियम की। यदि कंप्यूटर इसे गलत करता है, तो यह केवल एक मूर्खतापूर्ण गलती नहीं है; यह किसी को गलत टैक्स भरने या वर्षों पहले रद्द किए गए चिकित्सा दिशानिर्देश का पालन करने के लिए कहने जैसा हो सकता है। यह "वर्जन रेज़ोल्यूशन" (version resolution) की चुनौती है: यह पता लगाना कि एक विशिष्ट तिथि पर कौन सा संस्करण वास्तव में प्रभावी था।
शोधकर्ताओं की एक टीम ने एक नया परीक्षण बनाया है जिसे TIDE (टेम्पोरल इंफॉर्मेशन ड्रिफ्ट इन इवॉल्विंग डॉक्यूमेंट्स) कहा जाता है, ताकि यह देख सके कि क्या आज के सबसे स्मार्ट एआई कंप्यूटर इस पेचीदा 'टाइम-ट्रैवलिंग' तर्क को संभाल सकते हैं। उन्होंने केवल काल्पनिक प्रश्न नहीं बनाए; उन्होंने बांग्लादेश सरकार के 644 वास्तविक, आधिकारिक दस्तावेजों को खंगाला, जिसमें 1969 से लेकर 2025 तक के सीमा शुल्क कानून, टैक्स कोड और नियम शामिल हैं। ये दस्तावेज़ काफी जटिल हैं, जिनमें अंग्रेजी और बंगाली का मिश्रण है, और इनमें संशोधनों का एक जाल है जहाँ एक नियम दूसरे को रद्द करता है, जो फिर तीसरे द्वारा रद्द किया जाता है। शोधकर्ताओं ने इन दस्तावेजों के आधार पर 3,050 प्रश्न बनाए, जिसमें एआई को एक समय-यात्री वकील की तरह कार्य करने के लिए कहा गया। उन्होंने नौ सबसे शक्तिशाली उपलब्ध एआई मॉडलों का परीक्षण किया, उन्हें उत्तर खोजने के तीन अलग-अलग तरीके दिए: केवल प्रशिक्षण के दौरान याद की गई जानकारी पर भरोसा करना (जैसे कि एक क्लोज्ड-बुक परीक्षा), उन्हें दिए गए सटीक दस्तावेजों को पढ़ना, या सही पृष्ठों को खोजने के लिए एक डेटाबेस की खोज करना।
परिणाम थोड़े चौंकाने वाले थे। यहाँ तक कि सबसे अच्छे एआई मॉडल भी, जब उन्हें पढ़ने के लिए सटीक दस्तावेज़ दिए गए, तो वे केवल लगभग 68.5% उत्तर ही सही दे पाए। इसका मतलब है कि वे अभी भी एक में से तीन बार से अधिक विफल हो रहे थे, भले ही उत्तर उनकी "आंखों के सामने" मौजूद था। अध्ययन से पता चला कि ये मॉडल तब बहुत अच्छे होते हैं जब उन्हें पता होता है कि कहाँ देखना है, लेकिन वे यह समझने में बहुत खराब होते हैं कि वे जो पढ़ रहे हैं वह वास्तव में पूछे गए दिनांक के लिए गलत संस्करण है। उदाहरण के लिए, यदि आप एआई को एक दस्तावेज़ देते हैं जो कहता है "टैक्स 10% है" लेकिन प्रश्न उस समय के बारे में पूछता है जब टैक्स 5% था, तो एआई अक्सर आत्मविश्वास के साथ दस्तावेज़ को अनदेखा कर देता है और अपनी स्मृति या गलत टेक्स्ट पर टिक जाता है। वास्तव में, जब शोधकर्ताओं ने एआई को एक आत्मविश्वासी लेकिन गलत कथन के साथ फंसाने की कोशिश की, तो मॉडल गलतियों को पहचानने में (79% बार त्रुटियों का पता लगाने में) काफी अच्छे थे, लेकिन वे सटीक रूप से यह बताने में बहुत खराब थे कि क्या गलत था (केवल 19% बार विशिष्ट त्रुटि की पहचान करने में)। इसका अर्थ यह है कि वे समस्या को महसूस तो करते हैं लेकिन आत्मविश्वास के साथ गलत विवरण पर दोष मढ़ देते हैं।
पेपर सुझाव देता है कि एआई को केवल अधिक टेक्स्ट पढ़ने या बेहतर खोज उपकरण देने से इस समस्या को हल करने के लिए पर्याप्त नहीं है। मॉडल उन कार्यों के साथ सबसे अधिक संघर्ष करते हैं जिनमें एक टाइमलाइन को जोड़ने की आवश्यकता होती है, जैसे घटनाओं को क्रम में लगाना या यह गणना करना कि "तीन साल बाद" नियम क्या था। वे इस धारणा के साथ चलते हैं कि नियम केवल सख्त होते हैं या एक ही दिशा में बदलते हैं, इस तथ्य को भूल जाते हैं कि कानून अक्सर रद्द या पुराने संस्करणों पर वापस भी जा सकते हैं। हालांकि शोधकर्ताओं ने दिखाया कि सही दस्तावेज़ होना मदद करता है, लेकिन यह सफलता की गारंटी नहीं देता है। अध्ययन निष्कर्ष निकालता है कि "वर्जन रेज़ोल्यूशन" एक प्रमुख, अनसुलझी बाधा बनी हुई है। जब तक ये मॉडल कानूनी दस्तावेजों के समय के प्रवाह को वास्तव में नहीं समझ लेते, तब तक वे टैक्स फाइलिंग या सीमा शुल्क निकासी जैसे वास्तविक दुनिया के कार्यों के लिए बहुत जोखिम भरे हो सकते हैं, जहाँ तारीख गलत होने से गंभीर वित्तीय या कानूनी समस्या हो सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।