💬 NLP

Harnessing Temporal Databases for Systematic Evaluation of Factual Time-Sensitive Question-Answering in Large Language Models

यह शोध पत्र TDBench प्रस्तुत करता है, जो एक स्केलेबल बेंचमार्क है जो बड़े भाषा मॉडलों (Large Language Models) के समय-संवेदनशील तथ्यात्मक तर्क का व्यवस्थित रूप से मूल्यांकन करने के लिए टेम्पोरल डेटाबेस और तकनीकों का लाभ उठाता है, जो एक नवीन "टाइम एक्यूरेसी" मीट्रिक और एप्लिकेशन-विशिष्ट डेटा के साथ मौजूदा दृष्टिकोणों का पूरक बनता है।

मूल लेखक: Soyeon Kim, Jindong Wang, Xing Xie, Steven Euijong Whang

प्रकाशित 2026-03-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Soyeon Kim, Jindong Wang, Xing Xie, Steven Euijong Whang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, विद्वान रोबोट मित्र (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो दुनिया के बारे में बहुत कुछ जानता है। लेकिन इसमें एक पेच है: इस रोबोट की याददाश्त एक ऐसी लाइब्रेरी की तरह है जहाँ किताबें अलग-अलग समय पर अपडेट होती हैं, और कभी-कभी रोबोट नवीनतम संस्करण को चेक करना भूल जाता है। यदि आप उससे पूछते हैं, "अमेरिका का राष्ट्रपति कौन है?", तो वह आत्मविश्वास से 2010 के किसी राष्ट्रपति का नाम बता सकता है, यह जाने बिना कि दुनिया आगे बढ़ चुकी है।

यह पेपर इन रोबोट्स को टेस्ट करने का एक नया तरीका पेश करता है ताकि यह सुनिश्चित किया जा सके कि वे केवल अनुमान नहीं लगा रहे हैं या अतीत में अटके हुए नहीं हैं। लेखक इस नए परीक्षण मैदान को TDBench कहते हैं।

यहाँ इसका सरल विवरण दिया गया है, जिसमें कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है:

1. समस्या: "मैनुअल" बाधा (The "Manual" Bottleneck)

पहले, यह परीक्षण करने के लिए कि क्या किसी रोबोट को वर्तमान तथ्यों का ज्ञान है, शोधकर्ताओं को मानवीय संपादकों (human editors) की तरह काम करना पड़ता था। वे खुद बैठकर हजारों प्रश्न लिखते थे जैसे, "1995 में राष्ट्रपति कौन था?" या "अभी वर्तमान में राष्ट्रपति कौन है?"

समस्या: यह धीमा, महंगा और तालमेल बिठाने में कठिन है। जैसे ही कोई नया राष्ट्रपति चुना जाता है, शोधकर्ताओं को अपने सभी टेस्ट प्रश्न फिर से लिखने पड़ते हैं। यह एक छपी हुई विश्वकोश (encyclopedia) को हर बार कोई नई खबर आने पर अपडेट करने की कोशिश करने जैसा है।

2. समाधान: TDBench (एक "जीवंत डेटाबेस" दृष्टिकोण)

प्रश्न लिखने के लिए इंसानों को काम पर रखने के बजाय, लेखकों ने एक ऐसा सिस्टम बनाया है जो टेम्पोरल डेटाबेस (Temporal Databases) का उपयोग करता है।

उपमा: एक मानक डेटाबेस को एक फोटो एलबम की तरह समझें। यह आपको किसी व्यक्ति की तस्वीर दिखाता है। एक टेम्पोरल डेटाबेस एक टाइम-लैप्स वीडियो (time-lapse video) की तरह है। यह आपको केवल यह नहीं दिखाता कि वह व्यक्ति कौन है; यह आपको दिखाता है कि वह व्यक्ति उस समय कब था, उनका कार्यकाल कब शुरू हुआ, और कब समाप्त हुआ।
TDBench कैसे काम करता है:
1. ब्लूप्रिंट (TFDs): सिस्टम डेटाबेस को देखता है और नियम ढूंढता है। उदाहरण के लिए, "किसी भी दिए गए समय में, एक देश का केवल एक ही राष्ट्रपति हो सकता है।" यह एक नियम है जिस पर सिस्टम भरोसा करता है।
2. टाइम मशीन (Temporal SQL): सिस्टम स्वचालित रूप से "समय-यात्रा" (time-travel) क्वेरी लिखता है। केवल "राष्ट्रपति कौन है?" पूछने के बजाय, यह पूछता है, "5वें शीतकालीन ओलंपिक के दौरान राष्ट्रपति कौन था?" या "अभी राष्ट्रपति कौन है?" यह एक विशेष भाषा (SQL) का उपयोग करता है जो तारीखों और समय को संभालने में माहिर है।
3. अनुवादक (LLM): अंत में, एक स्मार्ट AI इन सख्त, गणितीय समय-क्वेरीज़ को प्राकृतिक अंग्रेजी प्रश्नों में अनुवादित करता है जिन्हें रोबोट को हल करना होता है।

जादू: यदि डेटाबेस अपडेट होता है (जैसे, एक नया राष्ट्रपति चुना जाता है), तो TDBench सिस्टम स्वचालित रूप से नए टेस्ट प्रश्न तैयार कर देता है। किसी मानवीय संपादक की आवश्यकता नहीं है! यह एक ऐसे बगीचे की तरह है जो मौसम बदलने पर अपने स्वयं के टेस्ट प्रश्न उगाता है।

3. नया मीट्रिक: "समय सटीकता" (Time Accuracy)

यह इस पेपर का सबसे बड़ा नवाचार है।

पुराना तरीका: यदि किसी रोबोट ने उत्तर दिया "वर्तमान राष्ट्रपति जो बाइडन हैं," तो उसे एक गोल्ड स्टार मिलता था। भले ही रोबोट ने एक गलत स्पष्टीकरण जोड़ा हो, जैसे "उन्होंने 1990 में अपना कार्यकाल शुरू किया था" (जो कि गलत है), पुराने टेस्ट अक्सर उस झूठ को अनदेखा कर देते थे क्योंकि अंतिम नाम सही था।
नया तरीका (Time Accuracy): TDBench उत्तर और टाइमलाइन दोनों की जांच करता है।
- उपमा: कल्पना कीजिए कि एक जासूस एक संदिग्ध से पूछता है, "आप मंगलवार को कहाँ थे?"
  - पुराना टेस्ट: यदि संदिग्ध कहता है "मैं पार्क में था," और वे वास्तव में पार्क में ही थे, तो वे पास हो जाते हैं।
  - TDBench टेस्ट: यदि संदिग्ध कहता है "मैं पार्क में था," लेकिन फिर जोड़ता है, "मैं वहां 1995 में पहुँचा था," तो टेस्ट झूठ को पकड़ लेता है। भले ही स्थान सही था, लेकिन समय गलत था।
- परिणाम: पेपर ने पाया कि कई रोबोट नाम तो सही बताते हैं लेकिन तारीखों के बारे में भ्रम (hallucinate) पैदा करते हैं। वे "कौन" को तो जान लेते हैं लेकिन "कब" में विफल हो जाते हैं। TDBench इसे पकड़ लेता है, जिससे पता चलता है कि रोबोट अक्सर हमारी सोच से कम विश्वसनीय होते हैं।

4. "मल्टी-हॉप" चुनौती (The "Multi-Hop" Challenge)

शोधकर्ताओं ने दो अलग-अलग घटनाओं को जोड़ने वाले प्रश्न पूछकर परीक्षणों को और कठिन बना दिया है।

उपमा: केवल "1990 में अमेरिका के राष्ट्रपति कौन थे?" पूछने के बजाय, वे पूछते हैं, "जब जुरासिक पार्क फिल्म रिलीज हुई थी, तब अमेरिका के राष्ट्रपति कौन थे?"
रोबोट को यह करना होगा:
1. जानना होगा कि जुरासिक पार्क कब रिलीज हुई थी (1993)।
2. देखना होगा कि 1993 में राष्ट्रपति कौन था।
3. सही उत्तर देना होगा।
TDBench अलग-अलग टाइम-लैप्स वीडियो (डेटाबेस) को आपस में "जोड़कर" (stitching) इन जटिल प्रश्नों को स्वचालित रूप से बना सकता है।

यह क्यों महत्वपूर्ण है?

स्केलेबिलिटी (Scalability): अब हम बिना किसी मानव लेखक की टीम के विशिष्ट विषयों (जैसे चिकित्सा कानून या कार्बन टैक्स) पर रोबोट्स का परीक्षण कर सकते हैं।
विश्वसनीयता (Reliability): यह "टाइम हैलुसिनेशन" (time hallucinations) को उजागर करता है जहाँ रोबोट आत्मविश्वास से भरी बातें करते हैं लेकिन इस बारे में तथ्यात्मक रूप से गलत होते हैं कि चीजें कब हुईं।
भविष्य के लिए तैयार (Future-Proofing): जैसे-जैसे दुनिया बदलती है, TDBेंच खुद को अपडेट करता रहता है, जिससे यह सुनिश्चित होता है कि हमारे पास हमेशा हमारे AI मित्रों को टेस्ट करने के लिए ताज़ा और सटीक तरीके हों।

संक्षेप में: लेखकों ने AI के लिए एक स्व-अपडेट होने वाला, समय-यात्रा करने वाला टेस्ट ट्रैक बनाया है। केवल यह जांचने के बजाय कि AI को उत्तर पता है, वे यह भी जांचते हैं कि क्या AI को समय पता है, जिससे यह सुनिश्चित होता है कि हमारे डिजिटल सहायक अतीत में अटके नहीं रह जाते।

यहाँ शोध पत्र "Harnessing Temporal Databases for Systematic Evaluation of Factual Time-Sensitive Question-Answering in LLMs" (TDBench) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) टाइम-सेंसिटिव क्वेश्चन-आंसरिंग (TSQA) में संघर्ष करते हैं क्योंकि तथ्य समय के साथ बदलते रहते हैं। हालांकि टेम्पोरल रीजनिंग और अलाइनमेंट (जैसे, वर्तमान राष्ट्रपति को जानना) पर LLMs का मूल्यांकन करने के लिए मौजूदा बेंचमार्क मौजूद हैं, लेकिन वे महत्वपूर्ण सीमाओं से ग्रस्त हैं:

मैनुअल बॉटलनेक्स (Manual Bottlenecks): अधिकांश बेंचमार्क टेम्पोरल कॉन्टेक्स्ट (जैसे, "2019 से पहले") और प्रश्न टेम्प्लेट डिजाइन करने के लिए मानव क्यूरेशन (human curation) पर निर्भर करते हैं, जिससे स्केलेबिलिटी और विविधता सीमित हो जाती है।
स्थिर टेम्प्लेट (Static Templates): मौजूदा विधियाँ अक्सर टेम्प्लेट्स के एक छोटे, निश्चित सेट (जैसे, 9–16 प्रकार) का उपयोग करती हैं, जो टेम्पोरल संबंधों के पूर्ण स्पेक्ट्रम को कवर करने में विफल रहती हैं।
मूल्यांकन अंतराल (Evaluation Gaps): वर्तमान मूल्यांकन मुख्य रूप से उत्तर सटीकता (answer accuracy) पर केंद्रित हैं। वे अक्सर व्याख्याओं में मतिभ्रम (hallucinations in explanations) को मिस कर देते हैं, जहाँ एक LLM सही उत्तर तो देता है लेकिन गलत तारीखों या समय संदर्भों का उल्लेख करता है (जैसे, किसी शासक की सही पहचान करना लेकिन उनके शासन की शुरुआत की तारीख गलत बताना)।
डेटा सीमाएँ (Data Limitations): अधिकांश बेंचमार्क विकिपीडिया/विकीडेटा तक ही सीमित हैं, जिनमें डोमेन-विशिष्ट डेटा (कानूनी, चिकित्सा, पर्यावरणीय) का अभाव है।

2. कार्यप्रणाली: TDBench फ्रेमवर्क (Methodology: The TDBench Framework)

लेखक TDBench का प्रस्ताव करते हैं, जो एक व्यवस्थित फ्रेमवर्क है जो बिना किसी मानवीय श्रम के TSQA कार्यों के निर्माण और मूल्यांकन के लिए टेम्पोरल डेटाबेस और डेटाबेस थ्योरी का लाभ उठाता है।

A. मुख्य घटक (Core Components)

टेम्पोरल फंक्शनल डिपेंडेंसीज़ (Temporal Functional Dependencies - TFDs):
- TFDs का उपयोग QA पेयर्स के लिए वैध एट्रिब्यूट सेट्स को स्वचालित रूप से चुनने के लिए किया जाता है। एक TFD ( $X \xrightarrow{T} Y$ ) यह सुनिश्चित करता है कि एक दिए गए समय अंतराल के लिए, एट्रिब्यूट्स $X$ अनन्य रूप से $Y$ को निर्धारित करते हैं।
- उदाहरण: एक Leader टेबल में, (country, role) \xrightarrow{T} name यह सुनिश्चित करता है कि किसी विशिष्ट समय पर, किसी देश का राष्ट्रपति अद्वितीय होता है। यह लॉजिक सिस्टम को "[देश] का राष्ट्रपति कौन है?" जैसे प्रश्न उत्पन्न करने की अनुमति देता है, जिसमें डेटाबेस की स्थिति के आधार पर गारंटीकृत अद्वितीय उत्तर सुनिश्चित होते हैं।
टेम्पोरल SQL क्वेरी जनरेशन (Temporal SQL Query Generation - Genqueries Algorithm):
- फिक्स्ड टेम्प्लेट के बजाय, TDBench एलेन के इंटरवल अलजेब्रा (Allen's Interval Algebra) का उपयोग करके टेम्पोरल SQL क्वेरीज़ उत्पन्न करता है।
- यह 13 परस्पर अनन्य और व्यापक (mutually exclusive and exhaustive) टेम्पोरल संबंधों को कवर करता है (जैसे, before, after, meet, overlap, during, contain), जो पिछले बेंचमार्क में पाए जाने वाले 4–6 संबंधों से कहीं अधिक है।
- एल्गोरिदम TFD-चयनित एट्रिब्यूट्स का उपयोग करके बेस क्वेरीज़ बनाता है और टेम्पोरल बाधाओं (जैसे, WHERE end_date < '2020-01-01') को जोड़ता है।
नेचुरल लैंग्वेज कन्वर्जन (Natural Language Conversion):
- एक LLM (विशेष रूप से GPT-4o) एक SQL-टू-टेक्स्ट ट्रांसलेटर के रूप में कार्य करता है, जो उत्पन्न SQL क्वेरीज़ को विविध प्राकृतिक भाषा के प्रश्नों में परिवर्तित करता है।
- उत्तरों को टेम्पोरल डेटाबेस के विरुद्ध SQL क्वेरीज़ निष्पादित करके प्राप्त किया जाता है, जिससे ग्राउंड-ट्रुथ सटीकता सुनिश्चित होती है।
इम्प्लिसिट मल्टी-हॉप प्रश्न (Implicit Multi-Hop Questions):
- TDBench टेबल्स को संयोजित करने के लिए टेम्पोरल जॉइन्स (Temporal Joins) का उपयोग करता है (जैसे, Olympics और Leaders टेबल्स को जॉइन करना)।
- यह इम्प्लिसिट टेम्पोरल कॉन्टेक्स्ट वाले जटिल प्रश्न बनाता है (जैसे, "5वें विंटर ओलंपिक के दौरान मेजबान देश का राष्ट्रपति कौन था?"), जिसके लिए मॉडल को स्पष्ट तारीखों के बिना कई घटनाओं के माध्यम से तर्क करने की आवश्यकता होती है।

B. नया मूल्यांकन मीट्रिक: टाइम एक्यूरेसी (New Evaluation Metric: Time Accuracy)

व्याख्याओं में मतिभ्रम की समस्या को संबोधित करने के लिए, TDBench टाइम एक्यूरेसी ( $T$ ) पेश करता है:

परिभाषा: यह मॉडल की व्याख्या में दिए गए समय संदर्भों (शुरुआत/अंत की तारीखों) की शुद्धता को मापता है, न कि केवल अंतिम उत्तर को।
सत्यापन (Verification): मॉडल द्वारा बताई गई तारीखें ग्राउंड ट्रुथ (जो डेटाबेस से प्राप्त होती है) से मेल खाती हैं या नहीं, इसे स्वचालित रूप से सत्यापित करने के लिए SQL-आधारित बाधाओं का उपयोग किया जाता है।
स्कोरिंग: यदि किसी प्रश्न के लिए शुरुआत और अंत दोनों तारीखों की आवश्यकता है, तो यदि केवल एक सही है तो मॉडल को आंशिक क्रेडिट (50%) मिलता है।
मीट्रिक: आंसर-टाइम एक्यूरेसी ($AT$) के लिए उत्तर और समय संदर्भ दोनों का सही होना आवश्यक है।

3. प्रमुख योगदान (Key Contributions)

व्यवस्थित बेंचमार्क निर्माण: TDBench डेटाबेस तकनीकों (TFDs, Temporal SQL) का उपयोग करके स्केलेबल, विविध और डोमेन-अज्ञेय (domain-agnostic) QA पेयर्स उत्पन्न करके मैन्युअल प्रयास को समाप्त करता है।
टाइम एक्यूरेसी मीट्रिक: यह एक नया मूल्यांकन आयाम पेश करता है जो एक महत्वपूर्ण विश्वसनीयता समस्या को उजागर करता है: LLMs अक्सर सही उत्तर देने के बावजूद भी समय संदर्भों में मतिभ्रम (hallucinate) करते हैं।
विस्तृत टेम्पोरल कवरेज: एलेन के अलजेब्रा के माध्यम से 13 अलग-अलग टेम्पोरल संबंधों का समर्थन करता है, जो पिछले कार्यों के सीमित सेटों की तुलना में अधिक है।
डोमेन विविधता: विकिपीडिया से आगे बढ़कर कानूनी, पर्यावरणीय, सांस्कृतिक और सिंथेटिक मेडिकल डेटासेट को शामिल करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 8 लोकप्रिय LLMs (GPT-3.5, GPT-4o, Llama3.1-70B, और Qwen2-72B सहित) का टेम्पोरल अलाइनमेंट, रीजनिंग और मल्टी-हॉप कार्यों पर मूल्यांकन किया।

"टाइम एक्यूरेसी" गैप:
- जबकि मॉडल्स ने टेम्पोरल अलाइनमेंट कार्यों (जैसे, विकिपीडिया पर GPT-4o के लिए 73.9%) पर उच्च आंसर एक्यूरेसी ( $A$ ) प्राप्त की, उनकी टाइम एक्यूरेसी ( $T$ ) काफी कम थी।
- $A$ से आंसर-टाइम एक्यूरेसी ($AT$) पर जाने पर प्रदर्शन में औसत गिरावट 21.7% थी। यह प्रकट करता है कि "सही" उत्तरों का एक बड़ा हिस्सा वास्तव में तर्क में तारीखों के मतिभ्रम के कारण अविश्वसनीय है।
टेम्पोरल रीजनिंग प्रदर्शन:
- मॉडल्स ने equal (जैसे, "2025 में") जैसे सरल संबंधों पर सबसे अच्छा प्रदर्शन किया लेकिन contain और overlap जैसे जटिल संबंधों के साथ संघर्ष किया।
- मॉडल्स ने अंत बाधाओं (end constraints) की तुलना में शुरुआत की बाधाओं (start constraints) को बेहतर ढंग से समझा, जो संभवतः LLMs की ऑटो-रिग्रेसिव प्रकृति के कारण है।
मल्टी-हॉप रीजनिंग:
- जैसे-जैसे रीजनिंग हॉप्स की संख्या बढ़ी, प्रदर्शन गिरता गया।
- मतिभ्रम विश्लेषण (Hallucination Analysis): पेपर $H_i$ (हॉप $i$ पर मतिभ्रम दर) पेश करता है। कुछ मॉडल्स (जैसे, GPT-4o) पहले हॉप पर भारी मतिभ्रम करते हैं (गलत घटना की पहचान करना), जबकि अन्य बाद के हॉप्स में विफल होते हैं।
तकनीकों का प्रभाव:
- चेन-ऑफ-थॉट (CoT) और टाइम-CoT ने टेम्पोरल कार्यों के लिए रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) की तुलना में बेहतर प्रदर्शन किया। RAG अक्सर टेम्पोरली मिस-अलाइन्ड डॉक्यूमेंट्स को रिट्रीव करता है (जैसे, 1956 के बारे में पूछे जाने पर 1964 के ओलंपिक की जानकारी रिट्रीव करना)।
- सिंथेटिक डेटा: मॉडल्स ने सिंथेटिक मेडिकल डेटा पर बेहतर प्रदर्शन किया, जो सुझाव देता है कि आंतरिक ज्ञान का हस्तक्षेप (internal knowledge interference) वास्तविक दुनिया के डेटा पर त्रुटियों का एक प्रमुख कारक है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

विश्वसनीयता अंतर्दृष्टि: TDBench वर्तमान LLMs में एक गंभीर खामी को उजागर करता है: वे "क्या" (what) को रिट्रीव कर सकते हैं लेकिन अक्सर "कब" (when) को सटीक रूप से सही ढंग से स्पष्ट करने में विफल रहते हैं। यह उन उच्च-दांव वाले अनुप्रयोगों के लिए महत्वपूर्ण है जहाँ विश्वास और व्याख्यात्मकता सर्वोपरि है।
स्केलेबिलिटी: बेंचमार्क निर्माण को मानव क्यूरेशन से अलग करके, TDBench निरंतर अपडेट की अनुमति देता है। जैसे-जैसे अंतर्निहित डेटाबेस बदलता है (जैसे, एक नया राष्ट्रपति चुना जाता है), बेंचमार्क स्वतः ही रिफ्रेश हो जाता है।
भविष्य की दिशा: यह फ्रेमवर्क कानूनी, चिकित्सा जैसे विशेष डोमेन के मूल्यांकन को सक्षम बनाता है जो पहले विकिपीडिया-केंद्रित बेंचमार्क के माध्यम से अप्राप्य थे, जिससे अधिक मजबूत, डोमेन-विशिष्ट LLM परिनियोजन का मार्ग प्रशस्त होता है।

संक्षेप में, TDBench TSQA मूल्यांकन के प्रतिमान को मैनुअल, टेम्प्लेट-आधारित, केवल-उत्तर परीक्षण से बदलकर स्वचालित, डेटाबेस-ग्राउंडेड, व्याख्या-जागरूक मूल्यांकन की ओर ले जाता है, जो LLMs की टेम्पोरल विश्वसनीयता का आकलन करने के लिए एक अधिक कठोर मानक प्रदान करता है।