The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations
यह शोध पत्र प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स में टेम्पोरल नॉलेज ड्रिफ्ट (सामयिक ज्ञान विचलन) रेसिडुअल स्ट्रीम में एक ज्यामितीय रूप से ऑर्थोगोनल दिशा के रूप में एनकोड होता है, जो मौजूदा अनिश्चितता-आधारित पहचान विधियों को अप्रभावी बनाता है और यह भी दर्शाता है कि एक सरल लीनियर प्रोब मॉडल की आंतरिक ज्ञान अवस्था तक सीधे पहुँचकर पुराने हो चुके सूचनाओं की विश्वसनीय रूप से पहचान कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द ज्योमेट्री ऑफ फॉरगेटिंग (विस्मृति की ज्यामिति) का स्पष्टीकरण
बड़ी समस्या: आत्मविश्वास से भरा पुराना AI
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (एक AI) से 2025 में किसी देश के वर्तमान राष्ट्रपति के बारे में सवाल पूछते हैं। यदि उस लाइब्रेरियन को 2022 में प्रकाशित किताबों पर प्रशिक्षित किया गया था, तो वह आपको उस व्यक्ति का नाम बता सकता है जिसने 2022 में वह पद संभाला था।
डरावनी बात क्या है? लाइब्रेरियन इस पुराने तथ्य के बारे में भी उतनी ही स्पष्टता, प्रवाह और आत्मविश्वास के साथ बोलेगा जितना कि वह किसी नए तथ्य के बारे में बोलता है। "हैलुसिनेशन" (झूठ या मनगढ़ंत उत्तर) का पता लगाने के लिए उपयोग किए जाने वाले वर्तमान उपकरण भ्रम के संकेतों, जैसे कि हकलाना या कम आत्मविश्वास को खोजते हैं। लेकिन चूंकि लाइब्रेरियन आत्मविश्वास के साथ गलत है, इसलिए ये उपकरण गलती पकड़ने में विफल रहते हैं। वे सोचते हैं, "ओह, वे इतने सुनिश्चित लग रहे हैं, तो वे सही ही होंगे।"
खोज: एक छिपा हुआ "टाइम स्विच" (समय का स्विच)
इस शोध पत्र के शोधकर्ताओं ने पाया कि यह कोई बग नहीं है; बल्कि यह एक संरचनात्मक विशेषता है कि ये AI मस्तिष्क कैसे काम करते हैं।
AI के आंतरिक मस्तिष्क की कल्पना एक विशाल, बहु-आयामी (multi-dimensional) कमरे के रूप में करें।
- एक्सिस A (सत्यता/Correctness): कमरे की एक दिशा AI को बताती है, "क्या यह उत्तर सत्य है या असत्य?"
- एक्सिस B (आत्मविश्वास/Confidence): दूसरी दिशा AI को बताती है, "मैं कितना निश्चित हूँ?"
- एक्सिस C (समय विचलन/Time Drift): शोधकर्ताओं ने एक तीसरी, छिपी हुई दिशा खोजी जो पहली दो दिशाओं से पूरी तरह अलग है। यह एक्सिस केवल एक विशिष्ट चीज़ को ट्रैक करती है: "क्या मेरे प्रशिक्षण के बाद से वास्तविक दुनिया बदल गई है?"
मुख्य निष्कर्ष यह है कि यह "टाइम ड्रिफ्ट" एक्सिस "सत्यता" और "आत्मविश्वास" के एक्सिस से ज्यामितीय रूप से ऑर्थोगोनल (geometrically orthogonal) (एक पूर्ण 90-डिग्री के कोण पर) है।
उपमा: कल्पना कीजिए कि आप एक रूलर (पैमाने) का उपयोग करके कमरे के तापमान को मापने की कोशिश कर रहे हैं। आप रूलर में कितनी भी मेहनत से क्यों न देख लें, आपको तापमान कभी नहीं मिलेगा क्योंकि तापमान एक पूरी तरह से अलग आयाम (dimension) में मौजूद है। इसी तरह, क्योंकि "टाइम ड्रिफ्ट" आत्मविश्वास या सत्यता के आयाम से अलग एक अलग आयाम पर मौजूद है, इसलिए कोई भी उपकरण जो केवल आत्मविश्वास या सत्यता की जांच करता है, वह इस तथ्य के प्रति अंधा है कि AI का ज्ञान पुराना हो चुका है।
प्रयोग: "टाइम ड्रिफ्ट" को पकड़ना
शोधकर्ताओं ने एक नया टूल (एक "लीनियर प्रोब") बनाया जो विशेष रूप से उस छिपे हुए "टाइम ड्रिफ्ट" एक्सिस को खोजने के लिए डिज़ाइन किया गया था।
- डेटासेट: उन्होंने उन तथ्यों के बारे में एक विशाल परीक्षण बनाया जो समय के साथ बदलते रहते हैं (जैसे कि कौन किसी स्पोर्ट्स टीम को कोच करता है या कौन सरकार का नेतृत्व करता है)। उन्हें ठीक से पता था कि "वास्तविक दुनिया" का उत्तर कब बदला।
- परिणाम:
- पुराने उपकरण: जब उन्होंने मौजूदा तरीकों (भ्रम या कम आत्मविश्वास की जांच करना) का उपयोग किया, तो उन उपकरणों का प्रदर्शन सिक्का उछालने (लगभग 50% सटीकता) से बेहतर नहीं था। वे एक आत्मविश्वासी झूठ और एक आत्मविश्वासी पुराने तथ्य के बीच अंतर नहीं कर सके।
- नया टूल: उनका नया "टाइम ड्रिफ्ट" डिटेक्टर शानदार रहा, जिसने 83% से 95% सटीकता हासिल की। यह सटीक रूप से पहचान सका कि AI कब पुरानी खबरें सुना रहा था।
पुराने तरीके क्यों विफल होते हैं: "रिट्रीवल सर्किट"
यह पेपर यह समझाने के लिए गहराई में जाता है कि AI ऐसा व्यवहार क्यों करता है। उन्होंने AI की आंतरिक मशीनरी (MLP रिट्रीवल सर्किट) को देखा।
उन्होंने पाया कि जब AI एक पुराने तथ्य को पुनः प्राप्त करता है (स्टेल रिकॉल/Stale Recall) और जब वह एक फर्जी तथ्य मनगढ़ंत बनाता है (कॉन्फैबुलेशन/Confabulation), तो उनके आंतरिक विद्युत संकेत (electrical signals) लगभग एक जैसे दिखते हैं।
- उपमा: कल्पना कीजिए कि दो अलग-अलग ड्राइवर किराने की दुकान तक जाने के लिए बिल्कुल एक ही रास्ते पर जा रहे हैं। एक वास्तव में दुकान पर मौजूद दुकान पर जा रहा है (सही)। दूसरा एक ऐसी कार चला रहा है जो 2022 के ट्रैफिक जाम में फंसी हुई है (पुराना/Stale)। एक पर्यवेक्षक जो GPS संकेतों को देख रहा है, उसे लगेगा कि दोनों कारें बिल्कुल एक जैसा काम कर रही हैं। AI का आंतरिक "इंजन" अंतर नहीं जानता कि "मैंने एक पुराना तथ्य पाया" और "मैंने यह मनगढ़ंत बनाया" के बीच क्या अंतर है। वह बस एक ही सिग्नल भेजता है।
"क्रॉस-कटऑफ" प्रमाण
यह साबित करने के लिए कि AI वास्तव में अपने प्रशिक्षण की तारीख को "याद" कर रहा है (न कि केवल प्रश्न के शब्दों पर प्रतिक्रिया दे रहा है), शोधकर्ताओं ने एक चतुर परीक्षण किया:
- उन्होंने बिल्कुल एक ही प्रश्न (बाइट-दर-बाइट समान) को दो अलग-अलग AI को दिया।
- AI A को 2022 में प्रशिक्षित किया गया था।
- AI B को 2024 में प्रशिक्षित किया गया था।
- उन्होंने एक ऐसी घटना के बारे में पूछा जो 2023 में बदली थी।
परिणाम: 2022 वाले AI का "टाइम ड्रिफ्ट" डिटेक्टर बज उठा (चिल्लाकर कह रहा था "यह पुराना है!"), जबकि 2024 वाले AI का डिटेक्टर शांत रहा (कह रहा था "यह वर्तमान है!")। चूंकि प्रश्न बिल्कुल समान था, केवल AI की आंतरिक मेमोरी ही बदली थी। इसने साबित कर दिया कि डिटेक्टर AI की आंतरिक "ज्ञान अवस्था" (knowledge state) को पढ़ रहा है, न कि प्रश्न को।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि टेम्पोरल ड्रिफ्ट (समय विचलन) लार्ज लैंग्वेज मॉडल्स के भीतर एक विशिष्ट, छिपा हुआ आयाम है।
- क्योंकि यह आत्मविश्वास के आयाम से अलग एक छिपे हुए एक्सिस पर है, हम केवल यह देखकर कि AI कितना सुनिश्चित लग रहा है, पुराने उत्तरों का पता नहीं लगा सकते।
- इसे ठीक करने के लिए, हमें ऐसे नए उपकरणों की आवश्यकता है जो विशेष रूप से इस "टाइम ड्रिफ्ट" एक्सिस को देखते हैं, बजाय इसके कि हम केवल समस्या को ठीक करने के लिए AI को अधिक "अनिश्चित" बनाने की कोशिश करें।
संक्षेप में: AI भ्रमित नहीं है; यह बस अतीत में अटका हुआ है, और यह उस तथ्य को अपने मस्तिष्क के एक ऐसे हिस्से में छिपा रहा है जिसे हमारे वर्तमान उपकरण देख नहीं सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।