🤖 machine learning

SR-TTT: Surprisal-Aware Residual Test-Time Training

SR-TTT एक लॉस-गेटेड स्पार्स मेमोरी मैकेनिज्म पेश करके टेस्ट-टाइम ट्रेनिंग (TTT) लैंग्वेज मॉडल्स की विनाशकारी रिकॉल विफलताओं को संबोधित करता है, जो अत्यधिक आश्चर्यजनक टोकन को एक सटीक-अटेंशन रेसिडुअल कैश में गतिशील रूप से रूट करता है, जिससे महत्वपूर्ण जानकारी के सटीक रिट्रीवल को सक्षम करते हुए O(1) मेमोरी दक्षता को संरक्षित किया जाता है।

मूल लेखक: Swamynathan V P

प्रकाशित 2026-03-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Swamynathan V P

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ SR-TTT पेपर का स्पष्टीकरण दिया गया है, जिसे सरल, रोज़मर्रा की भाषा और कुछ रचनात्मक उपमाओं (analogies) के साथ अनुवादित किया गया है।

बड़ी समस्या: "सुपर-शॉर्ट" मेमोरी (याददाश्त)

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट असिस्टेंट (एक AI) है जो एक ऐसी किताब पढ़ सकता है जो कभी खत्म नहीं होती। जगह बचाने के लिए, एक विशाल व्हाइटबोर्ड पर हर एक शब्द लिखने के बजाय, असिस्टेंट कहानी का सारांश अपने दिमाग में एक छोटी सी नोटबुक (notepad) का उपयोग करके लिखने की कोशिश करता है। इसे टेस्ट-टाइम ट्रेनिंग (TTT) कहा जाता है।

अच्छी खबर: यह तरीका अविश्वसनीय रूप से कुशल है। असिस्टेंट को आगे बढ़ने के लिए बहुत कम मानसिक ऊर्जा (मेमोरी) की आवश्यकता होती है, चाहे किताब कितनी भी लंबी क्यों न हो जाए।
बुरी खबर: क्योंकि नोटबुक बहुत छोटी है, असिस्टेंट नए नोट्स बनाने के लिए पुराने नोट्स को मिटाता रहता है। यदि आप पूछते हैं, "1,000 पन्ने पहले उल्लेखित पात्र का नाम क्या था?" तो असिस्टेंट घबरा जाता है। वे नवीनतम प्लॉट ट्विस्ट के साथ उस विशिष्ट विवरण को पहले ही ओवरराइट (overwrite) कर चुके हैं। यह "नीडल इन अ हेस्टैक" (भूसे के ढेर में सुई ढूँढना) की समस्या है: उबाऊ बैकग्राउंड जानकारी के समुद्र में एक विशिष्ट, दुर्लभ तथ्य को खोजना।

समाधान: SR-TTT (द "सरप्राइज" डिटेक्टिव)

इस पेपर के लेखकों ने SR-TTT (सरप्राइज़ल-अवेयर रेसिडुअल टेस्ट-टाइम ट्रेनिंग) नामक एक नया सिस्टम बनाया है। इसे असिस्टेंट को एक दो-भाग वाली मेमोरी प्रणाली देने के रूप में सोचें:

तेज़ दिमाग (मुख्य TTT): यह वह छोटी नोटबुक है जो कहानी के उबाऊ, अनुमानित हिस्सों (जैसे "सूरज उगा," "वह दुकान पर गया") का सारांश बनाती है। यह मेमोरी के उपयोग को कम रखती है।
विशेष फाइलिंग कैबिनेट (रेसिडुअल कैश): यह "महत्वपूर्ण चीजों" के लिए एक अलग, छोटी शेल्फ है।

असिस्टेंट को कैसे पता चलता है कि फाइलिंग कैबिनेट में क्या जाना चाहिए?

वे एक "सरप्राइज़ल फ़िल्टर" का उपयोग करते हैं। कल्पना कीजिए कि असिस्टेंट किताब पढ़ रहा है और लगातार खुद से पूछ रहा है: "क्या यह नई जानकारी चौंकाने वाली है?"

यदि वाक्य अनुमानित है (जैसे, "बिल्ली चटाई पर बैठी है"), तो असिस्टेंट इसे अनदेखा कर देता है और बस छोटी नोटबुक को अपडेट करता है।
यदि वाक्य चौंकाने वाला या अनोखा है (जैसे, "बिल्ली का नाम ज़ोरगोन है और वह वास्तव में एक जासूस है"), तो असिस्टेंट का दिमाग कहता है, "ओह! यह अजीब है! मैं इसका सारांश नहीं बना सकता; मुझे इसे ठीक से याद रखना होगा।"

जब असिस्टेंट किसी "सरप्राइज़िंग" चीज़ का पता लगाता है, तो वे तुरंत उस विशिष्ट विवरण को पकड़ लेते हैं और उसे छोटी नोटबुक को पूरी तरह से बायपास करके विशेष फाइलिंग कैबिनेट में फाइल कर देते हैं। बाद में, जब आप सवाल पूछते हैं, तो असिस्टेंट पहले फाइलिंग कैबिनेट की जाँच करता है। यदि उत्तर वहां है, तो वे उसे पूरी तरह से निकाल लेते हैं। यदि नहीं, तो वे अपने तेज़ दिमाग के सारांश का उपयोग करते हैं।

गुप्त नुस्खा (Secret Sauce): "दो-चरणों वाली" ट्रेनिंग

पेपर में "कोल्ड स्टार्ट नॉइज़" नामक एक कठिन समस्या का उल्लेख है।

कल्पना कीजिए कि आपने एक नए इंटर्न को काम पर रखा और उसे बताया, "आपके पास एक फाइलिंग कैबिनेट है, लेकिन आपके पास एक छोटी नोटबुक भी है। महत्वपूर्ण चीजों के लिए कैबिनेट का उपयोग करें।"
शुरुआत में, इंटर्न भ्रमित है। उसे अभी तक यह नहीं पता कि "महत्वपूर्ण" क्या है। सुरक्षित रहने के लिए, वह कैबिनेट का उपयोग करने से पूरी तरह से इनकार कर देता है और केवल नोटबुक का उपयोग करता है। कैबिनेट खाली और बेकार रहता है।

इसे ठीक करने के लिए, लेखकों ने एक दो-चरणों वाली ट्रेनिंग योजना का उपयोग किया:

चरण 1 (बुनियादी बातें): वे इंटर्न को पहले नोटबुक का उपयोग करना सिखाते हैं। वे कुछ समय के लिए फाइलिंग कैबिनेट को पूरी तरह से अनदेखा करते हैं ताकि इंटर्न कहानी का सारांश बनाना सीख सके।
चरण 2 (विशेषज्ञता): एक बार जब इंटर्न सारांश बनाने में अच्छा हो जाता है, तो वे उस कौशल को "फ्रीज" कर देते हैं और इंटर्न को केवल फाइलिंग कैबिनेट पर ध्यान केंद्रित करने के लिए मजबूर करते हैं। अब, इंटर्न को एहसास होता है, "ओह! मुझे सही उत्तर प्राप्त करने के लिए इस कैबिनेट का उपयोग करने की आवश्यकता है!" और वह अंततः "सरप्राइजिंग" वस्तुओं को सही ढंग से फाइल करना शुरू कर देता है।

परिणाम

जब उन्होंने इस नए सिस्टम का परीक्षण किया:

पुराना सिस्टम: यदि "सुई" (विशिष्ट तथ्य) किताब के बीच में थी, तो पुराना सिस्टम उसे 100% बार भूल जाता था।
SR-TTT सिस्टम: क्योंकि इसने तथ्य को "सरप्राइजिंग" के रूप में पहचाना और उसे फाइल कर दिया, इसलिए इसने इसे 33% से 37% बार याद रखा (लगभग शून्य से एक बड़ी छलांग)।

कमी (सीमाएं)

पेपर स्वीकार करता है कि यह अभी भी पूर्ण नहीं है:

आकार: उन्होंने इसे एक छोटे मॉडल पर टेस्ट किया। हमें नहीं पता कि क्या यह एक विशाल, बिलियन-पैरामीटर वाले दिमाग पर भी उतना ही अच्छा काम करेगा।
"दीवार" (The Wall): यदि आप उस किताब से दोगुना लंबा कुछ पढ़ने की कोशिश करते हैं जिस पर उन्होंने अभ्यास किया था, तो सिस्टम क्रैश हो जाता है। यह एक ऐसे GPS की तरह है जो आपके शहर में तो बहुत अच्छा काम करता है लेकिन अगर आप दूसरे देश में ड्राइव करने निकल जाएं तो खो जाता है क्योंकि मैप के कोऑर्डिनेट्स मैच नहीं होते।
पूरा कैबिनेट: यदि "विशेष फाइलिंग कैबिनेट" बहुत भर जाता है, तो इसे पुरानी चीजें बाहर फेंकनी पड़ती हैं। वर्तमान में, यह केवल सबसे पुरानी चीजों को बाहर फेंकता है (एक मानक कूड़ेदान की तरह), जिससे गलती से कोई महत्वपूर्ण पुराना तथ्य भी बाहर जा सकता है।

संक्षेप में

SR-TTT AI को एक "सुपर मेमोरी" देने का एक स्मार्ट तरीका है बिना इसे धीमा या महंगा बनाए। यह काम करता है क्योंकि यह AI को उबाऊ चीजों को अनदेखा करने देता है लेकिन स्वचालित रूप से किसी भी अजीब या महत्वपूर्ण चीज़ को फ्लैग और सेव करता है, जिससे यह सुनिश्चित होता है कि वह भूसे के ढेर में मौजूद "सुइयों" को न भूले।

यहाँ शोध पत्र "SR-TTT: Surprisal-Aware Residual Test-Time Training" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

संदर्भ (Context): लार्ज लैंग्वेज मॉडल्स (LLMs) पारंपरिक रूप से ट्रांसफॉर्मर के की-वैल्यू (KV) कैश की $O(N)$ मेमोरी और $O(N^2)$ कंप्यूटेशनल कॉम्प्लेक्सिटी द्वारा सीमित होते हैं। टेस्ट-टाइम ट्रेनिंग (TTT) एक समाधान प्रदान करता है जो स्पष्ट KV कैश के स्थान पर इन्फरेंस के दौरान सेल्फ-सुपरवाइज्ड लर्निंग के माध्यम से अपडेट होने वाले "फास्ट वेट्स" ( $W_{fast}$ ) का उपयोग करता है, जिससे $O(1)$ मेमोरी फुटप्रिंट और सैद्धांतिक रूप से अनंत कॉन्टेक्स्ट विंडो प्राप्त होती है।

मुख्य समस्या (The Core Issue): शुद्ध TTT आर्किटेक्चर सटीक रिकॉल (exact-recall) कार्यों (जैसे, "Needle-in-a-Haystack") पर कैटास्ट्रोफिक रिकॉल फेलियर (catastrophic recall failures) का शिकार होते हैं।

विफलता का तंत्र (Mechanism of Failure): फास्ट वेट्स पूरे कॉन्टेक्स्ट को एक इंफॉर्मेशन बॉटलनेक में आक्रामक रूप से कंप्रेस कर देते हैं। अत्यधिक आश्चर्यजनक या अद्वितीय टोकन (जैसे विशिष्ट ID या नाम, जिन्हें "नीडल" कहा जाता है) बाद के उच्च-आवृत्ति वाले बैकग्राउंड टोकन्स के ग्रेडिएंट अपडेट द्वारा तेजी से ओवरराइट और भुला दिए जाते हैं।
वर्तमान सीमाएँ (Current Limitations): मौजूदा हाइब्रिड दृष्टिकोण अक्सर फिक्स्ड स्लाइडिंग विंडो या अटेंशन-स्कोर ह्यूरिस्टिक्स पर निर्भर करते हैं, जिनमें कंप्रेसिबल बैकग्राउंड नॉइज़ और इनकंप्रेसिबल क्रिटिकल इंफॉर्मेशन के बीच अंतर करने के लिए किसी सिद्धांत आधारित, सेल्फ-सुपरवाइज्ड सिग्नल की कमी होती है।

2. कार्यप्रणाली: SR-TTT आर्किटेक्चर (Methodology: SR-TTT Architecture)

लेखक SR-TTT (Surprisal-Aware Residual Test-Time Training) का प्रस्ताव करते हैं, जो एक हाइब्रिड आर्किटेक्चर है जो सटीक रिकॉल को बनाए रखने के लिए एक लॉस-गेटेड स्पार्स मेमोरी मैकेनिज्म को एकीकृत करते हुए TTT के $O(1)$ मेमोरी लाभों को बनाए रखता है।

मुख्य घटक (Key Components):

TTT बैकबोन (TTT Backbone): मानक TTT मॉडल जो सीक्वेंस हिस्ट्री को समराइज़ करने के लिए फास्ट वेट्स को अपडेट करता है।
सरप्राइज़ल फ़िल्टर (Surprisal Filter - रूटिंग मैकेनिज्म):
- अटेंशन स्कोर के बजाय, SR-TTT इनकंप्रेसिबिलिटी के संकेत के रूप में TTT इनर-लूप रिकंस्ट्रक्शन लॉस ( $L_t = \|z_t - v_t\|^2$ ) का उपयोग करता है।
- एक टोकन को तब "सरप्राइजिंग" (और इस प्रकार मेमोरी में रूट करने योग्य) माना जाता है जब वह दोहरी शर्त को पूरा करता है:
  - प्रति-टोकन लॉस एक EMA-स्मूथ थ्रेशोल्ड ( $\tau_{EMA}$ ) से अधिक हो।
  - टोकन वाले स्थानीय चंक (local chunk) का औसत लॉस एक आनुपातिक थ्रेशोल्ड ( $0.8 \cdot \tau_{EMA}$ ) से अधिक हो।
रेसिड्यूअल कैश (Residual Cache):
- फ्लैग किए गए टोकन्स (विशेष रूप से उनके पोस्ट-RoPE Keys और Values) को एक निश्चित क्षमता वाले रेसिड्यूअल कैश में स्टोर किया जाता है।
- यह कैश एक समानांतर मेमोरी ट्रैक के रूप में कार्य करता है, जो क्रिटिकल टोकन्स के लिए रिकरेंट बॉटलनेक को बायपास करता है।
- यह एक प्रायोरिटी-बेस्ड इविक्शन पॉलिसी का उपयोग करता है।
अल्फा फ्यूजन गेट (Alpha Fusion Gate):
- TTT बैकबोन और कैश अटेंशन के आउटपुट को एक सीखे गए गेट वेक्टर $\alpha$ के माध्यम से फ्यूज किया जाता है:
  $\text{Output} = \text{TTT}(x) + \alpha \cdot \text{CacheAttention}(x)$
- स्थिरता नवाचार (Stability Innovation): सिग्मॉइड गेटिंग में होने वाली "डाइंग ग्रेडिएंट्स" की समस्या को रोकने के लिए, लेखक एक डायरेक्ट क्लैम्प पैरामीट्राइजेशन ( $\alpha = \text{clamp}(\theta_{gate}, 0, \alpha_{max})$ ) का उपयोग करते हैं ताकि कैश इंटीग्रेशन के दौरान स्थिर ग्रेडिएंट फ्लो सुनिश्चित किया जा सके।

ट्रेनिंग स्ट्रैटेजी: टू-स्टेज करिकुलम (Training Strategy: Two-Stage Curriculum)

डायरेक्ट एंड-टू-एंड ट्रेनिंग "कोल्ड स्टार्ट नॉइज़" (Cold Start Noise) के कारण विफल हो जाती है। शुरुआती ट्रेनिंग में, TTT बैकबोन अनकैलिब्रेटेड रिप्रेजेंटेशन उत्पन्न करता है, जिससे नेटवर्क $\alpha$ गेट्स को 0.0 करने के लिए मजबूर होकर लॉस को कम करने की कोशिश करता है (जो प्रभावी रूप से कैश को डिसेबल कर देता है)।

चरण 1 (स्टेप्स 1–7,000): रेसिड्यूअल कैश को डिसेबल करके बेस TTT बैकबोन को ट्रेन करें।
चरण 2 (स्टेप्स 7,001–10,000): बैकबोन के पैरामीटर्स को फ्रीज करें और कैश को इनेबल करें। यह नेटवर्क को शेष लॉस को कम करने के लिए विशेष रूप से $\alpha$ मॉड्यूल के माध्यम से ग्रेडिएंट्स को रूट करने के लिए मजबूर करता है, जिससे गेट्स सफलतापूर्वक "खुल" जाते हैं।

3. मुख्य योगदान (Key Contributions)

सरप्राइज़ल-अवेयर रूटिंग (Surprisal-Aware Routing): हेयुरिस्टिक अटेंशन स्कोर के बजाय, TTT लूप के अपने रिकंस्ट्रक्शन लॉस का उपयोग करके इनकंप्रेसिबल टोकन्स की पहचान करने के लिए एक नया तरीका पेश करता है।
हाइब्रिड $O(1)$ आर्किटेक्चर (Hybrid $O(1)$ Architecture): यह प्रदर्शित करता है कि एक स्पार्स, पैरेलल रेसिड्यूअल कैश का उपयोग करके, अनंत-कॉन्टेक्स्ट मॉडल्स में सटीक रिकॉल प्राप्त किया जा सकता है, बिना TTT के $O(1)$ एसिम्प्टोटिक मेमोरी लाभों से समझौता किए।
करिकुलम लर्निंग समाधान (Curriculum Learning Solution): "कोल्ड स्टार्ट" समस्या को हल करने के लिए एक टू-स्टेज करिकुलम का प्रस्ताव करता है, जो उन मेमोरी मॉड्यूल्स के डायनेमिक इंटीग्रेशन को सक्षम बनाता है जिन्हें अन्यथा ट्रेनिंग के दौरान अनदेखा कर दिया जाता।
ओपन सोर्स इम्प्लीमेंटेशन (Open Source Implementation): पुनरुत्पादकता (reproducibility) को सुगम बनाने के लिए पूर्ण कोड, ट्रेनिंग स्क्रिप्ट और प्री-ट्रेन्ड वेट्स प्रदान करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन TinyStories डेटासेट का उपयोग करके एक Needle-in-a-Haystack कार्य पर किया गया, जिसमें लो-एन्ट्रॉपी बैकग्राउंड में एक 8-कैरेक्टर अल्फ़ान्यूमेरिक नीडल एम्बेडेड थी।

मॉडल स्पेसिफिकेशन: 15.8M पैरामीटर्स, 4 लेयर्स, $d_{model}=256$ , सीक्वेंस लेंथ 2048 पर प्रशिक्षित।
परफॉरमेंस गेन्स (डेप्थ 0.50 और 0.75 पर):
- डेप्थ 0.50: एक्सैक्ट मैच (Exact Match) 10% (Pure TTT) से बढ़कर 33% (SR-TTT) (+23%) हुआ।
- डेप्थ 0.75: एक्सैक्ट मैच 17% (Pure TTT) से बढ़कर 37% (SR-TTT) (+20%) हुआ।
मैकेनिज्म वैलिडेशन (Mechanism Validation): विश्लेषण ने पुष्टि की कि टू-स्टेज करिकुलम ने गहरे सेमेंटिक लेयर्स में $\alpha$ गेट्स को लगभग 10% तक खोलने में सफलता प्राप्त की, जो चयनात्मक रूटिंग हाइपोथीसिस को प्रमाणित करता है।
फेल्योर केस (RoPE): दोनों आर्किटेक्चर 4096 के कॉन्टेक्स्ट लेंथ पर कोलैप्स हो गए (0% एक्सैक्ट मैच)। इसका कारण रोटरी पोजीशन एम्बेडिंग (RoPE) एक्सट्रपलेशन सीमाएं हैं, न कि स्वयं SR-TTT मैकेनिज्म, क्योंकि मॉडल केवल 2048 की लंबाई पर प्रशिक्षित थे।

5. सीमाएं (Limitations)

स्केल (Scale): प्रयोग छोटे पैमाने (15.8M पैरामीटर्स) पर किए गए थे। यह सिद्ध नहीं हुआ है कि सरप्राइज़ल थ्रेशोल्ड और करिकुलम बिलियन-पैरामीटर मॉडल्स पर कैसे ट्रांसफर होते हैं।
पोजीशनल एक्सट्रपलेशन (Positional Extrapolation): RoPE सीमाओं के कारण मॉडल अपनी ट्रेनिंग लेंथ (2048) से परे ज़ीरो-शॉट इन्फरेंस नहीं कर सकता है।
इविक्शन पॉलिसी (Eviction Policy): रेसिड्यूअल कैश में वर्तमान प्रायोरिटी-बेस्ड इविक्शन, अत्यधिक कॉन्टेक्स्ट वॉल्यूम के तहत स्टैंडर्ड FIFO व्यवहार में गिर सकता है, जिससे महत्वपूर्ण शुरुआती नीडल्स हट सकते हैं। मजबूती के लिए एक 'लर्न्ड इविक्शन पॉलिसी' की आवश्यकता है।

6. महत्व और भविष्य का कार्य (Significance and Future Work)

SR-TTT एक मजबूत प्रूफ-ऑफ-कॉन्सेप्ट प्रदान करता है कि सटीक रिकॉल (exact recall) और अनंत कॉन्टेक्स्ट कंप्रेशन (infinite context compression) परस्पर अनन्य (mutually exclusive) नहीं हैं। मेमोरी रिटेंशन के लिए मॉडल के अपने रिकंस्ट्रक्शन एरर का उपयोग करके, यह हेयुरिस्टिक-आधारित हाइब्रिड अटेंशन के लिए एक सिद्धांत आधारित विकल्प प्रदान करता है।

भविष्य की दिशाएं:

RoPE एक्सट्रपलेशन दीवारों को पार करने के लिए YaRN या Dynamic NTK interpolation को लागू करना।
हेयुरिस्टिक इविक्शन को लर्न्ड स्कोरिंग मैकेनिज्म (TRIM-KV से प्रेरित) से बदलना।
सामान्यीकरण (generalizability) को मान्य करने के लिए बड़े मॉडल्स और लंबे कॉन्टेक्स्ट के साथ स्केल प्रयोग करना।