💻 computer science

Thought-Aware KV Cache Compaction for Reasoning via Adaptive Attention Matching

यह शोध पत्र थॉट-अवेयर अटेंशन मैचिंग (TAM) का प्रस्ताव करता है, जो एक नवीन KV कैश संपीड़न विधि है जो एडेप्टिव बजट एलोकेशन और पिवोटल टोकन प्रोटेक्शन के माध्यम से चेन-ऑफ-थॉट रीजनिंग की पदानुक्रमित संरचना का लाभ उठाती है ताकि यूनिफॉर्म कंप्रेशन की तुलना में सटीकता को बनाए रखते हुए या उसमें सुधार करते हुए मेमोरी उपयोग को महत्वपूर्ण रूप से कम किया जा सके।

मूल लेखक: Yang Liu, Bin Chong, Chongyang Zhang, Hao Zheng, Jiayu Liang, Xu Kefu

प्रकाशित 2026-08-14

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yang Liu, Bin Chong, Chongyang Zhang, Hao Zheng, Jiayu Liang, Xu Kefu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही कठिन पहेली को हल करने की कोशिश कर रहे हैं, लेकिन आपके पास एक बहुत सख्त नियम है: आप अपने सामने केवल कुछ ही स्टिकी नोट्स (sticky notes) रख सकते हैं ताकि आप अपने सुरागों को याद रख सकें। जैसे-जैसे आप काम करते हैं, आपका मस्तिष्क विचारों की एक लंबी श्रृंखला उत्पन्न करता है, एक "चेन ऑफ थॉट" (chain of thought), जहाँ आप हर कदम, हर अनुमान और हर गलत रास्ते को लिखते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "स्टिकी नोट्स" एक KV कैश (KV cache) कहलाते हैं। यह कंप्यूटर का अब तक कही गई हर बात को याद रखने का तरीका है ताकि वह अपनी बात जारी रख सके।

समस्या यह है कि कठिन गणितीय समस्याओं को हल करने के लिए कोशिश कर रहे बहुत बुद्धिमान AI मॉडल के लिए, यह 'चेन ऑफ थॉट' अविश्वसनीय रूप से लंबी हो जाती है। स्टिकी नोट्स का ढेर इतना बड़ा हो जाता है कि यह कंप्यूटर की मेमोरी को खत्म कर देता है, जिससे AI क्रैश हो जाता है या बहुत धीमा हो जाता है। इसे ठीक करने के लिए, वैज्ञानिकों ने कैश को "कंपैक्ट" (compact) करने की कोशिश की है—यानी, जगह बनाने के लिए कम महत्वपूर्ण नोट्स को फेंक देना। लेकिन समस्या यह है कि पुराने तरीके हर नोट को समान रूप से महत्वपूर्ण मानते हैं। वे बस कुछ नोट्स उठाते हैं और बाकी को फेंक देते हैं, जैसे किसी कमरे की सफाई करते समय टीवी न दिखने वाली हर चीज़ को फेंक देना। ऐसा करने से वे उन महत्वपूर्ण सुरागों को फेंक देते हैं जो पहेली को सुलझाने के लिए आवश्यक होते हैं, जिससे AI भ्रमित हो जाता है और काम पूरा करने में असमर्थ हो जाता है।

यह पेपर थॉट-अवेयर अटेंशन मैचिंग (Thought-Aware Attention Matching - TAM) नामक एक नया, स्मार्ट तरीका पेश करता है। AI के विचारों को एक सपाट, उबाऊ शब्दों की सूची के रूप में देखने के बजाय, TAM यह समझता है कि तर्क (reasoning) की एक संरचना होती है। यह एक कहानी की तरह है जिसमें अध्याय होते हैं: कुछ अध्याय रोमांचक मोड़ और मुख्य तथ्य हैं, जबकि अन्य केवल जंगल में भटकते हुए पात्र के समान हैं। TAM यह पता लगाता है कि कौन से हिस्से "प्लॉट ट्विस्ट" हैं और कौन से "भटकने" वाले हैं, और यह केवल भटकने वाले हिस्सों को हटा देता है। ऐसा करके, यह सबसे महत्वपूर्ण यादों को सुरक्षित रखता है और बाकी को छोटा कर देता है, जिससे AI बिना मेमोरी खत्म हुए जटिल समस्याओं को हल करने में सक्षम होता है।

समस्या: AI के मस्तिष्क में मेमोरी लीक

जब एक AI मॉडल गणित की समस्या हल करने की कोशिश करता है, तो वह केवल उत्तर नहीं देता। वह ज़ोर से सोचता है, जिसे "चेन ऑफ थथ" (chain of thought) कहा जाता है। इस सोच को ट्रैक करने के लिए, मॉडल भारी मात्रा में डेटा स्टोर करता है जिसे KV कैश (KV cache) कहते हैं। इस कैश को एक बैकपैक की तरह समझें जो AI द्वारा लिखे गए हर शब्द के साथ भारी होता जाता है। यदि AI एक कठिन समस्या हल कर रहा है, तो बैकपैक इतना भारी हो सकता है कि वह कंप्यूटर की मेमोरी को तोड़ दे, जिससे AI को रुकने के लिए मजबूर होना पड़ता है।

वैज्ञानिकों ने इसे "कंपैक्ट" करके—यानी, बैकपैक से कुछ पुरानी चीजें फेंककर—इसे हल्का बनाने की कोशिश की है। हालाँकि, पिछले तरीके एक अनाड़ी सफाईकर्मी की तरह थे: वे बैकपैक को देखते और कहते, "ठीक है, मैं 10% चीजें रखूँगा और बाकी फेंक दूँगा," बिना यह परवाह किए कि वे चीजें वास्तव में क्या थीं। उन्होंने एक महत्वपूर्ण गणितीय सूत्र को एक बेकार "उम, मुझे सोचने दो" वाले विराम के समान माना। यह "यूनिफॉर्म" (एकसमान) दृष्टिकोण अक्सर सबसे महत्वपूर्ण सुरागों को फेंक देता था, जिससे AI गलतियाँ करता था या समस्या को हल करने में विफल रहता था।

समाधान: एक स्मार्ट लाइब्रेरियन

इस शोध पत्र के लेखक थॉट-अवेयर अटेंशन मैचिंग (TAM) नामक एक नई विधि प्रस्तावित करते हैं। एक अनाड़ी सफाईकर्मी होने के बजाय, TAM एक स्मार्ट लाइब्रेरियन की तरह काम करता है जिसे पता है कि कौन सी किताबें क्लासिक हैं और कौन सी केवल पुरानी पत्रिकाएँ हैं।

TAM यह समझने के काम आता है कि 'चेन ऑफ थॉट' केवल शब्दों की एक यादृच्छिक सूची नहीं है; यह एक संरचित यात्रा है। यह AI की विचार प्रक्रिया को "थॉट सेगमेंट" (thought segments) में विभाजित करता है—जैसे एक पुस्तक के अध्याय। कुछ अध्याय महत्वपूर्ण होते हैं (जैसे समस्या को परिभाषित करना या कोई प्रमुख संख्या खोजना), जबकि अन्य मृत अंत (dead ends) होते हैं (जैसे एक गलत रास्ते को आज़माना और यह महसूस करना कि वह काम नहीं करता)।

यहाँ बताया गया है कि TAM तीन चरणों में अपना जादू कैसे करता है:

कहानी का विभाजन (Segmenting the Story): TAM AI के आउटपुट को देखता है और विचारों के बीच प्राकृतिक अंतराल पाता है। यह विचारों को प्रबंधनीय टुकड़ों में विभाजित करने के लिए सरल नियमों का उपयोग करता है, जैसे कि डबल लाइन ब्रेक (जहाँ AI एक नया पैराग्राफ शुरू करता है) को देखना।
अनुकूली बजटिंग (Adaptive Budgeting): यह सबसे चतुर हिस्सा है। TAM पूछता है, "यह टुकड़ा कितना महत्वपूर्ण है?" यह मापता है कि AI के वर्तमान विचार प्रत्येक सेगमेंट पर कितने निर्भर हैं। यदि कोई सेगमेंट एक "डेड एंड" है जिससे AI आगे बढ़ चुका है, तो TAM उसे बहुत छोटा बजट देता—वह उसे बहुत अधिक कंप्रेस करता है, यानी उसके विवरणों को ज़्यादा फेंक देता है। यदि कोई सेगमेंट एक "की एंकर" (key anchor) है (जैसे मूल समस्या कथन), तो TAM उसे एक बड़ा बजट देता है, लगभग सभी विवरणों को सुरक्षित रखता है। यह एक यात्रा के लिए पैकिंग करने जैसा है: आप अपने पासपोर्ट और वॉलेट को सुरक्षित रखते हैं, लेकिन जगह बचाने के लिए आप अपने मोज़े और टी-शर्ट को दबा सकते हैं।
एंकरों की सुरक्षा (Protecting the Anchors): कभी-कभी, कुछ शब्द इतने महत्वपूर्ण होते हैं कि उन्हें कभी भी छुआ नहीं जाना चाहिए। TAM इन "पिवोटल टोकन्स" (pivotal tokens) की पहचान करता है—वे शब्द जिन्हें AI बार-बार देखता है, जैसे कि कोई स्थिरांक (constant) या महत्वपूर्ण परिभाषा—और उन्हें एक विशेष सुरक्षित क्षेत्र में लॉक कर देता है जिसे हटाया नहीं जा सकता।

उन्होंने क्या पाया: छोटा नहीं, बल्कि स्मार्ट

शोधकर्ताओं ने इस नए तरीके का परीक्षण दो कठिन गणितीय बेंचमार्क पर किया: AIME 2024 (30 कठिन समस्याओं वाली एक प्रतियोगिता) और MATH-500 (500 समस्याओं का एक सेट)। उन्होंने यह देखने के लिए कि क्या TAM पुराने तरीकों की तुलना में कम मेमोरी का उपयोग करते हुए इन समस्याओं को हल कर सकता है, Qwen3-4B नामक एक मॉडल का उपयोग किया।

परिणाम उत्साहजनक थे। जब उन्होंने TAM की तुलना पुराने "यूनिफॉर्म" तरीके (जो केवल यादृच्छिक टुकड़ों को फेंकता है) से की, तो TAM ने लगातार बेहतर स्कोर प्राप्त किया।

AIME 2024 टेस्ट पर, पुराने यूनिफॉर्म तरीके ने लगभग 56.7% उत्तर सही दिए। TAM ने इसे सुधार कर 60.0% कर दिया।
MATH-500 टेस्ट पर, यूनिफॉर्म तरीके ने 64.6% प्राप्त किया, जबकि TAM ने 67.8% तक पहुँच लिया।

शायद इससे भी अधिक प्रभावशाली मेमोरी की बचत थी। TAM के "पीरियडिक" (periodic) संस्करण का उपयोग करके (जो बहुत अंत तक प्रतीक्षा करने के बजाय हर 1,024 शब्दों के बाद मेमोरी को साफ करता है), वे पीक मेमोरी उपयोग को घटाकर 3.1–3.2 GB करने में सक्षम थे। यह बिना कंप्रेस किए उपयोग होने वाले लगभग 9.2 GB की तुलना में 65% की कमी है। महत्वपूर्ण रूप से, वे उच्च सटीकता बनाए रखने के साथ मेमोरी फुटप्रिंट को बहुत छोटा करने में सफल रहे।

ट्रेड-ऑफ और सीमाएँ

पेपर ने यह भी देखा कि इस "स्मार्ट क्लीनिंग" में कितना समय लगता है। उन्होंने पाया कि यह अतिरिक्त काम जो TAM यह पता लगाने के लिए करता है कि कौन से हिस्से महत्वपूर्ण हैं, बहुत तेज़ है—इससे प्रक्रिया में केवल लगभग 0.15 सेकंड जुड़ते हैं। यह टेक्स्ट जेनरेट करने में लगने वाले समय की तुलना में बहुत कम है।

हालाँकि, लेखक सावधानी से यह भी बताते हैं कि यह हर स्थिति के लिए जादुई समाधान नहीं है। उनकी विधि इस बात पर निर्भर करती है कि AI का आउटपुट स्पष्ट संरचना (जैसे पैराग्राफ) वाला हो। यदि AI की सोच अव्यवस्थित है और उसमें स्पष्ट अंतराल नहीं हैं, या यदि वह भ्रमित तरीके से आगे-पीछे कूदता है, तो TAM सही सेगमेंट खोजने में संघर्ष कर सकता है। साथ ही, उन्होंने केवल एक विशिष्ट मॉडल के साथ गणितीय समस्याओं का परीक्षण किया है। हालाँकि परिणाम मजबूत हैं, हम अभी तक यह नहीं जानते कि क्या यह कहानियाँ लिखने या सॉफ्टवेयर कोडिंग के लिए या बड़े AI मॉडलों पर भी इसी तरह काम करेगा।

संक्षेप में, यह पेपर सुझाव देता है कि AI के विचारों को शब्दों के ढेर के बजाय एक संरचित कहानी की तरह मानकर, हम स्पष्ट रूप से सोचने की क्षमता खोए बिना मेमोरी की एक विशाल मात्रा बचा सकते हैं। यह स्मार्ट AI मॉडल को छोटे, अधिक किफायती कंप्यूटरों पर चलाने की दिशा में एक कदम है, बिना उनके सफर के सबसे महत्वपूर्ण हिस्सों को भूले।

तकनीकी सारांश: एडेप्टिव अटेंशन मैचिंग (TAM) के माध्यम से तर्क हेतु थॉट-अवेयर KV कैश कॉम्पैक्शन

1. समस्या विवरण

रीजनिंग-सक्षम भाषा मॉडल अंतिम उत्तर देने से पहले लंबी चेन-ऑफ-थॉट (CoT) अनुक्रम उत्पन्न करते हैं। इन टोकन के लिए अटेंशन स्टेट्स को स्टोर करने के लिए आवश्यक की-वैल्यू (KV) कैश, अनुक्रम की लंबाई के साथ रैखिक रूप से बढ़ता है, जो एक महत्वपूर्ण मेमोरी बाधा उत्पन्न करता है। यह बाधा डिकोडिंग थ्रूपुट और संसाधन-सीमित उपकरणों पर रीजनिंग मॉडल्स की तैनाती को सीमित करती है।

मौजूदा KV कैश कॉम्पैक्शन विधियां रीजनिंग वर्कलोड पर लागू होने पर दो प्राथमिक सीमाओं का सामना करती हैं:

यूनिफॉर्म कंप्रेशन (समान संपीड़न): अधिकांश विधियां (जैसे, इविक्शन-आधारित या लेटेंट-स्पेस ऑप्टिमाइज़ेशन) रीजनिंग ट्राजेक्टरी को टोकन के एक सपाट अनुक्रम के रूप में मानती हैं, और एक समान कंप्रेशन पॉलिसी लागू करती हैं। यह CoT रीजनिंग की पदानुक्रमित संरचना (hierarchical structure) की अनदेखी करता है, जहाँ विभिन्न चरण (जैसे, समस्या का पुनर्कथन, मध्यवर्ती गणनाएँ, खोजपूर्ण मृत अंत (exploratory dead ends), निष्कर्ष) भविष्य के जनरेशन के लिए महत्व में काफी भिन्न होते हैं।
मिड-ट्राजेक्टरी हैंडलिंग की अपर्याप्तता: जबकि कुछ विधियां लंबे इनपुट प्रॉम्प्ट्स (प्रीफिल) को संबोधित करती हैं, डिकोडिंग के दौरान जेनरेटेड टोकन के कुशल कॉम्पैक्शन (मिड-ट्राजेक्टरी) पर अभी भी पर्याप्त शोध नहीं हुआ है। मौजूदा मिड-ट्राजेक्टरी दृष्टिकोण अक्सर सरल टोकन इविक्शन पर निर्भर करते हैं, जो उच्च कंप्रेशन अनुपात पर "अटेंशन मास" (कुल अटेंशन वेट) का व्यवस्थित रूप से कम आकलन करते हैं, जिससे सटीकता में महत्वपूर्ण गिरावट आती है।

2. कार्यप्रणाली: थॉट-अवेयर अटेंशन मैचिंग (TAM)

लेखक थॉट-अवेयर अटेंशन मैचिंग (TAM) का प्रस्ताव करते हैं, जो एक स्ट्रक्चर-अवेयर कॉम्पैक्शन फ्रेमवर्क है जो यूनिफॉर्म कंप्रेशन को एक पदानुक्रमित प्रक्रिया में बदल देता है। TAM, अटेंशन मैचिंग (AM) ऑप्टिमाइज़ेशन पाइपलाइन के ऊपर काम करता है और तीन मुख्य तंत्रों का उपयोग करता है:

A. थॉट सेगमेंटेशन (Thought Segmentation)

TAM रीजनिंग ट्राजेक्टरी को एक सपाट स्ट्रीम के बजाय सुसंगत रीजनिंग ब्लॉक्स (सेगमेंट्स) में विभाजित करता है।

ह्यूरिस्टिक दृष्टिकोण: प्राथमिक विधि संरचनात्मक सीमाओं का पता लगाने के लिए डबल-न्यूलाइन कैरेक्टर्स (पैराग्राफ ब्रेक) का उपयोग करती है, जिनका उपयोग रीजनिंग मॉडल्स को सिमेंटिक स्टेप्स को अलग करने के लिए प्रशिक्षित किया जाता है। ओवर-फ्रैगमेंटेशन से बचने के लिए छोटे सेगमेंट्स को मर्ज किया जाता है।
वैकल्पिक दृष्टिकोण: एक अटेंशन-आधारित विधि उन सीमाओं का पता लगाती है जहाँ अटेंशन इंटेंसिटी ग्रेडिएंट्स महत्वपूर्ण रूप से बदलते हैं, हालांकि गति और मजबूती के लिए ह्यूरिस्टिक दृष्टिकोण को प्राथमिकता दी जाती है।

B. एडेप्टिव बजट एलोकेशन (Adaptive Budget Allocation)

एक बार सेगमेंट होने के बाद, TAM प्रत्येक सेगमेंट को उसके महत्व और आकार के आधार पर एक कंप्रेशन बजट (रिटेन किए गए कीज़ की संख्या) आवंटित करता है, न कि समान रूप से।

इम्पॉर्टेंस स्कोरिंग: एक सेगमेंट का महत्व ( $w_i$ ) एक "सेलेक्टर विंडो" (सबसे हालिया $R$ टोकन) से प्राप्त औसत अटेंशन मास के रूप में गणना किया जाता है, जो भविष्य के क्वेरीज़ के लिए एक हल्के प्रॉक्सी के रूप में कार्य करता है।
एलोकेशन नियम: सेगमेंट $i$ के लिए कॉम्पैक्ट कीज़ की संख्या ( $t_i$ ) इस प्रकार आवंटित की जाती है:
$t_i \propto \sqrt{w_i} \cdot n_i$
जहाँ $n_i$ सेगमेंट का आकार है। सैद्धांतिक विश्लेषण (प्रपोजिशन C.1) सिद्ध करता है कि एक कॉनवेक्स एरर मॉडल के तहत, यह विशिष्ट वेटिंग कुल भारित एप्रोक्सिमेशन एरर को न्यूनतम करती है। यह सुनिश्चित करता है कि बड़े, महत्वपूर्ण सेगमेंट्स अधिक टोकन बनाए रखते हैं, जबकि अप्रासंगिक "डेड-एंड" एक्सप्लोरेशन को आक्रामक रूप से कंप्रेस किया जाता है।

C. पिवोटल टोकन प्रोटेक्शन (Pivotal Token Protection)

TAM उन विशिष्ट "पिवोटल टोकन्स" की पहचान करता है और उन्हें सुरक्षित करता है जो रीजनिंग एंकर्स (जैसे, समस्या के स्थिरांक, महत्वपूर्ण परिभाषाएं, प्रमुख मध्यवर्ती परिणाम) के रूप में कार्य करते हैं।

पहचान: सेलेक्टर विंडो से लगातार उच्च अटेंशन प्राप्त करने वाले टोकन (थ्रेशोल्ड $\delta = c \cdot \bar{\alpha}_{mean}$ से ऊपर) को पिवोटल के रूप में चिह्नित किया जाता है।
सुरक्षा: इन टोकन्स को बिना किसी बायस मॉडिफिकेशन के कॉम्पैक्ट कैश में यथावत रखा जाता है। शेष बजट गैर-पिवोटल टोकन्स के बीच वितरित किया जाता है। सैद्धांतिक विश्लेषण (प्रपोजिशन C.2) दिखाता है कि यह संरक्षित टोकन्स के अटेंशन मास के अनुपात में वर्स्ट-केस एप्रोक्सिमेशन एरर को कम करता है।

D. पीरियोडिक कॉम्पैक्शन (Periodic Compaction)

पीक मेमोरी को नियंत्रित करने के लिए, TAM को केवल अधिकतम अनुक्रम लंबाई पर ही नहीं, बल्कि समय-समय पर (प्रत्येक $P$ नए टोकन के बाद) ट्रिगर किया जा सकता है। यह कैश साइज को एक लक्ष्य आकार $t$ और $t+P$ के बीच दोलन करने की अनुमति देता है, जिससे लंबे जनरेशन के दौरान अनबाउंडेड मेमोरी ग्रोथ को रोका जा सकता है।

3. मुख्य योगदान

TAM फ्रेमवर्क: एक स्ट्रक्चर-अवेयर मिड-ट्राजेक्टरी कॉम्पैक्शन विधि का परिचय जो रीजनिंग ट्राजेक्टरीज को सेगमेंट करती है, महत्व और आकार के आधार पर बजट आवंटित करती है, और महत्वपूर्ण रीजनिंग एंकर्स को सुरक्षित करती है।
सैद्धांतिक आधार:
- यह सिद्ध करना कि एलोकेशन नियम ( $t_i \propto \sqrt{w_i} \cdot n_i$ ) कॉनवेक्स एरर मॉडल्स के तहत अनुकूलतम (optimal) है।
- यह प्रदर्शन करना कि पिवोटल टोकन प्रोटेक्शन एप्रोक्सिमेशन एरर को कम करता है।
- यह सिद्ध करना कि क्रमिक (periodic) कॉम्पैक्शन के तहत संचयी त्रुटि (cumulative error) सीमित रहती है।
अनुभवजन्य सत्यापन (Empirical Validation): Qwen3-4B का उपयोग करके गणितीय रीजनिंग बेंचमार्क (AIME 2024, MATH-500) पर मूल्यांकन, जो समान मेमोरी फुटप्रिंट पर यूनिफॉर्म कॉम्पैक्शन बेसलाइन्स की तुलना में निरंतर सटीकता में सुधार प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम

प्रयोग Qwen3-4B मॉडल का उपयोग करके AIME 2024 (30 समस्याएं) और MATH-500 (500 समस्याएं) पर किए गए।

सटीकता बनाम मेमोरी: 0.1 के लक्षित कॉम्पैक्शन अनुपात (10% KV एंट्रीज को रिटेन करना) पर, TAM ने AIME 2024 पर 60.0% और MATH-500 पर 67.8% सटीकता प्राप्त की। इसने यूनिफॉर्म अटेंशन मैचिंग बेसलाइन (PAM) को पीछे छोड़ दिया, जिसने क्रमशः 56.7% और 64.6% स्कोर किया।
मेमोरी रिडक्शन: TAM (Periodic) कॉन्फ़िगरेशन (प्रत्येक 1024 टोकन पर ट्रिगर) ने पीक मेमोरी को 3.1–3.2 GB तक सीमित कर दिया, जो "नो कॉम्पैक्शन" बेसलाइन (AIME पर 9.2 GB) की तुलना में 65% की कमी दर्शाता है, जबकि प्रतिस्पर्धी सटीकता बनाए रखी।
इविक्शन के साथ तुलना: साधारण इविक्शन-आधारित विधियों से सटीकता में भारी गिरावट आई (जैसे, AIME पर 46.7%), जो इविक्शन-ओनली अप्रोच में मास डेफिसिट की सैद्धांतिक सीमा की पुष्टि करता है।
एब्लेशन स्टडीज:
- एडेप्टिव एलोकेशन और पिवोटल प्रोटेक्शन दोनों ने स्वतंत्र रूप से प्रदर्शन में सुधार में योगदान दिया।
- पाया गया कि ह्यूरिस्टिक सेगमेंटेशन (डबल-न्यूलाइन) अटेंशन-आधारित सेगमेंटेशन के समान सटीक है लेकिन काफी तेज़ है (2ms बनाम 45ms)।
- कॉम्पैक्शन लागत (4k-टोकन ट्राजेक्टरी के लिए प्रति स्टेप लगभग 5.6s) कुल इन्फरेंस समय की तुलना में नगण्य थी।

5. महत्व और दावे

पेपर का दावा है कि TAM रीजनिंग मॉडल्स को तैनात करने में एक महत्वपूर्ण अंतर को पाटता है क्योंकि यह स्वीकार करता है कि रीजनिंग एक फ्लैट सीक्वेंस नहीं बल्कि एक पदानुक्रमित प्रक्रिया है। CoT ट्राजेक्टरीज की स्ट्रक्चरल हेटेरोजेनिटी (संरचनात्मक विषमता) का लाभ उठाकर, TAM यूनिफॉर्म कंप्रेशन विधियों की तुलना में मेमोरी उपयोग और रीजनिंग सटीकता के बीच अधिक कुशल ट्रेड-ऑफ प्राप्त करता है।

लेखक जोर देते हैं कि:

स्ट्रक्चर मायने रखता है: रीजनिंग की पदानुक्रमित प्रकृति की अनदेखी करने से सब-ऑप्टिमल कंप्रेशन और सटीकता का नुकसान होता है।
ऑप्टिमलिटी (अनुकूलतमता): प्रस्तावित एलोकेशन नियम विशिष्ट धारणाओं के तहत एरर को न्यूनतम करने के लिए सैद्धांतिक रूप से आधारित और अनुकूलतम है।
व्यावहारिकता: पीरियोडिक कॉम्पैक्शन रीजनिंग मॉडल्स को सख्त मेमोरी बाधाओं वाले उपकरणों (जैसे, पीक मेमोरी को 65% कम करना) पर तैनात करने में सक्षम बनाता है, बिना जटिल गणितीय समस्याओं को हल करने की क्षमता से समझौता किए।

स्वीकृत सीमाएं: पेपर नोट करता है कि TAM ह्यूरिस्टिक सेगमेंटेशन पर निर्भर करता है जो उन रीजनिंग ट्रेसेस के लिए विफल हो सकता है जिनमें स्पष्ट संरचनात्मक सीमाएं नहीं हैं या जिनमें जटिल बैकट्रैकिंग शामिल है। इसके अलावा, अनुभवजन्य सत्यापन वर्तमान में गणितीय रीजनिंग बेंचमार्क और एक सिंगल मॉडल आर्किटेक्चर तक सीमित है।