🤖 machine learning

A JoLT for the KV Cache: Near-Lossless KV Cache Compression via Joint Tucker and JL-Residual Allocation for LLMs

JoLT टोकन और फीचर अक्षों पर एक आंशिक टकर डिकंपोजिशन (Tucker decomposition) लागू करके और विसर्जित की गई जानकारी को जॉनसन-लिंडेनस्ट्रॉस रोटेटेड लो-बिट रेसिडुअल के माध्यम से पुनर्स्थापित करके, लार्ज लैंग्वेज मॉडल्स के KV कैश का लगभग लॉसलेस 2-3x संपीड़न प्राप्त करता है, जो पर्प्लेक्सिटी और डाउनस्ट्रीम कार्यों पर बेसलाइन प्रदर्शन बनाए रखने के लिए एक एकीकृत बाइट बजट के तहत अनुकूलित है।

मूल लेखक: Rahul Krishnan, Volker Schulz

प्रकाशित 2026-07-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rahul Krishnan, Volker Schulz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, सुपर-स्मार्ट रोबोट दिमाग (एक लार्ज लैंग्वेज मॉडल) चला रहे हैं जो एक कहानी सुनाने की कोशिश कर रहा है। कहानी को जारी रखने के लिए, रोबोट को वर्तमान बातचीत में कही गई हर एक बात को याद रखना होता है। यह अपनी याददाश्त को एक विशेष "नोटबुक" में रखता है जिसे KV Cache कहा जाता है।

समस्या यह है कि जैसे-जैसे कहानी लंबी होती जाती है, यह नोटबुक बहुत बड़ी हो जाती है। यह इतनी बड़ी हो जाती है कि यह रोबोट की सारी मेमोरी खा जाने लगती है, जिससे सब कुछ धीमा हो जाता है। यह ऐसा है जैसे आप मैराथन दौड़ते समय अपने बैकपैक में एक पूरी लाइब्रेरी ले जाने की कोशिश कर रहे हों; अंततः, आप रुक जाते हैं।

वैज्ञानिकों ने पहले भी इस नोटबुक को सिकोड़ने की कोशिश की है। कुछ ने पूरी चीज़ को एक छोटे से बॉक्स में दबाने (क्वांटाइजेशन) की कोशिश की, तो कुछ ने पंक्तियों या कॉलमों में पैटर्न ढूंढकर पन्नों का सारांश निकालने (लो-रैंक मेथड्स) की कोशिश की। लेकिन इस पेपर के लेखक, राहुल कृष्णन और वोल्कर शुल्ज़ ने देखा कि इन अन्य तरीकों ने कुछ मिस कर दिया: नोटबुक केवल कागज़ का एक सपाट ढेर नहीं है। यह एक 3D ब्लॉक है जिसके तीन अलग-अलग पक्ष हैं: Heads (सोचने के अलग तरीके), Tokens (शब्द), और Features (विवरण)।

उन्होंने पाया कि इनमें से दो पक्ष उबाऊ, दोहराव वाली चीज़ों से भरे हुए हैं जिन्हें आसानी से सिकोड़ा जा सकता है, लेकिन अन्य पक्ष अद्वितीय हैं और उन्हें बिना रोबोट की दिमागी शक्ति खोए नहीं सिकोड़ा जा सकता।

बड़ी खोज: "JoLT" विधि

टीम ने एक नया तरीका निकाला जिसे JoLT (जॉइंट टकर एंड JL-रेसिडुअल एलोकेशन) कहा जाता है। इसे आपके बैकपैक के लिए एक सुपर-स्मार्ट पैकिंग सर्विस की तरह समझें।

स्मार्ट स्क्वीज़ (पार्शियल टकर): पूरे 3D ब्लॉक को सिकोड़ने के बजाय, JoLT डेटा को देखता है और कहता है, "ठीक है, 'Heads' और 'Layers' अद्वितीय और कीमती हैं; इन्हें अकेला छोड़ दो। लेकिन 'Tokens' और 'Features' फालतू चीज़ों से भरे हैं।" इसलिए, यह केवल उन दो विशिष्ट पक्षों को सिकोड़ता है। यह एक विशाल, फूले हुए तकिए को लेने और केवल उसके बीच की हवा को निकालने जैसा है, जबकि मजबूत किनारों को बरकरार रखा जाता है।
सेफ्टी नेट (JL-रेसिडुअल): जब आप एक तकिए को दबाते हैं, तो कुछ हवा बाहर निकल जाती है। यदि आप इसे ऐसे ही छोड़ देते हैं, तो तकिया चपटा और बेकार हो जाता है। JoLT उस "निकाली गई हवा" (खोई हुई जानकारी) को पकड़ लेता है और उसे एक JL-रेसिडुअल नामक एक छोटे, सुपर-कुशल सेफ्टी नेट में स्टोर करता है। यह नेट पैकिंग में इतना अच्छा है कि यह कम से कम बिट्स में भी गायब विवरणों को रख सकता है।
परफेक्ट बैलेंस (लैग्रेंजियन ड्यूल): यहाँ जादू वाला हिस्सा है। रोबोट के पास अपनी जगह के लिए एक सख्त बजट होता है (मान लीजिए 1 बाइट)। JoLT एक गणितीय "स्मार्ट एलोकेटर" का उपयोग यह तय करने के लिए करता है कि तकिए को कितना सिकोड़ना है और सेफ्टी नेट को कितनी जगह देनी है। यह महसूस करता है कि मेमोरी के कुछ हिस्से (जैसे "Keys") को सिकोड़ना आसान है, जबकि अन्य (जैसे "Values") जिद्दी हैं और उन्हें अधिक सेफ्टी नेट स्पेस की आवश्यकता है। यह सर्वोत्तम परिणाम प्राप्त करने के लिए बजट को गतिशील रूप से इधर-उधर घुमाता है।

उन्होंने क्या साबित किया (और क्या नहीं)

लेखकों ने परीक्षण के लिए दो प्रसिद्ध रोबोट दिमागों का उपयोग किया: Mistral-7B (जो "ग्रुपड-क्वेरी" शैली का उपयोग करता है) और LLaMA-2-13B (जो "मल्टी-हेड" शैली का उपयोग करता है)।

"फ्री ज़ोन": उन्होंने एक स्वीट स्पॉट पाया जहाँ वे मेमोरी को 2 से 3 गुना (2–3×) सिकोड़ सकते थे और रोबोट का प्रदर्शन बिल्कुल भी नहीं गिरा। यह "नियर-लॉसलेस" (लगभग बिना नुकसान के) था।
- GSM8K (गणित की समस्याएं) और RULER (टेक्स्ट के ढेर में सुई खोजने जैसा काम) जैसे परीक्षणों पर, संकुचित रोबोट का स्कोर अनकंप्रेस्ड वाले के समान ही था, जो सांख्यिकीय शोर (statistical noise) के भीतर था।
- मेमोरी को पुनर्गठित करने में त्रुटि बहुत कम थी: कीज़ (keys) के लिए लगभग 0.009 और वैल्यूज़ (values) के लिए 0.006। यह पिछले तरीकों जैसे 4-बिट क्वांटाइजेशन या क्रॉस-लेयर SVD की तुलना में लगभग 10 गुना बेहतर (एक ऑर्डर ऑफ मैग्नीट्यूड) है।
"क्लिफ" (चट्टान): उन्होंने एक सीमा भी पाई। यदि आप मेमोरी को बहुत अधिक दबाने की कोशिश करते हैं (3× से अधिक), तो चीजें गड़बड़ा जाती हैं।
- Mistral रोबोट धीरे-धीरे प्रदर्शन खोते हुए गरिमापूर्ण तरीके से कम हुआ।
- हालाँकि, LLaMA रोबोट 4× और 5× संपीड़न के बीच एक "क्लिफ" से टकराया। इसका प्रदर्शन तेजी से गिरा, जो 5.39 के स्कोर से 9.07 (परप्लेक्सिटी में एक बड़ा उछाल, जिसका अर्थ है कि यह शब्दों की भविष्यवाणी करने में बहुत खराब हो गया) तक पहुँच गया।

तेज़ संस्करण: FlashJoLT

परफेक्ट स्क्वीज़ की गणना करने में समय लगता है। इसे ठीक करने के लिए, उन्होंने FlashJoLT बनाया। हर बार भारी गणित करने के बजाय, यह मुख्य पैटर्न का अनुमान लगाने के लिए एक "रैंडमाइज्ड" शॉर्टकट का उपयोग करता है।

परिणाम: यह मेमोरी को कंप्रेस करने में 5 से 13 गुना तेज़ है, लेकिन इसकी गुणवत्ता धीमी, परफेक्ट वर्शन के समान ही रहती है।

उन्होंने किसे खारिज किया

पेपर स्पष्ट रूप से बताता है कि इस विशिष्ट समस्या के लिए क्या काम नहीं करता है:

सब कुछ सिकोड़ना: तीनों पक्षों (Heads, Tokens, और Features) को सिकोड़ने की कोशिश करना एक बुरा विचार है। "Heads" और "Layers" बहुत अद्वितीय हैं; उन्हें सिकोड़ने से रोबोट की बुद्धि को नुकसान पहुँचता है।
फिक्स्ड-बिट क्वांटाइजेशन: हर संख्या के लिए बिट्स की संख्या को कम करना (जैसे हर चीज़ को 4 बिट्स बनाना) 2–3× संपीड़न के "स्वीट स्पॉट" तक नहीं पहुँच सकता। या तो यह पर्याप्त संपीड़न नहीं करता या बहुत अधिक गुणवत्ता खो देता है।
एक ही आकार सबके लिए (One-size-fits-all): आप "Keys" और "Values" के साथ एक जैसा व्यवहार नहीं कर सकते। "Values" को कंप्रेस करना बहुत कठिन है (2–3× अधिक कठिन), इसलिए उन्हें अलग बजट की आवश्यकता होती है।

निचोड़ (The Bottom Line)

लेखकों ने वास्तविक हार्डवेयर (एक A100 GPU) पर इसका माप किया और पाया कि JoLT एक नियर-लॉसलेस तरीका बनाता है जिससे रोबोट की बुद्धिमत्ता को नुकसान पहुँचाए बिना मेमोरी को 2–3 गुना कम किया जा सकता है।

हालाँकि, वे सावधान करते हैं कि यह हर चीज़ के लिए जादुई समाधान नहीं है।

यह "फ्री ज़ोन" (2–3×) के लिए बहुत अच्छा काम करता है, लेकिन कुछ रोबोट प्रकारों (जैसे LLaMA) पर अधिक दबाव डालने से गुणवत्ता में भारी गिरावट आती है।
जबकि मेमोरी स्टोरेज छोटी है, रोबोट को बोलने के दौरान हर बार मेमोरी को "अन-स्क्वीज़" (अनपैक) करने के लिए कुछ गणित करना पड़ता है। वे सुझाव देते हैं कि इसे वास्तविक दुनिया के उपयोग के लिए वास्तव में व्यावहारिक बनाने के लिए, इंजीनियरों को विशेष कंप्यूटर चिप्स (फ्यूज्ड कर्नेल) बनाने की आवश्यकता है जो अनपैक किए बिना सीधे संकुचित मेमोरी को पढ़ सकें।

संक्षेप में, JoLT एक शानदार, गणित-आधारित पैकिंग ट्रिक है जो लंबी बातचीत के लिए बहुत सारा स्थान बचाती है, लेकिन इसकी एक सीमा है, और इसे पूरी गति से चलाने के लिए भविष्य के हार्डवेयर से थोड़े सहयोग की आवश्यकता है।

तकनीकी सारांश: KV कैश के लिए एक JOLT

समस्या विवरण

ऑटोरेग्रेसिव ट्रांसफॉर्मर इन्फरेंस (autoregressive transformer inference) में, की-वैल्यू (KV) कैश प्रमुख मेमोरी लागत का प्रतिनिधित्व करता है, जो $O(\text{batch} \times T \times L \times n_h \times d_h)$ के रूप में स्केल करता है। लंबे संदर्भों (long contexts) या बड़े बैचों के लिए, मॉडल वेट्स (weights) के बजाय KV कैश ही प्राथमिक मेमोरी बाधा बन जाता है और थ्रूपुट को सीमित करता है। मौजूदा संपीड़न (compression) विधियाँ दो परिवारों में आती हैं, जो दोनों ही कैश की संरचनात्मक अतिरेक (structural redundancy) का पूर्ण उपयोग करने में विफल रहती हैं:

लो-रैंक विधियाँ (Low-rank methods): ये द्वि-आयामी स्लाइस (जैसे, प्रति-हेड मैट्रिक्स या क्रॉस-लेयर ब्लॉक्स) को फैक्टरइज़ करती हैं लेकिन एक ही अक्ष (axis) की रेडंडेंसी तक सीमित रहती हैं, जिससे अन्य अक्षों की अनदेखी हो जाती है।
क्वांटाइजेशन विधियाँ (Quantization methods): ये प्रत्येक प्रविष्टि (entry) के बिट-विड्थ को कम करती हैं, लेकिन निश्चित बिट-रेट (जैसे, 4-बिट) द्वारा सीमित होती हैं, जो एक "कंप्रेशन फ्लोर" (compression floor) बनाती हैं जहाँ मध्यम संपीड़न अनुपात (2–3×) प्राप्त करना कठिन होता है जहाँ गुणवत्ता अक्सर सुरक्षित रहती है।

इस कार्य को प्रेरित करने वाला मुख्य अवलोकन यह है कि एक लेयर पर KV कैश एक तृतीय-क्रम का टेंसर (third-order tensor, $n_h \times T \times d_h$ ) है जहाँ अक्ष (axes) अलग-अलग मात्रा में रेडंडेंसी रखते हैं। विशेष रूप से, हेड और लेयर अक्ष काफी हद तक असंपीड़नीय (incompressible) हैं, जबकि टोकन और फीचर अक्ष अधिकांश संपीड़ित संरचना को धारण करते हैं। इसके अलावा, उनके स्पेक्ट्रल गुणों (spectral properties) में अंतर के कारण वैल्यूज (values), कीज़ (keys) की तुलना में 2–3× अधिक कठिन रूप से संपीड़ित होती हैं।

कार्यप्रणाली: JoLT

प्रस्तावित विधि, JoLT (Joint Tucker and JL-residual allocation), इन चुनौतियोंों को संबोधित करती है और कैश को एक तृतीय-क्रम के टेंसर के रूप में मानकर एक लक्षित संपीड़न रणनीति लागू करती है।

1. आंशिक टकर अपघटन (Partial Tucker Decomposition)

पूर्ण टेंसर फैक्टराइजेशन के विपरीत जो सभी अक्षों को संपीड़ित करता है, JoLT केवल टोकन और फीचर अक्षों को ट्रंकेट (truncate) करती है (जो रेडंडेंसी ले जाते हैं), जबकि हेड और लेयर अक्षों को बरकरार रखती है (जो असंपीड़नीय हैं)। यह सीक्वेंशियलली ट्रंकेटेड हायर-ऑर्डर SVD (ST-HOSVD) का उपयोग करके किया जाता है।

प्रेरणा: हेड या लेयर अक्षों को संपीड़ित करने से महत्वपूर्ण त्रुटि होती है, जबकि टोकन और फीचर अक्षों को ट्रंकेट करने से अधिकांश रेडंडेंसी को कैप्चर किया जा सकता है।

2. JL-रोटेटेड रेसिडुअल (JL-Rotated Residual)

एक शुद्ध लो-रैंक बैकबोन (low-rank backbone) पूर्ण निष्ठा (fidelity) के लिए पर्याप्त नहीं है, विशेष रूप से वैल्यूज के लिए जिनका स्पेक्ट्रम फ्लैट होता है जहाँ ट्रंकेशन महत्वपूर्ण ऊर्जा को हटा देता है। JoLT एक जॉनसन-लिंडेनस्ट्रॉस (JL) रोटेटेड लो-बिट रेसिडुअल का उपयोग करके इस हटाए गए ऊर्जा को पुनर्स्थापित करता है:

ट्रंकेशन रेसिडुअल $R = X - \tilde{X}$ की गणना की जाती है।
रेसिडुअल पर एक रैंडम JL रोटेशन लागू किया जाता है।
रोटेटेड रेसिडुअल को $b \in \{0, 2, 4, 8\}$ बिट्स पर यूनिफॉर्मली क्वांटाइज किया जाता है।
डिकोडिंग में रोटेशन को उलटना (inverting) शामिल है। यह रेसिडुअल एक लीवर के रूप में कार्य करता है जो एक लॉस्य (lossy) बैकबोन को लगभग लॉसलेस (near-lossless) में बदल देता है, जो विशेष रूप से वैल्यूज के लिए मूल्यवान है।

3. जॉइंट लैग्रेंजियन एलोकेशन (Joint Lagrangian Allocation)

यह विधि दो चरणों (Tucker ranks और residual bit-widths) और विभिन्न लक्ष्यों (Keys बनाम Values, Layer Groups) के बीच संसाधनों को संयुक्त रूप से आवंटित करने के लिए एक एकल लैग्रेंजियन ड्यूल (Lagrangian dual) का उपयोग करती है।

उद्देश्य: एक वैश्विक बाइट बजट के अधीन कुल पुनर्निर्माण त्रुटि (reconstruction error) को न्यूनतम करना।
तंत्र: ड्यूल वेरिएबल एलोकेटर को रैंक और रेसिडुअल्स के बीच, और कीज़ बनाम वैल्यूज के बीच बिट्स को डायनामिक रूपली शिफ्ट करने की अनुमति देता है, जिससे संपीड़ितता की विषमता (asymmetry) का लाभ उठाया जा सके (उदाहरण के लिए, की रेसिड्यूल बिट्स को कम करके वैल्यू रेसिड्यूल को अधिक फंड देना)।
ग्रैनुलैरिटी: आवंटन प्रति लेयर ग्रुप और कीज़ एवं वैल्यूज के लिए अलग-अलग किया जाता है।

4. FlashJoLT (फास्ट वेरिएंट)

लंबे संदर्भों पर सटीक SVD की कम्प्यूटेशनल लागत को दूर करने के लिए, FlashJoLT सटीक टोकन-मोड SVD के स्थान पर एक रैंडमाइज्ड लो-रैंक SVD का उपयोग करता है।

यह केवल शीर्ष $q_{cap}$ टोकन-मोड दिशाओं की गणना करता है।
यह टेल-मास अकाउंटिंग (tail-mass accounting) का उपयोग करता है, जिसमें छोड़े गए स्पेक्ट्रल टेल को एक सिंथेटिक रेसिडुअल सिंगुलर वैल्यू के रूप में जोड़ा जाता है ताकि एलोकेटर द्वारा कैप्चर की गई ऊर्जा का कम आकलन न किया जाए।
यह वेरिएंट "फ्री ज़ोन" में नगण्य गुणवत्ता हानि के साथ संपीड़न समय में 5–13× की गति प्राप्त करता है।

मुख्य योगदान

स्पेक्ट्रल विश्लेषण: एक अनुभवजन्य अध्ययन जो पहचानता है कि हेड और लेयर अक्ष असंपीड़नीय हैं, जबकि टोकन और फीचर अक्ष रेडंडेंसी रखते हैं, और वैल्यूज, कीज़ की तुलना में काफी कठिन रूप से संपीड़ित होती हैं।
JoLT एल्गोरिदम: एक नवीन कंप्रेसर जो एक सिंगल लैग्रेंजियन ड्यूल के माध्यम से जुड़े हुए, पार्टियल टकर अपघटन और JL-रोटेटेड रेसिड्यूल को जोड़ता है।
FlashJoLT: एक रैंडमाइज्ड-SVD वेरिएंट जो गुणवत्ता बनाए रखते हुए संपीड़न समय को नाटकीय रूप से कम करता है।
अनुभवजन्य सत्यापन: GQA (Mistral-7B) और MHA (LLaMA-2-13B) मॉडल्स पर एक व्यापक अध्ययन जो "फ्री ज़ोन" के रूप में लगभग लॉसलेस कंप्रेशन स्थापित करता है।

परिणाम

"फ्री ज़ोन" (2–3× कंप्रेशन)

पेपर एक 2–3× कंप्रेशन रेश्यो को एक "फ्री ज़ोन" के रूप में पहचानता है जहाँ मॉडल की गुणवत्ता अनकंप्रेस्ड बेसलाइन के सांख्यिकीय शोर के भीतर बनी रहती है:

परप्लेक्सिटी (Perplexity): Mistral-7B (GQA) और LLaMA-2-13B (MHA) दोनों पर, 1024 तक के कॉन्टेक्स्ट लेंथ के लिए 2–3× पर परप्लेक्सिटी ड्रिफ्ट नगण्य है।
पुनर्निर्माण त्रुटि (Reconstruction Error): 2× कंप्रेशन पर, JoLT की सापेक्ष फ्रोबेनियस एरर (relative Frobenius error) 0.009 (Keys) और 0.006 (Values) है। यह 4-बिट क्वांटाइजेशन और क्रॉस-लेयर SVD बेसलाइन्स की तुलना में लगभग एक ऑर्डर ऑफ मैग्नीट्यूड कम है।
डाउनस्ट्रीम टास्क:
- GSM8K: कंप्रेस्ड मॉडल्स (2–3×) बेसलाइन के 95% कॉन्फिडेंस इंटरवल के भीतर रहते हैं।
- RULER (Needle-in-a-Haystack): Mistral 2–3× पर 100% रिट्रीवल एक्यूरेसी बनाए रखता है; LLaMA अपने बेसलाइन सीलिंग से मेल खाता है।

आर्किटेक्चर विचलन (Architecture Divergence)

2–3× फ्री ज़ोन के परे, दोनों आर्किटेक्चर अलग हो जाते हैं:

Mistral (GQA): यह धीरे-धीरे घटता है, 4× के बाद प्रत्येक इंटिजर रेश्यो स्टेप पर लगभग 4% परप्लेक्सिटी खो देता है।
LLaMA (MHA): यह 4× और 5× के बीच तेजी से गिरता है, जहाँ 4× पर परप्लेक्सिटी ~27% और 5× पर ~68% बढ़ जाती है। LLaMA के लिए रीजनिंग टास्क (GSM8K) उच्च रेश्यो पर काफी गिर जाते हैं।

दक्षता

मेमोरी: निरंतर KV फुटप्रिंट कंप्रेशन रेश्यो के साथ रैखिक रूप से घटता है (जैसे, Mistral के लिए ctx-2048 पर 2× कंप्रेशन पर 268.4 MB से 134.6 MB)। पीक प्रोसेस मेमोरी वेट्स/एक्टिवेशंस द्वारा सीमित रहती है।
गति: FlashJoLT सटीक बैकबोन की तुलना में संपीड़न समय में 5–13× की गति प्रदान करता है।

महत्व और दावे

पेपर दावा करता है कि JoLT, कीज़ और वैल्यूज के बीच स्पेक्ट्रल विषमता (spectral asymmetry) का लाभ उठाकर, KV कैश का लगभग लॉसलेस 2–3× कंप्रेशन प्रदान करता है, जो मॉडल की गुणवत्ता से समझौता किए बिना लंबे संदर्भ वाले इन्फरेंस के लिए मेमोरी बाधा को प्रभावी ढंग से हटा देता है। यह मौजूदा लो-रैंक और क्वांटाइजेशन विधियों को मध्यम संपीड़न शासन (intermediate compression regime) में पछाड़ देता है।

लेखक इस पद्धति को लंबे संदर्भों को सर्व करने की लागत को कम करने के एक प्रत्यक्ष लीवर के रूप में देखते हैं। वे दो प्राथमिक सीमाओं को नोट करते हैं:

आर्किटेक्चर सीमाएं: यह विधि GQA मॉडल्स के लिए मजबूत है लेकिन 4× से अधिक के लिए MHA मॉडल्स के लिए तीव्र गिरावट का सामना करती है, जो सुझाव देती है कि 2–3× बैंड सुरक्षित, मॉडल-अग्नोस्टिक सिफारिश है।
डिप्लॉयमेंट लागत: हालांकि स्टोरेज कम हो जाता है, वर्तमान में डिकोडिंग के लिए प्रत्येक चरण पर फैक्टर्स से कैश को पुनर्गठित (reconstruct) करने की आवश्यकता होती है। लेखक एक फ्यूज्ड रिकंस्ट्रक्शन-एंड-अटेंशन कर्नल (fused reconstruction-and-attention kernel) के विकास को एक महत्वपूर्ण अगले कदम के रूप में पहचानते हैं ताकि इन्फरेंस समानता प्राप्त की जा सके और इस पद्धति की क्षमता को पूरी तरह से साकार किया जा सके।