🤖 AI

Why Training-Free Token Reduction Collapses: The Inherent Instability of Pairwise Scoring Signals

यह शोध पत्र उच्च संपीड़न (high compression) पर प्रशिक्षण-मुक्त टोकन रिडक्शन विधियों के प्रदर्शन में गिरावट के मूल कारण के रूप में उनके युग्मवार समानता संकेतों (pairwise similarity signals) की अंतर्निहित अस्थिरता का निदान करता है, जिससे CATIS का विकास हुआ है, जो ImageNet-1K पर बेहतर सटीकता प्रतिधारण (accuracy retention) प्राप्त करने के लिए स्थिर एकरूपी संकेतों (unary signals) और ट्राइएज (triage) का लाभ उठाता है।

मूल लेखक: Yang Shanglin

प्रकाशित 2026-04-21

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yang Shanglin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Why Training-Free Token Reduction Collapses" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी तस्वीर: "बहुत सारे रसोइये" की समस्या (The "Too Many Cooks" Problem)

कल्पना कीजिए कि एक विजन ट्रांसफॉर्मर (एक प्रकार का AI जो छवियों को देखता है) एक 196 जासूसों की टीम है जो एक रहस्य सुलझाने (फोटो में किसी वस्तु की पहचान करने) के लिए मिलकर काम कर रहे हैं।

AI को तेज़ और सस्ता बनाने के लिए, शोधकर्ताओं ने "टोकन रिडक्शन" (Token Reduction) का आविष्कार किया। यह टीम को यह बताने जैसा है, "हे, हमारे पास केवल 10 जासूसों के लिए समय है! बाकी सबको निकाल दो।" लक्ष्य सबसे अच्छे जासूसों को रखना और अनावश्यक जासूसों को निकालना है, बिना पूरी टीम को फिर से प्रशिक्षित (retrain) किए।

कई तरीकों (ToMe, ToFu, आदि) ने इसे आज़माया। जब उन्होंने केवल कुछ ही जासूसों को निकाला, तो वे बहुत अच्छा काम करते थे। लेकिन जब उन्होंने बहुत अधिक जासूसों को निकालने की कोशिश की (आक्रामक संपीड़न/aggressive compression), तो पूरी टीम अचानक पागल हो गई और पूरी तरह विफल हो गई। यह एक ढलान की तरह था: एक कदम और आगे बढ़ते ही, वे खाई में गिर गए।

यह पेपर पूछता है: ये सभी अलग-अलग तरीके बिल्कुल एक ही समय पर उसी खाई में क्यों गिर जाते हैं?

निदान: दो टूटे हुए इंजन (The Diagnosis: Two Broken Engines)

लेखकों ने पाया कि यह पतन (collapse) इसलिए नहीं है क्योंकि ये तरीके गणित में "बुरे" हैं। बल्कि इसलिए है क्योंकि वे सभी एक ही दोषपूर्ण रणनीति का उपयोग कर रहे हैं जो दबाव में टूट जाती है। उन्होंने दो मुख्य समस्याओं की पहचान की जो मिलकर काम करती हैं:

1. "व्हिस्पर गेम" (The "Whisper Game" - त्रुटि प्रवर्धक)

कल्पना कीजिए कि जासूसों की एक लंबी कतार (AI की परतें/layers) में एक संदेश या नोट आगे बढ़ रहा है।

दोष: हर बार जब आप एक जासूस को हटाते हैं, तो बचे हुए जासूसों को यह अनुमान लगाना पड़ता है कि हटाए गए जासूस के मन में क्या चल रहा था। यदि वे गलत अनुमान लगाते हैं, तो नोट थोड़ा विकृत (distorted) हो जाता है।
प्रवर्धक (Amplifier): एक गहरी टीम में (एक गहरा AI मॉडल), यह विकृति आगे बढ़ती रहती है। अगली परत पहले से ही विकृत नोट के आधार पर अनुमान लगाने की कोशिश करती है। त्रुटियाँ "टेलीफोन गेम" की तरह एक के ऊपर एक जमा होती जाती हैं।
परिणाम: जब तक संदेश अंत तक पहुँचता है, वह अर्थहीन (gibberish) हो जाता है। टीम जितनी गहरी होगी, संदेश उतनी ही तेज़ी से दूषित होगा। यही कारण है कि गहरे मॉडल कम संपीड़न दरों (compression rates) पर ही विफल हो जाते हैं।

2. "ग्रुप हग" (The "Group Hug" - अस्थिर संकेत)

ये तरीके कैसे तय करते हैं कि किसे हटाना है? वे देखते हैं कि कौन "समान" है।

पुराना तरीका (Pairwise): वे पूछते हैं, "क्या जासूस A, जासूस B के समान है? क्या B, C के समान है?" वे हर किसी की तुलना हर किसी से करते हैं।
समस्या: AI की गहरी परतों में, सभी जासूस बिल्कुल एक जैसे दिखने और व्यवहार करने लगते हैं (इसे 'homogenization' कहा जाता है)। जब सब एक जैसे हो जाते हैं, तो यह पूछना कि "कौन किसके समान है?" एक सिक्के के उछाल (coin flip) जैसा हो जाता है। यह एक सेब के ढेर में से सबसे अच्छा सेब चुनने जैसा है जहाँ हर सेब को बिल्कुल एक ही रंग से रंगा गया है।
अस्थिरता: क्योंकि वे हर किसी की तुलना हर किसी से कर रहे हैं (कनेक्शन का एक विशाल जाल), शोर का एक छोटा सा अंश (एक मामूली त्रुटि) पूरे समूह में लहर की तरह फैल जाता है, जिससे किसी को हटाने का निर्णय पूरी तरह से रैंडम हो जाता है।

उपमा: कल्पना कीजिए कि एक फुटबॉल टीम से सर्वश्रेष्ठ खिलाड़ी चुनने की कोशिश करना जहाँ सभी एक जैसी यूनिफॉर्म पहने हुए हैं और एक ही जगह खड़े हैं। यदि आप कोच से पूछते हैं कि "कौन स्टार खिलाड़ी जैसा दिखता है," तो कोच बस अंदाज़ा लगाएगा। और यदि कोच का अंदाज़ा गलत निकलता है, तो टीम हार जाती है।

समाधान: CATIS (स्मार्ट ट्राइएज)

लेखकों ने इन दोनों समस्याओं को ठीक करने के लिए CATIS नामक एक नया तरीका बनाया। उन्होंने टीम को बचाने के लिए तीन "डिज़ाइन सिद्धांतों" का उपयोग किया:

सिद्धांत 1: "ग्रुप हग" को रोकें (Unary Signals का उपयोग करें)

"कौन किसके समान है?" (जो अस्थिर है) पूछने के बजाय, वे पूछते हैं, "यह जासूस पूरे समूह के औसत की तुलना में कितना अद्वितीय है?"

रूपक: हर व्यक्ति की दूसरे व्यक्ति से तुलना करने के बजाय, आप बस पूछते हैं, "क्या यह व्यक्ति एक आउटलायर (outlier) है?"
यह क्यों काम करता है: समूह के औसत के विरुद्ध तुलना करना, जटिल जोड़ियों के जाल की तुलना में बहुत कठिन नहीं है। यह एक कक्षा में छात्र के आउटलायर होने की जाँच करने जैसा है, बजाय इसके कि हर छात्र को दूसरे छात्र के विरुद्ध रैंक किया जाए। यह निर्णय को बहुत अधिक स्थिर बनाता है।

सिद्धांत 2: "ट्राइएज" प्रणाली (महत्वपूर्ण लोगों की रक्षा करें)

लेखकों ने महसूस किया कि सभी गलतियाँ समान नहीं होती हैं।

विलय की गलतियाँ (Merging Mistakes): यदि आप गलती से दो महत्वपूर्ण जासूसों को मिला देते हैं, तो आप एक "फ्रेंकेंस्टीन" जासूस बना देते हैं जो भ्रमित है और दूसरों में भी भ्रम फैलाता है। यह संरचनात्मक क्षति (Structural Damage) है।
हटाने की गलतियाँ (Firing Mistakes): यदि आप गलती से एक बेकार जासूस को हटा देते हैं, तो आप केवल थोड़ी जानकारी खोते हैं, लेकिन टीम स्वस्थ रहती है।
समाधान: CATIS "उच्च-विश्वास" (high-confidence) वाले जासूसों के लिए एक सुरक्षित क्षेत्र (Protected Zone) बनाता है। उन्हें कभी भी हटाया या मिलाया नहीं जाता है। वे एंकर (anchors) हैं। केवल "शायद" वाले जासूसों को ही हटाया या मिलाया जा सकता है। यह "फ्रेंकेंस्टीन" राक्षसों के निर्माण को रोकता है।

सिद्धांत 3: "मोमेंटम" बूस्ट

उन्होंने महसूस किया कि जांच आगे बढ़ने के साथ एक जासूस का महत्व बदल जाता है। एक जासूस शुरुआत में बेकार हो सकता है लेकिन अंत में महत्वपूर्ण हो सकता है।

समाधान: CATIS जासूस के इतिहास को देखता है। "आप 3 कदम पहले महत्वपूर्ण थे, इसलिए आप अभी भी महत्वपूर्ण होने की संभावना है।" यह AI को सही लोगों को लंबे समय तक बनाए रखने में मदद करता है।

परिणाम: टीम को बचाना

जब उन्होंने CATIS का परीक्षण किया:

पुराने तरीके: जब उन्होंने टीम के आकार को 63% कम करने की कोशिश की, तो सटीकता (accuracy) 81% से गिरकर लगभग 43-65% हो गई। टीम विफल हो गई।
CATS: जब उन्होंने टीम के आकार को 63% कम किया, तो सटीकता 81.0% पर बनी रही। उन्होंने मूल प्रदर्शन का 96.9% बरकरार रखा!

मुख्य निष्कर्ष (The Takeaway)

यह पेपर हमें सिखाता है कि आप केवल गलत मापने के पैमाने (measuring stick) का उपयोग करके एक जटिल AI टीम से बेतरतीब ढंग से लोगों (tokens) को नहीं निकाल सकते और उम्मीद नहीं कर सकते कि यह काम करेगा।

हर किसी की तुलना हर किसी से न करें (यह बहुत शोर भरा/noisy है)।
VIPs की रक्षा करें (महत्वपूर्ण लोगों को भ्रम में न मिलाएं)।
गहराई का सम्मान करें (टीम जितनी गहरी होगी, आपको उतना ही सावधान रहना होगा)।

महत्व को मापने के तरीके और टीम की रक्षा करने के तरीके को ठीक करके, हम AI के दिमाग को तोड़े बिना इसे बहुत तेज़ बना सकते हैं।

यहाँ शोध पत्र "Why Training-Free Token Reduction Collapses: The Inherent Instability of Pairwise Scoring Signals" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न ट्रांसफॉर्मर (ViTs) के लिए ट्रेनिंग-फ्री टोकन रिडक्शन विधियों का लक्ष्य इन्फरेंस के दौरान बिना पुन: प्रशिक्षण (retraining) के रेडंडेंट टोकन को हटाना है, जिससे कंप्यूटेशनल लागत (FLOPs) कम हो सके। ToMe, ToFu, PiToMe, और MCTF जैसी प्रमुख विधियाँ मध्यम स्तर के संपीड़न (compression) पर आशाजनक परिणाम प्राप्त करती हैं। हालाँकि, यह शोध पत्र एक महत्वपूर्ण विफलता मोड की पहचान करता है: आक्रामक संपीड़न (उच्च रिडक्शन रेश्यो) के तहत, ये सभी विधियाँ लगभग समान क्रिटिकल पॉइंट्स पर सटीकता में एक "क्लिफ-लाइक" (cliff-like) पतन (collapse) का अनुभव करती हैं, चाहे उनके विशिष्ट स्कोरिंग फॉर्मूले या आर्किटेक्चर कुछ भी हों।

संबोधित किए गए मुख्य प्रश्न हैं:

संरचनात्मक रूप से भिन्न विधियाँ एक ही संपीड़न सीमा (compression threshold) पर क्यों विफल होती हैं?
क्या यह पतन विशिष्ट एल्गोरिद्मिक खामियों के कारण है या एक मौलिक संरचनात्मक सीमा के कारण?
क्या इस विफलता का निदान (diagnose) और बिना पुन: प्रशिक्षण के समाधान किया जा सकता है?

2. कार्यप्रणाली: नैदानिक ढांचा (Methodology: Diagnostic Framework)

लेखक पतन को दो युग्मित घटकों में विभाजित करने के लिए एक मात्रात्मक नैदानिक ढांचे का प्रस्ताव करते हैं:

अ. घटक 1: सिग्नल-अज्ञेय (Signal-Agnostic) एरर एम्प्लीफायर

शोध पत्र लेयर-वार टोकन रिडक्शन को एक पॉजिटिव फीडबैक लूप के रूप में मॉडल करता है।

तंत्र (Mechanism): जब लेयर $l$ में टोकन को मर्ज या इविक्ट (evict) किया जाता है, तो परिणामी संदर्भ विरूपण (context distortion) लेयर $l+1$ में महत्व अनुमान (importance estimation) को प्रभावित करता है। उप-इष्टतम रिडक्शन "हाइब्रिड वेक्टर्स" बनाते हैं या उपयोगी जानकारी को हटा देते हैं, जिससे फीचर पॉपुलेशन का क्षरण होता है।
औपचारिकीकरण (Formalization): लेखक एक संचयी प्रतिनिधित्व विरूपण (cumulative representation distortion) $\Delta(l)$ को परिभाषित करते हैं जो सुपर-लीनियर रूप से बढ़ता है। वे एक रिकरेंस रिलेशन (recurrence relation) निकालते हैं जहाँ प्रति-ऑपरेशन विरूपण दर $\epsilon(l)$ संचयी विरूपण के संचय के साथ बढ़ती है।
मुख्य भविष्यवाणी: यह एक कॉन्वेक्स पारेटो कर्व (convex Pareto curve) और एक क्रिटिकल रिडक्शन रेश्यो $r_{crit}$ की ओर ले जाता है जो मॉडल की गहराई के व्युत्क्रमानुपाती (inversely proportional) है ( $r_{crit} \propto 1/L$ )। गहरे मॉडल प्रति-लेयर कम रिडक्शन दरों पर ही पतन का शिकार हो जाते हैं।

ब. घटक 2: पेयरवाइज सिग्नल्स की अस्थिरता (The Instability of Pairwise Signals)

लेखक पहचानते हैं कि सभी मौजूदा विधियाँ स्कोरिंग के लिए पेयरवाइज टोकन समानता (जैसे, टोकन जोड़ों के बीच कोसाइन सिमिलरिटी) पर निर्भर करती हैं।

अस्थिरता विश्लेषण: पेयरवाइज रैंकिंग $O(N_p^2)$ संयुक्त रूप से विचलित (perturbed) तत्वों पर निर्भर करती है। गहरे स्तरों में, जहाँ टोकन प्रतिनिधित्व समरूप (homogenize) हो जाते हैं, छोटे विचलन बड़े रैंकिंग परिवर्तनों (inversions) का कारण बनते हैं।
मेट्रिक: वे रैंकिंग कंसिस्टेंसी ( $\rho_s$ ) पेश करते हैं, जो क्लीन बनाम करप्टेड इनपुट पर रैंकिंग के बीच सहसंबंध को मापता है।
- अवलोकन: गहरे स्तरों में, पेयरवाइज $\rho_s$ नाटकीय रूप से गिर जाता है (उदाहरण के लिए, 0.88 से 0.27 तक), जिसका अर्थ है कि मर्ज करने के निर्णय लगभग यादृच्छिक (random) हो जाते हैं।
तुलना: यूनरी सिग्नल्स (Unary signals) (पॉपुलेशन स्टैटिस्टिक्स जैसे मीन/वेरिएंस के आधार पर टोकन को स्कोर करना) केवल $O(N_p)$ विचलनों पर निर्भर करते हैं। सेंट्रल लिमिट थ्योरम के अनुसार, वे स्वाभाविक रूप से अधिक स्थिर होते हैं ( $\rho_s$ उच्च रहता है, जैसे, 0.37–0.48)।

स. स्ट्रक्चरल डैमेज डायग्नोसिस ( $\rho_{off}$ )

लेखक विफलता मोड को अलग करने के लिए एक दूसरा मेट्रिक, $\rho_{off}$ (फीचर डायमेंशन का मीन एब्सोल्यूट ऑफ-डायगोनल कोरिलेशन) पेश करते हैं:

स्ट्रक्चरल डैमेज (High $\rho_{off}$ ): गलत मर्जिंग के कारण होता है जो ऐसे हाइब्रिड वेक्टर्स बनाता है जो फीचर इंडिपेंडेंस को भ्रष्ट कर देते हैं (जैसा कि ToMe/MCTF में देखा गया है)।
सिमेंटिक लॉस (Low $\rho_{off}$ , Low Accuracy): समान टोकन के सही मर्जिंग लेकिन गलत ट्राइएज (गलत टोकन को सुरक्षित करना) के कारण होता है, जैसा कि PiToMe में देखा गया है।

3. प्रस्तावित समाधान: CATIS

तीन प्राप्त डिजाइन सिद्धांतों के आधार पर, लेखक CATIS (Complementary Activation Triage with Importance Scoring) का निर्माण करते हैं:

P1 (Unary Signals): ट्रिगर थ्रेशोल्ड को बढ़ाने के लिए पेयरवाइज सिग्नल्स को Unary सिग्नल्स से बदलें। CATIS एक पॉपुलेशन-एंकरड फंक्शनल (डायगोनल महलानोबिस डिस्टेंस, या $norm_F$ ) का उपयोग करता है, जो विचलनों के प्रति मजबूत (robust) है।
P2 (Complementary Fusion): दो यूनरी सिग्नल्स को फ्यूज करें जो अलग-अलग गहराई पर चरम (peak) पर होते हैं:
- एक्टिवेशन सिग्नल ( $norm_F$ ): उथले (shallow) लेयर्स में मजबूत होता है।
- कॉन्टेक्स्ट सिग्नल (Momentum CLS): रुझानों को पकड़ने के लिए CLS अटेंशन के टेम्पोरल डेरिवेटिव्स का उपयोग करता है, जो मध्य (middle) लेयर्स में पीक करता है।
- इन्हें स्थिरता बनाए रखने के लिए z-स्कोर नॉर्मलाइजेशन के माध्यम से फ्यूज किया जाता है।
P3 (Triage Mechanism): एक ट्राइएज ऑपरेटर पेश करें जो टोकन को तीन सेटों में विभाजित करता है:
- Protected (सुरक्षित): उच्च-विश्वास वाले टोकन (रिडक्शन से मुक्त)।
- Evict (निकालना): निम्न-विश्वास वाले टोकन (पूरी तरह से हटा दिए गए)।
- Merge (विलय): मध्यम स्तर के टोकन (मर्ज किए गए)।
- तर्क: यह प्रभावी रिडक्शन दर ( $r$ ) को कम करके और उच्च-जोखिम वाले टोकन को "मर्ज" चैनल के बजाय कम नुकसानदेह "इविक्ट" चैनल की ओर भेजकर एरर एम्प्लीफायर को दबा देता है।

4. मुख्य परिणाम (Key Results)

प्रयोग 7 ViT मॉडलों (ViT-S/B/L, DeiT-3, DINOv3) पर ImageNet-1K और रोबस्टनेस बेंचमार्क (ImageNet-A/R/Sketch) पर किए गए।

भविdtओं का सत्यापन (Verification of Predictions):
- Convex Pareto Curves: सभी बेसलाइन्स अनुमानित कॉनवेक्स डिग्रेडेशन प्रदर्शित करते हैं।
- $r_{crit} \propto 1/L$ : लीनियर फिट दिखाते हैं कि पतन थ्रेसहोल्ड के लिए इनवर्स-डेप्थ स्केलिंग के लिए $R^2 > 0.9$ है।
- सिग्नल स्थिरता: यूनरी सिग्नल्स लगातार गहरे स्तरों में पेयरवाइज सिग्नल्स की तुलना में बेहतर प्रदर्शन करते हैं ( $\rho_s$ में 37–78% सुधार)।
प्रदर्शन लाभ:
- ViT-Large पर 63% FLOPs रिडक्शन के साथ:
  - Baselines (ToMe, ToFu, PiToMe, MCTF): 43–65% सटीकता तक गिर जाते हैं।
  - CATIS: 81.0% सटीकता बनाए रखता है (वैनिला का 96.9%)।
- DeiT-3-Large पर (63% रिडक्शन): CATIS बेसलाइन्स के 39–68% के मुकाबले 75.27% प्राप्त करता है।
- सामान्यीकरण (Generalization): CATIS शिफ्टेड डिस्ट्रीब्यूशन (ImageNet-A/R/Sketch) और वीडियो क्लासिफिकेशन कार्यों (VideoMAE) पर उच्च प्रदर्शन बनाए रखता है, जहाँ बेसलाइन्स विफल हो जाते हैं।
दक्षता (Efficiency): CATIS नगण्य ओवरहेड के साथ सबसे तेज़ बेसलाइन्स (जैसे, ToFu) के समान थ्रूपुट प्राप्त करता है।

5. महत्व और योगदान (Significance and Contributions)

सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): यह शोध पत्र टोकन रिडक्शन की विफलता को एक विशिष्ट एल्गोरिद्मिक बग के रूप में नहीं, बल्कि गहरे नेटवर्क में पेयरवाइज स्कोरिंग के साथ जुड़ी एक संरचनात्मक सीमा के रूप में पुनर्परिभाषित करता है।
नैदानिक उपकरण (Diagnostic Tools): यह पतन की भविष्यवाणी करने और विफलता के प्रकारों (स्ट्रक्चरल बनाम सिमेंटिक) को पहचानने के लिए पुन: प्रयोज्य मेट्रिक्स ( $\rho_s$ और $\rho_{off}$ ) प्रदान करता है।
डिजाइन सिद्धांत (Design Principles): यह स्थापित करता है कि स्थिर उच्च-संपीड़न टोकन रिडक्शन के लिए Unary सिग्नल्स और Adaptive Triage आवश्यक शर्तें हैं, जो भविष्य के कुशल ट्रांसफार्मर डिजाइनों के लिए एक ब्लूप्रिंट प्रदान करते हैं।
व्यावहारिक प्रभाव (Practical Impact): CATIS सिद्ध करता है कि ट्रेनिंग-फ्री विधियाँ पहले से मानी जाने वाली विनाशकारी सटीकता गिरावट के बिना आक्रामक संपीड़न (63% FLOPs रिडक्शन तक) प्राप्त कर सकती हैं, जिससे बड़े मॉडलों पर कुशल इन्फरेंस अधिक व्यवहार्य हो जाता है।

संक्षेप में, यह शोध पत्र सिद्ध करता है कि टोकन रिडक्शन में "क्लिफ" (cliff) का कारण गहरे स्तरों में पेयरवाइज सिग्नल्स की अस्थिरता है, और यह यूनरी सिग्नल्स का उपयोग करके और एक सुरक्षात्मक ट्राइएज तंत्र लागू करके इसे दूर करने वाला एक एकीकृत ढांचा (CATIS) प्रस्तावित करता है।