🤖 machine learning

KODA: Contrastive Representation Comparison and Alignment for Vision-Language Foundation Models

यह शोधपत्र KODA प्रस्तुत करता है, जो एक कर्नेल-आधारित ढांचा है जो एक प्रतिनिधित्व में सुसंगत संरचनाओं के लिए अनुकूलन करते हुए दूसरे में उन्हें दबाकर, बड़े डेटासेट तक स्केल करने के लिए रैंडमाइज्ड एप्रोक्सिमेशन का उपयोग करते हुए, विजन-लैंग्वेज फाउंडेशन मॉडल्स के बीच संरचनात्मक रूप से विसंगत सैंपल सबसेट्स की पहचान और संरेखण करता है।

मूल लेखक: Youqi Wu, Mohammad Jalali, Farzan Farnia

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Youqi Wu, Mohammad Jalali, Farzan Farnia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास दो अलग-अलग कला समीक्षक (art critics) हैं, जिन्हें हम क्रिटिक A (Critique A) और क्रिटिक B (Critique B) कह सकते हैं। दोनों ही तस्वीरों और उनके विवरणों की एक विशाल गैलरी को देखते हैं। वे दोनों इस बात पर सहमत होते दिखते हैं कि एक अच्छी फोटो के पीछे का "बड़ा चित्र" (big picture) क्या है, लेकिन यदि आप बारीकी से देखें, तो वे गैलरी को बहुत अलग तरीकों से व्यवस्थित करते हैं।

क्रिटिक A शायद सभी "सर्फिंग" (surfing) की तस्वीरों को एक साथ रखेगा, चाहे मौसम कैसा भी हो।
क्रिटिक B शायद उन्हें "बारिश में सर्फिंग" और "धूप में सर्फिंग" में अलग कर सकता है, लेकिन वह "सर्फिंग" की तस्वीरों को "स्कीइंग" (skiing) की तस्वीरों के साथ मिला सकता है क्योंकि दोनों में किसी चीज़ पर फिसलना शामिल है।

आमतौर पर, यह देखने के लिए कि कौन बेहतर है, हम बस उन्हें एक खेल खेलने (जैसे कि एक क्विज़) के लिए कहते हैं और देखते हैं कि किसका स्कोर सबसे अधिक है। लेकिन इससे यह पता नहीं चलता कि वे क्यों अलग हैं या वे कौन सी विशिष्ट तस्वीरें हैं जिन पर वे असहमत हैं।

यह पेपर KODA (केड-ओडी-ए / Kernel Optimization for Discrepancy Analysis) नामक एक नया टूल पेश करता है। इसे एक जासूस की तरह समझें जो एक दूसरे की तुलना में दूसरे के विशिष्ट "ब्लाइंड स्पॉट्स" (अंध बिंदु) या "सुपरपावर्स" (विशेष शक्तियों) को खोज निकालता है।

KODA कैसे काम करता है (उपमा)

कल्पना कीजिए कि आपके पास मिश्रित लेगो ब्रिक्स (Lego bricks) का एक बड़ा डिब्बा है (डेटा)।

लक्ष्य: आप कुछ चुनिंदा ईंटों को खोजना चाहते हैं जिन्हें क्रिटिक A एक आदर्श टावर बनाने के लिए एक साथ रखना चाहता है, लेकिन क्रिटिक B उन्हें केवल फर्श पर बिखरा हुआ ढेर मानता है।
प्रक्रिया: KODA पूरे डिब्बे को नहीं देखता। यह ईंटों को स्कैन करने के लिए एक गणितीय "फ्लैशलाइट" (flashlight) का उपयोग करता है। यह पूछता है: "मुझे ईंटों का एक ऐसा समूह दिखा जिसे क्रिटिक A एक साथ जोड़ने के लिए पसंद करता है, लेकिन क्रिटिक B पूरी तरह से अनदेखा कर देता है या बिखेर देता है।"
परिणाम: KODA डेटा के एक विशिष्ट उपसमूह (subset) की ओर इशारा करता है। उदाहरण के लिए, यह कह सकता है: "हे, इन बेसबॉल खिलाड़ियों के आधार (base) में फिसलने वाली तस्वीरों को देखो। क्रिटिक A उन्हें एक सुस्पष्ट, स्पष्ट समूह के रूप में देखता है। क्रिटिक B उन्हें यादृच्छिक (random), असंबंधित छवियों के रूप में देखता है।"

"सीक्रेट सॉस" (तकनीकी बातें सरल भाषा में)

पेपर में कुछ जटिल गणितीय शब्द दिए गए हैं, लेकिन उनका सरल अर्थ यह है:

कॉन्ट्रास्टिव एम्बेडिंग क्लस्टरिंग (Contrastive Embedding Clustering): यह केवल "चीजों को समूहित करने के तरीकों में अंतर खोजने" का एक फैंसी तरीका है। KODA उन "गुच्छों" (clumps) की तलाश कर रहा है जो एक मॉडल के दिमाग में मौजूद हैं लेकिन दूसरे में गायब हैं।
ऑप्टिमाइज़ेशन प्रॉब्लम (The Optimization Problem): कल्पना कीजिए कि एक आदर्श कोण खोजने की कोशिश करना जिस पर रोशनी डाली जाए। आप चाहते हैं कि रोशनी उन चीजों पर बहुत चमकदार हो जिन्हें क्रिटिक A पसंद करता है, लेकिन आपका एक नियम है: रोशनी उन चीजों पर बहुत धुंधली होनी चाहिए जिन्हें क्रिटिक B पसंद करता है। KODA इस गणितीय पहेली को हल करता है ताकि वह वह आदर्श कोण ढूंढ सके।
रैंडम फूरियर फीचर्स (Random Fourier Features - स्पीड का ट्रिक): लाखों तस्वीरों पर यह गणित करना आमतौर पर समुद्र के किनारे रेत के हर एक कण को एक-एक करके गिनने जैसा है—इसमें बहुत समय लगता है। KODA एक चतुर शॉर्टकट (जैसे समुद्र के तट की एक उच्च-गुणवत्ता वाली फोटो लेना और फिर उसके पिक्सेल गिनना) का उपयोग करता है ताकि वह सटीकता खोए बिना बहुत तेज़ी से गणित कर सके। यह इसे MS-COCO जैसे विशाल डेटासेट पर काम करने में सक्षम बनाता है।

उन्होंने क्या पाया?

लेखकों ने CLIP, BLIP, और SigLIP जैसे प्रसिद्ध AI मॉडलों पर KODA का परीक्षण किया। यहाँ वह है जो "जासूस" ने पाया:

अलग प्राथमिकताएँ: भले ही ये सभी मॉडल छवियों और टेक्स्ट को समझने के लिए प्रशिक्षित हैं, वे दुनिया को अलग तरह से व्यवस्थित करते हैं।
- उदाहरण: एक मॉडल "जेबरा" की छवियों को बहुत कसकर समूहित कर सकता है, जबकि दूसरा मॉडल "जेबरा" को "घोड़ों" या "धारीदार शर्टों" के साथ मिला सकता है।
कार्य योग्य अंतर्दृष्टि (Actionable Insights): KODA ने केवल यह नहीं कहा कि "वे अलग हैं।" इसने वास्तव में छवियों और कैप्शन की विशिष्ट सूचियाँ भी निकालीं।
- उदाहरण: इसने पाया कि BLIP "लोग सर्फिंग कर रहे हैं" की छवियों को एक साथ समूहित करने में बहुत अच्छा है, जबकि CLIP उस विशिष्ट विषय पर थोड़ा अधिक बिखरा हुआ था।
मॉडलों को ठीक करना: लेखकों ने दिखाया कि यदि आप उन विशिष्ट "बिखरी हुई" फोटो के समूह को लेते हैं जिसमें एक मॉडल संघर्ष करता है, और उस मॉडल को केवल उन तस्वीरों पर फिर से प्रशिक्षित (re-train) करते हैं, तो वह मॉडल अचानक उन्हें व्यवस्थित करने में बहुत बेहतर हो जाता है। यह एक छात्र को पूरे टेक्स्टबुक को दोबारा पढ़ने के बजाय केवल उन गणित के सवालों का अभ्यास कराने जैसा है जिनमें उसने गलती की थी।

यह क्यों महत्वपूर्ण है?

वर्तमान में, यदि आप एक AI मॉडल चुनना चाहते हैं, तो आप लीडरबोर्ड स्कोर देखते हैं। यह केवल एक कार को उसकी टॉप स्पीड के आधार पर चुनने जैसा है।

KODA आपको एक मैकेनिक की रिपोर्ट देता है। यह बताता है: "यह कार तेज़ है, लेकिन बजरी वाले रास्तों पर इसका सस्पेंशन अजीब है।" यह शोधकर्ताओं को यह समझने में मदद करता है कि मॉडल वास्तव में कहाँ और क्यों अलग हैं, जिससे उन्हें केवल एक संख्या के आधार पर अनुमान लगाने के बजाय विशिष्ट कमजोरियों को ठीक करने या विशिष्ट प्रकार के डेटा के लिए सही मॉडल चुनने में मदद मिलती है।

संक्षेप में: KODA एक ऐसा टूल है जो हमें केवल AI मॉडलों की अंतिम स्कोर के आधार पर तुलना करने के बजाय, प्रत्येक मॉडल की अनूठी "व्यक्तित्व" और विशिष्ट ब्लाइंड स्पॉट्स को समझने में मदद करता है।

तकनीकी सारांश: KODA – विजन-लैंग्वेज फाउंडेशन मॉडल्स के लिए कंट्रास्टिव रिप्रेजेंटेशन कंपैरिजन और अलाइनमेंट

1. समस्या विवरण (Problem Statement)

विजन-लैंग्वेज फाउंडेशन मॉडल्स (जैसे CLIP, SigLIP, BLIP) आधुनिक मल्टीमॉडल सिस्टम के केंद्र में हैं, फिर भी उनके रिप्रेजेंटेशन्स की तुलना आमतौर पर केवल डाउनस्ट्रीम टास्क परफॉर्मेंस (जैसे रिट्रीवल एक्यूरेसी, ज़ीरो-शॉट क्लासिफिकेशन) के माध्यम से की जाती है। ऐसे एग्रीगेट मेट्रिक्स यह समझाने में विफल रहते हैं कि विभिन्न मॉडल्स डेटा को संरचनात्मक रूप से कैसे व्यवस्थित करते हैं या इमेज-टेक्स्ट पेयर्स के विभिन्न ग्रुपिंग को कैसे प्रेरित करते हैं।

इंटरप्रिटेबल एम्बेडिंग तुलना के लिए मौजूदा तरीके, जैसे कि SPEC फ्रेमवर्क, कर्नेल-डिफरेंस मैट्रिसेस का विश्लेषण करते हैं लेकिन वे स्पष्ट रूप से एक एसिमेट्रिक (asymmetric) ऑब्जेक्टिव को लागू नहीं करते हैं। फलस्वरूप, वे उन विशिष्ट सैंपल सबसेट्स को अलग करने के बजाय जो एक रिप्रेजेंटेशन के तहत वीकली क्लस्टर्ड (weakly clustered) हैं लेकिन दूसरे के तहत स्ट्रॉंगी क्लस्टर्ड (strongly clustered) हैं, सामान्य संरचनाओं या एग्रीगेट प्रभावों की पहचान कर सकते हैं। यह पेपर कंट्रास्टिव एम्बेडिंग क्लस्टरिंग (Contrastive Embedding Clustering) के कार्य को संबोधित करता है: ऐसे सैंपल सबसेट्स (या दिशाओं) की पहचान करना जो एक एम्बेडिंग स्पेस में सुसंगत संरचना प्रदर्शित करते हैं जबकि एक रेफरेंस एम्बेडिंग स्पेस में विसरित (diffuse) या असंरचित दिखाई देते हैं।

2. कार्यप्रणाली: KODA फ्रेमवर्क (Methodology: KODA Framework)

लेखक KODA (Kernel Optimization for Discrepancy Analysis) का प्रस्ताव करते हैं, जो एक कंस्ट्रेंड ऑप्टिमाइज़ेशन प्रॉब्लम के रूप में फॉर्म्युलेट किया गया एक कर्नेल-आधारित फ्रेमवर्क है।

2.1. मुख्य ऑप्टिमाइज़ेशन फॉर्मूलेशन (Core Optimization Formulation)

एक रेफरेंस डेटासेट $\{x_i\}_{i=1}^n$ पर दो एम्बेडिंग्स $A$ और $B$ द्वारा प्रेरित नॉर्मलाइज्ड कर्नेल सिमिलैरिटी मैट्रिसेस $K_A$ और $K_B$ को देखते हुए, KODA एक दिशा $x \in \mathbb{R}^n$ की खोज करता है जो $K_A$ के तहत क्लस्टरिंग को अधिकतम करती है जबकि $K_B$ के तहत कमजोर क्लस्टरिंग के लिए बाधित (constrained) होती है। समस्या को इस प्रकार परिभाषित किया गया है:

$\begin{aligned} \max_{x \in \mathbb{R}^n} \quad & x^\top K_A x \\ \text{s.t.} \quad & x^\top K_B x \leq \epsilon \\ & \|x\|_2^2 = 1 \end{aligned}$

जहाँ $\epsilon > 0$ एक थ्रेशोल्ड है जो रेफरेंस एम्बेडिंग $B$ के तहत अनुमत कमजोर क्लस्टरिंग की डिग्री को नियंत्रित करता है।

2.2. स्पेक्ट्रल कैरेक्टराइजेशन के माध्यम से कुशल समाधान (Efficient Solution via Spectral Characterization)

यद्यपि यह समस्या नॉन-कॉन्वेक्स (non-convex) है, लेखक KKT कंडीशंस के माध्यम से दिखाते हैं कि कोई भी ऑप्टिमाइज़र $x^*$ इस सामान्य आइगेनवैल्यू इक्वेशन को संतुष्ट करता है:
$(K_A - \lambda^* K_B) x^* = \nu^* x^*$
जहाँ $\lambda^* \geq 0$ एक लैग्रेंज मल्टीप्लायर है। यह KODA को $\lambda$ पर एक वन-डायमेंशनल सर्च के माध्यम से समस्या को हल करने की अनुमति देता है: प्रत्येक $\lambda$ के लिए, $K_A - \lambda K_B$ का लीडिंग आइगेनवेक्टर कंप्यूट करें और जांचें कि क्या यह बाधा $x^\top K_B x \leq \epsilon$ को संतुष्ट करता है।

एकाधिक डिस्क्रिपेंसी मोड्स (discrepancy modes) निकालने के लिए, KODA इसे पुनरावृत्ति (iteratively) से हल करता है, जो पहले से मिली हुई दिशाओं के प्रति ऑर्थोगोनैलिटी (orthogonality) को लागू करने के लिए एक प्रोजेक्शन मैट्रिक्स $P = I - UU^\top$ का उपयोग करता है।

2.3. कोवेरियेंस ब्लॉक्स और रैंडम फीचर्स के माध्यम से स्केलेबिलिटी (Scalability via Covariance Blocks and Random Features)

बड़े डेटासेट्स ( $n \gtrsim 20,000$ ) के लिए $n \times n$ कर्नेल मैट्रिसेस का सीधा आइजनडीकंपोजिशन (eigendecomposition) कम्प्यूटेशनल रूप से अत्यधिक कठिन है। KODA इसे एक्सप्लिसिट फीचर रिप्रेजेंटेशन्स (जैसे शिफ्ट-इनवेरिएंट कर्नेल्स के लिए रैंडम फूरियर फीचर्स) का लाभ उठाकर संबोधित करता है।
यदि $K_A = \Phi_A \Phi_A^\top$ और $K_B = \Phi_B \Phi_B^\top$ है जहाँ फीचर डायमेंशन $d_1, d_2 \ll n$ है, तो $K_A - \lambda K_B$ के लिए आइजनवेक्टर कंप्यूटेशन को कोवेरियंस ब्लॉक्स वाले $(d_1 + d_2) \times (d_1 + d_2)$ आकार के आइजनप्रॉब्लम में कम किया जा सकता है:
$M_\lambda = \begin{bmatrix} \Phi_A^\top \Phi_A & \Phi_A^\top \Phi_B \\ -\lambda \Phi_B^\top \Phi_A & -\lambda \Phi_B^\top \Phi_B \end{bmatrix}$
यह जटिलता को $O(n^2)$ से घटाकर $O(n(d_1+d_2))$ कर देता है, जिससे बड़े पैमाने के डेटासेट्स पर अनुप्रयोग संभव हो पाता है।

2.4. मल्टी-मोडल एम्बेडिंग्स तक विस्तार (Extension to Multi-modal Embeddings)

पेयर्ड डेटा (जैसे इमेज-टेक्स्ट) के लिए, KODA प्रोडक्ट-कर्नेल (product-kernel) फॉर्मूलेशन का उपयोग करके एक यूनिफाइड मल्टीमॉडल कर्नेल बनाता है:
$k((u, v), (u', v')) = k_x(u, u') \cdot k_t(v, v')$
जहाँ $k_x$ और $k_t$ मोडैलिटी-विशिष्ट कर्नेल्स हैं। परिणामी कर्नेल मैट्रिक्स यूनिमोडल कर्नेल मैट्रिसेस का हेडामाड प्रोडक्ट (Hadamard product) है ( $K = K_x \odot K_t$ )। टेंसर-प्रोडक्ट फीचर स्पेस (जो $d_x d_t$ के रूप में स्केल होता है) को संभालने के लिए, KODA जॉइंट रैंडम फूरियर फीचर्स (Joint RFF) का उपयोग करता है। यह प्रोडक्ट कर्नेल को $2r$ डायमेंशन वाले फीचर मैप के साथ अनुमानित (approximate) करता है, जो वास्तविक प्रोडक्ट कर्नेल के सापेक्ष लीडिंग आइजनस्पेस की स्थिरता पर सैद्धांतिक गारंटी प्रदान करता है।

3. मुख्य योगदान (Key Contributions)

कंट्रास्टिव एम्बेडिंग क्लस्टरिंग टास्क: यह पेपर उन सैंपल सबसेट्स की पहचान को एक कंस्ट्रेंड ऑप्टिमाइज़ेशन प्रॉब्लम के रूप में औपचारिक रूप देता है जो एक एम्बेडिंग में स्ट्रॉंगी क्लस्टर्ड हैं लेकिन दूसरे में वीकली क्लस्टर्ड हैं, जो ग्लोबल डिफरेंस एनालिसिस से अलग है।
KODA एल्गोरिदम: एक कर्र्नल-आधारित ऑप्टिमाइज़ेशन फ्रेमवर्क जो स्ट्रक्चर्ड स्पेक्ट्रल कंप्यूटेशन के माध्यम से इस कार्य को हल करता है।
स्केलेबल इम्प्लीमेंटेशन: कोवेरियंस-ब्लॉक रिडक्शन और जॉइंट रैंडम फूरियर फीचर एप्रोक्सिमेशन का विकास KODA को बड़े पैमाने के विजन-लैंग्वेज डेटासेट्स पर बिना विशाल कर्नेल मैट्रिसेस बनाए स्केल करने में सक्षम बनाता है।
इंटरप्रिटेबल डिस्क्रिपेंसी डायरेक्शंस: यह विधि विशिष्ट सैंपल सबसेट्स और मोडैलिटी इंटरैक्शन से जुड़ी व्याख्या योग्य दिशाएं प्रदान करती है, जो लक्षित डेटा क्यूरेशन और मॉडल अलाइनमेंट की सुविधा देती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने CLIP, DINOv2, BLIP, OpenCLIP, SigLIP, और SigLIP2 सहित मॉडल्स का उपयोग करके यूनिमोडल (ImageNet, FFHQ, AFHQ) और मल्टीमॉडल (MS-COCO) डेटासेट्स पर KODA का मूल्यांकन किया।

डिस्क्रिपेंसी डिस्कवरी: KODA ने सुसंगत और व्याख्या योग्य डिस्क्रेंसी स्ट्रक्चर की सफलतापूर्वक पहचान की। उदाहरण के लिए, FFHQ पर, इसने उन दिशाओं को खोजा जहाँ DINOv2 ने नमूनों को सुसंगत रूप से (जैसे विशिष्ट चेहरे के गुणों के आधार पर) समूहीकृत किया जबकि CLIP ने नहीं। MS-COCO पर, इसने उन इमेज-टेक्स्ट पेयर्स की पहचान की जहाँ BLIP ने CLIP की तुलना में स्पष्ट संयुक्त संरचनाएं (जैसे बेसबॉल या सर्फिंग जैसे विशिष्ट स्पोर्ट्स एक्शन) बनाईं।
बेसलाइन के साथ तुलना: यूनिमोडल सेटिंग्स में, KODA ने कई डिस्क्रेंसी मोड्स खोजने में SPEC बेसलाइन को पीछे छोड़ दिया। क्वांटिटेटिव मेट्रिक्स (जनरलाइज्ड रेले प्रान्त/Generalized Rayleigh Quotient) ने दिखाया कि KODA की दिशाओं में SPEC की तुलना में काफी अधिक एसिमेट्री स्कोर (जैसे कि लो कंस्ट्रेंट क्वांटाइल्स पर ~20x अधिक मजबूत) था।
रिप्रेजेंटेशन अलाइनमेंट: पेपर यह प्रदर्शित करता है कि KODA द्वारा पहचाने गए सैंपल सबसेट्स का उपयोग कंट्रास्टिव एम्बेडिंग अलाइनमेंट के लिए किया जा सकता है। उन विशिष्ट स्लाइस (जहाँ CLIP कमजोर था और DINOv2/BLIP मजबूत था) पर CLIP को KODA-सिलेक्टेड स्लाइस पर फाइन-ट्यून करने से उन विशिष्ट स्लाइस पर अलाइनमेंट मेट्रिक्स (AMI, NMI, ARI) में काफी सुधार हुआ, जिससे एलाइन्ड मॉडल की ज्योमेट्री लक्ष्य मॉडल के करीब आ गई।
रिट्रीवल एनालिसिस: MS-COCO पर, KODA-सिलेक्टेड सबसेट ने मॉडल्स के बीच प्रदर्शन अंतर को बढ़ा दिया (जैसे CLIP बनाम SigLIP), जिससे पता चला कि SigLIP उन विशिष्ट डिस्क्रेंसी स्लाइस पर बेहतर रिट्रीवल परफॉर्मेंस बनाए रखता है जहाँ CLIP संघर्ष कर रहा था।

5. महत्व और सीमाएं (Significance and Limitations)

महत्व:
पेपर का दावा है कि KODA एगोरेट डाउनस्ट्रीम मेट्रिक्स के परे फाउंडेशन मॉडल्स की तुलना करने के लिए एक सिद्धांत आधारित, अनसुपरवाइज्ड विधि प्रदान करता है। विशिष्ट सैंपल सबसेट्स तक डिस्क्रिपेंसी को स्थानीयकृत करके, यह निम्नलिखित का समर्थन करता है:

इंटरप्रिटेबिलिटी: यह समझना कि मॉडल्स संरचनात्मक रूप से कहाँ और क्यों भिन्न होते हैं।
मॉडल सिलेक्शन और डीबगिंग: उन विशिष्ट डेटा स्लाइस की पहचान करना जहाँ एक मॉडल रेफरेंस के सापेक्ष खराब प्रदर्शन करता है।
लक्षित अलाइनमेंट: रिप्रेजेंटेशन्स को अलाइन करने के लिए डिस्कवर्डेड डिस्क्रिपेंसी स्लाइस को एक्शन योग्य डेटा के रूप में उपयोग करना।

सीमाएं:
लेखक नोट करते हैं कि KODA:

इसके लिए अंडरलाइंग डिस्ट्रीब्यूशन से लिए गए एक साझा रेफरेंस डेटासेट की आवश्यकता होती है।
कर्नेल-प्रेरित ज्योमेट्री पर आधारित अनसुपरवाइज्ड डिस्क्रिपेंसी डिस्कवरी पर ध्यान केंद्रित करता है, बिना लेबल किए गए डाउनस्ट्रीम टास्क का लाभ उठाए।
भविष्य के कार्य दिशाओं में अनमैच्ड डेटासेट्स, सुपरवाइज्ड डिस्क्रिपेंसी धारणाओं और क्लस्टर इंटरप्रिटेशन के लिए मजबूत सांख्यिकीय गारंटी तक फ्रेमवर्क का विस्तार करना शामिल है।

कोड सार्वजनिक रूप से उपलब्ध है: https://github.com/yokiwuuu/KODA