🤖 AI

Multi-Modality Distillation via Learning the teacher's modality-level Gram Matrix

यह शोध पत्र एक नवीन मल्टी-मोडैलिटी नॉलेज डिस्टिलेशन फ्रेमवर्क प्रस्तावित करता है जो छात्र (student) नेटवर्क को शिक्षक (teacher) के मोडैलिटी-लेवल ग्राम मैट्रिक्स (Gram Matrix) को सीखने के लिए मजबूर करके शिक्षक और छात्र नेटवर्कों के बीच के अंतर को पाटता है, जिससे केवल अंतिम आउटपुट के बजाय आवश्यक इंटर-मोडैलिटी रिलेशनशिप जानकारी को कैप्चर किया जा सके।

मूल लेखक: Peng Liu

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Peng Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: विशालकाय को छोटा करना

कल्पive कि आपके पास एक बहुत बड़ा, अत्यंत बुद्धिमान शेफ (शिक्षक/Teacher) है जो एक विशाल और पूरी तरह से सुसज्जित रसोई का उपयोग करके अद्भुत व्यंजन तैयार कर सकता है। इस शेफ के पास लाखों सामग्रियां और उपकरण (पैरामीटर्स) हैं। हालाँकि, आप एक युवा, छोटे प्रशिक्षु (छात्र/Student) को वही व्यंजन बनाना सिखाना चाहते हैं, लेकिन उस प्रशिक्षु के पास केवल एक छोटा सा बैकपैक और एक छोटा चूल्हा है। वह सभी उपकरणों को साथ नहीं ले जा सकता या हर रेसिपी के हर एक कदम को याद नहीं रख सकता।

AI की दुनिया में, ये "शेफ" विशाल कंप्यूटर मॉडल (जैसे UNITER या BERT) हैं जो फोन या छोटे उपकरणों पर चलाने के लिए बहुत बड़े हैं। नॉलेज डिस्टिलेशन (Knowledge Distillation) वह प्रक्रिया है जहाँ छोटा प्रशिक्षु बड़े शेफ की नकल करना सीखता है ताकि छोटा मॉडल उस विशाल रसोई की आवश्यकता के बिना भी बेहतरीन काम कर सके।

समस्या: केवल अंतिम व्यंजन की नकल करना

लंबे समय तक, शोधकर्ताओं ने प्रशिक्षु को केवल वह अंतिम व्यंजन दिखाकर सिखाने की कोशिश की जो शेफ ने परोसा था।

पुराना तरीका: शेफ कहता है, "यह एक उत्तम लाज़ानिया है।" छात्र एक ऐसा लाज़ानिया बनाने की कोशिश करता है जो बिल्कुल उसी की तरह दिखता हो।
खामी: छात्र सही अंतिम परिणाम तो प्राप्त कर लेता है, लेकिन वह यह नहीं समझ पाता कि शेफ ने सामग्रियों को कैसे मिलाया। इस विशिष्ट शोध पत्र में, "सामग्रियां" डेटा के विभिन्न प्रकार हैं: टेक्स्ट (शब्द) और इमेज (तस्वीरें)।

लेखक तर्क देते हैं कि पुराना तरीका "गुप्त सामग्री" को मिस कर देता है। यह छात्र को यह नहीं सिखाता कि शेफ एक कुत्ते की तस्वीर को "भोंकने" (bark) शब्द के साथ कैसे जोड़ता है। यह केवल अंतिम उत्तर सिखाता है। इसी कारण से, गहराई में, छात्र और शिक्षक अभी भी एक-दूसरे से बहुत अलग सोचते हैं, और छात्र उतना स्मार्ट नहीं होता जितना वह हो सकता था।

नया विचार: "फ्लेवर प्रोफाइल" सीखना

लेखक प्रशिक्षु को सिखाने का एक नया तरीका प्रस्तावित करते हैं। केवल अंतिम व्यंजन को देखने के बजाय, वे चाहते हैं कि छात्र सामग्रियों के बीच के संबंध को सीखे।

वे इसे "मोडैलिटी-लेवल ग्राम-मैट्रिक्स" (Modality-Level Gram-Matrix) कहते हैं। यह सुनने में जटिल लगता है, लेकिन कल्पना करें:

कल्पिए कि शेफ के पास एक विशेष नोटबुक है जहाँ वे लिखते हैं कि प्रत्येक सामग्री का दूसरी सामग्री के साथ क्या संबंध है।

"जब मैं समुद्र तट की तस्वीर देखता हूँ, तो मैं 'रेत' शब्द के बारे में सोचता हूँ।"
"जब मैं तूफान की तस्वीर देखता हूँ, तो मैं 'खतरा' शब्द के बारे में सोचता हूँ।"

यह नोटबुक ग्राम-मैट्रिक्स (Gram-Matrix) है। यह संबंधों का एक मानचित्र (Map) है।

शिक्षक की नोटबुक: बड़े शेफ के पास एक सटीक मानचित्र है कि चित्र और शब्द एक-दूसरे से कैसे संबंधित हैं।
छात्र का लक्ष्य: छोटा छात्र इस संबंधों के मानचित्र की नकल करने की कोशिश करता है, न कि केवल अंतिम उत्तर की।

शोध पत्र सुझाव देता है कि छात्र को इस "संबंध मानचित्र" (कि कैसे शिक्षक टेक्स्ट को इमेज से जोड़ता है) को सीखने के लिए मजबूर करके, छात्र बहुत अधिक स्मार्ट और बेहतर प्रदर्शन करने वाला बन जाता है, भले ही उसके पास संसाधन कम हों।

उन्होंने इसका परीक्षण कैसे किया

शोधकर्ताओं ने तीन अलग-अलग "कुकिंग चुनौतियों" (डेटासेट्स) पर इस विचार का परीक्षण किया:

हेटफुल मीम्स (Hateful Memes): यह निर्धारित करना कि क्या टेक्स्ट के साथ वाली इमेज द्वेषपूर्ण है या नहीं।
विजुअल एंटेलमेंट (Visual Entailment): एक इमेज और एक वाक्य को देखना और यह देखना कि क्या वाक्य इमेज के अनुकूल है (जैसे: इमेज: एक दौड़ता हुआ कुत्ता। वाक्य: "कुत्ता सो रहा है।" -> विरोधाभास/Contradiction)।
NLVR: यह जांचना कि क्या एक वाक्य एक सिंथेटिक इमेज का सटीक वर्णन करता है।

इन सभी परीक्षणों में, "छात्र" मॉडल (बड़े AI का एक छोटा संस्करण) को दो चीजों के साथ प्रशिक्षित किया गया था:

सामान्य तरीका (सही उत्तर प्राप्त करने की कोशिश करना)।
नया तरीका: शिक्षक के "संबंध मानचित्र" (ग्राम-मैट्रिक्स) की नकल करने की कोशिश करना।

परिणाम

शोध पत्र का दावा है कि जो छात्र "संबंध मानचित्र" सीखे थे, उन्होंने उन छात्रों की तुलना में बेहतर प्रदर्शन किया जो केवल अंतिम उत्तरों की नकल करते थे।

दृश्य प्रमाण: शोधकर्ताओं ने प्रशिक्षण के विभिन्न चरणों में "मानचित्रों" की एक छवि दिखाई। शुरुआत में, छात्र का मानचित्र अराजक और शिक्षक से अलग दिखता था। हालाँकि, जैसे-जैसे प्रशिक्षण आगे बढ़ा, छात्र का मानचित्र शिक्षक के मानचित्र के लगभग समान दिखने लगा।
निष्कर्ष: छात्र को यह सिखाकर कि शिक्षक विभिन्न प्रकार की जानकारी (इमेज और टेक्स्ट) को कैसे जोड़ता है, वह अधिक प्रभावी ढंग से सीखता है और बेहतर परिणाम प्राप्त करता है।

सारांश

यह शोध पत्र एक छोटे AI को स्मार्ट बनाने के बारे में है, उसे यह दिखाकर कि एक बड़ा AI छवियों और शब्दों को कैसे जोड़ता है, न कि केवल उसे अंतिम उत्तर दिखाकर। यह केवल गणित के सवाल का जवाब बताने के बजाय, छात्र को यह सिखाने जैसा है कि शिक्षक संख्याओं को जोड़ने के लिए अपने दिमाग का उपयोग कैसे करता है। यह छोटे छात्र को बहुत अधिक सक्षम बनाता है।

तकनीकी सारांश: शिक्षक के मोडैलिटी-लेवल ग्राम मैट्रिक्स को सीखकर मल्टी-मोडल डिस्टिलेशन

1. समस्या विवरण (Problem Statement)

यह कार्य मल्टी-मोडल नॉलेज डिस्टिलेशन (KD) पर मौजूदा शोध की एक विशिष्ट सीमा को संबोधित करता है। जबकि पारंपरिक KD विधियाँ बड़े "शिक्षक" (teacher) नेटवर्क से छोटे "छात्र" (student) नेटवर्क में ज्ञान को सफलतापूर्वक स्थानांतरित करती हैं, मल्टी-मोडल डोमेन (जैसे, टेक्स्ट और इमेज को मिलाना) में वर्तमान दृष्टिकोण मुख्य रूप से शिक्षक नेटवर्क के केवल अंतिम आउटपुट (final output) को डिस्टिल करने पर ध्यान केंद्रित करते हैं।

लेखकों का तर्क है कि यह दृष्टिकोण शिक्षक नेटवर्क के भीतर मौजूद समृद्ध इंटर-मोडल रिलेशनशिप इंफॉर्मेशन (inter-modal relationship information) की अनदेखी करता है। फलस्वरूप, शिक्षक और छात्र नेटवर्कों के बीच गहरे विसंगतियां (deep discrepancies) मौजूद रहती हैं, जो छात्र को उन जटिल इंटर-मोडल डिपेंडेंसीज़ (जैसे, इमेज और टेक्स्ट फीचर्स कैसे इंटरैक्ट करते हैं) को प्रभावी ढंग से सीखने से रोकती हैं जिन्हें शिक्षक ने सीखा है। यह कार्य मानता है कि केवल अंतिम वर्गीकरण आउटपुट (classification output) की नकल करना उन मल्टी-मोडल कार्यों के लिए अपर्याप्त है जहाँ मोडैलिटीज के बीच का इंटरैक्शन महत्वपूर्ण होता है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित दृष्टिकोण मोडैलिटी-रिलेशन डिस्टिलेशन (Modality-Relation Distillation) का एक प्रतिमान पेश करता है। केवल अंतिम लॉजिट्स (logits) को अलाइन करने के बजाय, छात्र नेटवर्क को शिक्षक के मोडैलिटी-लेवल ग्राम मैट्रिक्स (Modality-Level Gram Matrix) को सीखने के लिए मजबूर किया जाता है।

मुख्य घटक:

इनपुट मोडैलिटीज (Input Modalities): यह फ्रेमवर्क दोनों शिक्षक और छात्र नेटवर्कों के लिए तीन इनपुट प्रकारों को प्रोसेस करता है:
1. केवल टेक्स्ट ( $x_t$ )
2. केवल इमेज ( $x_i$ )
3. संयुक्त टेक्स्ट-इमेज ( $x_{i+t}$ )
लॉस फंक्शन्स (Loss Functions): समग्र प्रशिक्षण उद्देश्य तीन घटकों को जोड़ता है:
1. पारंपरिक KD लॉस ( $L_{IKD}$ ): एक मानक लॉस फंक्शन (जैसे, कुलबैक-लीब्लर डाइवर्जेंस या सॉफ्ट टारगेट्स के साथ क्रॉस-एन्ट्रॉपी) का उपयोग करके शिक्षक और छात्र के अंतिम आउटपुट लॉजिट्स के बीच के अंतर को कम करता है।
2. क्रॉस-एन्ट्रॉपी लॉस ( $L_{CE}$ ): एक डेटा ऑग्मेंटेशन रणनीति जहाँ छात्र को तीनों इनपुट मोडैलिटीज (टेक्स्ट, इमेज और संयुक्त) के लिए ग्राउंड-ट्रुथ लेबल्स पर प्रशिक्षित किया जाता है। इसे इस प्रकार परिभाषित किया गया है:
  $L_{CE} = \alpha CE(f(x_t), y) + \beta CE(f(x_i), y) + \gamma CE(f(x_{i+t}), y)$
3. मोडैलिटी-रिलेशन लॉस ( $L_{mr}$ ): यह नवीन योगदान है। यह छात्र को शिक्षक के मोडैलिटी आउटपुट्स के ग्राम मैट्रिक्स (Gram Matrix) को दोहराने के लिए मजबूर करता है।
  - मान लीजिए कि $A$ एकल सैंपल के लिए तीन मोडैलिटीज (टेक्स्ट, इमेज, संयुक्त) के लिए नेटवर्क का आउटपुट परिणाम है।
  - मोडैलिटी-रिलेशन मैट्रिक्स $G$ को ग्राम मैट्रिक्स के रूप में परिभाषित किया गया है: $G = A \cdot A^T$ ।
  - लॉस शिक्षक के रिलेशन मैट्रिक्स ( $A_t$ ) और छात्र के रिलेशन मैट्रिक्स ( $A_s$ ) के बीच मीन स्क्वेर्ड एरर (MSE) को कम करता है:
    $L_{mr} = MSE(A_t, A_s)$

आर्किटेक्चर (Architecture):

शिक्षक (Teacher): एक 12-लेयर प्री-ट्रेन्ड UNITER नेटवर्क।
छात्र (Student): एक 2-लेयर UNITER नेटवर्क (समान हिडन साइज 768, लेकिन कम लेयर्स)।
प्रक्रिया (Process): छात्र अपने आंतरिक मोडैलिटी इंटरैक्शन के प्रतिनिधित्व (जिसे ग्राम मैट्रिक्स द्वारा कैप्चर किया जाता है) को शिक्षक के साथ अलाइन करने के लिए सीखता है, इसके साथ ही अंतिम वर्गीकरण आउटपुट को भी मैच करता है।

3. मुख्य योगदान (Main Contributions)

लेखकों ने निम्नलिखित प्राथमिक योगदानों की पहचान की है:

डिस्टिलेशन फोकस में बदलाव: पारंपरिक फोकस (शिक्षक के अंतिम आउटपुट पर केंद्रित) को स्पष्ट रूप से इंटर-मोडल रिलेशनशिप इंफॉर्मेशन को मॉडल करने और स्थानांतरित करने की ओर ले जाना।
मोडैलिटी-लेवल ग्राम मैट्रिक्स: एक एकल सैंपल के भीतर विभिन्न मोडैलिटीज (टेक्स्ट, इमेज, संयुक्त) के आउटपुट्स के बीच संबंधों को कैप्चर करने के लिए ग्राम मैट्रिक्स का उपयोग करने का प्रस्ताव, जो एक नए डिस्टिलेशन टारगेट के रूप में कार्य करता है।
नवीन फ्रेमवर्क: एक मोडैलिटी-रिलेशन-ड्रिवन फ्रेमवर्क का विकास जो प्रभावी रूप से शिक्षक से छात्र तक "इंटरेक्शन" ज्ञान के हस्तांतरण को सक्षम बनाता है, जिससे उन गहरी विसंगतियों को संबोधित किया जाता है जो मानक KD विधियों के साथ बनी रहती हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन तीन मल्टी-मोडल डेटासेट्स पर किया गया:

Hateful-Memes: हेट स्पीच डिटेक्शन के लिए बाइनरी क्लासिफिकेशन।
SNLI-VE: विजुअल एंटेलमेंट (यह अनुमान लगाना कि क्या एक इमेज एक वाक्य को पुष्ट करती है; क्लासेस: एंटेलमेंट, न्यूट्रल, कॉन्ट्राडिक्शन)।
NLVR: नेचुरल लैंग्वेज विजुअल रीजनिंग (सिंथेटिक इमेजेस के लिए सिमेंटिक विश्लेषण)।

प्रदर्शन (Performance):
प्रस्तावित विधि ("Ours") सभी डेटासेट्स और मूल्यांकन स्प्लिट्स (टेस्ट और वैलिडेशन) पर बेसलाइन कन्वेंशनल KD प्रक्रिया से बेहतर रही।

SNLI-VE (Test): 71.22% (KD) से बढ़कर 72.45% हुआ।
NLVR (Test): 73.62% (KD) से बढ़कर 75.33% हुआ।
Hateful-Memes (Test): 68.22% (KD) से बढ़कर 69.54% हुआ।

विज़ुअलाइज़ेशन (Visualization):
लेखकों ने सीखे गए रिलेशन मैट्रिसेस को विज़ुअलाइज़ किया। उन्होंने देखा कि प्रशिक्षण की शुरुआत में इनपुट परटर्बेशन के कारण छात्र का मैट्रिक्स शिक्षक से काफी विचलित था। जैसे-जैसे प्रशिक्षण आगे बढ़ा, छात्र का मैट्रिक्स शिक्षक के अधिक समान होता गया, और एब्सोल्यूट डिफरेंस (डिस्टेंस मैट्रिक्स) कम होता गया, जो मोडैलिटी रिलेशनशिप के सफल शिक्षण को दर्शाता है।

5. महत्व और दावे (Significance and Claims)

यह कार्य दावा करता है कि इसका महत्व मल्टी-मोडल सेटिंग्स में शिक्षक और छात्र नेटवर्कों के बीच "गहरी विसंगतियों" को संबोधित करने में निहित है। छात्र को केवल अंतिम आउटपुट के बजाय मोडैलिटी रिलेशनशिप इंफॉर्मेशन (ग्राम मैट्रिक्स के माध्यम से) सीखने के लिए मजबूर करके, यह विधि छात्र को शिक्षक के कन्वर्जेंस स्पेस और विभिन्न मोडैलिटीज के बीच के इंटरैक्शन को समझने की बेहतर नकल करने में सक्षम बनाती है।

लेखक नोट करते हैं कि यह दृष्टिकोण विभिन्न मोडैलिटीज के बीच संबंध जानकारी को मॉडल करके, मोडैलिटी रिलेशनशिप इंफॉर्मेशन के माध्यम से शिक्षक से छात्र तक ज्ञान हस्तांतरण का प्रभावी ढंग से उपयोग करता है, जिससे छात्र को उतना बड़ा होने की आवश्यकता के बिना मल्टी-मोडल डिस्टिलेशन प्रदर्शन में सुधार होता है। कार्य सुझाव देता है कि मानक KD मल्टी-मोडल कार्यों के लिए अपर्याप्त है क्योंकि यह मोडैलिटीज के बीच संरचनात्मक संबंधों को कैप्चर करने में विफल रहता है, जो विजुअल एंटेलमेंट जैसे कार्यों के लिए महत्वपूर्ण हैं।