💬 NLP

Dissecting Multimodal In-Context Learning: Modality Asymmetries and Circuit Dynamics in modern Transformers

यह शोधपत्र सिंथेटिक कार्यों पर नियंत्रित प्रयोगों के माध्यम से आधुनिक ट्रांसफॉर्मर में मल्टीमॉडल इन-कॉन्टेक्स्ट लर्निंग (ICL) के तंत्रों की जांच करता है, जिससे यह पता चलता है कि रोटरी पोजीशन एम्बेडिंग्स (Rotary Position Embeddings) ICL के लिए डेटा जटिलता की दहलीज को बढ़ा देते हैं, जबकि एक प्राथमिक मोडैलिटी की उच्च विविधता, परिष्कृत इंडक्शन-शैली के सर्किट्स के माध्यम से, एक माध्यमिक मोडैलिटी में आश्चर्यजनक रूप से कम जटिलता के साथ मल्टीमॉडल ICL को उभरने में सक्षम बनाती है।

मूल लेखक: Yiran Huang, Karsten Roth, Quentin Bouniot, Wenjia Xu, Zeynep Akata

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yiran Huang, Karsten Roth, Quentin Bouniot, Wenjia Xu, Zeynep Akata

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल, डिजिटल मस्तिष्क (एक ट्रांसफार्मर मॉडल) है जो पहेलियाँ सुलझाना सीख रहा है। आमतौर पर, हम सोचते हैं कि ये मस्तिष्क तथ्यों को याद करके और उन्हें अपने "मस्तिष्क कोशिकाओं" (पैरामीटर्स) में संग्रहीत करके सीखते हैं। लेकिन इन मॉडलों के पास एक सुपरपावर है जिसे इन-कॉन्टेक्स्ट लर्निंग (ICL) कहा जाता है। यह ठीक वैसा ही है जैसे आपके सामने कुछ उदाहरण रखे हों और आप तुरंत मौके पर ही नियम समझ लें, बिना पहले से पढ़ाई किए।

यह शोध पत्र जांच करता है कि यह सुपरपावर कैसे काम करती है जब मस्तिष्क को एक साथ दो अलग-अलग प्रकार की जानकारी (जैसे टेक्स्ट और इमेज) को संभालना पड़ता है, और कैसे मॉडल के बड़ा होने पर उसकी आंतरिक वायरिंग बदल जाती है।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:

1. "बड़ा मस्तिष्क" विरोधाभास (The "Big Brain" Paradox)

निष्कर्ष: जब आप एक सिंगल-मोड मस्तिष्क (केवल टेक्स्ट वाला) को बड़ा करते हैं, तो वास्तव में यह "उदाहरणों को देखने" वाले कौशल में खराब हो जाता है और केवल तथ्यों को रटने में बेहतर हो जाता है।
उपमा: एक छात्र की कल्पना करें। यदि वह छोटा है, तो उसे एक नया गणित का सवाल हल करने के लिए पाठ्यपुस्तक के उदाहरणों को देखना पड़ता है। लेकिन यदि आप उसे तथ्यों का एक विशाल पुस्तकालय रटने के लिए देते हैं (स्केलिंग अप), तो वह उदाहरणों को देखना बंद कर देता है और बस अपने द्वारा रटे गए किसी समान तथ्य को याद करने की कोशिश करता है। पुस्तकालय जितना बड़ा होगा, वह तर्क करने के बजाय स्मृति (मेमोरी) पर उतना ही अधिक निर्भर करेगा।
ट्विस्ट: शोध पत्र में पाया गया कि आधुनिक "रोटरी पोजीशन एम्बेडिंग्स" (एक विशिष्ट तरीका जिससे मस्तिष्क क्रम को ट्रैक करता है, जैसे RoPE) इस काम को और भी कठिन बना देते हैं। यह एक छात्र को भ्रमित करने वाले मानचित्र देने जैसा है; वे नकल करने के लिए सही उदाहरण खोजने में संघर्ष करते हैं, इसलिए वे स्मृति पर और भी अधिक निर्भर हो जाते हैं।

2. "प्राथमिक बनाम माध्यमिक" छात्र (The "Primary vs. Secondary" Student - बड़ी खोज)

निष्कर्ष: जब मस्तिष्क को दो मोड (जैसे, टेक्स्ट + इमेज) संभालने के लिए सिखाया जाता है, तो इसमें एक बहुत बड़ा असंतुलन होता है। यदि मस्तिष्क पहले से ही टेक्स्ट (एक "प्राथमिक" मोड) में विशेषज्ञ है, तो वह बहुत कम अभ्यास के साथ इमेज (एक "माध्यमिक" मोड) को संभालना सीख सकता है।
उपमा: मस्तिष्क को एक मास्टर शेफ के रूप में सोचें जिसने वर्षों तक एक जटिल सॉस (टेक्स्ट) को सिद्ध करने में बिताया है। अब, आपसे एक नया घटक, जैसे कि एक विशिष्ट मसाला (इमेज) जोड़ने के लिए कहा जाता है।

आश्चर्य: आपको शेफ को मसाला बनाना शुरू से नहीं सिखाने की जरूरत नहीं है। क्योंकि वे पहले से ही सॉस बनाना जानते हैं, उन्हें बस मसाले को उसमें मिलाने का तरीका समझने के लिए थोड़े से अभ्यास की आवश्यकता है।
असममितता (Asymmetry): यदि आप उन्हें पहले मसाला सिखाने की कोशिश करते (सॉस ट्रेनिंग के बिना), तो उन्हें मसाला सीखने के लिए भारी मात्रा में डेटा की आवश्यकता होती। लेकिन क्योंकि वे पहले से ही सॉस जानते हैं, मसाले का थोड़ा सा डेटा ही काफी है। "प्राथमिक" मोड इंजन बनाता है; "माध्यमिक" मोड को बस इसे चालू करने के लिए एक छोटी सी चाबी की आवश्यकता होती है।

3. स्केलिंग अप "दो-मोड" मस्तिष्क की मदद करता है

निष्कर्ष: सिंगल-मोड मस्तिष्क के विपरीत (जहाँ बड़ा होने से "उदाहरण देखने" का कौशल घट जाता है), "दो-मोड" मस्तिष्क को बड़ा करने से वह हमेशा उदाहरणों का उपयोग करने में बेहतर होता जाता है।
उपमा: सिंगल-मोड मामले में, एक बड़ा मस्तिष्क केवल अधिक तथ्य जमा करता था। लेकिन दो-मोड मामले में, अतिरिक्त मस्तिष्क शक्ति का उपयोग अधिक तथ्य रटने के लिए नहीं किया जाता है। इसके बजाय, इसका उपयोग नए घटक (इमेज) और मास्टर सॉस (टेक्स्ट) के बीच एक बेहतर "पुल" बनाने के लिए किया जाता है। मस्तिष्क जितना बड़ा होगा, पुल उतना ही बेहतर होगा, और उदाहरणों का उपयोग करना उतना ही आसान होगा।

4. "अनुवादक" अत्यंत महत्वपूर्ण है (The "Translator" is Crucial)

निष्कर्ष: दोनों मोड को एक साथ काम करने के लिए, आपको एक अच्छा "अनुवादक" (एन्कोडर) चाहिए जो इमेज को उस भाषा में बदल सके जिसे टेक्स्ट-ब्रेन समझता है।
उपमा: कल्पना करें कि टेक्स्ट-ब्रेन अंग्रेजी बोलता है और इमेज-ब्रेन फ्रेंच की एक बोली बोलता है। यदि आप केवल फ्रेंच शब्द अंग्रेजी बोलने वाले के सामने फेंक देंगे, तो वह भ्रमित हो जाएगा। आपको एक अनुवादक की आवश्यकता है।

यदि अनुवादक खराब है (कम गुणवत्ता वाला एन्कोडर), तो अंग्रेजी बोलने वाला उदाहरणों को नहीं समझ पाएगा, भले ही उदाहरण कितने भी सटीक क्यों न हों।
यदि अनुवादक उत्कृष्ट है (उच्च गुणवत्ता वाला एन्कोडर), तो अंग्रेजी बोलने वाला तुरंत उदाहरणों को समझ लेगा और पहेली सुलझा लेगा। अनुवादक की गुणवत्ता ही तय करती है कि पूरा सिस्टम कितनी अच्छी तरह काम करेगा।

5. मशीन के अंदर: "कॉपी-पेस्ट" सर्किट (Inside the Machine: The "Copy-Paste" Circuit)

निष्कर्ष: शोधकर्ताओं ने मस्तिष्क की वायरिंग (सर्किट) के अंदर देखा कि यह कैसे सीखता है। उन्होंने पाया कि दो विशिष्ट "तार" (अटेंशन हेड्स) यह काम करते हैं:

"लुक बैक" वायर: पिछले आइटम को ढूंढता है।
"इंडक्शन" वायर: मिलान करने वाला उदाहरण ढूंढता है और उसके उत्तर की नकल करता है।
उपमा:

चरण 1 (टेक्स्ट पर प्रशिक्षण): मस्तिष्क इन तारों को बनाना सीखता है। वह सीखता है, "हे, अगर मैं एक पैटर्न देखता हूँ, तो मुझे पीछे देखना चाहिए और उत्तर की नकल करनी चाहिए।"
चरण 2 (इमेज जोड़ना): मस्तिष्क नए तार नहीं बनाता है। वह केवल मौजूदा "इंडक्शन" वायर को पॉलिश करता है। वह इमेज को टेक्स्ट उदाहरण के साथ मैच करने में बेहतर हो जाता है।
प्रमाण: जब शोधकर्ताओं ने इन विशिष्ट तारों को "काट" दिया (बंद कर दिया), तो मस्तिष्क ने उदाहरणों का उपयोग करने की क्षमता खो दी, और वह केवल रैंडम अनुमान लगाने लगा। यह साबित करता है कि ये तार ही इस कौशल के वास्तविक इंजन हैं।

6. वास्तविक दुनिया की जाँच (Real-World Check)

निष्कर्ष: उन्होंने इन विचारों का परीक्षण एक वास्तविक, विशाल AI मॉडल (Qwen2.5-VL) पर किया जिसका वास्तविक दुनिया में उपयोग किया जाता है।
उपमा: उन्होंने केवल एक खिलौना रोबोट का अध्ययन नहीं किया; उन्होंने एक वास्तविक औद्योगिक रोबोट को देखा। उन्होंने पाया कि उसी "लुक बैक" और "इंडक्शन" वायर का अस्तित्व वास्तविक रोबोट में भी था। जब उन्होंने इन तारों को बंद कर दिया, तो रोबोट विफल हो गया। जब उन्होंने रोबोट को फाइन-ट्यून किया, तो वे विशिष्ट तार और भी तेज/सटीक हो गए, ठीक वैसे ही जैसे उनके छोटे खिलौना प्रयोगों में हुआ था।

सारांश

यह शोध पत्र प्रकट करता है कि मल्टीमॉडल लर्निंग (टेक्स्ट + इमेज) एक असममित प्रक्रिया है। आपको मस्तिष्क को सब कुछ शुरू से सिखाने की आवश्यकता नहीं है। यदि आप पहले उसे एक भाषा सिखाते हैं, तो वह एक "रीजनिंग इंजन" (तर्क इंजन) बनाता है। दूसरी भाषा जोड़ना आसान है क्योंकि इंजन पहले से ही वहां है; आपको बस नए इनपुट को पुराने इंजन से जोड़ने की आवश्यकता है। मस्तिष्क को बड़ा करना इस जुड़ाव में मदद करता है, और पूरी प्रक्रिया विशिष्ट आंतरिक "कॉपी-पेस्ट" तारों पर निर्भर करती है जो मॉडल के सीखने के साथ फिर से बनने के बजाय परिष्कृत (refine) होते हैं।

तकनीकी सारांश: मल्टीमॉडल इन-कॉन्टेक्स्ट लर्निंग का विच्छेदन (Dissecting Multimodal In-Context Learning)

समस्या विवरण (Problem Statement)

ट्रांसफॉर्मर-आधारित मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) इन-कॉन्टेक्स्ट लर्निंग (ICL) प्रदर्शित करते हैं, जो बिना पैरामीटर अपडेट के प्रदर्शन (demonstrations) से नए कार्यों को करने की क्षमता है। जबकि सरल, केवल-अटेंशन वाले ट्रांसफॉर्मर्स में यूनिमोडल ICL के सांख्यिकीय चालकों (statistical drivers) और यांत्रिक सर्किटों (विशेष रूप से इंडक्शन हेड्स) का अध्ययन किया गया है, यह स्पष्ट नहीं है कि ये सिद्धांत आधुनिक, LLM-शैली के आर्किटेक्चर (जिसमें RoPE और RMSNorm जैसे घटक शामिल हैं) के भीतर कैसे कार्य करते हैं और वे मल्टीमॉडल परिवेश में कैसे विस्तारित होते हैं। विशेष रूप से, शोध पत्र पूछता है: प्रशिक्षण डेटा सांख्यिकी और अंतर्निहित तंत्रों के संदर्भ में ट्रांसफॉर्मर्स को मल्टीमॉडल ICL करने में क्या सक्षम बनाता है?

कार्यप्रणाली (Methodology)

लेखक सिंथेटिक वर्गीकरण कार्यों पर प्रशिक्षित छोटे, आर्किटेक्चरल रूप से यथार्थवादी दो-परत वाले ट्रांसफॉर्मर मॉडल का उपयोग करके एक नियंत्रित, रिवर्स-इंजीनियरिंग दृष्टिकोण अपनाते हैं। यह सेटअप डेटा सांख्यिकी और आर्किटेक्चरल घटकों के सटीक हेरफेर की अनुमति देता है, जिससे वास्तविक दुनिया के प्रीट्रेनिंग कॉर्पोरा में मौजूद भ्रमित करने वाले चरों (confounding variables) से बचा जा सके।

प्रमुख प्रयोगात्मक घटक:

सिंथेटिक डेटा जनरेशन: डेटा दो मोडैलिटीज ( $M_1$ $M_{1}$ और $M_2$ $M_{2}$ ) के लिए गॉसियन मिक्सचर मॉडल्स (GMMs) से उत्पन्न किया जाता है। लेखक निम्नलिखित को नियंत्रित करते हैं:
- क्लास डाइवर्सिटी ( $K$ ): क्लासेज की संख्या।
- बर्स्टिनेस ( $B$ ): कॉन्टेक्स्ट में क्लास पुनरावृत्ति की आवृत्ति।
- विदिन-क्लास वेरिएशन ( $\epsilon$ ): एक क्लास के भीतर शोर (noise) का स्तर।
- जिपफियन स्क्यू ( $\alpha$ ): क्लास फ्रीक्वेंसी डिस्ट्रीब्यूशन।
प्रशिक्षण प्रोटोकॉल (Training Protocols):
- यूनिमोडल बेसलाइन: ICL सर्किट स्थापित करने के लिए एक एकल मोडैलिटी पर प्रशिक्षण।
- मल्टीमॉडल सेटअप: एक दो-चरणीय प्रक्रिया जहाँ एक डिकोडर को पहले एक प्राथमिक मोडैलिटी ( $M_1$ ) पर प्रीट्रेन किया जाता है, फिर एक MLP प्रोजेक्टर के माध्यम से एक माध्यमिक मोडैलिटी ( $M_2$ ) पेश की जाती है। एक वैकल्पिक प्रीट्रेन्ड एनकोडर का भी परीक्षण किया गया है।
- आर्किटेक्चर वेरिएशंस: प्रयोग मॉडल की गहराई (लेयर्स), चौड़ाई (अटेंशन हेड्स) और पोजीशनल एनकोडिंग (Absolute PE बनाम RoPE) को बदलते हैं।
मूल्यांकन मेट्रिक्स:
- इन-वेट लर्निंग (IWL): कॉन्टेक्स्ट में मौजूद न होने वाली देखी गई क्लासेज पर प्रदर्शन (याद रखने/मेमोराइजेशन को मापना)।
- इन-कॉन्टेक्स्ट लर्निंग (ICL): कॉन्टेक्स्ट में मौजूद नई क्लासेज पर प्रदर्शन (तर्क करने/रीजनिंग को मापना)।
- मैकेनिस्टिक प्रोब्स: अटेंशन पैटर्न के मात्रात्मक माप, जिसमें "प्रीवियस टोकन हेड स्ट्रेंथ" (PHStrength) और "इंडक्शन हेड स्ट्रेंथ" (IndStrength) शामिल हैं।
प्रोडक्शन मॉडल्स पर सत्यापन: निष्कर्षों को हेड आइडेंटिफिकेशन, कॉज़ल एब्लेशन (नॉकआउट), और फाइन-ट्यूनिंग डायनेमिक्स विश्लेषण के माध्यम से Qwen2.5-VL-3B मॉडल पर सत्यापित किया गया है।

मुख्य योगदान और परिणाम

1. आधुनिक ट्रांसफॉर्मर्स में आर्किटेक्चरल धारणाएं

डेटा सांख्यिकी: आधुनिक LLM-शैली के आर्किटेक्चर में यूनिमोडल ICL के मुख्य सांख्यिकीय चालक (उच्च क्लास डाइवर्सिटी, बर्स्टिनेस और इष्टतम जिपफियन स्क्यू) बने रहते हैं।
स्केलिंग प्रभाव: सरल मॉडल्स के विपरीत, आधुनिक ट्रांसफॉर्मर्स को स्केल करना (लेयर्स या हेड्स बढ़ाना) निश्चित डेटा जटिलता पर ICL के बजाय इन-वेट मेमोराइजेशन (IWL) को बढ़ावा देता है। बड़े मॉडल्स को मजबूत ICL प्राप्त करने के लिए काफी अधिक जटिल डेटा की आवश्यकता होती है। इसका श्रेय मल्टी-हेड अटेंशन को दिया जाता है जो मेमोराइजेशन के लिए विशिष्ट सबस्पेस बनाता है, जो ICL समाधान के साथ प्रतिस्पर्धा करता है।
पोजीशनल एनकोडिंग: एब्सोल्यूट पोजीशनल एनकोडिंग (APE) से रोटरी पोजीशनल एम्बेडिंग्स (RoPE) में स्विच करने से ICL के लिए आवश्यक डेटा जटिलता की सीमा बढ़ जाती है। RoPE "प्रीवियस-टोकन" और "इंडक्शन" अटेंशन पैटर्न के निर्माण को बाधित करता है, जो संभवतः इसके मल्टीप्लिकेटिव रोटेशनल स्ट्रक्चर के कारण है जिसमें डिस्क्रीट ऑफसेट संकेतों का अभाव होता है।

2. मल्टीमॉडल लर्निंग एसिमेट्री (Asymmetry)

प्राथमिक बनाम माध्यमिक भूमिका: एक मौलिक विषमता (asymmetry) मौजूद है। जब एक मॉडल को प्राथमिक मोडैलिटी ( $M_1$ ) से उच्च-विविधता वाले डेटा पर प्रीट्रेन किया जाता है, तो माध्यमिक मोडैलिटी ( $M_2$ ) को मल्टीमॉडल ICL को सक्षम करने के लिए आश्चर्यजनक रूप से कम डेटा जटिलता (जैसे, कम क्लासेज) की आवश्यकता होती है।
तंत्र (Mechanism): प्राथमिक मोडैलिटी कोर ICL सर्किट स्थापित करती है। माध्यमिक मोडैलिटी की भूमिका केवल एक विशिष्ट सिग्नल प्रदान करना है जिसे प्रोजेक्टर मौजूदा फीचर स्पेस पर मैप करता है।
स्केलिंग बेनिफिट: यूनिमोडल मामले के विपरीत जहां स्केलिंग मेमोराइजेशन को बढ़ावा देती है, मल्टीमॉडल सेटिंग में डिकोडर को स्केल करना लगातार ICL में सुधार करता है। अतिरिक्त क्षमता का उपयोग माध्यमिक मोडैलिटी को पूर्व-मौजूदा सर्किट में मैप करने के लिए किया जाता है, न कि मेमोराइजेशन के लिए।
ट्रेनिंग शेड्यूल डिपेंडेंस: यह विषमता प्रीट्रेनिंग करिकुलम द्वारा संचालित होती है। अर्ली-फ्यूजन जॉइंट ट्रेनिंग (दोनों मोडैलिटीज को शुरू से प्रशिक्षित करना) में, विषमता उलट जाती है, जहाँ लेबल के पोजीशनली एडजेसेंट (निकटवर्ती) मोडैलिटी प्रभावी हो जाती है।

3. एनकोडर्स और अलाइनमेंट की भूमिका

क्रॉस-मोडल अलाइनमेंट: माध्यमिक मोडैलिटी के लिए एक प्रीट्रेन्ड एनकोडर महत्वपूर्ण है। यह उच्च-आयामी $M_2$ फीचर्स और डिकोडर के लेटेंट स्पेस के बीच के "मिसअलाइनमेंट गैप" को पाटता है।
फीचर क्वालिटी: उच्च एनकोडर वैलिडेशन एक्यूरेसी (बेहतर फीचर डिस्क्रिमिनेबिलिटी) डाउनस्ट्रीम मल्टीमॉडल ICL प्रदर्शन की मजबूती से भविष्यवाणी करती है। एनकोडर $M_2$ डेटा को एक ऐसे मैनिफोल्ड में संकुचित करता है जो डिकोडर के साथ बेहतर ढंग से अलाइन होता है, जिससे इंडक्शन हेड्स प्रभावी ढंग से कार्य कर पाते हैं।

4. मैकेनिस्टिक डायनेमिक्स

सर्किट रिफाइनमेंट: मैकेनिस्टिक विश्लेषण दो-चरणीय विकास को प्रकट करता है:
1. यूनिमोडल प्रीट्रेनिंग: बुनियादी इंडक्शन सर्किट स्थापित करती है (प्रीवियस-टोकन कॉपी करने और लेबल मैचिंग को सीखना)।
2. मल्टीमॉडल ट्रेनिंग: मुख्य रूप से लेबल मैचिंग के लिए जिम्मेदार इंडक्शन हेड (IndStrength) को रिफाइन (परिष्कृत) करती है ताकि नई मोडैलिटी को समायोजित किया जा सके। "प्रीवियस-टोकन" कॉपी करने वाला तंत्र स्थिर रहता है और उसका पुन: उपयोग किया जाता है।
कॉज़ल ड्राइवर्स: दोनों सेटिंग्स में, इंडक्शन हेड की स्ट्रेंथ ICL एक्यूरेसी के साथ मजबूती से सह-संबंधित (correlate) होती है। एब्लेशन अध्ययन पुष्टि करते हैं कि इन हेड्स को हटाने से प्रदर्शन में भारी गिरावट आती है।
प्रोडक्शन स्केल वैलिडेशन: Qwen2.5-VL-3B में, सिंथेटिक टेस्टबेड में पहचाने गए इंडक्शन और प्रीवियस-टोकन हेड्स काफी हद तक LLM बैकबोन में मौजूद हेड्स के साथ ओवरलैप करते हैं। ये हेड्स ICL को कॉज़ली संचालित करते हैं (नॉकआउट करने से सटीकता रैंडम के करीब गिर जाती है), और फाइन-ट्यूनिंग कॉपी करने वाले तंत्र को बदले बिना इंडक्शन हेड स्ट्रेंथ को रिफाइन करती है, जो सिंथेटिक निष्कर्षों को प्रतिबिंबित करती है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह ट्रांसफॉर्मर्स में मल्टीमॉडल ICL का पहला मैकेनिस्टिक विवरण प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

सांख्यिकी और आर्किटेक्चर का पृथक्करण: यह प्रदर्शित करना कि जबकि डेटा सांख्यिकी ICL को संचालित करती है, आर्किटेक्चरल विकल्प (जैसे RoPE और स्केलिंग) यूनिमोडल सेटिंग्स में इसे दबा सकते हैं लेकिन मल्टीमॉडल सेटिंग्स में इनका अलग तरह से लाभ उठाया जाता है।
मल्टीमॉडल स्केलिंग की व्याख्या: एक मैकेनिस्टिक स्पष्टीकरण देना कि क्यों स्केलिंग लगातार मल्टीमॉडल ICL को लाभ पहुँचाती है (क्षमता का उपयोग मैपिंग के लिए किया जाता है, न कि मेमोराइजेशन के लिए), जो यूनिमोडल रुझानों के विपरीत है।
सर्किट इनहेरिटेंस (विरासत): यह स्थापित करना कि मल्टीमॉडल ICL प्राथमिक मोडैलिटी की प्रीट्रेनिंग से प्राप्त इनहेरिटेड (विरासत में मिले) सर्किटों पर निर्भर करता है, जिन्हें फिर से बनाने के बजाय रिफाइन किया जाता है।
टेस्टबेड उपयोगिता: एक नियंत्रित, लो-कंप्यूट सिंथेटिक टेस्टबेड प्रदान करना जो सफलतापूर्वक कारण कारकों को अलग करता है और गुणात्मक अंतर्दृष्टि को प्रोडक्शन-स्केल मॉडल्स (Qwen2.5-VL) में स्थानांतरित करता है।

लेखक अपने दावों के संबंध में विनम्रता बनाए रखते हैं, यह नोट करते हुए कि उनके मैकेनिस्टिक निष्कर्ष छोटे, नियंत्रित ट्रांसफॉर्मर्स में स्थापित किए गए हैं और प्रोडक्शन मॉडल्स में स्थानांतरण को पूर्णतः सत्यापित मात्रात्मक समानता के बजाय एक गुणात्मक सेतु (qualitative bridge) के रूप में देखा जाना चाहिए। वे इस बात पर जोर देते हैं कि उनका कार्य केवल MLLM व्याख्यात्मकता (interpretability) के बजाय ट्रांसफॉर्मर लर्निंग फेनोमेना की व्यापक समझ में योगदान देता है।