🤖 machine learning

On the Power of Foundation Models

यह योगदान श्रेणी सिद्धांत (category theory) का उपयोग करके यह दर्शाता है कि जहाँ प्रॉम्प्ट-आधारित शिक्षण (prompt-based learning) केवल प्रतिनिधित्व योग्य कार्यों तक ही सख्ती से सीमित है, वहीं फाइन-ट्यूनिंग के साथ एक पर्याप्त शक्तिशाली फाउंडेशन मॉडल सैद्धांतिक रूप से अपने प्रीट्रेनिंग कार्य द्वारा परिभाषित श्रेणी के भीतर किसी भी डाउनस्ट्रीम कार्य को हल कर सकता है और संरचनात्मक मानचित्रण (structural mapping) के माध्यम से अनदेखी वस्तुओं तक सामान्यीकरण कर सकता है।

मूल लेखक: Yang Yuan

प्रकाशित 2026-04-27

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yang Yuan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "On the Power of Foundation Models" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।

बड़ा सवाल: क्या एक 'सुपर-ब्रेन' सब कुछ कर सकता है?

कल्पना कीजिए कि एक छात्र है जिसने ब्रह्मांड की हर किताब पढ़ ली है, जिसके पास सीखने के लिए अनंत समय है, और जो अभ्यास परीक्षणों (practice tests) में कभी कोई गलती नहीं करता। लेखक एक सरल प्रश्न पूछते हैं: यदि यह छात्र अपने अभ्यास परीक्षणों में पूर्ण (perfect) है, तो क्या वह स्वचालित रूप से आपके द्वारा प्रस्तुत की गई हर नई समस्या को हल कर सकता है?

AI की दुनिया में, यह "छात्र" एक फाउंडेशन मॉडल (Foundation Model) है (जैसे ChatGPT या इमेज जनरेटर के पीछे काम करने वाले मॉडल)। "अभ्यास परीक्षणों" को प्रि-टेक्स्ट टास्क (Pretext Tasks) कहा जाता है (जैसे वाक्य में अगला शब्द अनुमान लगाना या यह अंदाजा लगाना कि एक छवि को कैसे घुमाया गया था)।

यह शोध पत्र तर्क देता है कि मौजूदा सिद्धांत (डेटा की मात्रा या कंप्यूटर के आकार के संबंध में) इसका उत्तर नहीं दे सकते। इसके बजाय, लेखक कैटेगरी थ्योरी (Category Theory) का उपयोग करते हैं (जिसे आप "संरचनाओं का व्याकरण" मान सकते हैं) यह निर्धारित करने के लिए कि ये मॉडल क्या कर सकते हैं और क्या नहीं।

उन्होंने इन मॉडलों के नया सीखने के दो मुख्य नियम खोजे हैं:

नियम #1: "प्रॉम्ट" की सीमा (लाइब्रेरी कार्ड की उपमा)

परिदृश्य: आप चाहते हैं कि मॉडल एक नया कार्य करे (जैसे, तस्वीरों में बिल्लियों की पहचान करना), लेकिन आप इसे फिर से प्रशिक्षित (retrain) नहीं करना चाहते। आप बस इसे एक विशिष्ट निर्देश या "प्रॉम्ट" देते हैं (जैसे एक लाइब्रेरी कार्ड जिस पर लिखा हो: "बिल्लियाँ ढूँढो")।

अंतर्दृष्टि: मॉडल केवल तभी नए कार्य को हल कर सकता है जब वह कार्य उसके मूल प्रशिक्षण (original training) की संरचना के भीतर पहले से ही "छिपा" हुआ हो।

उपमा: कल्पना कीजिए कि मॉडल एक लाइब्रेरी (पुस्तकालय) है।

प्रि-टेक्स्ट टास्क (प्रशिक्षण) वह तरीका है जिससे लाइब्रेरी ने अपनी किताबों को व्यवस्थित किया है। यदि लाइब्रेरी ने किताबों को केवल "रंग" के आधार पर व्यवस्थित किया है, तो किताबें लाल, नीली और हरी श्रेणियों में बंटी होंगी।
प्रॉम्ट ट्यूनिंग (Prompt Tuning) एक लाइब्रेरियन से पूछने जैसा है: "क्या आप मुझे इतिहास की एक किताब ढूंढ कर दे सकते हैं?"
परिणाम: यदि लाइब्रेरी को केवल रंग के आधार पर व्यवस्थित किया गया था, तो लाइब्रेरियन इतिहास की किताब नहीं ढूंढ पाएगा, भले ही उसकी याददाश्त कितनी भी अच्छी क्यों न हो। "इतिहास" की श्रेणी लाइब्रेरी की संरचना में मौजूद ही नहीं है।
शोध पत्र का प्रमाण: लेखक सिद्ध करते हैं कि यदि प्रशिक्षण कार्य (जैसे छवियों को घुमाना) केवल मॉडल को "घुमाने" के बारे में सिखाता है, तो मॉडल को "सेगमेंटेशन" (चीजों को अलग करने/काटने) जैसे जटिल कार्यों को करने के लिए प्रॉम्ट के माध्यम से तैयार नहीं किया जा सकता, क्योंकि "काटने" की अवधारणा लाइब्रेरी की संरचना में निर्मित नहीं थी।

निष्कर्ष: यदि आप मॉडल को केवल शतरंज खेलना सिखाते हैं, तो आप केवल एक "प्रॉम्ट" के माध्यम से उसे फुटबॉल खेलने के लिए नहीं बना सकते। नया कार्य मॉडल की पुरानी संरचना के माध्यम से दर्शाने योग्य (representable) होना चाहिए।

नियम #2: "फाइन-ट्यूनिंग" की शक्ति (मास्टर की (Master Key) की उपमा)

परिदृश्य: आप मॉडल को नए कार्य के लिए एक छोटा डेटासेट देकर थोड़ा नया प्रशिक्षण (फाइन-ट्यूनिंग) देने के लिए तैयार हैं।

अंतर्दृष्टि: यह बहुत अधिक शक्तिशाली है। यदि मॉडल ने अपने मूल प्रशिक्षण के दौरान दुनिया की "संरचना" को अच्छी तरह से सीख लिया है, तो वह किसी भी नए कार्य को हल कर सकता है, बशर्ते आप उसे पर्याप्त संसाधन (डेटा और कंप्यूटिंग पावर) प्रदान करें ताकि वह कड़ियों को जोड़ सके।

उपमा: कल्पना कीजिए कि मॉडल एक मास्टर की (Master Key) है जिसे एक विशिष्ट इमारत के तालों में फिट होने के लिए तराशा गया है (Pretext Task)।

फाइन-ट्यूनिंग (Fine-Tuning) इस मास्टर की को थोड़ा सा फिर से तराशने जैसा है ताकि यह एक अलग इमारत के एक नए दरवाजे में फिट हो सके।
परिणाम: जब तक मास्टर की ने पहली इमारत के तालों के सार (essence) को पकड़ लिया है, आप इसे दुनिया के लगभग किसी भी दरवाजे को खोलने के लिए नया आकार दे सकते हैं।
शोध पत्र का प्रमाण: लेखक दिखाते हैं कि यदि मॉडल "आदर्श" (ideal) है (जिसने प्रशिक्षण संरचना को पूरी तरह से सीख लिया है), तो इसमें किसी भी डाउनस्ट्रीम कार्य को हल करने के लिए आवश्यक सभी जानकारी शामिल है। नए कार्य के लिए प्रशिक्षण डेटा केवल एक मार्गदर्शक के रूप में कार्य करता है जो मॉडल को यह दिखाता है कि इस जानकारी को कैसे नया आकार देना है।

निष्कर्ष: फाइन-ट्यूनिंग "प्रॉम्ट की प्रतिनिधित्व क्षमता" (representability) से सीमित नहीं है। यदि आधार मजबूत है, तो मॉडल को लगभग किसी भी चीज़ के अनुकूल बनाया जा सकता है।

नियम #3: "जादुई पुल" (अनुवादक की उपमा)

परिदृश्य: क्या होता है जब हम विभिन्न प्रकार के मॉडलों को मिलाते हैं, जैसे कि एक जो टेक्स्ट समझता है और एक जो इमेज समझता है (मल्टीमॉडल लर्निंग)?

अंतर्दृष्टि: शोध पत्र एक "सामान्यीकरण प्रमेय" (Generalization Theorem) प्रस्तुत करता है। यह कहता है कि यदि आप दो अलग-अलग दुनियाओं (जैसे टेक्स्ट और इमेज) के बीच एक आदर्श पुल (गणितीय मैपिंग) बनाते हैं, तो एक दुनिया की संरचना दूसरी दुनिया में सुरक्षित रहती है।

उपमा: कल्पना कीजिए कि एक डिक्शनरी (शब्दकोश) जो "टेक्स्ट" को "इमेज" में पूरी तरह से अनुवाद करती है।

टेक्स्ट की दुनिया में, आपके पास एक "एवोकाडो चेयर" (एवोकाडो के आकार की कुर्सी) की अवधारणा है। यह वस्तु वास्तविक दुनिया में मौजूद नहीं हो सकती है, और आपके प्रशिक्षण डेटा में इसकी कोई फोटो मौजूद नहीं है।
हालाँकि, चूंकि टेक्स्ट की दुनिया में एक तार्किक संरचना है जहाँ "एवोकाडो" और "चेयर" को जोड़ा जा सकता है, और आपका डिक्शनरी (मॉडल) टेक्स्ट से इमेज में अनुवाद करते समय इस संरचना को पूरी तरह से संरक्षित करता है...
परिणाम: मॉडल एक "एवोकाडो चेयर" की एकदम सटीक छवि बना सकता है, भले ही उसने इसे पहले कभी न देखा हो। इसने छवि को रटा नहीं है; इसने शब्दों के बीच के संबंध को समझा और उस संरचना को इमेज की दुनिया पर लागू किया।

शोध पत्र का प्रमाण: यह समझाता है कि DALL-E 2 या CLIP जैसे मॉडल उन चीजों की छवियां क्यों बना सकते हैं जो उनके प्रशिक्षण सेट में मौजूद नहीं थीं। वे केवल नकल नहीं करते; वे नई छवियां बनाने के लिए भाषा की संरचनात्मक तर्क (structural logic) का उपयोग करते हैं।

शोध पत्र के दावों का सारांश

प्रॉम्टिंग सीमित है: आप मॉडल को केवल उन्हीं चीजों के लिए प्रॉम्ट कर सकते हैं जो उसके प्रशिक्षण के तरीके में पहले से ही "निर्मित" हैं। यदि प्रशिक्षण ने उसे नए कार्य की संरचना नहीं सिखाई है, तो एक साधारण प्रॉम्ट काम नहीं करेगा।
फाइन-ट्यूनिंग शक्तिशाली है: यदि आप थोड़ा अतिरिक्त प्रशिक्षण देने के लिए तैयार हैं, तो एक मॉडल जिसने एक अच्छी संरचना सीखी है, उसे किसी भी कार्य को हल करने के लिए अनुकूलित किया जा सकता है।
संरचना नए का निर्माण करती है: एक डोमेन (जैसे टेक्स्ट) की संरचना को दूसरे डोमेन (जैसे इमेज) पर पूरी तरह से मैप करके, मॉडल ऐसी चीजें बना सकते हैं जो पहले कभी अस्तित्व में नहीं थीं (जैसे एक एवोकाडो चेयर), क्योंकि वे केवल छवियों को याद करने के बजाय संरचना के तार्किक नियमों का पालन करते हैं।

लेखक इस बात पर जोर देते हैं कि वे विशिष्ट नेटवर्क आकार या डेटा मात्रा के बारे में बात नहीं कर रहे हैं, बल्कि स्वयं कार्यों की तार्किक संरचना (logical structure) के बारे में बात कर रहे हैं। वे गणित का उपयोग यह सिद्ध करने के लिए करते हैं कि प्रशिक्षण कार्य का "आकार" ही यह निर्धारित करता है कि मॉडल अंततः क्या कर सकता है।

यहाँ यांग युआन के शोध पत्र "On the Power of Foundation Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र फाउंडेशन मॉडल्स के युग में एक मौलिक प्रश्न को संबोधित करता है: यदि अनंत उच्च-गुणवत्ता वाला डेटा, अनंत कंप्यूट, और एक पूर्ण प्रशिक्षण एल्गोरिदम (जो प्रीट्रेनिंग कार्य पर शून्य सामान्यीकरण त्रुटि सुनिश्चित करता है) के साथ एक अनंत रूप से बड़ा मॉडल हो, तो क्या ऐसा मॉडल किसी भी डाउनस्ट्रीम कार्य को हल कर सकता है?

डीप लर्निंग के मौजूदा सिद्धांत (रिप्रेजेंटेशन, ऑप्टिमाइजेशन और जनरलाइजेशन) इसका उत्तर देने के लिए अपर्याप्त हैं, क्योंकि वे आमतौर पर विशिष्ट डेटा वितरण, नेटवर्क आर्किटेक्चर या सीमित संसाधनों को मानते हैं। लेखक तर्क देते हैं कि सीमा मॉडल की सीखने की क्षमता में नहीं, बल्कि स्वयं कार्यों के संरचनात्मक प्रतिनिधित्व (structural representation) में है। मुख्य समस्या यह निर्धारित करना है कि फाउंडेशन मॉडल द्वारा केवल उसके प्रीटेक्स्ट कार्य (pretext task) द्वारा प्रेरित संरचना के आधार पर कौन से डाउनस्ट्रीम कार्य हल किए जा सकते हैं।

2. कार्यप्रणाली: एक श्रेणीगत ढांचा (Methodology: A Categorical Framework)

लेखक फाउंडेशन मॉडल्स के विश्लेषण के लिए प्राथमिक गणितीय उपकरण के रूप में कैटेगरी थ्योरी (Category Theory) का उपयोग करते हैं। यह दृष्टिकोण एक "मॉडल-स्वतंत्र" परिप्रेक्ष्य सक्षम करता है जो विशिष्ट न्यूरल नेटवर्क आर्किटेक्चर या लॉस फंक्शन्स के बजाय डेटा बिंदुओं के बीच संरचनात्मक संबंधों पर ध्यान केंद्रित करता है।

परिभाषित प्रमुख अवधारणाएं:

फाउंडेशन मॉडल द्वारा प्रेरित श्रेणी ( $C_f$ ): एक फाउंडेशन मॉडल $f: D \to H$ $f : D \to H$ (डेटा को रिप्रजेंटेशन में मैप करने वाला) एक श्रेणी (category) प्रेरित करता है, जहाँ:
- ऑब्जेक्ट्स (Objects): रिप्रजेंटेशन समानता के अधीन डेटा बिंदु (अर्थात, $X \sim X'$ यदि $f(X) = f(X')$ )।
- मॉर्फिज्म (Morphisms): एक "डेटा-स्वतंत्र रीडआउट" $k_f$ द्वारा परिभाषित और प्रीटेक्स्ट कार्य के ऑपरेशन्स से प्राप्त कंपोजिशन मैप्स (जैसे, कॉन्ट्रास्टिव लर्निंग के लिए फीचर स्पेस में ट्रांसलेशन या लैंग्वेज मॉडलिंग के लिए टोकन अपेंडिंग)।
योनडा एम्बेडिंग (Yoneda Embedding) ( $h_C$ ): शोध पत्र मॉडल के रिप्रजेंटेशन $f(X)$ को एक रिप्रजेंटेबल फंक्टर (representable functor) $h_C(X) = \text{Hom}_C(X, \cdot)$ के रूप में व्याख्या करने के लिए योनडा लेम्मा का उपयोग करता है। यह आंतरिक फीचर स्पेस को फंक्टर्स की एक श्रेणी ( $C^\vee$ ) में मैप करता है, जो प्रभावी रूप से डेटा के संरचनात्मक संबंधों को एनकोड करता है।
कार्य प्रतिनिधित्व (Task Representation): डाउनस्ट्रीम कार्यों को फंक्टर्स $T \in C^\vee$ के रूप में परिभाषित किया गया है। कार्य को हल करने का अर्थ है कि मॉडल $T(X)$ के आइसोमोर्फिक (isomorphic) आउटपुट को उत्पन्न कर सकता है।

3. मुख्य योगदान और परिणाम

शोध पत्र दो अनुकूलन रणनीतियों: प्रॉम्प्ट ट्यूनिंग (Prompt Tuning) और फाइन ट्यूनिंग (Fine Tuning) के तहत फाउंडेशन मॉडल्स की क्षमताओं के संबंध में तीन प्रमेय स्थापित करता है।

A. प्रॉम्प्ट ट्यूनिंग की सीमाएं (प्रमेय 3)

परिणाम: एक फाउंडेशन मॉडल प्रॉम्प्ट ट्यूनिंग के माध्यम से एक डाउनस्ट्रीम कार्य $T$ को तब हल कर सकता है यदि और केवल यदि कार्य $T$ प्रीटेक्स्ट कार्य द्वारा प्रेरित श्रेणी के भीतर रिप्रजेंटेबल (representable) है।
निहितार्थ: प्रॉम्प्ट ट्यूनिंग प्रीटेक्स्ट कार्य की संरचनात्मक समृद्धि द्वारा सख्ती से सीमित है। यदि प्रीटेक्स्ट कार्य (जैसे, रोटेशन प्रेडिक्शन) केवल एक सरल ग्रुप स्ट्रक्चर प्रेरित करता है, तो मॉडल केवल प्रॉम्प्टिंग के माध्यम से जटिल डाउनस्ट्रीम कार्यों (जैसे, सिमेंटिक सेगमेंटेशन) को हल नहीं कर सकता, चाहे मॉडल का आकार कितना भी बड़ा क्यों न हो।
कोरोलरी 1 (Corollary 1): विशेष रूप से, रोटेशन प्रेडिक्शन के प्रीटेक्स्ट कार्य वर्गीकरण (classification) या सेगमेंटेशन जैसे कंटेंट-संबंधित कार्यों को प्रॉम्प्टिंग के माध्यम से हल करने की क्षमता की गारंटी नहीं देते हैं, क्योंकि प्रेरित श्रेणी में आवश्यक संरचनात्मक जटिलता का अभाव है।

B. फाइन ट्यूनिंग की शक्ति (प्रमेय 5)

परिणाम: इसके विपरीत, फाइन ट्यूनिंग में ऐसी कोई संरचनात्मक बाधाएं नहीं हैं। यदि एक फाउंडेशन मॉडल के पास प्रीटेक्स्ट कार्य को हल करने के लिए न्यूनतम आवश्यक प्रदर्शन (सिमिट्री तक) है और उसे डाउनस्ट्रीम कार्य के लिए पर्याप्त संसाधन (डेटा और कंप्यूट) प्रदान किए जाते हैं, तो वह सैद्धांतिक रूप से श्रेणी $C^\vee$ के भीतर परिभाषित किसी भी डाउनस्ट्रीम कार्य को हल कर सकता है।
तंत्र (Mechanism): फाइन ट्यूनिंग मॉडल को एक एक्सटेंशन फंक्टर (योनडा एक्सटेंशन थ्योरम के माध्यम से) सीखने में सक्षम बनाती है जो प्रीट्रेन्ड रिप्रजेंटेशन स्पेस को विशिष्ट लक्ष्य कार्य स्पेस में मैप करता है।
महत्व: यह सुझाव देता है कि फाउंडेशन मॉडल्स की "बोतटलनेक" (bottleneck) फाइन ट्यूनिंग क्षमता स्वयं नहीं है, बल्कि प्रीटेक्स्ट कार्य की गुणवत्ता है। एक समृद्ध प्रीटेक्स्ट कार्य एक समृद्ध श्रेणी $C$ उत्पन्न करता है, जो बदले में हल करने योग्य डाउनस्ट्रीम कार्यों के स्थान को विस्तृत करता है।

C. सामान्यीकरण और मल्टीमॉडल लर्निंग (प्रमेय 6 और 7)

परिणाम: शोध पत्र स्ट्रक्चरल लर्निंग के लिए एक जनरलाइजेशन थ्योरम प्रस्तुत करता है। यदि दो श्रेणियों के बीच एक "फीचर-प्रिजर्विंग फंक्टर" (feature-preserving functor) मौजूद है (जैसे, टेक्स्ट और इमेज), तो स्रोत श्रेणी की संरचनात्मक जानकारी लक्ष्य श्रेणी के फीचर स्पेस में संरक्षित रहती है।
"अनसीन" ऑब्जेक्ट्स पर अनुप्रयोग: यह समझाता है कि CLIP या DALL-E 2 जैसे मॉडल उन वस्तुओं को कैसे उत्पन्न या पहचान सकते हैं जो प्रशिक्षण डेटा में मौजूद नहीं थीं (जैसे, एक "एवोकाडो चेयर")। मॉडल टेक्स्ट और इमेज श्रेणियों के बीच संरचनात्मक संबंधों (morphisms) को सीखता है। यदि टेक्स्ट "एवोकाडो चेयर" टेक्स्ट श्रेणी में एक वैध कंपोजिशन है, तो फीचर-प्रिजर्विंग फंक्टर इस संरचना को इमेज श्रेणी में एक संबंधित (संभावित रूप से अनदेखे) ऑब्जेक्ट में मैप करता है।
कंपोजिशन थ्योरम (प्रमेय 7): यह फ्रेमवर्क श्रेणियों की श्रृंखलाओं (chains of categories) तक विस्तृत है और समझाता है कि कैसे मल्टीमॉडल मॉडल विभिन्न डोमेन (जैसे, भाषा A $\to$ भाषा B $\to$ इमेज) को फंक्टर्स को कंपोज़ करके जोड़ सकते हैं।

4. महत्व और प्रभाव

डेटा/आर्किटेक्चर से संरचना की ओर बदलाव: यह शोध पत्र सैद्धांतिक फोकस को डेटा वॉल्यूम या नेटवर्क डेप्थ से हटाकर कार्यों की बीजगणितीय संरचना (algebraic structure) की ओर ले जाता है। यह प्रतिपादित करता है कि फाउंडेशन मॉडल की "शक्ति" केवल उसके पैरामीटर काउंट से नहीं, बल्कि उसके द्वारा प्रेरित श्रेणी से निर्धारित होती है।
प्रीटेक्स्ट टास्क डिज़ाइन के लिए सैद्धांतिक औचित्य: यह सेल्फ-सुपरवाइज्ड लर्निंग (SSL) के लिए एक कठोर गणितीय ढांचा प्रदान करता है। यह समझाता है कि क्यों कुछ प्रीटेक्स्ट कार्य अन्य की तुलना में बेहतर काम करते हैं: वे अधिक समृद्ध मॉर्फिज्म वाली श्रेणियाँ प्रेरित करते हैं, जिससे डाउनस्ट्रीम कार्यों की एक विस्तृत श्रृंखला सक्षम होती है।
"जीरो-शॉट" क्षमताओं की व्याख्या: योनडा-आधारित फ्रेमवर्क यह औपचारिक स्पष्टीकरण देता है कि फाउंडेशन मॉडल्स अनदेखी अवधारणाओं (कंपोजिशनल जनरलाइजेशन) के लिए कैसे सामान्यीकृत होते, उन्हें केवल सांख्यिकीय सहसंबंधों के बजाय एक श्रेणी के भीतर संरचनात्मक कंपोजिशन के रूप में मानकर।
प्रॉम्प्टिंग और फाइन-ट्यूनिंग के बीच अंतर: यह प्रॉम्प्ट इंजीनियरिंग (रिप्रेजेंटेबिलिटी द्वारा सीमित) और फाइन-ट्यूनिंग (केवल संसाधनों और प्रीट्रेन्ड श्रेणी की समृद्धि द्वारा सीमित) के बीच के सैद्धांतिक अंतर को स्पष्ट करता है।

निष्कर्ष

शोध पत्र यह तर्क देता है कि अनंत संसाधनों के साथ, फाउंडेशन मॉडल की कार्य हल करने की क्षमता मौलिक रूप से प्रीट्रेनिंग के दौरान सीखी गई कैटेगोरिकल स्ट्रक्चर द्वारा सीमित है। जबकि प्रॉम्प्ट ट्यूनिंग इस श्रेणी के भीतर संरचनात्मक रूप से रिप्रजेंटेबल कार्यों तक सीमित है, फाइन ट्यूनिंग इस संरचनात्मक स्थान के भीतर किसी भी कार्य को अनलॉक कर सकती है। इसके अलावा, यह फ्रेमवर्क प्रदर्शित करता है कि मल्टीमॉडल लर्निंग अनिवार्य रूप से विभिन्न श्रेणियों के बीच फंक्टर्स का संरेखण (alignment) है, जो संरचनात्मक संरचना के माध्यम से नई, अनदेखी वस्तुओं के निर्माण और पहचान को सक्षम बनाता है।