🤖 machine learning

A Unifying Framework for Concept-Based Representational Similarity

यह शोध पत्र अवधारणा-आधारित प्रतिनिधित्व समानता (concept-based representational similarity) के लिए एक एकीकृत रूपरेखा प्रस्तावित करता है जो संरेखण (alignment) के विशिष्ट उद्देश्यों को स्पष्ट करती है, उन्हें मूल्यांकन करने के लिए एक नया बेंचमार्क प्रस्तुत करती है, और यह प्रदर्शित करती है कि कपल्ड स्पार्स ऑटोएनकोडर (CoSAE) न्यूनतम युग्मित डेटा के साथ इन पूरक उद्देश्यों को संयुक्त रूप से अनुकूलित करके सुदृढ़ इंस्टेंस-स्तरीय संरेखण प्राप्त करता है।

मूल लेखक: Grégoire Dhimoïla, Victor Boutin, Agustin Martin Picard, Thomas Fel, Thomas Serre

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Grégoire Dhimoïla, Victor Boutin, Agustin Martin Picard, Thomas Fel, Thomas Serre

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास दो अलग-अलग शेफ हैं, शेफ A और शेफ B। वे दोनों स्वादिष्ट व्यंजन बनाते हैं, लेकिन वे अलग-अलग भाषाएँ बोलते हैं और अलग-अलग उपकरणों का उपयोग करते हैं। आपको संदेह है कि गहराई में, वे वास्तव में एक ही मौलिक सामग्री और व्यंजनों का उपयोग कर रहे हैं, बस उन्हें अलग तरह से वर्णित किया गया है।

यह पेपर इस बारे में है कि यह सिद्ध कैसे किया जाए कि ये दो शेफ वास्तव में एक ही "वैचारिक" (conceptual) सामग्रियों का उपयोग कर रहे हैं, और उन्हें बिना किसी विशाल शब्दकोश के एक ही भाषा बोलने के लिए कैसे सिखाया जाए।

यहाँ उनकी खोज का विवरण दिया गया, जिसे सरल उपमाओं का उपयोग करके समझाया गया है:

1. समस्या: "अलाइनमेंट" (Alignment) एक उलझा हुआ शब्द है

AI की दुनिया में, शोधकर्ता अक्सर कहते हैं कि उन्होंने दो मॉडलों को "अलाइन" (align) कर दिया है। लेकिन यह पेपर तर्क देता है कि यह शब्द बहुत अस्पष्ट है। यह ऐसा है जैसे कहना कि दो लोग "जुड़े" हुए हैं। क्या वे फोन कॉल से जुड़े हैं? एक हाथ मिलाने से? या एक साझा रहस्य से?

लेखकों ने महसूस किया कि मौजूदा तरीके अलग-अलग समस्याओं को हल करने की कोशिश कर रहे थे लेकिन उन्हें एक ही नाम दे रहे थे। कुछ तरीकों ने मॉडलों को एक-दूसरे के आउटपुट को ट्रांसलेट (अनुवाद) करने की कोशिश की (जैसे एक अनुवादक ऐप)। अन्य ने इस बात पर सहमति बनाने की कोशिश की कि कोई विशिष्ट वस्तु क्या है (जैसे दोनों का इस बात पर सहमत होना कि एक तस्वीर एक "बिल्ली" है)।

2. ढांचा: अलाइनमेंट का एक 2x2 ग्रिड

लेखकों ने इस भ्रम को सुलझाने के लिए एक सरल मानचित्र बनाया। उन्होंने कहा कि अलाइनमेंट दो प्रश्नों पर निर्भर करता है:

हम क्या मिला रहे हैं? क्या हम कच्चे डेटा (स्वयं चित्र) को मिला रहे हैं या अवधारणाओं (एक "बिल्ली" का विचार) को?
हम कैसे मिला रहे हैं? क्या हम उन्हें एक-एक करके मिला रहे हैं (यह विशिष्ट चित्र उस विशिष्ट चित्र से) या एक पूरी भीड़ के रूप में (सभी चित्रों का सामान्य भाव)?

इससे चार अलग लक्ष्य बनते हैं:

अनुवाद (Translation): क्या मैं शेफ A के व्यंजन को शेफ B के व्यंजन में पूरी तरह से बदल सकता हूँ?
अवधारणा निरंतरता (Concept Consistency): क्या दोनों शेफ सामग्रियों के नाम और प्रकृति पर सहमत हैं?
इंस्टेंस-वाइज (Instance-wise): क्या वे इस विशिष्ट सेब पर सहमत हैं?
डिस्ट्रीब्यूशनल (Distributional): क्या वे सेबों की सामान्य आबादी पर सहमत हैं?

3. बड़ा आश्चर्य: "एक ही आकार सबके लिए उपयुक्त नहीं होता"

शोधकर्ताओं ने सामान्य धारणाओं का परीक्षण किया और पाया कि वे अक्सर गलत थे। उन्होंने पाया कि:

केवल अनुवाद करना पर्याप्त नहीं है: यदि आप एक मॉडल को अच्छी तरह से अनुवाद करना सिखाते हैं, तो इसका मतलब यह नहीं है कि वह अंतर्निहित अवधारणाओं को सही ढंग से समझता है।
केवल भीड़ को मिलाना पर्याप्त नहीं है: यदि आप केवल यह सुनिश्चित करते हैं कि मॉडल एक "औसत" चित्र पर सहमत हों, तो वे अभी भी एक विशिष्ट, अद्वितीय चित्र को देखते समय पूरी तरह से विफल हो सकते हैं।
"साइकिल" (Cycle) वाला तरीका विफल हो जाता है: अन्य क्षेत्रों में, लोग चीजों के मिलान की जांच करने के लिए "राउंड-ट्रिप" टेस्ट (A से B, फिर B से वापस A) का उपयोग करते हैं। लेखकों ने पाया कि AI अवधारणाओं के लिए यह ट्रिक अविश्वसनीय है; मॉडल वास्तव में एक-दूसरे को समझने के बजाय इस टेस्ट को धोखा दे सकते हैं।

4. समाधान: "कपल्ड" ऑटोएनकोडर (CoSAE)

चूंकि कोई भी एकल विधि काम नहीं कर रही थी, इसलिए उन्होंने एक नया टूल बनाया जिसे CoSAE कहा जाता है। इसे एक हाइब्रिड ट्रेनिंग कैंप के रूप में सोचें।

मॉडलों को केवल एक चीज़ करने के लिए मजबूर करने के बजाय, CoSAE उन्हें एक साथ कई चीजें करने के लिए मजबूर करता है:

यह उन्हें अनुवाद करने के लिए मजबूर करता है (एक ही भाषा बोलना)।
यह उन्हें अवधारणाओं पर सहमत होने के लिए मजबूर करता है (एक ही शब्दकोश साझा करना)।
यह "डिस्ट्रीब्यूशनल" दृष्टिकोण का उपयोग करता है (सामान्य भीड़ से मेल खाना) प्रशिक्षण के बड़े हिस्से के लिए।

जादुई सामग्री: पेयर्ड डेटा (Paired Data) की एक छोटी सी बूंद
यहाँ सबसे आश्चर्यजनक हिस्सा है। आमतौर पर, दो मॉडलों को एक-दूसरे को पूरी तरह से समझने के लिए सिखाने के लिए, आपको हजारों उदाहरणों की आवश्यकता होती है जहाँ आपके पास एक चित्र और उसका मिलान करने वाला विवरण हो।

लेखकों ने पाया कि यदि आप 99.9% प्रशिक्षण के लिए "भीड़" वाले दृष्टिकोण का उपयोग करते हैं, तो आपको सिस्टम को "एंकर" (anchor) करने के लिए केवल 0.1% पेयर्ड डेटा (बस कुछ उदाहरण जहाँ चित्र और विवरण ज्ञात रूप से मेल खाते हैं) की आवश्यकता होती है।

उपमा: कल्पना कीजिए कि दो विशाल ऑर्केस्ट्रा को, जो अलग-अलग गाने बजा रहे हैं, सिंक्रोनाइज़ करने की कोशिश की जा रही है। हर एक नोट के लिए शीट म्यूजिक देने के बजाय, आप बस उन्हें एक ही गाने के कुछ हिस्से एक साथ बजाने के लिए देते हैं। साझा लय का वह छोटा सा हिस्सा पूरे प्रदर्शन को तालमेल में लॉक करने के लिए पर्याप्त है।

5. परिणाम

इस "कपल्ड" दृष्टिकोण का उपयोग करके जिसमें थोड़ा सा अतिरिक्त डेटा शामिल है, उनके नए तरीके (CoSAE) ने सभी पिछले तरीकों को पछाड़ दिया। इसने सफलतापूर्वक विभिन्न AI मॉडलों को एक-दूसरे के आंतरिक "अवधारणाओं" को पहले की तुलना में बहुत बेहतर तरीके से समझने में सक्षम बनाया, जिससे यह सिद्ध हुआ कि अलाइनमेंट एक एकल लक्ष्य नहीं है, बल्कि चरणों का एक बहु-चरणीय नृत्य है जिसके लिए सही मिश्रण की आवश्यकता होती है।

संक्षेप में: आप केवल दो AI मॉडलों को एक चीज़ पर सहमत होने के लिए मजबूर करके यह उम्मीद नहीं कर सकते कि वे सब कुछ समझ लेंगे। आपको उन्हें अनुवाद करना, अवधारणाओं को साझा करना और बड़े चित्र को देखना सिखाना होगा, और सब कुछ आपस में जोड़ने के लिए "ग्राउंड ट्रुथ" (ground truth) के एक छोटे से संकेत का उपयोग करना होगा।

तकनीकी सारांश: अवधारणा-आधारित प्रतिनिधिक समानता के लिए एक एकीकृत ढांचा (A Unifying Framework for Concept-Based Representational Similarity)

समस्या विवरण (Problem Statement)

आधुनिक डीप लर्निंग मॉडल अक्सर अपने आंतरिक प्रतिनिधित्व (internal representations) में आश्चर्यजनक संरचनात्मक समानताएं प्रदर्शित करते हैं, जो विभिन्न आर्किटेक्चर, इनिशियलाइजेशन और मोडैलिटीज के बीच साझा अंतर्निहित अवधारणा विखंडन (concept decompositions) का सुझाव देते हैं। हालांकि, "अवधारणा संरेखण" (concept alignment) की धारणा अभी भी अपर्याप्त रूप से परिभाषित है। मौजूदा साहित्य समान शब्दावली का उपयोग विभिन्न उद्देश्यों को अनुकूलित करने के लिए करता है, जिससे यह स्पष्ट नहीं हो पाता कि वास्तव में किन विशिष्ट गुणों को संरेखित किया जा रहा है। इसके अलावा, यह स्पष्ट नहीं है कि क्या एक संरेखण उद्देश्य (जैसे, अनुवाद/translation) को अनुकूलित करना अन्य उद्देश्यों (जैसे, अवधारणा निरंतरता/concept consistency) को विश्वसनीय रूप से पुनर्प्राप्त करता है, या क्या विशुद्ध रूप से अनसुपरवाइज्ड, वितरण संबंधी (distributional) उद्देश्य सार्थक इंस्टेंस-स्तरीय संरेखण (instance-level alignment) को पुनर्प्राप्त कर सकते हैं। यह शोध पत्र तर्क देता है कि वर्तमान विधियों में प्रतिनिधित्व (representations) बनाम अवधारणाओं (concepts) को संरेखित करने के बीच, और इंस्टेंस-वाइज (instance-wise) बनाम वितरण संबंधी (distributional) संरेखण के बीच अंतर करने के लिए एक कठोर ढांचे का अभाव है।

कार्यप्रणाली: एक एकीकृत ढांचा (Methodology: A Unifying Framework)

लेखक एक औपचारिक ढांचा प्रस्तावित करते हैं जो अवधारणा संरेखण को दो अक्षों (axes) के साथ विभाजित करता है:

क्या संरेखित है: प्रतिनिधित्व (अनुवाद/translation) बनाम अवधारणा (अवधारणा निरंतरता/concept consistency)।
संरेखण का स्तर: इंस्टेंस-वाइज (विशिष्ट डेटा बिंदु) बनाम वितरण संबंधी (डेटा के सांख्यिकीय गुण)।

यह विभाजन चार मौलिक गुणों को जन्म देता है:

इंस्टेंस-वाइज ट्रांसलेशन ( $P_{tr}$ ): सिस्टम $i$ से सिस्टम $j$ में एक प्रतिनिधित्व को मैप करने की क्षमता ( $(\psi^{-1}_j \circ \psi_i)(x_i) = x_j$ )।
इंस्टेंस-वाइज कॉन्सेप्ट कंसिस्टेंसी ( $P_{cont}$ ): दोनों सिस्टमों द्वारा एक साझा अवधारणा स्थान (shared concept space) के संकुचित दृश्य (compressed view) को पुनर्प्राप्त करने की क्षमता ( $\psi_i(x_i) = \psi_j(x_j)$ )।
डिस्ट्रीब्यूशनल ट्रांसलेशन ( $P^{dist}_{tr}$ ): ट्रांसलेशन का पुशफॉरवर्ड मेजर (pushforward measure) लक्ष्य वितरण से मेल खाता है।
डिस्ट्रीब्यूशनल कॉन्सेप्ट कंसिस्टेंसी ( $P^{dist}_{cont}$ ): अवधारणा स्थानों के पुशफॉरवर्ड मेजर मेल खाते हैं।

यह ढांचा इन गुणों को स्पार्स ऑटोएनकोडर (Sparse Autoencoders - SAEs) के प्रशिक्षण लॉस में रेगुलेराइजेशन टर्म्स के रूप में संचालित करता है। लेखक इन गुणों के बीच के सैद्धांतिक संबंधों का विश्लेषण करते हैं, और नोट करते हैं कि जबकि सख्त इनजेक्टिविटी (injectivity) और रिकंस्ट्रक्शन धारणाओं के तहत ट्रांसलेशन और कॉन्सेप्ट कंसिस्टेंसी सैद्धांतिक रूप से समान हैं, ये स्थितियां व्यवहार में अक्सर विफल हो जाती हैं।

इन गुणों का मूल्यांकन करने के लिए, लेखक InterVenchA नामक एक डायग्नोस्टिक बेंचमार्क पेश करते हैं जो SAEBench का विस्तार है। यह मूल्यांकन को विभाजित करता है:

एक्सट्रैक्शन क्वालिटी ( $M_{extract}$ ): SAE एक एकल डोमेन के भीतर फीचर्स को कितनी अच्छी तरह से पुनर्निर्मित (reconstruct) और विखंडित (disentangle) करता है।
ट्रांसलेशन क्वालिटी ( $M_{tr}$ ): एक डोमेन में सीखी गई अवधारणाएं दूसरे को पुनर्निर्मित करने के लिए कितनी अच्छी तरह से स्थानांतरित होती हैं (कंसिस्टेंसी से स्वतंत्र)।
कॉन्सेप्ट कंसिस्टेंसी ( $M_{cont}$ ): समान सेट की अवधारणाएं (concepts) विभिन्न डोमेन में कार्य-प्रासंगिक जानकारी को कितनी अच्छी तरह से कैप्चर करती हैं (ट्रांसलेशन से स्वतंत्र)।

प्रस्तावित समाधान: कपल्ड स्पार्स ऑटोएनकोडर (CoSAE)

इस निष्कर्ष के आधार पर कि कोई भी एकल उद्देश्य पर्याप्त नहीं है, लेखक CoSAE प्रस्तावित करते हैं, जो एक मॉड्यूलर SAE ढांचा है जो पूरक संरेखण उद्देश्यों को संयुक्त रूप से लागू करता है। CoSAE निम्नलिखित को जोड़ता है:

रिकंस्ट्रक्शन लॉस ( $L_{dcy}$ )।
युग्मित डेटा के एक छोटे उपसमुच्चय पर इंस्टेंस-वाइज ट्रांसलेशन लॉस ( $L_{tr}$ )।
उसी युग्मित डेटा पर इंस्टेंस-वाइज कॉन्सेप्ट कंसिस्टेंसी लॉस ( $L_{cont}$ )।
पूरे डेटासेट पर वितरण संबंधी संरेखण लॉस ( $L^{dist}_{tr}$ और $L^{dist}_{cont}$ )।

महत्वपूर्ण रूप से, यह विधि ट्रांसपोर्ट समस्या की अन-आइडेंटिफिएबिलिटी (unidentifiability) को हल करने के लिए न्यूनतम युग्मित डेटा (डेटासेट का केवल 0.1% जितना) का उपयोग करके वितरण संबंधी उद्देश्यों को "एंकरिंग" (anchoring) करने पर निर्भर करती है।

मुख्य परिणाम (Key Results)

सिंथेटिक डेटा, विजन मॉडल्स (ViT, DinoV2, SigLIP), और मल्टीमॉडल एनकोडर्स (CLIP, OpenCLIP) पर प्रयोगों के माध्यम से, लेखक प्रदर्शित करते हैं:

समानताओं की विफलता (Failure of Equivalences): संरेखण उद्देश्यों के बीच आमतौर पर मानी जाने वाली समानताएं व्यवहार में लागू नहीं होती हैं।
- ट्रांसलेशन को अनुकूलित करना विश्वसनीय रूप से कॉन्सेप्ट कंसिस्टेंसी को पुनर्प्राप्त नहीं करता है, और इसके विपरीत भी।
- साइकिल कंसिस्टेंसी (जो अक्सर पेयर-फ्री सेटिंग्स में ट्रांसलेशन के सरोगेट के रूप में उपयोग की जाती है) संरेखण के निष्ठावान प्रॉक्सी के रूप में काम नहीं करती है; उच्च साइकिल कंसिस्टेंसी खराब संरेखण के साथ भी सह-अस्तित्व में हो सकती है।
- विशुद्ध रूप से वितरण संबंधी उद्देश्य ट्रांसपोर्ट समस्या की अन-आइडेंटिफिएबिलिटी के कारण इंस्टेंस-स्तरीय संरेखण को पुनर्प्राप्त करने में विफल रहते हैं।
बहु-उद्देश्य अनुकूलन की आवश्यकता (Necessity of Multi-Objective Optimization): मजबूत संरेखण केवल तभी उभरता है जब ट्रांसलेशन और कॉन्सेप्ट कंसिस्टेंसी को स्पष्ट रूप से एक साथ रेगुलेट किया जाता है।
- वास्तविक एम्बेडिंग्स में, अकेले $L_{tr}$ को अनुकूलित करने से ट्रांसलेशन में सुधार होता है लेकिन कंसिस्टेंसी में नहीं; अकेले $L_{cont}$ को अनुकूलित करने से कंसिस्टेंसी में सुधार होता है लेकिन एक्सट्रैक्शन क्वालिटी कम हो जाती है।
- दोनों का संयोजन ही दोनों मेट्रिक्स में उच्च स्कोर प्रदान करता है।
दुर्लभ पर्यवेक्षण की प्रभावशीलता (Effectiveness of Scarce Supervision): "एंकरिंग" रणनीति अत्यधिक प्रभावी है। वितरण संबंधी उद्देश्यों को एंकर करने के लिए 1,000 में से केवल 1 मैच किए गए जोड़े का उपयोग करने से CoSAE को मजबूत इंस्टेंस-स्तरीय संरेखण प्राप्त करने में मदद मिलती है, जो पूर्ण इंस्टेंस-वाइज पर्यवेक्षण वाले मॉडल्स के प्रदर्शन के बराबर या उससे बेहतर है।
प्रदर्शन (Performance): CoSAE सभी संरेखण मेट्रिक्स ( $M_{tr}$ और $M_{cont}$ ) में क्रॉसकोडर्स (Crosscoders), यूनिवर्सल SAEs (USAEs), और SAE-Aligned (SAE-A) सहित स्टेट-ऑफ-द-आर्ट विधियों को पछाड़ता है। विशेष रूप से, क्रॉसकोडर्स, जो आर्किटेक्चरल बाधाओं (कोड्स को जोड़ने) के माध्यम से कंसिस्टेंसी लागू करते हैं, मजबूत स्टैंडअलोन एनकोडर्स बनाए रखने में विफल रहते हैं, जबकि CoSAE मजबूत व्यक्तिगत एनकोडर्स बनाए रखता है।
डाउनस्ट्रीम उपयोगिता (Downstream Utility): CoSAE द्वारा सीखा गया संरेखण इमेजनेट क्लासिफिकेशन (ImageNet classification) जैसे प्रतिस्पर्धी ज़ीरो-शॉट ट्रांसफर प्रदर्शन का समर्थन करता है, जो घने प्रोजेक्टर (dense projectors) का उपयोग करने वाले तरीकों के समान है, बावजूद इसके कि CoSAE स्पार्स ऑटोएनकोडर्स पर निर्भर है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि अवधारणा संरेखण मौलिक रूप से एक बहु-उद्देश्यीय समस्या (multi-objective problem) है जिसे एकल सरोगेट उद्देश्य द्वारा कैप्चर नहीं किया जा सकता है। लेखक तर्क देते हैं कि:

मौजूदा विधियां अक्सर अलग-अलग गुणों को मिला देती हैं, जिससे "संरेखण" की व्याख्या संदिग्ध हो जाती है।
प्रतिनिधित्व बनाम अवधारणा संरेखण और इंस्टेंस बनाम वितरण स्तरों के बीच अंतर करने वाला एक कठोर परिभाषा प्रगति के लिए आवश्यक है।
सबसे मजबूत व्यावहारिक प्रदर्शन एक एकल उद्देश्य को पूरी तरह से अनुकूलित करने से नहीं, बल्कि न्यूनतम पर्यवेक्षण के साथ पूरक रेगुलराइजर्स को संयोजित करने से प्राप्त होता है।

लेखक CoSAE को केवल एक नए मॉडल के रूप में नहीं, बल्कि संरेखण की स्पष्ट सैद्धांतिक समझ के रचनात्मक परिणाम के रूप में प्रस्तुत करते हैं। वे इस बात पर जोर देते हैं कि सार्थक संरेखण के लिए एकल-स्कोर मेट्रिक्स से हटकर, युग्मित उद्देश्यों के एक परिवार की ओर बढ़ते हुए, समस्या की संरचना का सम्मान करना आवश्यक है।

स्वीकृत सीमाएं (Limitations Acknowledged):

ढांचा साझा संरचना पर ध्यान केंद्रित करता है और स्व-पुनर्निर्माण (self-reconstruction) से परे विशिष्ट या डोमेन-विशिष्ट फीचर्स को स्पष्ट रूप से मॉडल नहीं करता है।
मूल्यांकन प्रॉक्सी मेट्रिक्स पर निर्भर करता है न कि ग्राउंड-ट्रुथ कॉन्सेप्ट्स पर, जिसका अर्थ है कि सिमेंटिक संरेखण और कार्यात्मक हस्तांतरण (functional transfer) हमेशा एक समान नहीं हो सकते हैं।
संयुक्त उद्देश्य हाइपरपैरामीटर संवेदनशीलता (hyperparameter sensitivity) पेश करता है।
अनुभवजन्य सत्यापन विशिष्ट आर्किटेक्चर और डेटासेट तक सीमित है, हालांकि यह ढांचा सामान्यीकरण योग्य (generalizable) होने के लिए बनाया गया है।