← नवीनतम पेपर
💻 computer science

Beyond the Linear Separability Ceiling: Aligning Representations in VLMs

यह शोध पत्र लीनियर सेपरेबिलिटी सीलिंग (LSC) पर केंद्रित एक नैदानिक ढांचे को प्रस्तुत करता है जो यह प्रकट करता है कि विजुअल-लैंग्वेज मॉडल्स की अमूर्त तर्क (abstract reasoning) में विफलताएं अक्सर तर्क संबंधी दोषों के बजाय उप-इष्टतम विजुअल एलाइनमेंट के कारण होती हैं, और विजुअल रिप्रजेंटेशन्स को अधिक लीनिएली सेपरेबल ज्योमेट्री में पुनर्गठित करने के लिए एक कंट्रास्टिव ट्रेनिंग पद्धति का प्रस्ताव करता है, जिससे मॉडल इस प्रदर्शन सीमा को महत्वपूर्ण रूप से पार करने में सक्षम होते हैं।

मूल लेखक: Enrico Vompa, Tanel Tammet, Mohit Vaishnav

प्रकाशित 2026-06-19
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Enrico Vompa, Tanel Tammet, Mohit Vaishnav

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Beyond the Linear Separability Ceiling: Aligning Representations in VLMs" शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: "स्मार्ट लेकिन अनभिज्ञ" रोबोट

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट रोबोट (एक विजुअल-लैंग्वेज मॉडल, या VLM) है जो तस्वीरें देख सकता है और उनके बारे में बात कर सकता है। आप उसे एक पहेली दिखाते हैं: "यहाँ बिल्लियों की 6 तस्वीरें हैं जो कुछ कर रही हैं, और 6 बिल्लियों की तस्वीरें हैं जो वह काम नहीं कर रही हैं। इस नई तस्वीर किस श्रेणी में आती है?"

कभी-कभी, रोबोट विफल हो जाता है। लेखकों ने जो बड़ा सवाल पूछा वह यह था: क्यों?

  • क्या रोबोट की "आंखें" (परसेप्शन/देखने की क्षमता) खराब हैं? शायद वह बिल्ली को स्पष्ट रूप से नहीं देख पा रहा है।
  • या क्या उसका "दिमाग" (रीजनिंग/तर्क) खराब है? शायद वह बिल्ली को पूरी तरह देख लेता है लेकिन पहेली को हल करने के लिए नियम को समझ नहीं पाता।

डायग्नोस्टिक टूल: "लीनियर सीलिंग" (Linear Ceiling)

इस उत्तर को खोजने के लिए, लेखकों ने लीनियर सेपरेबिलिटी सीलिंग (LSC) नामक एक परीक्षण बनाया।

उपमा: कल्पना कीजिए कि रोबोट की "आंखें" हर तस्वीर को नंबरों की एक लंबी सूची (एम्बेडिंग) में बदल देती हैं।

  • परीक्षण: वे इन नंबरों की सूचियों को लेते हैं और एक बहुत ही साधारण, मूर्ख कैलकुलेटर (एक लीनियर क्लासिफायर) से पूछते हैं कि क्या वह तस्वीरों को "हाँ" या "ना" के ढेर में अलग कर सकता है।
  • सीलिंग (छत): यदि यह साधारण कैलकुलेटर 90% सटीकता के साथ तस्वीरों को अलग कर सकता है, तो इसका मतलब है कि रोबोट की "आंखों" ने पहले ही कठिन काम कर लिया है। जानकारी मौजूद है, और इसे पढ़ना आसान है। यह 90% उस कच्चे विजुअल डेटा की "सीलिंग" है।

खोज: लेखकों ने पाया कि अधिकांश उन्नत रोबोटों के लिए, यह साधारण कैलकुलेटर वास्तव में रोबोट जितना ही अच्छा प्रदर्शन कर सकता है।

  • "अलाइनमेंट गैप" (तालमेल की कमी): रोबोट का जटिल दिमाग उस स्पष्ट जानकारी का उपयोग करने में विफल हो रहा है जो उसकी आंखें प्रदान कर रही हैं। यह एक ऐसी लाइब्रेरी की तरह है जहाँ किताबें पूरी तरह व्यवस्थित हैं (विजुअल डेटा), लेकिन लाइब्रेरियन (रीजनिंग ब्रेन) रास्ता भटक जाता है और सही किताब नहीं ढूँढ पाता। रोबोट अंधा नहीं है; वह बस "मिसअलाइन्ड" (तालमेल में नहीं) है।

कुछ रोबोट कैसे सफल होते हैं

कुछ रोबोटों ने इस साधारण कैलकुलेटर को हरा दिया। लेखकों ने पाया कि वे दो अलग-अलग तरीकों से ऐसा करते हैं:

  1. "रिफाइनर" (Pixtral): यह रोबोट अपनी आंखों से प्राप्त कच्ची नंबर सूचियों को लेता है और उन्हें एक विशेष प्रक्रिया के माध्यम से और भी स्पष्ट बनाता है। यह एक धुंधली फोटो को साफ करने और उसे इतना शार्प बनाने जैसा है कि साधारण कैलकुलेटर उसे आसानी से पढ़ सके।
  2. "थिंकर" (अन्य अधिकांश): ये रोबोट नंबरों को अधिक स्पष्ट नहीं बनाते। इसके बजाय, वे जटिल तर्क लगाने के लिए अपने जटिल दिमाग का उपयोग करते हैं। वे एक मानसिक कसरत (mental gymnastics) कर रहे हैं जिसे साधारण कैलकुलेटर नहीं कर सकता।

समाधान: रोबोट को "सीधी रेखाओं में सोचना" सिखाना

लेखक इस "अलाइनमेंट गैप" को ठीक करना चाहते थे ताकि सभी रोबोट इन पहेलियों को बेहतर ढंग से हल कर सकें। उन्होंने महसूस किया कि रोबोटों को वाक्य में अगले शब्द की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता था (जैसे एक टेक्स्ट जनरेटर), लेकिन इसने उन्हें अपने विजुअल विचारों को स्पष्ट रूप से व्यवस्थित करने के लिए मजबूर नहीं किया।

समाधान: उन्होंने रोबोट के प्रशिक्षण में एक नया नियम जोड़ा।

  • पुराना नियम: "अगले शब्द का अनुमान लगाओ।"
  • नया नियम: "अगले शब्द का अनुमान लगाओ और यह भी सुनिश्चित करो कि जिस तस्वीर को तुम देख रहे हो, वह नंबर स्पेस में अपने 'भाई-बहन' वाली तस्वीरों के ठीक बगल में हो, और 'दुश्मन' तस्वीरों से दूर हो।"

उपमा: एक बिखरे हुए कमरे की कल्पना करें जहाँ लाल मोजे नीले मोजों के साथ मिले हुए हैं।

  • पहले: रोबोट केवल एक अंदाज़ के आधार पर यह अनुमान लगाने की कोशिश करता है कि मोजा कौन सा है।
  • बाद में: रोबोट को बताया जाता है, "मोजों को छाँटो! सभी लाल मोजों को एक साफ ढेर में रखो और नीले मोजों को दूसरे ढेर में।" एक बार जब मोजे छाँट दिए जाते हैं (विजुअल मैनिफोल्ड को पुनर्गठित किया जाता है), तो रोबोट आसानी से सही मोजा चुन सकता है।

परिणाम

इस नए प्रशिक्षण तरीके (शब्द भविष्यवाणी के साथ इस "छाँटने" वाले नियम को जोड़कर) का उपयोग करने से:

  1. विजुअल्स अधिक स्पष्ट हुए: दुनिया की उनकी आंतरिक तस्वीर व्यवस्थित होकर सीधी रेखाओं (लीनियर ज्योमेट्री) में बदल गई।
  2. दिमाग तालमेल में आया: रोबोट के तर्क करने के मार्ग अंततः उसकी स्पष्ट दृष्टि के साथ मेल खाने लगे।
  3. बेहतर स्कोर: रोबोटों ने अमूर्त पहेलियों (जैसे बॉंगार्ड समस्याएं) को पहले की तुलना में बहुत बेहतर तरीके से हल करना शुरू कर दिया, और अक्सर उस "साधारण कैलकुलेटर" की सीमा को भी पार कर लिया जिसे वे पहले नहीं तोड़ पा रहे थे।

कमी (सीमाएँ)

पेपर में एक ट्रेड-ऑफ (समझौते) का उल्लेख है। रोबोट को अपने विजुअल विचारों को इन सीधी रेखाओं में व्यवस्थित करने के लिए मजबूर करके, वे कभी-कभी थोड़े कठोर (rigid) हो गए।

  • उपमा: यदि आप एक छात्र को केवल सीधी रेखाएं खींचकर गणित के सवाल हल करना सिखाते हैं, तो वे उस विशिष्ट प्रकार के सवाल में बहुत अच्छे हो सकते हैं, लेकिन यदि शिक्षक उनसे गोला बनाने या कविता लिखने के लिए कहता है, तो वे संघर्ष कर सकते हैं।
  • रोबोट इन विशिष्ट विजुअल पहेलियों में बहुत अच्छे हो गए, लेकिन जब प्रश्न का प्रारूप थोड़ा बदल जाता है, तो वे संघर्ष करने लगे क्योंकि वे उस विशिष्ट "सीधी रेखा" संरचना पर बहुत अधिक निर्भर हो गए थे।

सारांश

यह पेपर तर्क देता है कि कई AI विजन मॉडल इसलिए विफल नहीं हो रहे हैं क्योंकि वे देख नहीं सकते; वे इसलिए विफल हो रहे हैं क्योंकि वे जो देखते हैं उसे व्यवस्थित नहीं कर सकते। उनके प्रशिक्षण में एक साधारण "छाँटने" वाला नियम जोड़कर, लेखकों ने इन मॉडलों को उनकी दृष्टि को उनके तर्क के साथ संरेखित (align) करने में मदद की, जिससे वे उन अमूर्त पहेलियों को हल करने में सक्षम हुए जिन्हें वे पहले हल नहीं कर पा रहे थे।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →