🤖 machine learning

LanteRn: Latent Visual Structured Reasoning

LanteRn एक नवीन ढांचा (framework) है जो लार्ज मल्टीमॉडल मॉडल्स की दृश्य तर्क क्षमताओं को संवर्धित करता है, जिससे वे भाषा को संक्षिप्त, निरंतर लेटेंट विजुअल रिप्रेजेंटेशन के साथ इंटरलीव कर पाते हैं, और इस प्रकार केवल टेक्स्ट-आधारित विवरणों की सीमाओं और प्रत्यक्ष पिक्सेल-स्पेस रीजनिंग की अक्षमताओं से बच पाते हैं।

मूल लेखक: André G. Viveiros, Nuno Gonçalves, Matthias Lindemann, André Martins

प्रकाशित 2026-03-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: André G. Viveiros, Nuno Gonçalves, Matthias Lindemann, André Martins

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ LanteRn पेपर का स्पष्टीकरण दिया गया है, जिसे सरल, रोज़मर्रा की भाषा में कुछ रचनात्मक उपमाओं के साथ अनुवादित किया गया है।

🏮 बड़ा विचार: "चित्रों में सोचना" बनाम "चित्रों के बारे में बात करना"

कल्पना कीजिए कि आप एक जटिल मानचित्र (map) देख रहे हैं और फोन पर अपने मित्र को रास्ता समझाने की कोशिश कर रहे हैं।

वर्तमान AI (द "टॉकर" - बोलने वाला): आज के अधिकांश बड़े AI मॉडल उन लोगों की तरह हैं जिन्हें मानचित्र को पूरी तरह से शब्दों में वर्णित करना पड़ता है। वे चित्र देखते हैं, उसे एक लंबे, विस्तृत भाषण में अनुवाद करते हैं ("बाईं ओर एक लाल घर है, फिर एक नीली कार है, फिर एक पेड़ है..."), और फिर केवल उस भाषण का उपयोग करके समस्या को हल करने की कोशिश करते हैं। यह धीमा, बोझिल है और इसमें अक्सर महत्वपूर्ण विवरण खो जाते हैं (जैसे कि पेड़ के सापेक्ष कार वास्तव में कहाँ है)।
LanteRn (द "थिंकर" - सोचने वाला): LanteRn फ्रेमवर्क AI को कुछ अलग करने के लिए प्रशिक्षित करता है। हर विचार को शब्दों में बदलने के बजाय, यह AI को "मौन चित्र विचार" (silent picture thoughts) रखने की अनुमति देता है। यह रुक सकता है, मानचित्र की एक मानसिक छवि को अपनी "मानसिक दृष्टि" में रख सकता है, उस छवि में स्थानिक संबंधों (spatial relationships) के बारे में तर्क कर सकता है, और फिर उत्तर बोल सकता है।

पेपर इन मौन विचारों को "लेटेंट विजुअल रिप्रेजेंटेशन" (Latent Visual Representations) कहता है। इन्हें संपीड़ित (compressed), हाई-डेफिनिशन मानसिक स्नैपशॉट के रूप में समझें जिन्हें AI सोचने की प्रक्रिया के दौरान अपने पास रखता है।

🛠 यह कैसे काम करता है: दो-चरणीय प्रशिक्षण (Two-Stage Training)

शोधकर्ताओं ने केवल इस सुविधा को चालू नहीं किया; उन्हें AI को इसे उपयोग करना सिखाना पड़ा। उन्होंने इसे दो चरणों में किया, जैसे किसी एथलीट को प्रशिक्षित किया जाता है।

चरण 1: "कॉपीकैट" चरण (सुपरवाइज्ड फाइन-ट्यूनिंग)

लक्ष्य: AI को ये मानसिक स्नैपशॉट बनाना सिखाना।
उपमा: कल्पना कीजिए कि एक छात्र चित्र बनाना सीख रहा है। शिक्षक उसे एक बिल्ली की फोटो दिखाता है और कहता, "बिल्ली के कान को देखो। अब, अपनी आँखें बंद करो और अपने मन में उस कान की एक सटीक मानसिक छवि बनाए रखो।"
उन्होंने यह कैसे किया: शोधकर्ताओं ने एक "शिक्षक" AI (विज़न एनकोडर) का उपयोग किया ताकि छात्र AI को दिखा सकें कि चित्र के विशिष्ट हिस्सों के लिए वह मानसिक छवि कैसी दिखनी चाहिए। छात्र AI ने इन आंतरिक "थॉट वेक्टर्स" (thought vectors) को उत्पन्न करना सीखा जो शिक्षक के विजुअल डेटा से मेल खाते हैं।
परिणाम: AI ने आंतरिक रूप से विजुअल जानकारी को "देखना" और "रखना" सीख लिया, लेकिन यह अभी केवल वही कॉपी कर रहा था जो उसे बताया गया था। यह चित्र को याद रखने में अच्छा था, लेकिन शायद अभी भी उस स्मृति का उपयोग कठिन पहेलियों को हल करने के लिए करने में बहुत अच्छा नहीं था।

चरण 2: "कोच" चरण (रीइन्फोर्समेंट लर्निंग)

लक्ष्य: AI को उन मानसिक स्नैपशॉट्स का उपयोग करके वास्तव में खेल जीतने के लिए प्रशिक्षित करना।
उपमा: अब, छात्र एक प्रतियोगिता में है। कोच (रिवॉर्ड सिस्टम) को इस बात की परवाह नहीं है कि मानसिक छवि फोटो की सटीक प्रति है या नहीं। कोच को केवल यह परवाह है: "क्या आपने सही उत्तर दिया?"
उन्होंने यह कैसे किया: AI को एक समस्या दी जाती है। यदि वह सही उत्तर खोजने के लिए अपने "मौन चित्र विचारों" का उपयोग करता है, तो उसे एक "गोल्ड स्टार" (रिवॉर्ड) मिलता है। यदि वह केवल शब्दों में घूमता रहता है और गलत उत्तर देता है, तो उसे कोई स्टार नहीं मिलता।
परिणाम: AI सीख जाता है कि ये मौन विचार शक्तिशाली उपकरण हैं। यह उन्हें रणनीतिक रूप से उपयोग करना शुरू कर देता है। वह तय कर सकता है, "मुझे पूरे आकाश का वर्णन शब्दों में करने की आवश्यकता नहीं है; मैं पक्षी को खोजने में मदद के लिए बादल के आकार का एक मानसिक नोट रखूँगा।" यह तर्क (reasoning) को बहुत अधिक कुशल और सटीक बनाता है।

🧪 परिणाम: यह क्यों मायने रखता है

शोधकर्ताओं ने LanteRn का परीक्षण तीन कठिन विजुअल पहेलियों (बेंचमार्क जैसे VisCoT, V ⋆, और Blink) पर किया। इन परीक्षणों के लिए AI को सूक्ष्म विवरणों को समझने की आवश्यकता होती है, जैसे कि "कौन सी वस्तु दूसरे के पीछे है?" या "साइकिल ठीक कहाँ खड़ी है?"

पुराना तरीका: AI संघर्ष करता था क्योंकि 3D स्पेस को 2D टेक्स्ट में अनुवादित करना एक 3D मूर्ति को केवल एक सपाट स्केच का उपयोग करके वर्णित करने जैसा है। वह अक्सर भटक जाता था।
LanteRn का तरीका: सोचने के दौरान अपने मन (लेटेंट स्पेस) में "3D मूर्ति" को रखने से, AI ने इन पहेलियों को बहुत बेहतर तरीके से हल किया।
- यह ऑब्जेक्ट लोकलाइजेशन (चीजें ठीक कहाँ हैं, यह ढूंढना) में बेहतर हुआ।
- यह रिलेटिव पोजीशन (क्या आगे है और क्या पीछे है, यह समझना) में बेहतर हुआ।

💡 मुख्य निष्कर्ष (The Takeaway)

LanteRn एक बड़ी उपलब्धि है क्योंकि यह AI को सोचने से पहले अपनी दृष्टि को शब्दों में "अनुवाद" करने के लिए मजबूर करना बंद कर देता है। इसके बजाय, यह AI को चित्रों में सोचने की अनुमति देता है और केवल तभी बोलता है जब उसके पास अंतिम उत्तर होता है।

पहले: चित्र देखें $\rightarrow$ टेक्स्ट में अनुवाद करें $\rightarrow$ टेक्स्ट में सोचें $\rightarrow$ उत्तर दें।
LanteRn: चित्र देखें $\rightarrow$ चित्रों में सोचें $\rightarrow$ टेक्स्ट में अनुवाद करें $\rightarrow$ उत्तर दें।

यह AI को स्मार्ट, तेज़ और भौतिक दुनिया को समझने वाले कार्यों के लिए बहुत बेहतर बनाता है, और वह भी बिना किसी विशाल, महंगे कंप्यूटर की आवश्यकता के। यह ऐसा है जैसे AI को "मानसिक चश्मे" देना जो उसे बोलने से पहले ही समाधान को स्पष्ट रूप से देखने में मदद करते हैं।

यहाँ शोध पत्र "LanteRn: Latent Visual Structured Reasoning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान लार्ज मल्टीमॉडल मॉडल्स (LMMs) भाषाई कार्यों में उत्कृष्ट हैं लेकिन सूक्ष्म दृश्य तर्क (fine-grained visual reasoning) में संघर्ष करते हैं। प्राथमिक सीमा यह है कि अधिकांश LMMs "छवियों के बारे में सोचने" (thinking about images) के शासन में कार्य करते हैं: वे विजुअल इनपुट को एक बार एनकोड करते हैं और फिर उसके बाद का सारा तर्क पूरी तरह से टेक्स्ट (पाठ) में करते हैं। यह उच्च-आयामी संवेदी जानकारी को एक कम-बैंडविड्थ वाले प्रतीकात्मक माध्यम (symbolic medium) में बदलने के लिए मजबूर करता है, जिससे स्थानिक और संरचनात्मक विवरणों की हानि होती है।

मौजूदा प्रयास जो इसे ("छवियों के साथ सोचना" - thinking with images) हल करने की कोशिश करते हैं, वे दो श्रेणियों में आते हैं जिनके महत्वपूर्ण दोष हैं:

टूल-आधारित विधियाँ (Tool-based methods): बाहरी मॉड्यूल (जैसे क्रॉपिंग, ऑब्जेक्ट डिटेक्शन) पर निर्भर करती हैं, जिससे कम्प्यूटेशनल ओवरहेड बढ़ता है और पूर्व-निर्धारित टूल्स तक ही लचीलापन सीमित हो जाता है।
पिक्सेल-स्पेस जनरेशन (Pixel-space generation): तर्क के दौरान मध्यवर्ती छवियां उत्पन्न करती हैं, जो कम्प्यूटेशनल रूप से अत्यधिक अपव्ययी है क्योंकि यह कार्य के लिए अप्रासंगिक फोटोरियलिस्टिक विवरणों पर ध्यान केंद्रित करती है।

LanteRn इन मुद्दों को संबोधित करने के लिए एक ऐसा फ्रेमवर्क प्रस्तावित करता है जहाँ तर्क सीधे लेटेंट स्पेस (latent space) में होता है, जो संक्षिप्त, निरंतर विजुअल "विचारों" (visual thoughts) को टेक्स्ट के साथ इंटरलीव (interleave) करता है, जिससे बाहरी टूल्स और स्पष्ट इमेज जनरेशन दोनों से बचा जाset है।

2. कार्यप्रणाली: LanteRn फ्रेमवर्क (Methodology: LanteRn Framework)

LanteRn एक विजन-लैंग्वेज ट्रांसफार्मर (Qwen2.5-VL पर आधारित) को इन्फरेंस के दौरान निरंतर विजुअल एम्बेडिंग्स उत्पन्न करने और उन पर ध्यान केंद्रित करने (attend) के लिए संवर्धित करता है। मॉडल डिस्क्रीट टेक्स्ट टोकन और निरंतर लेटेंट वेक्टर्स के एक हाइब्रिड ट्राजेक्टरी (hybrid trajectory) में कार्य करता है।

मुख्य आर्किटेक्चर (Core Architecture)

कंट्रोल टोकन्स (Control Tokens): वोकैबुलरी को तीन विशेष टोकन्स के साथ विस्तारित किया गया है: <|lvr_start|>, <|lvr_sep|>, और <|lvr_end|>।
दोहरी मोड (Dual Modes):
1. टेक्स्ट मोड (Text Mode): टेक्स्ट टोकन का मानक ऑटो-रिग्रेसिव जनरेशन।
2. विजुअल लेटेंट मोड (Visual Latent Mode): <|lvr_start|> उत्पन्न करने पर, मॉडल $K$ स्टेप्स के लिए लैंग्वेज मॉडलिंग हेड को बायपास करता है, और एक ब्लॉक के रूप में अन-प्रोजेक्टेड हिडन स्टेट्स ( $z_t \in \mathbb{R}^d$ ) को लेटेंट "थॉट" एम्बेडिंग्स के रूप में आउटपुट करता है। <|lvr_end|> के बाद यह वापस टेक्स्ट मोड में लौट आता है।

दो-चरणीय प्रशिक्षण पाइपलाइन (Two-Stage Training Pipeline)

मॉडल को दो अलग-अलग चरणों में प्रशिक्षित किया जाता है ताकि पहले रिप्रेजेंटेशन को ग्राउंड (ground) किया जा सके और फिर कार्य उपयोगिता (task utility) के लिए अनुकूलित किया जा सके।

चरण 1: सुपरवाइज्ड फाइन-ट्यूनिंग (SFT)

लक्ष्य: लेटेंट स्टेट्स को विजुअल फीचर्स में ग्राउंड करना।
टीचर सिग्नल (Teacher Signal): अपने स्वयं के प्री-ट्रेंड विजन एनकोडर को एक टीचर के रूप में उपयोग करता है। विशिष्ट इमेज क्षेत्रों (बाउंडिंग बॉक्स) को संदर्भित करने वाले रीजनिंग स्टेप्स के लिए, विजन एनकोडर फीचर मैप्स निकालता है।
टारगेट जनरेशन: इन फीचर्स को एक टारगेट लेटेंट सीक्वेंस ( $Z_{target}$ ) बनाने के लिए पूल किया जाता है।
लॉस फंक्शन: एक हाइब्रिड ऑब्जेक्टिव जो निम्नलिखित को जोड़ता है:
- टेक्स्ट लॉस ( $L_{text}$ ): टोकन प्रेडिक्शन के लिए मानक क्रॉस-एन्ट्रॉपी।
- लेटेंट अलाइनमेंट लॉस ( $L_{latent}$ ): जेनरेटेड लेटेंट वेक्टर्स और पूल्ड विजन एनकोडर फीचर्स के बीच मीन स्क्वेर्ड एरर (MSE)।
परिणाम: मॉडल लेटेंट स्पेस में विजुअल कंटेंट को "कल्पना" करना सीखता है, शब्दों में व्यक्त किए बिना प्रमुख फीचर्स को पुनर्गठित करता है।

चरण 2: रिइन्फोर्समेंट लर्निंगिंग (RL)

लक्ष्य: लेटेंट रीजनिंग को केवल विजुअल फिडेलिटी (fidelity) के बजाय कार्य-स्तरीय उपयोगिता (उत्तर की शुद्धता) के साथ संरेखित करना।
एल्गोरिदम: ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO)।
चुनौती: लेटेंट वेक्टर्स निरंतर (continuous) होते हैं, जिससे मानक पॉलिसी ग्रेडिएंट्स कठिन हो जाते हैं।
समाधान (लेटेंट स्टेट रिप्ले - Latent State Replay): पॉलिसी अपडेट के दौरान, मॉडल रोलआउट चरण के दौरान जेनरेट किए गए सटीक लेटेंट वेक्टर्स पर कंडीशन होता है। यह इम्पोर्टेंस सैंपलिंग रेशियो को स्थिर करता है जबकि लेटेंट जनरेशन पैरामीटर्स तक ग्रेडिएंट्स को वापस जाने की अनुमति देता है।
रिवॉर्ड डिज़ाइन:
- एक्यूरेसी रिवॉर्ड ( $R_{acc}$ ): सही अंतिम उत्तर के लिए बाइनरी रिवॉर्ड।
- फॉर्मेट रिवॉर्ड ( $R_{fmt}$ ): डेलीमिटर्स और लेटेंट ब्लॉक्स के सही उपयोग को प्रोत्साहित करता है ताकि विशुद्ध रूप से टेक्स्टुअल रीजनिंग में पतन (collapse) को रोका जा सके।

3. मुख्य योगदान (Key Contributions)

नवल फ्रेमवर्क: LanteRn का परिचय, जो LMMs को स्ट्रक्चर्ड रीजनिंग के लिए टेक्स्ट के साथ कॉम्पैक्ट लेटेंट विजुअल रिप्रेजेंटेशन को इंटरलीव करने में सक्षम बनाने वाला पहला फ्रेमवर्क है, जिससे पिक्सेल-स्पेस जनरेशन की कम्प्यूटेशनल लागत से बचा जा सकता है।
हाइब्रिड ट्रेनिंग स्ट्रैटेजी: एक दो-चरणीय दृष्टिकोण (विजुअल ग्राउंडिंग के लिए SFT + टास्क अलाइनमेंट के लिए RL) जो मॉडल को विजुअल फीचर्स के पुनर्निर्माण से हटाकर अमूर्त, कार्य-महत्वपूर्ण आंतरिक विजुअल विचारों को उत्पन्न करने की ओर ले जाता है।
लेटेंट स्टेट रिप्ले: हाइब्रिड एक्शन स्पेस (डिस्क्रीट टेक्स्ट + निरंतर वेक्टर्स) के लिए RL में एक तकनीकी नवाचार, जो पॉलिसी अपडेट के दौरान लेटेंट ट्राजेक्टरी को फिक्स करके ट्रेनिंग को स्थिर करता है।
दक्षता (Efficiency): यह प्रदर्शित करता है कि आंतरिक लेटेंट रिप्रेजेंटेशन बड़े मॉडल स्केलिंग या बाहरी टूल के आह्वान के बिना विजुअल रीजनिंग कार्यों पर उच्च प्रदर्शन प्राप्त कर सकते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन तीन धारणा-केंद्रित (perception-centric) बेंचमार्क पर किया गया: VisCo-T, V ⋆, और Blink।

SFT परिणाम:
- LanteRn वेरिएंट्स ने बेस Qwen2.5-VL-3B मॉडल को पीछे छोड़ दिया।
- परसेप्शन-सेंट्रिक स्किल्स (जैसे BlinkOL पर ऑब्जेक्ट लोकलाइजेशन) में महत्वपूर्ण सुधार देखा गया (0.48 से बढ़कर 0.52)।
- हालांकि, जटिल रिलेशनल रीजनिंग पर प्रदर्शन टेक्स्ट-ओनली बेसलाइन्स की तुलना में लगातार बेहतर नहीं रहा, जो बताता है कि केवल SFT पर्याप्त नहीं है।
- एब्लेशन (Ablation): बड़े लेटेंट ब्लॉक साइज ( $K$ ) ने हमेशा बेहतर परिणाम नहीं दिए, जो क्षमता (capacity) और प्रभावी रीजनिंग के बीच ट्रेड-ऑफ को दर्शाता है।
RL परिणाम:
- SFT के ऊपर RL लागू करने पर (विशेष रूप से $K=8$ वेरिएंट) सभी बेंचमार्क पर निरंतर सुधार हुआ।
- मुख्य लाभ:
  - BlinkRP (रिलेटिव पोजीशन): 0.68 (SFT) से सुधरकर 0.81 (RL) हो गया, जो टेक्स्ट-ओनली बेसलाइन से बेहतर है।
  - V ⋆ RP: 0.57 से सुधरकर 0.67 हो गया।
- RL चरण ने मॉडल के लेटेंट रिप्रेजेंटेशन को केवल विजुअल रिकंस्ट्रक्शन से बदलकर टास्क-ड्रिवन इंटरनल रीजनिंग में सफलतापूर्वक बदल दिया।
- LanteRn-RL ने कई बेंचमार्क पर बड़े 7B मॉडल्स के बराबर प्रदर्शन हासिल किया, जबकि इसका बैकबोन 3B है, जो इसकी कम्प्यूटेशनल दक्षता को उजागर करता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

LanteRn मल्टीमॉडल रीजनिंग में एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है—"वर्बलाइजिंग परसेप्शन" (शब्दों में धारणा व्यक्त करना) से "लेटेंट विजुअल्स के साथ सोचने" की ओर। मॉडल को आंतरिक रूप से निरंतर विजुअल रिप्रेजेंटेशन को मैनिपुलेट करने में सक्षम बनाकर, यह टेक्स्ट-आधारित रीजनिंग की बैंडविड्थ सीमाओं को पार करता है, बिना मध्यवर्ती छवियों को उत्पन्न करने की अक्षमता के।

यह कार्य प्रदर्शित करता है कि लेटेंट रीजनिंग की पूरी क्षमता को अनलॉक करने के लिए रिइन्फोर्समेंट लर्निंग (RL) महत्वपूर्ण है, जो मॉडल की आंतरिक अवस्थाओं को निष्क्रिय फीचर पुनर्निर्माण से सक्रिय, उपयोगिता-संचालित समस्या-समाधान उपकरणों में बदल देता है। यह दृष्टिकोण अधिक सक्षम और स्थानिक रूप से जागरूक मल्टीमॉडल AI सिस्टम की ओर एक आशाजनक, कंप्यूट-एफिशिएंट मार्ग प्रदान करता है।

सीमाएं और भविष्य का कार्य:

ट्रेनिंग ट्राजेक्टरीज के लिए वर्तमान में संकीर्ण विजुअल डोमेन पर निर्भरता।
फिक्स्ड-साइज़ लेटेंट ब्लॉक्स का उपयोग; भविष्य के कार्य को कार्य की जटिलता के अनुसार अनुकूलित होने वाले डायनेमिकली साइज़्ड ब्लॉक्स की खोज करनी चाहिए।
लेटेंट डिपेंडेंसीज की बेहतर विज़ुअलाइज़ेशन और व्याख्यात्मकता (interpretability) की आवश्यकता।