Lang2Act: Fine-Grained Visual Reasoning through Self-Emergent Linguistic Toolchains

यहाँ शोध पत्र "Lang2Act: Fine-Grained Visual Reasoning through Self-Emergent Linguistic Toolchains" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विजुअल रिट्रीवल-ऑगमेंटेड जनरेशन (VRAG) का लक्ष्य प्रश्नों के उत्तर देने के लिए बाहरी विजुअल दस्तावेजों को शामिल करके विजन-लैंग्वेज मॉडल्स (VLMs) को बेहतर बनाना है। जबकि मौजूदा VRAG फ्रेमवर्क वैश्विक विजुअल संदर्भ (global visual context) को बनाए रखकर टेक्स्ट-आधारित RAG की तुलना में सुधार करते हैं, वे सूक्ष्म-स्तरीय विजुअल रीजनिंग (fine-grained visual reasoning) को संभालने में महत्वपूर्ण सीमाओं का सामना करते हैं:

• कठोर टूल निर्भरता (Rigid Tool Dependency): वर्तमान अत्याधुनिक विधियाँ (जैसे, VRAG-RL, Pixel-Reasoner) पूर्व-निर्धारित, बाहरी इमेज टूल्स (जैसे क्रॉपिंग, ज़ूमिंग, या API के माध्यम से क्षेत्रों का चयन करना) पर निर्भर करती हैं।
• सूचना की हानि (Information Loss): ये स्पष्ट इमेज ऑपरेशन्स अक्सर विजुअल परसेप्शन को लॉजिकल रीजनिंग से अलग कर देते हैं। मैकेनिकल क्रॉपिंग के कारण महत्वपूर्ण विजुअल जानकारी की अपूरणीय हानि हो सकती है (उदाहरण के लिए, किसी संख्या को पढ़ने की कोशिश करते समय उसे क्रॉप कर देना) और यह ग्लोबल लेआउट संदर्भ को बाधित करता है।
• अलचीलापन (Inflexibility): फिक्स्ड टूल इंटरफेस मॉडल्स को मैकेनिकल ऑपरेशन्स तक सीमित कर देते हैं, जिससे वे किसी विशिष्ट क्वेरी की रीजनिंग आवश्यकताओं के आधार पर अपनी परसेप्शन रणनीति को गतिशील रूप से अनुकूलित करने में असमर्थ होते हैं।

2. कार्यप्रणाली: Lang2Act (Methodology: Lang2Act)

लेखक Lang2Act का प्रस्ताव करते हैं, जो कठोर बाहरी इमेज टूल्स को स्व-उभरते भाषाई टूलचेन (self-emergent linguistic toolchains) से बदल देता है। इमेज के पिक्सल को भौतिक रूप से बदलने के बजाय, मॉडल ऑटो-रिग्रेसिव टेक्स्ट जनरेशन के माध्यम से विजुअल एक्शन्स को "सिमुलेट" करना सीखता है, जिससे वह रीजनिंग प्रक्रिया के भीतर विजुअल परसेप्शन को प्रभावी रूप से आत्मसात कर लेता है।

यह फ्रेमवर्क दो-चरणीय सुदृढीकरण शिक्षण (two-stage Reinforcement Learning - RL) प्रशिक्षण पाइपलाइन के माध्यम से संचालित होता है:

चरण 1: भाषाई क्रिया का उद्भव और टूल क्यूरेशन (Linguistic Action Emergence & Tool Curation)

• लक्ष्य: VLM को उच्च-गुणवत्ता वाले विजुअल रीजनिंग ट्राजेक्टरीज (trajectories) को स्वयं खोजने और उन्हें एक पुन: प्रयोज्य "भाषाई टूलबॉक्स" में संकलित करने में सक्षम बनाना।
• प्रक्रिया:
  1. VLM को Decoupled Clip and Dynamic sampling Policy Optimization (DAPO) एल्गोरिदम का उपयोग करके प्रशिक्षित किया जाता है।
  2. मॉडल ऐसे रीजनिंग ट्राजेक्टरीज ($\tau$) उत्पन्न करता है जिनमें अंतर्निहित विजुअल एक्शन्स (जैसे, "शीर्षक का पता लगाएं," "मान को पढ़ें") शामिल होते हैं।
  3. सफल ट्राजेक्टरीज (जो सही उत्तर की ओर ले जाती हैं) का विश्लेषण किया जाता है। मॉडल इन एक्शन्स को मानकीकृत भाषाई टूल्स (नाम, विवरण और पैरामीटर्स का त्रिक/triplet) में संक्षिप्त करता है।
  4. एक ग्लोबल टूल पूल (Tool Pool) बनाया जाता है, और अंतिम भाषistic टूलबॉक्स ($T_{box}$) बनाने के लिए सबसे अधिक बार उपयोग किए जाने वाले और प्रभावी शीर्ष-$K$ टूल्स का चयन किया जाता है।
  • उदाहरण टूल्स: read_text_element, read_numeric_value, compare_values, locate_visual_element|

चरण 2: टूल-एन्हांस्ड विजुअल रीजनिंग ऑप्टिमाइजेशन (Tool-Enhanced Visual Reasoning Optimization)

• लक्ष्य: डाउनस्ट्रीम रीजनिंग के लिए क्यूरेट किए गए भाषाई टूलबॉक्स का प्रभावी ढंग से उपयोग करने के लिए VLM को अनुकूलित करना।
• प्रक्रिया:
  1. VLM को फिक्स्ड $T_{box}$ के साथ RL का उपयोग करके फाइन-ट्यून किया जाता है।
  2. मॉडल एक संरचित आउटपुट उत्पन्न करता है जिसमें शामिल है:
     • विजुअल रूटिंग ($z_{route}$): रिट्रीव किए गए सेट से प्रासंगिक डॉक्यूमेंट पेजों का चयन करता है।
     • टूल निष्पादन ($z_{exec}$): भाषाई टूल कॉल्स (जैसे, <tool name="read_numeric_value" args="...">) के अनुक्रम के बाद मॉडल के आंतरिक अवलोकन (internal observation) का अनुक्रम उत्पन्न करता है।
  3. रिवॉर्ड फंक्शन (Reward Function): अनुकूलन एक भारित रिवॉर्ड (weighted reward) को अधिकतम करता है जो निम्नलिखित का संयोजन है:
     • उत्तर की शुद्धता ($r_{ans}$): क्या अंतिम उत्तर ग्राउंड ट्रुथ से मेल खाता है।
     • टूल वैधता ($r_{tool}$): एक रेगुलेराइजेशन टर्म जो यह सुनिश्चित करता है कि मॉडल परिभाषित संरचना और क्यूरेटेड टूलबॉक्स के भीतर ही टूल्स का उपयोग करे।

3. मुख्य योगदान (Key Contributions)

1. स्व-उभरते भाषाई टूलचेन (Self-Emergent Linguistic Toolchains): यह पेपर बाहरी इमेज हेरफेर से आंतरिक भाषाई धारणा (internalized linguistic perception) की ओर एक प्रतिमान परिवर्तन (paradigm shift) पेश करता है। विजुअल एक्शन्स को टेक्स्ट जनरेशन के रूप में मानकर, Lang2Act इमेज क्रॉपिंग से जुड़ी सूचना की हानि से बचता है और सूक्ष्म ध्यान (fine-grained attention) बनाए रखता है।
2. दो-चरणीय RL फ्रेमवर्क: एक नवीन प्रशिक्षण तंत्र जो पहले स्व-अन्वेषण के माध्यम से प्रभावी विजुअल ग्राउंडिंग पैटर्न की खोज करता है और फिर उन्हें एक मजबूत, पुन: प्रयोज्य टूलबॉक्स में समेकित करता है।
3. एकीकृत धारणा और रीजनिंग (Unified Perception and Reasoning): डिकपल्ड दृष्टिकोणों के विपरीत, Lang2Act विजुअल ग्राउंडिंग को सीधे ऑटो-रिग्रेसिव जनरेशन प्रक्रिया में एकीकृत करता है, जिससे मॉडल ग्लोबल संदर्भ बनाए रखते हुए विशिष्ट विवरणों पर ध्यान केंद्रित कर सकता है।
4. व्यापक मूल्यांकन: कई बेंचमार्क (SlideVQA, ViDoSeek, MMLongBench-Doc) और मॉडल स्केल्स (3B, 7B, 32B) में व्यापक प्रयोग इसकी मजबूती और सामान्यीकरण क्षमता को प्रदर्शित करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

• प्रदर्शन लाभ: Lang2Act सभी बेसलाइन्स (प्रॉम्प्टिंग विधियों, VLMs, MRAGs और VRAG-RL जैसे टूल-एन्हांस्ड VLMs सहित) को औसत सटीकता में 4% से अधिक से पीछे छोड़ देता है। SlideVQA पर, यह 83.62% सटीकता प्राप्त करता है, जबकि दूसरे सर्वश्रेष्ठ (VRAG-RL) की सटीकता 81.74% है।
• सूक्ष्म-स्तरीय धारणा (Fine-Grained Perception): विश्लेषण से पता चलता है कि मॉडल की "गोल्डन रीजन्स" (ग्राउंड ट्रुथ क्षेत्र) पर ध्यान देने की क्षमता और उत्तर की सटीकता के बीच एक मजबूत सकारात्मक सहसंबंध है। Lang2Act उच्चतम V-Precision और V-Recall प्राप्त करता है, जो संदर्भ खोए बिना प्रासंगिक विजुअल साक्ष्य को खोजने और निकालने की बेहतर क्षमता को दर्शाता है।
• भ्रम (Hallucination) में कमी: जोखिम भरी इमेज क्रॉपिंग के बजाय भाषाई टूल्स पर भरोसा करके, Lang2Act भ्रम को काफी कम कर देता है। केस स्टडीज से पता चलता है कि जहाँ VRAG-RL अक्सर गलत क्रॉपिंग (जैसे "43%" उत्तर को खो देना) के कारण विफल हो जाता है, वहीं Lang2Act सही क्षेत्र की पहचान करने और सटीक उत्तर देने में सफल रहता है।
• सामान्यीकरण (Generalization): क्यूरेट किया गया टूलबॉक्स बिना पुनः प्रशिक्षण के आउट-ऑफ-डोमेन डेटासेट्स (FetaTab, PaperTab) पर प्रभावी रूप से स्थानांतरित होता है, जो यह सिद्ध करता है कि टूल्स डेटासेट-विशिष्ट आर्टिफैक्ट्स के बजाय सामान्यीकृत प्रिमिटिव्स (primitives) हैं।
• दक्षता (Efficiency): Lang2Act, VRAG-RL (123s) जैसे इटरेटिव इमेज-टूल मेथड्स (50s) की तुलना में कम इन्फरेंस लेटेंसी प्राप्त करता है, क्योंकि यह बाहरी API कॉल्स और इमेज प्रोसेसिंग के ओवरहेड से बचता है।

5. महत्व (Significance)

Lang2Act विजुअल RAG की एक महत्वपूर्ण बाधा को संबोधित करता है: ग्लोबल कॉन्टेक्स्ट प्रिजर्वेशन और फाइन-ग्रेंड डिटेल एक्सट्रैक्शन के बीच का ट्रेड-ऑफ।

• सैद्धांतिक प्रभाव: यह प्रदर्शित करता है कि जटिल विजुअल रीजनिंग भौतिक इमेज हेरफेर के बजाय भाषाई अमूर्तीकरण (linguistic abstraction) के माध्यम से प्राप्त की जा सकती है, जो यह सुझाव देता है कि VLMs विजुअल विवरणों के बारे में उतनी ही प्रभावी ढंग से "सोच" सकते हैं जितनी प्रभावी ढंग से वे उन्हें "देख" सकते हैं।
• व्यावहारिक प्रभाव: यह फ्रेमवर्क दस्तावेज़ समझ (document understanding) के लिए एक अधिक मजबूत, कुशल और स्केलेबल समाधान प्रदान करता है, जो क्रॉपिंग-आधारित सिस्टमों में निहित सूचना की हानि के जोखिम को कम करता है। यह स्व-सुधारने वाले एजेंटों के निर्माण के लिए एक ब्लूप्रिंट प्रदान करता है जो अपने स्वयं के रीजनिंग टूल्स को क्यूरेट कर सकते हैं, जो स्थिर, पूर्व-निर्धारित टूलकिट से आगे बढ़ते हैं।

निष्कर्षतः, Lang2Act स्व-उभरते, भाषाई दृष्टिकोण के माध्यम से धारणा और रीजनिंग को एकीकृत करके VLMs को जटिल, दस्तावेज़-आधारित प्रश्नों को संभालने में अधिक सक्षम बनाने की दिशा में एक महत्वपूर्ण कदम है।