🤖 machine learning

IAPO: Input Attribution-Aware Policy Optimization for Tool Use in Small Multimodal Agents

यह शोध पत्र इनपुट एट्रिब्यूशन-अवेयर पॉलिसी ऑप्टिमाइज़ेशन (IAPO) का प्रस्ताव करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम है जो मल्टीमॉडल स्मॉल लैंग्वेज मॉडल्स में टूल-कॉलिंग क्षमताओं को बढ़ाने के लिए उनके इनपुट एट्रिब्यूशन को एक अधिक शक्तिशाली शिक्षक के साथ संरेखित करता है, जिससे स्पार्स बाइनरी रिवॉर्ड्स की सीमाओं को दूर किया जा सके और विजुअल क्वेश्चन अनसरिंग कार्यों पर प्रदर्शन में सुधार किया जा सके।

मूल लेखक: Yifan Yang, Zhen Zhang, Jiayi Tian, Liyan Tan, Zheng Zhang

प्रकाशित 2026-06-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yifan Yang, Zhen Zhang, Jiayi Tian, Liyan Tan, Zheng Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "IAPO: Input Attribution-Aware Policy Optimization for Tool Use in Small Multimodal Agents" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी तस्वीर: एक छोटे रोबोट को औज़ार इस्तेमाल करना सिखाना

कल्पना कीजिए कि आपके पास एक छोटा, स्मार्ट रोबोट (एक "Small Multimodal Agent") है जिसे चार्ट और टेबल से जुड़े पहेलियों को सुलझाना है। इन पहेलियों को सुलझाने के लिए, रोबोट के पास छह विशेष औज़ारों वाला एक टूलबॉक्स है, जैसे कि एक "हाइलाइटर," एक "मास्क," या एक "मैग्निफाइंग ग्लास" (आवर्धक लेंस)।

रोबोट का काम एक चार्ट को देखना, यह तय करना है कि सही डेटा को हाइलाइट करने के लिए कौन सा औज़ार उपयोग करना है, और फिर एक प्रश्न का उत्तर देना है।

समस्या:
जब शोधकर्ताओं ने इस छोटे रोबोट को मानक तरीकों (जिन्हें GRPO कहा जाता है) का उपयोग करके सिखाने की कोशिश की, तो रोबोट संघर्ष करने लगा। यह एक छात्र को केवल परीक्षा के अंत में ग्रेड देने जैसा था।

यदि छात्र अंतिम उत्तर सही देता था, तो उसे "A" ग्रेड मिलता था, भले ही उसने बहुत अंदाज़े से या गलत औज़ारों का उपयोग करके वहां तक पहुँचा हो।
यदि उत्तर गलत होता था, तो उसे "F" ग्रेड मिलता था, भले ही उसने सही औज़ारों का उपयोग किया हो लेकिन एक छोटी सी गणितीय त्रुटि कर दी हो।

क्योंकि रोबोट केवल अंतिम ग्रेड की परवाह करता था, इसलिए उसने बुरी आदतें सीख लीं। वह कभी-कभी चार्ट की गलत पंक्तियों पर "हाइलाइटर" का उपयोग कर देता था, जो कि संयोगवश सही होता था, और फिर भी सही उत्तर मिल जाता था। वह यह नहीं सीख पाया कि वह क्यों सही था, इसलिए वह उस सफलता को भरोसेमंद तरीके से दोहरा नहीं सका।

समाधान: IAPO (द "टीचर'स आई" मेथड)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे IAPO (Input Attribution-Aware Policy Optimization) कहा जाता है। इसे एक छोटे रोबोट को एक सुपर-स्मार्ट टीचर देने के रूप में सोचें जो रोबोट द्वारा उठाए गए हर कदम पर नज़र रखता है।

यहाँ बताया गया है कि IAPO कैसे काम करता है, जिसे तीन सरल चरणों में विभाजित किया गया है:

1. "क्यों" की जाँच (Input Attribution)

केवल अंतिम उत्तर की जाँच करने के बजाय, IAPO पूछता है: "इमेज या टेक्स्ट के किस हिस्से ने रोबोट को यह तय करने के लिए प्रेरित किया कि उसे इस विशिष्ट टूल का उपयोग करना चाहिए?"

उपमा: कल्पना कीजिए कि रोबोट एक अपराध स्थल की फोटो देख रहा है एक जासूस की तरह।
- खराब जासूस: एक रैंडम लाल जूते की ओर इशारा करता है और कहता है, "कातिल ने लाल जूते पहने थे!" (उसने सही उत्तर किस्मत से प्राप्त किया, लेकिन तर्क गलत था)।
- अच्छा जासूस: दरवाजे की ओर जाने वाले कीचड़ भरे पदचिह्नों की ओर इशारा करता है और कहता है, "कातिल दरवाजे से आया था।" (तर्क सबूतों से मेल खाता है)।

IAPO एक गणितीय ट्रिक जिसे Integrated Gradients कहा जाता है, का उपयोग यह मापने के लिए करता है कि रोबोट ने प्रॉम्प्ट के विभिन्न हिस्सों पर कितना "ध्यान" दिया। क्या उसने "Year" कॉलम पर ध्यान केंद्रित किया जहाँ उसे करना चाहिए था? या क्या वह "Name" कॉलम से विचलित हो गया था?

2. शिक्षक की छाया (The Teacher's Shadow)

छोटे रोबोट (छात्र) को एक बड़े, शक्तिशाली शिक्षक (एक बड़ा AI मॉडल जो पहले से ही इस कार्य में बहुत कुशल है) के साथ जोड़ा जाता है।

शिक्षक उसी चार्ट को देखता है और तय करता है कि कौन सा टूल उपयोग करना है।
शिक्षक यह भी दिखाता है कि निर्णय लेने के लिए उसने इमेज के ठीक किन हिस्सों को देखा था।
IAPO छात्र के "अटेंशन मैप" की तुलना शिक्षक के "अटेंशन मैप" से करता है।

3. नया स्कोरकार्ड

रोबोट को एक नया स्कोर मिलता है। अब यह केवल उत्तर सही होने के बारे में नहीं है।

पुराना स्कोर: क्या आपने उत्तर सही दिया? (हाँ/नहीं)।
नया IAPO स्कोर: क्या आपने उत्तर सही दिया और क्या आपने उन्हीं सुरागों को देखा जिन पर शिक्षक ने देखा था?

यदि रोबोट सही टूल का उपयोग करता है लेकिन इमेज के गलत हिस्से को देखता है, तो उसे दंड (penalty) मिलता है। उसे शिक्षक के साथ अपनी "सोचने की प्रक्रिया" को संरेखित (align) करना सीखना होगा।

छोटे रोबोटों के लिए यह क्यों महत्वपूर्ण है

शोध से पता चला कि छोटे रोबोट (Small Language Models) केवल अंतिम उत्तर से सीखने में विशेष रूप से खराब होते हैं। उन्हें अंदाज़े लगाने के लिए आसानी से बहकाया जा सकता है।

IAPO का उपयोग करके:

वे तेज़ी से सीखते हैं: वे अंदाज़ा लगाना बंद कर देते हैं और सही सबूतों पर ध्यान देना शुरू कर देते हैं।
वे कम गलतियाँ करते हैं: रोबोट चार्ट की गलत पंक्तियों पर "हाइलाइटर" का उपयोग करना बंद कर देता है।
वे बेहतर सामान्यीकरण (generalize) करते हैं: यहाँ तक कि जब वे किसी नए प्रकार के चार्ट को देखते हैं जिसे उन्होंने पहले नहीं देखा है, तो उन्हें पता होता है कि सही सुरागों को कैसे ढूँढना है क्योंकि उन्होंने केवल उत्तर नहीं, बल्कि प्रक्रिया सीखी है।

परिणाम

शोधकर्ताओं ने एक छोटे रोबोट (Qwen2.5-VL-3B) पर इसका परीक्षण किया।

IAPO से पहले: रोबोट ठीक था, लेकिन वह अक्सर गलत टूल्स का उपयोग करता था या विचलित हो जाता था।
IAPO के बाद: रोबोट की सटीकता (accuracy) छह अलग-अलग टेस्ट सेट्स में लगभग 3% बढ़ गई।

AI की दुनिया में, 3% की छलांग एक बहुत बड़ी बात है। इसका मतलब है कि रोबोट दृश्य पहेलियों को हल करने के लिए अपने औज़ारों का उपयोग करने में काफी अधिक विश्वसनीय हो गया है, क्योंकि उसे केवल सही उत्तर की उम्मीद करने के बजाय सही चीजों को देखने के लिए सिखाया गया था।

सारांश

IAPO को एक ऐसे ट्यूटर के रूप में समझें जो न केवल आपके अंतिम निबंध को ग्रेड देता है, बल्कि आपके रूपरेखा (outline) और शोध नोट्स पर भी नज़र रखता है। यदि आप एक शानदार निबंध लिखते हैं लेकिन आपके शोध नोट्स अव्यवस्थित और अप्रासंगिक हैं, तो ट्यूटर आपसे अपने शोध की प्रक्रिया को सुधारने के लिए कहता है। यह सुनिश्चित करता है कि जब आप अगली बार निबंध लिखें, तो आप इसे सही तरीके से करें, हर बार।

तकनीकी सारांश: IAPO: छोटे मल्टीमॉडल एजेंटों में टूल उपयोग के लिए इनपुट एट्रिब्यूशन-अवेयर पॉलिसी ऑप्टिमाइज़ेशन

समस्या विवरण (Problem Statement)

यह शोध पत्र छोटे भाषा मॉडल (Small Language Model - SLM) एजेंटों को मल्टीमॉडल परिदृश्यों, विशेष रूप से चार्ट और तालिकाओं (tables) से संबंधित विजुअल क्वेश्चन अनswering (VQA) के लिए प्रभावी ढंग से टूल उपयोग करने हेतु प्रशिक्षित करने की चुनौती को संबोधित करता है। जबकि प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) और ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) जैसे सुदृढीकरण शिक्षण (Reinforcement Learning - RL) विधियों ने एजेंट के प्रदर्शन में सुधार किया है, वे मल्टीमॉडल SLMs पर लागू होने पर महत्वपूर्ण सीमाओं का सामना करते हैं:

मल्टीमॉडल कार्यों के लिए अपर्याप्त रिवॉर्ड डिज़ाइन: मौजूदा विधियाँ अक्सर ग्राउंड-ट्रुथ टूल ट्रेजेक्टरीज या पूर्व-निर्धारित स्वरूपों (formats) के साथ सटीक मिलान (exact matching) पर निर्भर करती हैं। हालाँकि, मल्टीमॉडल कार्यों में कई वैध टूल-उपयोग पथ हो सकते हैं (उदाहरण के लिए, प्रासंगिक चार्ट क्षेत्रों पर ध्यान केंद्रित करने के लिए हाइलाइटिंग, मास्किंग, या बाउंडिंग बॉक्स खींचना सभी वैध हो सकते हैं)। कठोर प्रारूप जाँच इस लचीलेपन को पकड़ने में विफल रहती है।
विरल और भंगुर पुरस्कार (Sparse and Brittle Rewards): वर्तमान दृष्टिकोण आमतौर पर बाइनरी, परिणाम-आधारित पुरस्कारों (सही/गलत अंतिम उत्तर) का उपयोग करते हैं। ये विरल फीडबैक प्रदान करते हैं और मॉडल की मध्यवर्ती निर्णय लेने की प्रक्रिया को निर्देशित करने में विफल रहते हैं। इसके परिणामस्वरूप, SLMs सही अंतिम उत्तर प्राप्त करने के लिए आकस्मिक शॉर्टकट्स या सतही सहसंबंधों (superficial correlations) का लाभ उठाना सीख सकते हैं, बिना वास्तव में प्रासंगिक दृश्य साक्ष्य पर आधारित मजबूत टूल-चयन नीतियों को सीखे।
वैनिला GRPO का उप-इष्टतम प्रदर्शन: वैनिला GRPO के साथ भी, मल्टीमॉडल SLMs टूल के गलत उपयोग की पर्याप्त संख्या उत्पन्न करना जारी रखते हैं, जो यह दर्शाता है कि मानक RL एल्गोरिदम मल्टीमॉडल टूल उपयोग के लिए आवश्यक सूक्ष्म निर्णय लेने की क्षमता सीखने के लिए अपर्याप्त हैं।

कार्यप्रणाली: इनपुट एट्रिब्यूशन-अवेयर पॉलिसी ऑप्टिमाइज़ेशन (IAPO)

इन समस्याओं को संबोधित करने के लिए, लेखक IAPO प्रस्तावित करते हैं, जो एक RL एल्गोरिदम है जो छात्र मॉडल (student model) के इनपुट एट्रिब्यूशन को एक मजबूत शिक्षक मॉडल (teacher model) के साथ संरेखित करता है। मुख्य विचार यह है कि उत्पन्न टूल-कॉल के लिए विशिष्ट इनपुट घटकों का योगदान, टूल-कॉल की शुद्धता के साथ दृढ़ता से सहसंबंधित है।

मुख्य घटक:

इंटीग्रेटेड ग्रेडिएंट (Integrated Gradient - IG) स्कोर:
- इनपुट प्रॉम्प्ट को सिमेंटिक ब्लॉक्स में विभाजित किया जाता है: शुद्ध-टेक्स्ट संदर्भ ( $P$ ), उपयोगकर्ता क्वेरी ( $R$ ), इमेज प्लेसहोल्डर ( $I$ ), और टूल डेफिनिशन ( $T$ )।
- विधि यह मापने के लिए इंटीग्रेटेड ग्रेडिएंट स्कोर की गणना करती है कि प्रत्येक सिमेंटिक ब्लॉक उत्पन्न टूल-कॉल अनुक्रम के लॉग-प्रोबेबिलिटी में कितना योगदान देता है।
- विशेष रूप से, एक टूल-कॉल अनुक्रम $y'$ के लिए, स्कोर $s(E)$ वर्तमान पॉलिसी के तहत लॉग-प्रोबेबिलिटी है। इनपुट एम्बेडिंग्स के सापेक्ष इस स्कोर का ग्रेडिएंट निकाला जाता है, और टोकन-लेवल एट्रिब्यूशन को ग्रेडिएंट और एम्बेडिंग के एलिमेंट-वाइज प्रोडक्ट के नॉर्म के रूप में परिभाषित किया जाता है ( $o_i = \|g_i \odot e_i\|_2$ )।
- इन टोकन-लेवल एट्रिब्यूशंस को प्रत्येक सिमेंटिक प्रकार के लिए ब्लॉक-लेवल स्कोर ( $O_k$ ) बनाने के लिए एकत्रित किया जाता है।
एट्रिब्यूशन-आधारित दंड (Attribution-Based Penalty):
- एक मजबूत शिक्षक मॉडल (जैसे, एक बड़ा SLM या एक RL-प्रशिक्षित मॉडल) उसी इनपुट के लिए संदर्भ IG स्कोर ( $\hat{b}$ ) उत्पन्न करता है।
- छात्र मॉडल के IG स्कोर ( $\hat{a}$ ) की तुलना शिक्षक के साथ KL डाइवर्जेंस का उपयोग करके एट्रिब्यूशन पेनल्टी बनाने के लिए की जाती है: $P_A = D_{KL}(\hat{b} \parallel \hat{a})$ ।
- यह दंड छात्र को उन्हीं इनपुट घटकों (जैसे, विशिष्ट टूल डेफिनिशन या क्वेरी के हिस्से) पर ध्यान केंद्रित करने के लिए प्रोत्साहित करता है जिन्हें शिक्षक प्रासंगिक मानता है।
संशोधित रिवॉर्ड फंक्शन:
- एक ट्राजेक्टरी $i$ के लिए अंतिम रिवॉर्ड मानक परिणाम-आधारित रिवॉर्ड ( $R_{out}$ ) को एट्रिब्यूशन पेनल्टी के साथ जोड़ता है:
  $R_{IAPO}^i = R_{out}^i - \lambda P_A^i$
- यहाँ, $\lambda$ एट्रिब्यूशन संरेखण की शक्ति को नियंत्रित करता है। यह सघन (dense) सिग्नल पॉलिसी को न केवल कार्य सटीकता को अधिकतम करने के लिए बल्कि अपने आंतरिक निर्णय लेने की प्रक्रिया को शिक्षक के एट्रिब्यूशन पैटर्न के साथ संरेखित करने के लिए निर्देशित करता है।
प्रशिक्षण ढांचा (Training Framework):
- विधि एक टू-टर्न रोलआउट (two-turn rollout) का उपयोग करती है: मॉडल एक छवि को संपादित करने के लिए टूल कॉल उत्पन्न करता है, फिर संपादित छवि पर तर्क देकर अंतिम उत्तर देता है।
- प्रशिक्षण GRPO ऑब्जेक्टिव का उपयोग करता है लेकिन समूह-सापेक्ष लाभ (group-relative advantages) की गणना करने के लिए संशोधित $R_{IAPO}$ का उपयोग करता है।

मुख्य योगदान

नए इंटीग्रेटेड ग्रेडिएंट स्कोर: पेपर टूल-कॉल जनरेशन में विभिन्न इनपुट सिमेंटिक ब्लॉक्स (टेक्स्ट, इमेज, टूल डेफिनिशन) के योगदान को मापने का एक तरीका पेश करता है, जो एक सघन पर्यवेक्षण सिग्नल (dense supervision signal) प्रदान करता है।
IAPO एल्गोरिदम: लेखक पहला RL मेथड प्रस्तावित करते हैं जो विशेष रूप से एट्रिब्यूशन-आधारित दंडों का उपयोग करने वाले SLM टूल उपयोग के लिए डिज़ाइन किया गया है। छात्र और शिक्षक के IG स्कोर की तुलना करके, IAPO शिक्षक की टूल-कॉलिंग क्षमता और निर्णय लेने के तर्क को छात्र में स्थानांतरित करता है।
अनुभवजन्य सत्यापन (Empirical Validation): पेपर प्रदर्शित करता है कि वैनिला GRPO प्रशिक्षण के बाद भी मल्टीमॉडल SLMs में निरंतर टूल का दुरुपयोग होता रहता है। यह आगे दिखाता है कि केवल टेक्स्ट-ओनली मॉडलों से रिवॉर्ड डिज़ाइन को अनुकूलित करना अपर्याप्त है, जबकि IAPO इनपुट एट्रिब्यूशन को संरेखित करके प्रदर्शन में काफी सुधार करता है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन Qwen2.5-VL-3B को पॉलिसी के रूप में और Qwen2.5-VL-7B (GRPO के साथ प्रशिक्षित) को शिक्षक के रूप में उपयोग करते हुए विजुअल क्वेश्चन अनswering कार्यों पर किया गया।

प्रदर्शन लाभ: IAPO ने मौजूदा विजुअल टूल-यूज़ कार्य (VTool-R1, TRM, ToRL) की तुलना में छह टेस्ट सेट्स (ChartQA, VWTQ, और CharXiv सहित) में विजुअल क्वेश्चन अनswering सटीकता में औसतन 3% का सुधार किया।
टूल चयन सटीकता: केस स्टडीज से पता चला कि वैनिला GRPO प्रशिक्षण के 100 स्टेप्स के बाद भी, SLM महत्वपूर्ण टूल-चयन त्रुटियां (जैसे, कॉलम-डिवाजिबल चार्ट्स पर रो-आधारित टूल्स लागू करना) करता है। IAPO इन त्रुटियों को काफी कम कर देता है, जिससे मॉडल की टूल-कॉल सफलता दर प्रशिक्षण के बाद के चरणों में 100% के करीब पहुंच जाती है।
एट्रिब्यूशन संरेखण: अध्ययन ने दिखाया कि प्रशिक्षण के दौरान सही इनपुट भागों के लिए IG स्कोर में वृद्धि हुई और अंततः गलत उपयोग किए गए भागों से अधिक हो गया, जो टूल के गलत उपयोग में कमी के साथ सहसंबंधित है। 7B शिक्षक मॉडल ने गलत इनपुट के बीच IG स्कोर में स्पष्ट अलगाव दिखाया, जो मार्गदर्शन के लिए एक मजबूत शिक्षक के उपयोग की पुष्टि करता है।
सामान्यीकरण (Generalization): IAPO ने आउट-ऑफ-डिस्ट्रीब्यूशन बेंचमार्क (CharXiv) पर बेहतर सामान्यीकरण प्रदर्शित किया, जो बताता है कि एट्रिब्यूशन संरेखण सतही प्रॉम्प्ट सहसंबंधों के प्रति ओवरफिटिंग को रोकने में मदद करता है।

महत्व और दावे

पेपर का दावा है कि IAPO मौजूदा RL विधियों की तुलना में मल्टीमॉडल SLM एजेंटों को प्रशिक्षित करने के लिए एक अधिक प्रभावी ढांचा प्रदान करता है। इसका महत्व इस बात में निहित है:

SLMs के अंतर को पाटना: यह सघन, प्रोसेस-लेवल पर्यवेक्षण सिग्नल पेश करके विरल, बाइनरी रिवॉर्ड्स से सीखने की विशिष्ट कठिनाई को संबोधित करता है।
बाइनरी रिवॉर्ड्स से आगे बढ़ना: यह मल्टीमॉडल सेटिंग्स में सटीक मिलान या बाइनरी परिणाम रिवॉर्ड्स पर निर्भरता को चुनौती देता है, और यह प्रस्तावित करता है कि मॉडल कैसे इनपुट पर ध्यान देता है (एट्रिब्यूशन) उसे संरेखित करना मजबूत टूल उपयोग के लिए महत्वपूर्ण है।
RL में टीचर-स्टूडेंट डिस्टिलेशन: यह एक मजबूत शिक्षक मॉडल का उपयोग न केवल आउटपुट नकल के लिए, बल्कि ऑनलाइन RL प्रशिक्षण के दौरान छात्र मॉडल के आंतरिक निर्णय लेने की प्रक्रिया (एट्रिब्यूशन पैटर्न) को निर्देशित करने के लिए सफलतापूर्वक करता है।

लेखक निष्कर्ष निकालते हैं कि जबकि बड़े मॉडल स्वाभाविक रूप से बेहतर टूल-चयन क्षमताएं और एट्रिब्यूशन पैटर्न प्रदर्शित करते हैं, IAPO इन क्षमताओं को छोटे मॉडलों में प्रभावी ढंग से स्थानांतरित करता है, जिससे उन्हें सबसे प्रासंगिक इनपुट साक्ष्य पर ध्यान केंद्रित करने और मल्टीमॉडल टूल-यूज़ कार्यों में अत्याधुनिक प्रदर्शन प्राप्त करने में सक्षम बनाता है।