V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning
यह शोध पत्र V-Rubrics को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो विज़ुअल ग्राउंडिंग, तर्क और निर्देश पालन के लिए संरचित, आंशिक-क्रेडिट स्कोरिंग हेतु प्रतिक्रियाओं को परमाणु प्रस्थापनाओं (atomic propositions) में विभाजित करके विज़न-लैंग्वेज मॉडलों की दृश्य निष्ठा (visual faithfulness) को बढ़ाता है, जिससे स्केलर आउटकम रिवॉर्ड्स की सीमाओं को दूर किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, एक विशिष्ट प्रकार के कंप्यूटर प्रोग्राम का उदय हुआ है जो किसी तस्वीर को देख सकता है और उसमें जो दिख रहा है उसका वर्णन कर सकता है। ये सिस्टम, जिन्हें विजन-लैंग्वेज मॉडल (vision-language models) के रूप में जाना जाता है, छवि के पिक्सेल को मानवीय भाषा के शब्दों के साथ जोड़ने के लिए प्रशिक्षित किए जाते हैं। वे पार्क में एक कुत्ते की पहचान कर सकते हैं, किसी विदेशी भाषा में लिखे मेनू को पढ़ सकते हैं, या एक जटिल चार्ट की व्याख्या कर सकते हैं। हालाँकि, एक निरंतर समस्या ने इन सिस्टमों को परेशान किया है: वे अक्सर प्रवाहपूर्ण तो होते हैं लेकिन निष्ठावान नहीं। एक मॉडल एक पूरी तरह से सुचारू वाक्य उत्पन्न कर सकता है जो आत्मविश्वास से भरा लगता है, फिर भी वह ऐसी वस्तु का वर्णन कर सकता है जो वहाँ है ही नहीं, ग्राफ पर संख्या को गलत पढ़ सकता है, या ऐसा निष्कर्ष निकाल सकता है जिसका चित्र समर्थन ही नहीं करता। एक इंसान के लिए, यह एक मतिभ्रम (hallucination) है; मशीन के लिए, यह अपनी बातों को दृश्य वास्तविकता में स्थापित करने में विफलता है। शोधकर्ताओं के लिए मुख्य चुनौती यह रही है कि कैसे इन मशीनों को केवल सही उत्तर का अनुमान लगाने के बजाय, जो वे देखते हैं उसके बारे में ईमानदार होना सिखाया जाए।
इस अध्ययन के पीछे के शोधकर्ताओं ने इस समस्या के प्रति यह समझते हुए दृष्टिकोण अपनाया कि जिस तरह से वे वर्तमान में इन मशीनों को पुरस्कृत करते हैं, वह बहुत ही सतही है। मानक प्रशिक्षण में, एक कंप्यूटर को एक छवि और एक प्रश्न दिखाया जाता है, और वह एक उत्तर देता है। यदि उत्तर सही है, तो सिस्टम को एक अंक मिलता है; यदि यह गलत है, तो उसे कुछ नहीं मिलता। यह विधि सरल कार्यों के लिए अच्छी तरह काम करती है, लेकिन जब तर्क प्रक्रिया जटिल होती है, तो यह विफल हो जाती है। कल्पना कीजिए कि एक छात्र फोटो में वस्तुओं की सही पहचान करता है लेकिन उन्हें जोड़ने में तार्किक त्रुटि करता है, या एक छात्र जो चार्ट को गलत पढ़ने के बावजूद केवल भाग्य से अंतिम उत्तर सही प्राप्त कर लेता है। एक साधारण "सही या गलत" का स्कोर इन परिदृश्यों के बीच अंतर नहीं कर सकता। यह नहीं देख सकता कि छात्र ने सही चीजें देखीं लेकिन उनके बारे में गलत सोचा, या उसने मुख्य बिंदु तक पहुँचते समय किसी विशिष्ट निर्देश को छोड़ दिया। इस सूक्ष्मता के बिना, मशीन अंतिम परिणाम के बजाय वहां तक पहुँचने के लिए उठाए गए कदमों की सत्यनिष्ठा को प्राथमिकता देना सीख लेती है।
इसे हल करने के लिए, टीम ने एक नई प्रशिक्षण पद्धति पेश की जो उत्तर को केवल पाठ के एक एकल ब्लॉक के रूप में नहीं, बल्कि छोटे, जांच योग्य तथ्यों के संग्रह के रूप में मानती है। उन्होंने आदर्श प्रतिक्रिया को विशिष्ट आवश्यकताओं, या "रुब्रिक्स" (rubrics) की एक सूची में तोड़ दिया। सौर मंडल के आरेख के बारे में एक प्रश्न के लिए, रुब्रिक केवल अंतिम उत्तर नहीं मांगेगा। इसके बजाय, यह अलग-अलग चरणों को सूचीबद्ध करेगा: "क्या मॉडल ने सूर्य की सही पहचान की?" "क्या इसने ध्यान दिया कि चंद्रमा पृथ्वी के साथ एक सीधी रेखा में है?" "क्या इसने समझाया कि यह संरेखण ज्वार-भाटा का कारण क्यों बनता है?" प्रत्येक चरण को उसके महत्व के आधार पर एक विशिष्ट भार (weight) दिया जाता है। सिस्टम फिर कंप्यूटर की प्रतिक्रिया की व्यक्तिगत रूप से इन छोटे मानदंडों के विरुद्ध जांच करता है। यदि मॉडल वस्तु की पहचान सही करता है लेकिन तर्क के चरण में विफल रहता है, तो उसे पहले भाग के लिए आंशिक श्रेय मिलता है और दूसरे के लिए दंड मिलता है। यह प्रशिक्षण प्रक्रिया को यह देखने की अनुमति देता है कि मशीन कहाँ गलत हुई और उसे उन हिस्सों के लिए पुरस्कृत करता है जो उसने सही किए, भले ही अंतिम निष्कर्ष त्रुटिपूर्ण हो।
शोधकर्ताओं ने अपने सिस्टम को सोचने का यह नया तरीका सिखाने के लिए एक विशाल डेटासेट बनाया। उन्होंने आरेख तर्क (diagram reasoning), चार्ट समझ, दस्तावेज़ VQA, गणितीय दृश्य तर्क, गिनती, शैक्षिक QA और सामान्य दृश्य तर्क को कवर करने वाले 17 मानक स्रोतों से 50,000 से अधिक उदाहरण एकत्र किए। प्रत्येक उदाहरण के लिए, उन्होंने इन विस्तृत रुब्रिक्स को उत्पन्न करने के लिए एक शक्तिशाली भाषा मॉडल का उपयोग किया, जिससे एक साधारण प्रश्न-उत्तर जोड़ी एक संरचित पाठ योजना में बदल गई। फिर उन्होंने अपने विजन मॉडल को 'रीइन्फोर्समेंट लर्निंग' (reinforcement learning) नामक एक तकनीक का उपयोग करके प्रशिक्षित किया, जहाँ कंप्यूटर एक छात्र की भूमिका निभाता है जो सुधार करने की कोशिश कर रहा है। अंतिम ग्रेड की प्रतीक्षा करने के बजाय, छात्र को उसके द्वारा लिखे गए प्रत्येक वाक्य पर तत्काल फीडबैक मिलता है। यदि वह एक दृश्य तत्व का सटीक वर्णन करता है, तो उसे अंक मिलते हैं। यदि वह किसी विवरण का मतिभ्रम (hallucinate) करता है या किसी तार्किक चरण को छोड़ देता है, तो उसके अंक कट जाते हैं। महत्वपूर्ण रूप से, सिस्टम इन अंकों को पाठ के उस विशिष्ट भाग के साथ जोड़ने के लिए सीखता है जहाँ क्रिया हुई थी, हालांकि यह स्थानीयकरण (localization) अनुमानित है और फीडबैक को प्रतिक्रिया के साथ मिलाने के लिए 'फजी मैचिंग' (fuzzy matching) पर निर्भर करता है, ताकि उसे पता चल सके कि किन शब्दों को रखना है और किन को बदलना है।
इनका दृष्टिकोण महत्वपूर्ण परिणाम लेकर आया, विशेष रूप से उन कार्यों के लिए जिनमें सावधानीपूर्वक अवलोकन और तार्किक निष्कर्ष की आवश्यकता होती है। विभिन्न बेंचमार्क पर परीक्षण किए जाने पर, विस्तृत रुब्रिक्स के साथ प्रशिक्षित मॉडल ने मानक संस्करण और केवल अंतिम उत्तरों पर प्रशिक्षित संस्करण दोनों को पीछे छोड़ दिया। सुधार विशेष रूप से दृश्य गणित और चार्ट विश्लेषण जैसे क्षेत्रों में सबसे अधिक दिखाई दिया, जहाँ एक भी असमर्थ दावा पूरे समाधान को खराब कर सकता है। इन परीक्षणों में, रुब्रिक-प्रशिक्षित मॉडल तर्क की श्रृंखला को बनाए रखने में बेहतर था, यह सुनिश्चित करते हुए कि प्रत्येक निष्कर्ष छवि में दिखाई देने वाले साक्ष्य द्वारा समर्थित हो। इसने गलत कारणों से सही उत्तर का अनुमान लगाने के जाल से बचने के लिए सीखा। अध्ययन बताता है कि "सत्यता" की अवधारणा को छोटे, सत्यापन योग्य टुकड़ों में तोड़कर, हम कृत्रिम बुद्धिमत्ता को दृश्य दुनिया की अधिक विश्वसनीय और सच्ची समझ की ओर निर्देशित कर सकते हैं, जो केवल प्रवाह से आगे बढ़कर वास्तविक बोध की ओर ले जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।