PRISM: Priority-aware Rubric Internalization via Structured Multimodal Data Synthesis
यह शोध पत्र PRISM को प्रस्तुत करता है, जो एक चार-चरणीय डेटा संश्लेषण ढांचा (framework) है जो मल्टीमॉडल मॉडलों को साधारण जनरेटर के बजाय प्राथमिकता-जागरूक रूब्रिक निष्पादक (priority-aware rubric executors) के रूप में कार्य करने में सक्षम बनाता है, जो केवल 10K संश्लेषित नमूनों और एक नियतात्मक मूल्यांकन मीट्रिक का उपयोग करके विभिन्न आर्किटेक्चर में बहु-नियम निर्देश अनुपालन में महत्वपूर्ण सुधार प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बारीक अक्षरों की कला (The Art of the Fine Print)
कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखा रहे हैं। लंबे समय से, हमने इन रोबोटों को "प्रश्न और उत्तर" के एक सरल खेल के माध्यम से सिखाया है। आप उन्हें बिल्ली की एक तस्वीर दिखाते हैं और पूछते हैं, "क्या यह एक बिल्ली है?" यदि वे "हाँ" कहते हैं, तो उन्हें एक स्वर्ण स्टार (gold star) मिलता है। अधिकांश AI मॉडल इसी तरह से देखना सीखते हैं: वे चीजों को पहचानने और उनके बारे में सीधे सवालों के जवाब देने में माहिर होते हैं।
लेकिन वास्तविक जीवन केवल सरल प्रश्नों की एक श्रृंखला नहीं है। यह छिपे हुए नियमों के साथ निर्देशों का एक उलझा हुआ समूह है। कल्पना कीजिए कि आप एक इंसान से कहते हैं, "इस पोस्टर के लिए एक स्लोगन लिखें।" आपके पास नियमों की एक गुप्त सूची भी हो सकती है: "इसमें ब्रांड का उल्लेख होना चाहिए," "यह उत्पाद के बारे में झूठ नहीं बोल सकता," और "इसे रोमांचक लगना चाहिए।" यदि स्लोगन रोमांचक है लेकिन उत्पाद के बारे में झूठ बोलता है, तो एक इंसान समझ जाएगा कि यह एक विफलता है। लेकिन एक AI के लिए, नियमों का वह "समूह" अक्सर बहुत भ्रमित करने वाला होता है। वे मुख्य अनुरोध पर ध्यान केंद्रित करने लगते हैं और बारीक अक्षरों (fine print) को अनदेखा कर देते हैं। यह शोध पत्र इसी विशिष्ट समस्या को संबोधित करता है: AI मॉडल को न केवल एक प्रश्न का उत्तर देना सिखाना, बल्कि एक सख्त संपादक की तरह कार्य करना सिखाना जो अंतिम निर्णय देने से पहले हर एक नियम की जांच करता है।
शोध पत्र: PRISM
इस अध्ययन के पीछे के शोधकर्ताओं ने, जो ByteDance और Peking University के मॉडलों के साथ काम कर रहे थे, देखा कि वर्तमान AI मॉडल उन छात्रों की तरह हैं जो केवल अंतिम परीक्षा के लिए पढ़ते हैं लेकिन होमवर्क के निर्देशों को अनदेखा कर देते हैं। वे "यह क्या है?" जैसे सवालों के जवाब देने में बेहतरीन हैं, लेकिन जटिल, बहु-चरणीय निर्देशों का पालन करने में बहुत खराब हैं जहाँ कुछ नियम दूसरों की तुलना में अधिक महत्वपूर्ण होते हैं। इसे ठीक करने के लिए, उन्होंने PRISM (Priority-aware Rubric Internalization via Structured Multimodal Data Synthesis) नामक एक नई प्रशिक्षण पद्धति विकसित की।
PRISM को एक "नियम बनाने वाली फैक्ट्री" के रूप में सोचें। केवल AI को एक तस्वीर दिखाकर प्रश्न पूछने के बजाय, शोधकर्ताओं ने प्रत्येक छवि के लिए एक संरचित "रूब्रिक" (rubric)—यानी नियमों की एक चेकलिस्ट—बनाने के लिए एक प्रणाली बनाई। उन्होंने केवल AI को नियमों का अनुमान लगाने के लिए नहीं कहा; उन्होंने इसे एक एक्सेक्यूटर (executor/निष्पादक) के रूप में कार्य करना सिखाया। मॉडल को एक छवि देखनी होती है, नियमों की एक सूची पढ़नी होती है (जैसे "जांचें कि जूते लाल हैं या नहीं" या "सुनिश्चित करें कि टेक्स्ट विनम्र है"), और फिर अंतिम "पास" या "फेल" निर्णय देने से पहले प्रत्येक की व्यक्तिगत रूप से पुष्टि करनी होती है।
टीम ने इस प्रशिक्षण डेटा को बनाने के लिए एक चतुर चार-चरणीय प्रक्रिया का उपयोग किया। सबसे पहले, उन्होंने AI के लिए एक "पर्सोना" (persona) बनाया, जैसे कि "ब्रांड पोस्टर समीक्षक" या "गणित परीक्षण जांचकर्ता।" फिर, उन्होंने उस पर्सोना के आधार पर नियमों की सूची बनाने के लिए AI का मार्गदर्शन किया। उन्होंने खराब नियमों (जो भ्रमित करने वाले या विरोधाभासी थे) को बाहर निकाल दिया और केवल उच्च-गुणवत्ता वाले नियमों को रखा। अंत में, उन्होंने मॉडल को एक ऐसी रिपोर्ट लिखना सिखाया जो एक-एक करके प्रत्येक नियम की जांच करती है और फिर उन जांचों को एक अंतिम निर्णय में जोड़ती है।
परिणाम बताते हैं कि यह विधि अविश्वसनीय रूप से प्रभावी है। जब उन्होंने Qwen3-VL-4B नामक मॉडल को केवल 10,000 इन सिंथेसाइज्ड उदाहरणों के साथ प्रशिक्षित किया, तो जटिल नियमों का पालन करने की उसकी क्षमता 9.5% के निम्न स्तर से उछलकर 30.1% तक पहुँच गई। यह एक बड़ी बात है क्योंकि, इस प्रशिक्षण से पहले भी, दुनिया के सबसे शक्तिशाली AI मॉडल 30% के निशान को पार करने के लिए संघर्ष कर रहे थे। शोध पत्र सुझाव देता है कि समस्या यह नहीं थी कि AI पर्याप्त "स्मार्ट" नहीं था; बल्कि यह था कि उसे प्राथमिकता वाले नियमों की सूची की जांच करने के विशिष्ट कौशल के लिए प्रशिक्षित नहीं किया गया था।
यह क्यों महत्वपूर्ण है
सबसे दिलचस्प खोज यह है कि इस प्रशिक्षण ने AI को अन्य कार्यों में "कम बुद्धिमान" नहीं बनाया। आमतौर पर, जब आप किसी मॉडल को एक नया, विशिष्ट कौशल सिखाते हैं, तो वह अपने पुराने कौशल भूल सकता है। लेकिन यहाँ, मॉडल ने छवियों और टेक्स्ट को समझने की अपनी सामान्य क्षमता को खोए बिना नियमों का पालन करने में बेहतर प्रदर्शन किया।
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या वे परीक्षण चरण के दौरान मॉडल को कुछ उदाहरण देकर (जैसे एक संदर्भ शीट) केवल "मार्गदर्शन" कर सकते हैं। उन्होंने पाया कि उदाहरण देने से थोड़ी मदद तो मिली, लेकिन यह प्रक्रिया को आंतरिक रूप से आत्मसात करने के लिए मॉडल को वास्तव में प्रशिक्षित करने जितना प्रभावी नहीं था। यह एक छात्र को परीक्षा के दौरान संदर्भ शीट देने और उसे वास्तव में समझने के लिए अध्ययन करने का तरीका सिखाने के बीच का अंतर है।
संक्षेप में, शोध पत्र सुझाव देता है कि AI को वास्तविक दुनिया में वास्तव में उपयोगी बनाने के लिए—जहाँ निर्देश शायद ही कभी सरल होते हैं—हमें उन्हें केवल प्रश्न-उत्तर मशीन के रूप में मानना बंद करना होगा और उन्हें बारीक अक्षरों का सम्मान करने वाले सावधान संपादकों की तरह प्रशिक्षित करना शुरू करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।