कल्पना कीजिए कि आप एक रोबोट को रहस्य सुलझाना सिखा रहे हैं। आप उसे अपराध स्थल की एक तस्वीर दिखाते हैं और पूछते हैं, "यह किसने किया?" यदि रोबोट सही अनुमान लगा लेता है, तो आप उसे एक गोल्ड स्टार देते हैं। आधुनिक "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) इसी तरह काम करती है: यह प्रयास करने, असफल होने और सही उत्तरों के लिए पुरस्कार प्राप्त करने से सीखती है। लेकिन यहाँ एक पेंच है: रोबोट गलत कारणों से गोल्ड स्टार प्राप्त कर सकता है। यह इस बात को याद रख सकता है कि कहानियों में अपराधी आमतौर पर "बटलर" (नौकर) होते हैं, या इसने केवल टेक्स्ट के आधार पर अनुमान लगाया होगा, चित्र में दिए गए सुरागों को पूरी तरह से अनदेखा कर दिया होगा। यह एक ऐसे छात्र की तरह है जो संख्याओं को वास्तव में समझने के बजाय उत्तर कुंजी के पैटर्न का अनुमान लगाकर गणित के टेस्ट में 'A' ग्रेड प्राप्त करता है।

इसे ठीक करने के लिए, वैज्ञानिकों ने रोबोट के मस्तिष्क को "चुभाने" (poke) की कोशिश की है। वे उसे वही चित्र दिखाते हैं लेकिन उसका एक हिस्सा ढक दिया जाता है या उसे अस्त-व्यस्त कर दिया जाता है। यदि रोबोट अभी भी सही उत्तर देता है, तो वे मान लेते हैं कि वह चित्र को देख ही नहीं रहा था। यदि वह गलत उत्तर देता है, तो वे मानते हैं कि वह देख रहा था। इसे "विजुअल इंटरवेंशन" (visual intervention) कहा जाता है। विचार यह है कि चित्र के साथ छेड़छाड़ करके, आप रोबोट को दृश्य साक्ष्य पर ध्यान देने के लिए मजबूर कर सकते हैं। हालाँकि, यह पेपर सुझाव देता है कि "चुभाने" का यह पुराना तरीका थोड़ा अनाड़ी है, जैसे किसी को पूल में फेंककर तैराकी सिखाने की कोशिश करना और यह मान लेना कि वह या तो डूबेगा या तैरेगा, सिर्फ एक छपाके के आधार पर।

यहाँ SIVA-RL आता है, जो एक अनाड़ी चुभाने वाले के बजाय एक स्मार्ट कोच की तरह काम करता है। शोधकर्ताओं ने पाया कि "चुभाने" का पुराना तरीका एक बड़ी गलती करता है: यह मान लेता है कि जब भी आप चित्र के किसी हिस्से को ढकते हैं, तो रोबोट की प्रतिक्रिया एक जैसी ही होगी। लेकिन वास्तव में, कभी-कभी चित्र के एक हिस्से को ढकने से रोबोट बुरी तरह विफल हो जाता है (क्योंकि वह हिस्सा महत्वपूर्ण था), और कभी-कभी इससे उत्तर में कोई बदलाव नहीं होता (क्योंकि रोबोट या तो पहले से ही अनुमान लगा रहा था, या वह हिस्सा मायने नहीं रखता था)। SIVA-RL यह अनुमान लगाना बंद कर देता है कि रोबोट को कैसे प्रतिक्रिया देनी चाहिए और इसके बजाय यह देखता है कि वह वास्तव में कैसे प्रतिक्रिया देता है। यह हर एक चित्र को अपना एक अनूठा मामला मानता है, और "चुभाने" के विशिष्ट परिणाम के आधार पर रोबोट को कोचिंग देने का सटीक निर्णय लेता है।

"वन-साइज़-फिट्स-ऑल" चुभाने की समस्या के साथ

कल्पना कीजिए कि आप एक छात्र को विभिन्न फलों को पहचानने में मदद करने की कोशिश कर रहे हैं। आपके पास एक सेब की तस्वीर है। यह परीक्षण करने के लिए कि क्या छात्र वास्तव में सेब को देख रहा है, आप उसका डंठल ढक देते हैं।

• पुराना तरीका: आप तय करते हैं कि जब भी आप डंठल को ढकते हैं, तो छात्र को गलत उत्तर देना ही चाहिए ताकि यह साबित हो सके कि वह देख रहा था। यदि वह फिर भी "सेब" कहता है, तो आप सोचते हैं कि वह नकल कर रहा है।
• वास्तविकता: कभी-कभी, डंठल को ढकने से छात्र कहता है, "मुझे नहीं पता!" (बहुत बढ़िया! वह डंठल को देख रहा था)। लेकिन अन्य समय में, वह अभी भी "सेब" कहता है क्योंकि लाल रंग और गोल आकार सही अनुमान लगाने के लिए पर्याप्त थे। या शायद वह केवल एक सामान्य फल होने के कारण "सेब" का अनुमान लगा रहा था, और डंठल को ढकने से उसके आलसी अनुमान में कोई बदलाव नहीं आया।

इस पेपर के लेखकों ने, जिनका नेतृत्व चेंग तांग और सहयोगियों ने किया, पाया कि पुराना तरीका इन सभी अलग-अलग प्रतिक्रियाओं के साथ एक जैसा व्यवहार करता है। वे इसे "ऑपरेटर-कंडीशंड" (operator-conditioned) सुपरविजन कहते हैं, जो एक फैंसी तरीका है यह कहने का कि "हम रोबोट को वह करने के लिए बताते हैं जो हमने चित्र के साथ किया, न कि वह जो रोबोट ने उसके साथ किया।"

शोधकर्ताओं ने एक परीक्षण चलाया जहाँ उन्होंने 906 उदाहरण लिए जहाँ रोबोट ने साफ चित्र पर सही उत्तर दिया था। फिर उन्होंने तीन अलग-अलग तरीकों से चित्र के हिस्सों को ढका: पूरे चित्र को काला करना, एक रैंडम मास्क लगाना, या चित्र के छोटे पैच को आपस में बदलना (जैसे पहेली के एक टुकड़े को काटकर दूसरी जगह चिपकाना)।

परिणाम आश्चर्यजनक थे। भले ही उन्होंने एक ही "ढकने" वाले उपकरण का उपयोग किया था, रोबोट की प्रतिक्रिया बहुत अलग थी:

• ब्लैक इमेज (काले चित्र) के साथ, रोबोट का स्कोर 67.8% बार गिरा, लेकिन 32.2% बार समान रहा।
• रैंडम मास्क के साथ, यह 62.9% बार गिरा, लेकिन 37.1% बार समान रहा।
• पैच स्वैप (टुकड़ों को बदलने) के साथ, यह 61.8% बार गिरा, लेकिन 38.2% बार समान रहा।

इसका मतलब है कि एक ही "चुभाना" एक तस्वीर के लिए बहुत बड़ी बात हो सकता है और दूसरी के लिए समय की बर्м बर्बादी। पुराना तरीका अंतर नहीं जानता था। उसने बस यह मान लिया कि यदि आपने चित्र को ढका, तो रोबोट संवेदनशील होना चाहिए।

SIVA-RL समाधान: एक स्मार्ट कोच

टीम ने SIVA-RL (सेंसिटिविटी-इनवेरियंस विजुअल अलाइनमेंट) प्रस्तावित किया। इसे एक ऐसे कोच के रूप में सोचें जो रोबोट को आगे क्या कहना है, यह तय करने से पहले उसकी प्रतिक्रिया को देखता है।

यहाँ SIVA-RL कोच तीन सरल चरणों में कैसे काम करता है:

1. "पैचस्वैप" (PatchSwap) चुभाना
पूरे चित्र को धुंधला करने या उसे काले बॉक्स से ढकने के बजाय, SIVA-RL PatchSwap नामक तकनीक का उपयोग करता है। कल्पना कीजिए कि आपके पास एक ज्यामितीय आकार की फोटो है। कोच उसी फोटो के एक हिस्से से एक छोटा वर्ग (जैसे त्रिकोण का कोना) लेता है और उसे उसी फोटो के दूर के हिस्से के एक वर्ग के साथ बदल देता है। यह स्थानीय विवरणों को बदल देता है लेकिन बाकी चित्र को सामान्य दिखाता रहता है। यह कमरे में फर्नीचर को पुनर्व्यवस्थित करने जैसा है; कमरा वहीं है, लेकिन लेआउट थोड़ा अलग है।

2. "ऑडिट" (प्रतिक्रिया की जाँच करना)
रोबोट कुछ भी सीखने से पहले, रोबोट का एक "फ्रोजन ऑडिट" (frozen audit) संस्करण (प्रशिक्षण शुरू होने से पहले का एक स्नैपशॉट) मूल चित्र और बदले हुए चित्र को देखता है। वह दोनों के लिए उत्तर देने का प्रयास करता है।

• यदि रोबोट का स्कोर बहुत गिर जाता है (जैसे, 100% से 20% तक), तो इसका मतलब है कि रोबोट वास्तव में चित्र के उस विशिष्ट हिस्से पर निर्भर था। यह एक सेंसिटिविटी (Sensitivity) सिग्नल है।
• यदि रोबोट का स्कोर समान रहता है (जैसे, 100% से 98% तक), तो इसका मतलब है कि उसे उस टुकड़े की आवश्यकता नहीं थी, या वह केवल अनुमान लगा रहा था। यह एक इनवेरियंस (Invariance) सिग्नल है।
• यदि स्कोर थोड़ा बदलता है, तो यह अस्पष्ट (ambiguous) है, और कोच इसे अभी के लिए अनदेखा कर सकता है।

3. अनुकूलित पाठ (Tailored Lesson)
यहीं पर जादू होता है। कोच सभी के लिए एक जैसा पाठ उपयोग नहीं करता है।

• "सेंसिटिव" मामलों के लिए (बड़ी गिरावट): कोच कहता है, "हे, जब हमने उस टुकड़े को हटाया तो तुम गड़बड़ा गए! इसका मतलब है कि तुम उसे देख रहे थे, लेकिन शायद पर्याप्त सावधानी से नहीं। चलो उस विशिष्ट विवरण को पहचानने का अभ्यास करें।" यहाँ लक्ष्य रोबोट को दृश्य साक्ष्य के प्रति अधिक संवेदनशील बनाना है।
• "इनवेरिएंट" मामलों के लिए (छोटी गिरावट): कोच कहता है, "तुमने इसे सही पाया भले ही हमने उस टुकड़े को हटाया। यह अच्छा है! लेकिन चलो सुनिश्चित करते हैं कि तुम केवल अनुमान नहीं लगा रहे हो। चलो स्थिरता बनाए रखना सीखते हैं।" यहाँ लक्ष्य रोबोट को स्थिर और सुसंगत बनाना है, यह सुनिश्चित करना कि वह केवल भाग्यशाली अनुमान या टेक्स्ट शॉर्टकट पर निर्भर नहीं है।
• "अस्पष्ट" मामलों के लिए: कोच कहता है, "मुझे समझ नहीं आ रहा है कि क्या हो रहा है, इसलिए चलो इसे अभी के लिए छोड़ देते हैं।"

परिणाम: क्या यह काम करता है?

शोधकर्ताओं ने नौ अलग-अलग बेंचमार्क पर इस नई पद्धति का परीक्षण किया, जो AI के लिए मानकीकृत परीक्षणों की तरह हैं। इन परीक्षणों में चित्रों वाले गणित के सवाल, तर्क पहेलियाँ और गिनती करने वाले कार्य शामिल थे। उन्होंने GRPO और DAPO नामक दो अलग-अलग "बैकबोन" (इंजन) का उपयोग किया, और उन्होंने 3 बिलियन (3B) और 7 बिलियन (7B) पैरामीटर वाले दो आकार के मॉडल पर इसका परीक्षण किया।

परिणाम काफी मजबूत थे।

• कुल सुधार: SIVA-RL ने हर एक परीक्षण में मॉडलों के प्रदर्शन में सुधार किया। DAPO इंजन का उपयोग करने वाले 7B मॉडलों के लिए, बेसलाइन के सापेक्ष कुल सुधार 14.98% था।
• विज़न-डिपेंडेंट कार्य: सबसे बड़ी जीत उन कार्यों पर हुई जिनमें वास्तव में चित्र देखने की आवश्यकता थी। उदाहरण के लिए, विज़न-डिपेंडेंट रीजनिंग कार्यों पर, GRPO-7B मॉडल ने 8.79 प्रतिशत अंक की वृद्धि देखी। यह सुझाव देता है कि SIVA-RL विशेष रूप से रोबोट को केवल अनुमान लगाने के बजाय वास्तव में दृश्य सुरागों को देखने के लिए मजबूर करने में अच्छा है।
• अन्य के साथ तुलना: 7B SIVA-RL मॉडल कई प्रसिद्ध मॉडलों से बेहतर प्रदर्शन करते हैं, जिनमें बहुत बड़े मॉडल (जैसे 72B पैरामीटर वाले) और बड़ी टेक कंपनियों के कुछ प्रोप्रायटरी (proprietary) मॉडल भी शामिल हैं।

यह क्यों मायने रखता है

पेपर का तर्क है कि हमें सभी "चुभाने" (pokes) के साथ एक जैसा व्यवहार करना बंद करने की आवश्यकता है। सिर्फ इसलिए कि आप चित्र के एक हिस्से को ढक देते हैं, इसका मतलब यह नहीं है कि रोबोट को विफल होना ही चाहिए। कभी-कभी वह विफल होता है क्योंकि वह ध्यान दे रहा था; कभी-कभी वह विफल होता है क्योंकि वह भ्रमित था; और कभी-कभी वह विफल नहीं होता क्योंकि वह अनुमान लगा रहा था।

SIVA-RL सुझाव देता है कि बेहतर AI तर्क (reasoning) की कुंजी आउटकम-कंडीशंड सुपरविजन (outcome-conditioned supervision) है। यह कहने के बजाय कि "क्योंकि मैंने चित्र को ढका, तुम्हें संवेदनशील होना चाहिए," सिस्टम कहता है, "क्योंकि चित्र को ढकने पर तुम्हारा स्कोर वास्तव में गिरा, चलो इस विशिष्ट गिरावट से सीखते हैं।"

लेखक सावधानी से नोट करते हैं कि यह इस बात को साबित नहीं करता कि रोबोट अब मानव की तरह "सोच" रहा है या उसके पास पूर्ण विजुअल ग्राउंडिंग है। इसका मतलब केवल यह है कि रोबroट उपलब्ध दृश्य साक्ष्य का बेहतर उपयोग कर रहा है। यह विधि "चुभाने" (हस्तक्षेप) बनाने के कार्य को उसके परिणाम (सुपरविजन) के आधार पर निर्णय लेने के कार्य से अलग करके काम करती है।

अंत में, SIVA-RL एक ऐसे कोच की तरह है जो सामान्य निर्देश चिल्लाना बंद कर देता है और खिलाड़ी की विशिष्ट गलतियों को देखना शुरू करता है। यदि खिलाड़ी किसी विशेष पत्थर से टकराकर गिरता है, तो कोच उसे उस पत्थर से बचने में मदद करता है। यदि वह इसलिए गिरता है क्योंकि वह ख्यालों में खोया हुआ था, तो कोच उसे ध्यान केंद्रित करने में मदद करता है। हर गलती को एक अनूठी कहानी के रूप में मानकर, रोबोट केवल अनुमान लगाने के बजाय अपने सामने मौजूद चित्र पर अधिक भरोसा करना सीखता है।