Self-Supervised Visual On-Policy Distillation
यह शोध पत्र सेल्फ-सुपरवाइज्ड विजुअल ऑन-पॉलिसी डिस्टिलेशन (SVOPD) को प्रस्तुत करता है, जो एक ऐसी विधि है जो शिक्षक (teacher) में विशेषाधिकार प्राप्त डेटा जोड़ने के बजाय मजबूत ऑग्मेंटेशन के माध्यम से छात्र (student) से जानकारी घटाकर सूचनात्मक शिक्षण संकेत उत्पन्न करती है, जिससे बिना किसी ग्राउंड-ट्रुथ एनोटेशन या अधिक शक्तिशाली शिक्षक मॉडलों की आवश्यकता के फाइन-ग्रेन्ड विजुअल बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया देखना सिखा रहे हैं। लंबे समय तक, वैज्ञानिकों का मानना था कि रोबोट को स्मार्ट बनाने का एकमात्र तरीका उसे एक "सुपर-टीचर" देना है—एक बड़ा, अधिक शक्तिशाली मस्तिष्क जो पहले से ही सभी उत्तर जानता हो। यह एक छात्र के लिए गणित सीखने जैसा है जो केवल शिक्षक के पूरे किए हुए होमवर्क को देखकर सीख रहा हो। लेकिन क्या होगा यदि आपके पास कोई सुपर-टीचर न हो? क्या होगा यदि आपके पास केवल स्वयं रोबोट ही हो? यह आर्टिफिशियल इंटेलिजेंस की दुनिया में एक बड़ा सवाल है, विशेष रूप से "विजुअल ऑन-पॉलिसी डिस्टिलेशन" (Visual On-Policy Distillation) नामक एक क्षेत्र में। यह एक फैंसी तरीका है यह कहने का: "एक मॉडल अपने ही गलतियों से बिना किसी इंसान या सुपर-कंप्यूटर को यह बताए कि क्या सही है, कैसे सीख सकता है?" आमतौर पर, इसे काम करने के लिए, शोधकर्ताओं को विशेषाधिकार प्राप्त जानकारी (जैसे कि सही उत्तर कुंजी) का उपयोग करना पड़ता था जो छात्र के पास नहीं होती थी। लेकिन यह शोध पत्र एक शानदार सवाल पूछता है: क्या हम बिना किसी विशेषाधिकार प्राप्त जानकारी के वही लर्निंग मैजिक (सीखने का जादू) पैदा कर सकते हैं?
इस पेपर के लेखक, जो यूसी सैन डिएगो और ऑक्सफोर्ड जैसे विश्वविद्यालयों की एक टीम है, कहते हैं - हाँ। वे एक चतुर ट्रिक पेश करते हैं जिसे सेल्फ-सुपरवाइज्ड विजुअल ऑन-पॉलिसी डिस्टिलेशन (S2VOPD) कहा जाता है। शिक्षक को अधिक जानकारी देने के बजाय, वे छात्र से जानकारी छीन लेते हैं। कल्पना कीजिए कि तस्वीरों के साथ खेला जाने वाला "टेलीफोन" का खेल है। शिक्षक एक बिल्ली की एकदम स्पष्ट, हाई-डेफिनिशन फोटो देखता है। हालाँकि, छात्र को उसी फोटो को एक धुंधली, धुंधली या पिक्सेलेटेड खिड़की के माध्यम से देखने के लिए मजबूर किया जाता है। फिर शिक्षक कहता है, "मैं एक बिल्ली देख रहा हूँ।" छात्र को, धुंध के बीच से देखते हुए, अनुमान लगाना होता है, "क्या यह एक बिल्ली है?" और फिर शिक्षक के सुधार को सुनना होता है। क्योंकि छात्र उस चीज़ को देखने के लिए अधिक मेहनत कर रहा है जिसे शिक्षक स्पष्ट रूप से देख रहा है, वह बहुत तेज़ी से सीखता है। पेपर में पाया गया है कि यह "धुंधली खिड़की" विधि इतनी प्रभावी है कि इस तरह से प्रशिक्षित एक छोटा, 4-बिलियन-पैरामीटर वाला मॉडल, 235 बिलियन पैरामीटर्स वाले विशाल मॉडल्स को भी पीछे छोड़ सकता है, और यहाँ तक कि कुछ सबसे प्रसिद्ध प्रोप्रायटरी AI मॉडल्स जैसे GPT-5.4 को भी हरा सकता है।
धुंधली खिड़की का जादू
आइए देखें कि यह कैसे काम करता है। पुराने दिनों में, यदि आप चाहते थे कि एक छात्र AI, एक शिक्षक AI से सीखे, तो शिक्षक को छात्र का "सुपरहीरो" संस्करण होना पड़ता था, या उसे एक चीट शीट (जैसे कि ग्राउंड-ट्रुथ उत्तर) दी जानी चाहिए थी जिसे छात्र देखने के लिए अधिकृत नहीं था। यह पेपर इस पटकथा को उलट देता है। उन्होंने महसूस किया कि असली सीक्रेट सॉस (गुप्त नुस्खा) शिक्षक की सुपरपावर्स नहीं है; यह वह गैप (अंतर) है जो शिक्षक द्वारा देखे जाने वाले और छात्र द्वारा देखे जाने वाले दृश्य के बीच है।
इसे एक जासूस द्वारा एक नौसिखिए को प्रशिक्षित करने की तरह समझें।
- पुराना तरीका: जासूस (शिक्षक) के पास एक हाई-टेक माइक्रोस्कोप और संदिग्धों की एक सूची है। नौसिखिया (छात्र) को अनुमान लगाना होता है। जासूस उत्तर दे देता है।
- S2VOPD का तरीका: जासूस और नौसिखिया एक ही अपराध स्थल की फोटो देख रहे हैं। लेकिन नौसिखिया ने ऐसे चश्मे पहने हैं जो थोड़े खरोंच वाले हैं, या फोटो एक बहुत छोटी, लो-रेज़ोल्यूशन स्क्रीन पर दिखाई जा रही है। जासूस पूरी तस्वीर स्पष्ट रूप से देखता है। नौसिखिया को आँखें सिकोड़कर अनुमान लगाना पड़ता है कि वे क्या देख रहे हैं। जब नौसिखिया गलती करता है, तो जासूस कहता है, "नहीं, ध्यान से देखो, वह एक बिल्ली है, कुत्ता नहीं।"
पेपर इसे "इनवर्टिंग द एसिमेट्री" (असममिति को उलटना) कहता है। शिक्षक को सुपरपावर्स देने के बजाय, वे छात्र की स्पष्टता को घटा देते हैं। यह एक स्वाभाविक लर्निंग सिग्नल बनाता है। छात्र को शिक्षक के स्पष्ट विजन से गायब विवरणों को रिकवर करने के लिए मजबूर किया जाता है। और सबसे अच्छी बात? उन्हें यह करने के लिए किसी मानवीय लेबल, उत्तर कुंजी या पुरस्कार की आवश्यकता नहीं है। "धुंध" स्वयं शिक्षक है।
ब्लर का गोल्डिलॉक्स ज़ोन (Goldilocks Zone)
शोधकर्ताओं ने केवल यह अंदाज़ा नहीं लगाया कि किसी भी प्रकार का ब्लर काम करेगा। उन्होंने एक विशाल प्रयोग चलाया, जिसमें छात्र के दृश्य को विभिन्न तरीकों से "डिग्रेड" (खराब) करने का परीक्षण किया गया। उन्होंने छात्र की छवि को एक फोटो एडिटिंग प्रोजेक्ट की तरह माना, और चार मुख्य प्रकार के बदलावों को आजमाया:
- सूचना में कमी (Information Reduction): छवि को छोटा करना, धुंधला करना, या पुराना टीवी जैसा स्टैटिक शोर जोड़ना।
- ज्यामितीय (Geometric): छवि को घुमाना या उसके हिस्सों को क्रॉप करना।
- फोटोमेट्रिक (Photometric): रंगों, चमक या कंट्रास्ट को बदलना।
- ओक्लूजन (Occlusion): छवि के हिस्सों को काले बॉक्स या रैंडम पैच से ढकना।
उन्होंने एक बहुत ही विशिष्ट "स्वीट स्पॉट" (सही बिंदु) पाया।
- बहुत कम ब्लर? छात्र कुछ भी नया नहीं सीखता क्योंकि छवि शिक्षक की तुलना में लगभग वैसी ही है।
- बहुत अधिक ब्लर? छात्र कुछ भी देख नहीं पाता। यदि आप छवि को इतना अधिक क्रॉप कर देते हैं कि बिल्ली का चेहरा ही गायब हो जाए, तो छात्र कभी भी "बिल्ली" का अनुमान नहीं लगा सकता, भले ही शिक्षक उसे बता दे। लर्निंग सिग्नल टूट जाता है क्योंकि प्रश्न का उत्तर देना असंभव हो जाता है।
- बिल्कुल सही? पेपर में पाया गया कि छवि को उसके मूल आकार के 0.3 और 0.6 गुना के बीच छोटा करना, और थोड़ा सा रैंडम "स्टैटिक" शोर (जैसे गॉसियन नॉइज़) जोड़ना, सबसे सटीक रेसिपी थी। "डाउनस्केलिंग" और "नॉइज़" का यह विशिष्ट संयोजन सबसे प्रभावी लर्निंग गैप बनाया।
परिणाम: छोटा मॉडल, बड़ा दिमाग
परिणाम आश्चर्यजनक रूप से शक्तिशाली थे। टीम ने Qwen3.5-4B (जिसमें 4 बिलियन "मस्तिष्क कोशिकाएं" या पैरामीटर्स हैं) नामक एक मॉडल पर परीक्षण किया।
- ट्रेनिंग से पहले: मॉडल ने ट्रिकी विजुअल पहेलियों के सेट पर लगभग 70.7% उत्तर सही दिए।
- S2VOPD ट्रेनिंग के बाद: स्कोर उछलकर 77.4% हो गया।
यह बहुत बड़ा उछाल नहीं लग सकता है, लेकिन AI की दुनिया में, यह एक बड़ी छलांग है। यह छोटा 4-बिलियन मॉडल, बिना किसी गुप्त चीट शीट के प्रशिक्षित होकर, निम्नलिखित से बेहतर प्रदर्शन करने में सफल रहा:
- Qwen3-VL-Instruct-235B: एक विशाल मॉडल जिसमें 235 बिलियन पैरामीटर्स हैं (50 गुना बड़ा!)।
- GPT-5.4: उपलब्ध सबसे उन्नत कमर्शियल AI मॉडल्स में से एक।
इससे भी अधिक प्रभावशाली बात यह है कि इस पद्धति ने मॉडल को केवल तस्वीरें देखने में ही बेहतर नहीं बनाया; इसने इसके गणितीय तर्क (math reasoning) कौशल में भी सुधार किया। अन्य विधियों ने, जिन्होंने "चीट शीट्स" (विशेषाधिकार प्राप्त जानकारी) का उपयोग किया था, अक्सर तस्वीरों को देखने में बेहतर हुईं लेकिन वास्तव में गणित में और खराब हो गईं। S2VOPD दोनों कौशलों को एक साथ बढ़ाने में सफल रहा।
यह क्यों मायने रखता है
पेपर सुझाव देता है कि हमें AI को स्मार्ट बनाने के लिए हमेशा बड़े, महंगे मॉडल्स या अंतहीन मानवीय लेबल की आवश्यकता नहीं होती है। हमें बस जानकारी प्रस्तुत करने के तरीके के बारे में चतुर होने की आवश्यकता है। छात्र के लिए एक "संघर्ष" पैदा करके—उसे दुनिया के एक खराब संस्करण को देखने के लिए मजबूर करके जबकि शिक्षक सच्चाई देख रहा हो—हम मुफ्त में एक शक्तिशाली लर्निंग सिग्नल अनलॉक कर सकते हैं।
लेखक सावधानी बरतते हुए कहते हैं कि यह हर समस्या के लिए कोई जादुई छड़ी नहीं है। उन्होंने पाया कि यदि "डिग्रेडेशन" बहुत अधिक आक्रामक है (जैसे कि उत्तर को पूरी तरह से क्रॉप कर देना), तो यह विधि विफल हो जाती है। लेकिन सही ढंग से ट्यून करने पर, यह "सेल्फ-सुपरवाइज्ड" दृष्टिकोण उस सुधार का 96% रिकवर करता है जो विशेषाधिकार प्राप्त जानकारी वाले तरीके हासिल कर सकते हैं, लेकिन बिना उस अतिरिक्त, कठिन-से-प्राप्त डेटा के।
संक्षेप में, S2VOPD साबित करता है कि कभी-कभी, सबसे अधिक सीखने के लिए, आपको सभी उत्तरों के साथ एक सुपर-टीचर की आवश्यकता नहीं होती है। आपको बस एक ऐसे छात्र की आवश्यकता होती है जिसे दुनिया को थोड़ा और गहराई से देखने के लिए मजबूर किया जाए, जबकि एक स्पष्ट दृष्टि वाला मार्गदर्शक उनके ठीक बगल में खड़ा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।