On the Real-World Generalisability of Optical Flow Models
यह शोध पत्र फ्लोफैक्टर (FlowFactor) को पेश करता है, जो नियंत्रित कन्फाउंडिंग कारकों (confounding factors) के साथ एक नवीन वास्तविक-विश्व ऑप्टिकल फ्लो बेंचमार्क है, यह प्रदर्शित करने के लिए कि सिंथेटिक बेंचमार्क पर वर्तमान मॉडलों का प्रदर्शन वास्तविक-विश्व सटीकता का खराब पूर्वानुमान लगाता है और केवल डेटा को स्केल करना इस सामान्यीकरण अंतराल (generalization gap) को पाटने में विफल रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक वीडियो गेम खेलने के लिए प्रशिक्षित कर रहे हैं जहाँ उसे स्क्रीन के हर पिक्सेल की गति को एक फ्रेम से दूसरे फ्रेम में ट्रैक करना है। इसे "ऑप्टिकल फ्लो" (optical flow) कहा जाता है। रोबोट को सिखाने के लिए, वैज्ञानिक आमतौर पर एक विशाल, आदर्श, कंप्यूटर-जनरेटेड दुनिया बनाते हैं। यह एक वीडियो गेम लेवल की तरह है जहाँ नियम सख्त हैं, लाइटिंग कभी ग्लिच नहीं होती, और हर वस्तु ठीक वैसे ही चलती है जैसा प्रोग्राम किया गया है। रोबलेट इस खेल में बहुत, बहुत माहिर हो जाता है।
लेकिन फिर, आप उसी रोबोट को असली, अव्यवस्थित दुनिया में ले जाते हैं। अचानक, सूरज टिमटिमाता है, एक कार बगल से गुजरती है और आपका दृश्य बाधित करती है, और एक कुत्ते के साथ जिसके शरीर पर घने बाल (fluffy fur) हैं, वह दौड़ता हुआ आता है। रोबोट, जो इस वीडियो गेम में चैंपियन था, अचानक लड़खड़ाने लगता है। वह परछाइयों से भ्रमित हो जाता है, रोबोटिक दृष्टि खो देता है, और जब चीजें बहुत तेजी से चलती हैं तो जम जाता है।
यह बिल्कुल वही है जो पेट्टर रेजालट (Petter Reijalt) और उनकी टीम ने TU Delft में खोजा। उन्होंने एक सरल लेकिन डरावना सवाल पूछा: क्या वीडियो गेम में उच्च स्कोर प्राप्त करने का वास्तव में यह अर्थ है कि आपका रोबोट वास्तविक दुनिया के लिए तैयार है?
"वीडियो गेम" का जाल
वर्षों से, शोधकर्ता सिंथेटिक डेटा (यानी "वीडियो गेम") पर ऑप्टिकल फ्लो मॉडल को प्रशिक्षित कर रहे हैं और फिर उन्हें अन्य वीडियो गेम या बहुत विशिष्ट, संकीर्ण वास्तविक दुनिया के परिदृश्यों जैसे कि हाईवे पर कार चलाने के लिए टेस्ट कर रहे हैं। वे सोचते थे, "यदि रोबोट गेम में बेहतर हो रहा है, तो इसका मतलब है कि वह वास्तविकता में भी बेहतर हो रहा है।"
लेखकों ने इस जाँच के लिए एक नया, अत्यंत चुनौतीपूर्ण परीक्षण बनाया जिसे FlowFactor कहा गया। उन्होंने 1,000 वास्तविक-दुनिया के फ्रेम जोड़े (पूरे वीडियो क्लिप नहीं) बनाए, लेकिन उन्होंने सब कुछ रोबोट के सामने नहीं फेंका। इसके बजाय, उन्होंने चार विशिष्ट "बॉस लेवल्स" को अलग किया जो आमतौर पर इन रोबोट्स को विफल कर देते हैं:
- द ब्लर बॉस (The Blur Boss): अत्यधिक तेज़ गति से चलती वस्तुएं (एक सिंगल फ्रेम में 25 पिक्सेल से अधिक)।
- द हाइडिंग बॉस (The Hiding Boss): वस्तुओं का दूसरी चीजों द्वारा ढका जाना या स्क्रीन के किनारे से गायब हो जाना (occlusions)।
- द कॉपीकैट बॉस (The Copycat Boss): दोहराव वाले पैटर्न वाले दृश्य, जैसे ईंट की दीवार या घास का मैदान, जहाँ रोबोट भ्रमित हो जाता है कि कौन सा पिक्सेल कौन सा है।
- द फ्लैशलाइट बॉस (The Flashlight Boss): ऐसे दृश्य जहाँ लाइटिंग नाटकीय रूप से बदलती है, लेकिन वास्तव में कुछ भी हिलता नहीं है। वस्तुएं पूरी तरह स्थिर रहती हैं, लेकिन छाया और चमक (glare) शिफ्ट होती है, जो यह परखती है कि क्या रोबोट प्रकाश के परिवर्तन और वास्तविक गति के बीच अंतर कर सकता है।
उन्होंने एक विशाल टेस्ट सूट बनाने के लिए दो अन्य वास्तविक-दुनिया के डेटासेट, Slow Flow और TAP-Flow को भी जोड़ा, जिससे कुल 8,204 फ्रेम जोड़े का एक विशाल संग्रह तैयार हुआ।
बड़ा खुलासा: स्कोरबोर्ड झूठ बोल रहा है
जब उन्होंने इस नए टेस्ट पर नवीनतम और सर्वश्रेष्ठ ऑप्टिकल फ्लो मॉडल्स का परीक्षण किया, तो उन्हें एक चौंकाने वाला रुझान मिला।
मुख्य निष्कर्ष: भले ही मॉडल मानक "वीडियो गेम" बेंचमार्क (जैसे Sintel, KITTY, और Spring) पर बेहतर और बेहतर होते जा रहे हैं, लेकिन वास्तविक दुनिया में उनका प्रदर्शन स्थिर (stagnated) हो गया है। वास्तव में, नवीनतम और सबसे शक्तिशाली मॉडल्स के लिए, वीडियो गेम पर उच्च स्कोर प्राप्त करने का अर्थ कभी-कभी यह होता था कि वे वास्तविक दुनिया की अराजकता को संभालने में और भी बुरे हो गए।
यह एक ऐसे छात्र की तरह है जो अभ्यास की गणित की किताब के हर उत्तर को पूरी तरह से रट लेता है लेकिन वास्तविक परीक्षा में फेल हो जाता है क्योंकि वास्तविक प्रश्न अलग तरीके से पूछे गए होते हैं। लेखकों का सुझाव है कि वीडियो गेम डेटा पर बहुत अधिक ध्यान केंद्रित करके, मॉडल 'ओवरफिटिंग' (overfitting) कर रहे हैं—वे गति के सामान्य नियमों को सीखने के बजाय खेल की विशिष्ट चालों को सीख रहे हैं।
"ट्रेड-ऑफ" का आश्चर्य
शोधकर्ताओं ने एक अजीब खींचतान भी खोजी। उन्होंने पाया कि जो मॉडल तेज़, बड़े आंदोलनों (जैसे पास से गुजरती कार) को ट्रैक करने में बहुत अच्छे हैं, वे स्थिर दृश्यों और बदलती रोशनी (जैसे हवा में झूमता पेड़ जबकि सूरज ढल रहा हो) को संभालने में बहुत खराब होते हैं।
यह ऐसा है जैसे रोबोट को चुनना होगा: "क्या मैं एक स्पीड डेमन बनना चाहता हूँ, या मैं एक शैडो डिटेक्टिव बनना चाहता हूँ?" आप एक ही समय में दोनों आसानी से नहीं हो सकते। यह सुझाव देता है कि केवल मॉडल्स को बड़ा बनाना या उन्हें लंबे समय तक प्रशिक्षित करना कोई जादुई समाधान नहीं है।
समस्या पर और अधिक डेटा डालना? इतनी जल्दी भी नहीं।
आप सोच सकते हैं, "ठीक है, चलो रोबोट को और अधिक डेटा देते हैं! शायद अगर हम इसे लाखों और सिंथेटिक फ्रेम दें, तो यह अंततः इसे समझ जाएगा।"
लेखकों ने इसका भी परीक्षण किया। उन्होंने TartanAir नामक डेटासेट से 1 मिलियन से अधिक फ्रेम जोड़ों सहित विशाल डेटासेट पर प्रशिक्षित मॉडल्स को देखा। परिणाम? नहीं। अधिक सिंथेटिक डेटा जोड़ने से गैप (अंतर) अनिवार्य रूप से कम नहीं हुआ। वास्तव में, छोटे लेकिन अधिक विविध डेटा सेट पर प्रशिक्षित कुछ मॉडल्स ने वास्तविक दुनिया के टेस्ट पर समान या बेहतर प्रदर्शन किया।
यह सुझाव देता है कि समस्या यह नहीं है कि रोबोटों ने पर्याप्त उदाहरण नहीं देखे हैं; बल्कि समस्या यह है कि वे जो उदाहरण देख रहे हैं, वे सही प्रकार के उदाहरण नहीं हैं। "वीडियो गेम" वास्तविक दुनिया जैसा नहीं दिखता, चाहे आप इसे कितनी भी बार क्यों न खेल लें।
निचोड़ (The Bottom Line)
यह पेपर यह नहीं कहता कि ऑप्टिकल फ्लो हमेशा के लिए टूट गया है। इसके बजाय, यह तर्क देता है कि हमें यह मानना बंद कर देना चाहिए कि वीडियो गेम ही वास्तविक दुनिया है। मानक बेंचमार्क पर वर्तमान "उच्च स्कोर" थोड़ा भ्रामक (mirage) है। ऐसे रोबोट बनाने के लिए जो हमारी अव्यवस्थित, छायादार और तेज़ चलती दुनिया में नेविगेट कर सकें, हमें केवल डेटा को स्केल करना बंद करना होगा और ऐसे परीक्षणों को डिजाइन करना शुरू करना होगा जो वास्तव में वास्तविकता की अराजकता की नकल करते हों।
जैसा कि लेखकों ने कहा, समस्या पर केवल अधिक कंप्यूटिंग पावर और डेटा फेंकना समाधान नहीं है। हमें इन मॉडल्स को अप्रत्याशित स्थितियों को संभालने के लिए सिखाने के नए, अभिनव तरीकों की आवश्यकता है। और जब तक हम ऐसा नहीं करते, तब तक एक रोबोट जो वीडियो गेम में जीनियस दिखता है, वास्तविक दुनिया में अपने ही पैरों से टकराकर गिर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।