An Omitted Mode Is a Rare Rule: The Sampling-Verification Danger Law in Continuous Code World Models
यह शोध पत्र यह प्रदर्शित करता है कि निरंतर कोड विश्व मॉडलों (continuous code world models) में, केवल सैंपलिंग सत्यापन (sampling verification) के आधार पर एक LLM-निर्मित योजनाकार (planner) को स्वीकार करना खतरनाक रूप से अपर्याप्त है क्योंकि यह अक्सर महत्वपूर्ण विच्छिन्न मोड (discontinuous modes) को चूक जाता है, जिससे नियोजन की ऐसी विनाशकारी विफलताएं होती हैं जिन्हें यादृच्छिक सैंपलिंग के बजाय लक्षित हस्तक्षेपों के माध्यम से ही विश्वसनीय रूप से पहचाना जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, मशीनों को भौतिक प्रणालियों—जैसे कि रोबोट या स्वयं चलने वाली कारों—को नियंत्रित करने के लिए सिखाने की एक लोकप्रिय रणनीति यह है कि मशीन पहले दुनिया के काम करने के तरीके का एक मानसिक मानचित्र तैयार करे। यह मानचित्र, जिसे अक्सर "वर्ल्ड मॉडल" (world model) कहा जाता है, यह भविष्यवाणी करता है कि यदि कोई विशिष्ट क्रिया की जाए तो आगे क्या होगा। एक बार जब मशीन के पास यह मानचित्र बन जाता है, तो वह हजारों संभावित भविष्य का अनुकरण (simulate) करने के लिए एक प्लानिंग एल्गोरिदम का उपयोग करती है, ताकि उस क्रियाओं के क्रम को खोजा जा सके जो सर्वोत्तम परिणाम की ओर ले जाता है। लंबे समय से यह धारणा रही है कि यदि यह मानसिक मानचित्र उस डेटा पर पर्याप्त सटीक है जो उसने देखा है, तो इसका उपयोग योजना बनाने के लिए करना सुरक्षित होगा। यदि मानचित्र एक हजार परीक्षणों में भविष्य की सही भविष्यवाणी करता है, तो इसे एक विश्वसनीय मार्गदर्शक माना जाता है।
हालांकि, एक नया अध्ययन इस धारणा को चुनौती देता है और यह देखता है कि क्या होता है जब दुनिया में ऐसी दुर्लभ, अचानक होने वाली घटनाएं होती हैं जिनका सामना मशीन ने अपने प्रशिक्षण के दौरान कभी नहीं किया है। कल्पना कीजिए कि एक कार जिसने चिकनी सड़क पर गाड़ी चलाना सीखा है, लेकिन उसने कभी दीवार नहीं देखी है। यदि दीवार इतनी दुर्लभ है कि कार ने अपने प्रशिक्षण के दौरान कभी उससे टक्कर नहीं मारी, तो मशीन का मानसिक मानचित्र दीवार के अस्तित्व को पूरी तरह से अनदेखा कर सकता है, यह मानकर कि सड़क अनंत तक जारी है। खतरा यह है कि जब मशीन अंततः वास्तविक दुनिया में चलने की कोशिश करेगी, तो वह उस अनदेखी दीवार की ओर सीधा रास्ता बना सकती है, यह विश्वास करते हुए कि वह उसके पार निकल जाएगी। शोधकर्ताओं ने पूछा कि क्या एक मानक सुरक्षा जांच, जो मशीन के मानचित्र को दुनिया के यादृच्छिक नमूनों (random samples) के विरुद्ध परखती है, इस विशेष प्रकार के अंधेपन को दुर्घटना होने से पहले पकड़ पाएगी या नहीं।
शोधकर्ताओं ने इस उत्तर को खोजने के लिए नियंत्रित प्रयोगों की एक श्रृंखला आयोजित की, जिसमें ट्रैक पर चलती हुई कार्ट या पेंडुलम के झूलने जैसे सरल भौतिक सिमुलेशन का उपयोग किया गया। इन सिमुलेशन में, उन्होंने एक "दुर्लभ नियम" पेश किया: एक कठोर रोक (hard stop), जैसे कि दीवार या फर्श, जो वस्तु की गति को छूते ही तुरंत रोक देता है। इसके बाद उन्होंने एक लार्ज लैंग्वेज मॉडल (LLM) को मशीन के मानसिक मानचित्र के लिए कोड लिखने को कहा, लेकिन उन्होंने जानबूझकर इस दीवार के अस्तित्व को मॉडल के प्रशिक्षण डेटा से छिपा दिया। मॉडल को केवल कार्ट या पेंडुलम की यादृच्छिक गतियों को दिखाया गया था जो संयोग से दीवार से बच निकली थीं। क्योंकि दीवार दुर्लभ थी, मॉडल ने अक्सर अपने प्रशिक्षण के दौरान उसे कभी नहीं देखा।
परिणाम चौंकाने वाले थे। जब शोधकर्ताओं ने मॉडलों का परीक्षण एक मानक सुरक्षा जांच का उपयोग करके किया—मॉडल को हजारों यादृच्छिक परिदृश्यों के माध्यम से चलाकर यह देखने के लिए कि क्या वह वास्तविक भौतिकी से मेल खाता है—तो मॉडल अक्सर सफल रहे। उन्हें "सही" के रूप में स्वीकार कर लिया गया क्योंकि हजारों यादृच्छिक परीक्षणों में दीवार कभी सामने नहीं आई। फिर भी, जब इन "सत्यापित" मॉडलों को एक सिस्टम को नियंत्रित करने के लिए प्लानर (planner) को सौंपा गया, तो प्लानर आत्मविश्वास के साथ कार्ट या पेंडुलम को छिपी हुई दीवार की ओर ले गया। मॉडल, दीवार की कोई अवधारणा न होने के कारण, वस्तु के दीवार के पार जाने की भविष्यवाणी करता रहा। प्लानर, इस झूठी भविष्यवाणी पर भरोसा करते हुए, वस्तु को दीवार की ओर ले गया, जहाँ वह फंस गई। इसके बाद मशीन लक्ष्य तक पहुँचने में असमर्थ हो गई, जिससे उसकी सफलता की पूरी संभावना समाप्त हो गई। अध्ययन में पाया गया कि यह विफलता गणना की गलती नहीं थी बल्कि ज्ञान की एक मौलिक कमी थी: मॉडल उस नियम के प्रति अंधा था जो मौजूद तो था लेकिन जिसे कभी लिया (sampled) नहीं गया था।
शोधकर्ताओं ने पाया कि इस आपदा की संभावना दुर्लभता के आधार पर एक सटीक गणितीय पैटर्न का पालन करती है। यदि एक खतरनाक घटना सौ यादृच्छिक परीक्षणों में से एक बार होती है, और सुरक्षा जांच केवल सौ परीक्षण ही चलाती है, तो इस घटना को पूरी तरह से चूक जाने की महत्वपूर्ण संभावना होती है। यदि जांच एक हजार परीक्षण चलाती है, तो इसे चूकने की संभावना कम हो जाती है, लेकिन यह कभी शून्य तक नहीं पहुँचती। अध्ययन ने सिद्ध किया कि जब तक प्रशिक्षण डेटा में दुर्लभ घटना शामिल नहीं है, तब तक किसी भी चतुर योजना या मॉडल परिशोधन से इसे खोजा नहीं जा सकता। मॉडल अंधा रहेगा, और सुरक्षा जांच, अपनी प्रकृति के अनुसार यादृच्छिक नमूनाकरण (random sampling) का उपयोग करने के कारण, यह गारंटी नहीं दे सकती कि अंधे बिंदु (blind spot) को खोज लिया गया है।
अध्ययन ने यह भी पता लगाया कि क्या मशीन नियम को सीख सकती है यदि उसे प्रशिक्षण के दौरान दीवार दिखाई जाए। सरल, एक-आयामी (one-dimensional) कार्यों पर, जैसे कि एक सीधी रेखा में चलती कार्ट, उत्तर आश्चर्यजनक रूप से सकारात्मक था। जब मॉडल को दीवार से टकराने के कुछ उदाहरण भी दिखाए गए, तो लार्ज लैंग्वेज मॉडल ने कार्ट को रोकने के लिए सटीक कोड लिखने में सक्षम दिखाया, जिससे प्रभावी रूप से उसके मानसिक मानचित्र की "मरम्मत" हुई। उसने नियम को पूरी तरह से सीख लिया। हालांकि, शोधकर्ताओं ने फिर अधिक जटिल, दो-आयामी (two-dimensional) वातावरण में प्रवेश किया, जहाँ दीवार एक सपाट सतह पर एक गोलाकार पैच थी। इन मामलों में, भले ही मॉडल को पैच से टकराते हुए दीवार दिखाई गई थी, फिर भी वह साक्ष्यों से सही आकार और स्थान का अनुमान लगाने में विफल रहा। सही आकार या सीमा को सीखने के बजाय, मॉडल ने गलत आकृतियाँ, जैसे कि एक सीधी रेखा या वर्ग, बना लीं, या वह बिना समझे वस्तु को वहीं स्थिर कर दिया। मॉडल बिखरे हुए साक्ष्यों से पूर्ण आकार या नियम को समझने में विफल रहा।
यह निष्कर्ष इन प्रणालियों के सीखने के तरीके में एक महत्वपूर्ण सीमा को उजागर करता है। अध्ययन ने दिखाया कि जबकि मशीन एक सरल संदर्भ में स्पष्ट रूप से बताए गए या दिखाए गए नियम को अनुवादित करने में उत्कृष्ट हो सकती है, उसे एक जटिल नियम के आकार और स्थान का अनुमान लगाने में कठिनाई होती है। मशीन की खुद को "ठीक" करने की क्षमता समस्या की ज्यामिति (geometry) पर बहुत अधिक निर्भर करती है। सरल मामलों में, यह काम करती है; जटिल, दो-आयामी मामलों में, यह विफल हो जाती है। शोधकर्ताओं ने मॉडल की मदद करने के लिए विभिन्न तरीकों का परीक्षण किया, जैसे कि उसे अधिक उदाहरण देना, उसके सोचने के तरीके को बदलना, या उसे बाधा के आकार के बारे में संकेत देना। इनमें से कोई भी हस्तक्षेप काम नहीं आया। मॉडल लगातार दो-आयामी पैच के लिए सही नियम को अपनाने में विफल रहा, और अक्सर एक सरल, गलत आकार को प्रस्तुत कर दिया।
इस कार्य के निहितार्थ उन सभी के लिए महत्वपूर्ण हैं जो भौतिक प्रणालियों को नियंत्रित करने के लिए एआई (AI) पर भरोसा करते हैं। यह सुझाव देता है कि यादृच्छिक नमूनाकरण पर आधारित सुरक्षा जांच दुर्लभ लेकिन विनाशकारी विफलताओं को पकड़ने के लिए अपर्याप्त है। एक मॉडल दिए गए हर परीक्षण में पास हो सकता है और फिर भी एक विशिष्ट, दुर्लभ घटना के बारे में खतरनाक रूप से गलत हो सकता है। अध्ययन सिद्ध करता है कि यदि कोई खतरनाक घटना इतनी दुर्लभ है कि उसे नमूनाकरण प्रक्रिया द्वारा छोड़ा जा सकता है, तो मॉडल अंधा ही रहेगा, और प्लानर उस अंधेपन का लाभ उठाएगा, जिससे विफलता होगी। सुरक्षा सुनिश्चित करने का एकमात्र तरीका यह गारंटी देना है कि प्रशिक्षण डेटा इन दुर्लभ घटनाओं की सीमाओं को कवर करता है, या एक अलग प्रकार के सत्यापन का उपयोग करना है जो यादृच्छिक संयोग पर निर्भर नहीं है। शोध का निष्कर्ष है कि हालांकि एआई डेटा से सीखने में उल्लेखनीय रूप से अच्छा हो सकता है, लेकिन यह वह नहीं सीख सकता जो उसने कभी देखा ही नहीं है, और भौतिक दुनिया में, जिसे उसने कभी नहीं देखा, वही सबसे अधिक नुकसान पहुँचा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।