Automatic Hard Example Synthesis with Multi-Level Agentic Data Curation
यह शोध पत्र एक स्वचालित, मल्टी-एजेंट रेड-टीमिंग फ्रेमवर्क प्रस्तावित करता है जो बिना मानवीय लेबलिंग के सुरक्षा उल्लंघन के विरुद्ध मल्टीमॉडल लार्ज लैंग्वेज मॉडल की मजबूती को महत्वपूर्ण रूप से बढ़ाने के लिए पुनरावृत्ति परिकल्पना पीढ़ी (इटरेटिव हाइपोथीसिस जनरेशन) और उत्परिवर्तन (म्यूटेशन) के माध्यम से चुनौतीपूर्ण प्रतिकूल उदाहरणों को संश्लेषित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को इंटरनेट पर खतरनाक या अनुचित चित्रों को पहचानना सिखा रहे हैं। यह रोबोट एक "मल्टीमॉडल लार्ज लैंग्वेज मॉडल" (MLLM) है, जिसका अर्थ है कि यह किसी निर्णय पर पहुँचने के लिए एक साथ चित्र देख सकता है और टेक्स्ट पढ़ सकता है। लेकिन पेचीदा बात यह है कि बुरे तत्व लगातार इस रोबोट को धोखा देने की कोशिश कर रहे हैं। वे चालाकी भरे, अजीब या भ्रमित करने वाले चित्र बनाते हैं जो पहली नज़र में सुरक्षित दिखते हैं लेकिन वास्तव में नियमों का उल्लंघन करते हैं। यह लुका-छिपी के खेल जैसा है जहाँ "छिपने वाले" घुलने-मिलने में बेहतर होते जा रहे हैं।
रोबोट को सिखाने के लिए, हमें आमतौर पर उसे यह दिखाना पड़ता है कि क्या नहीं करना है। लेकिन ऐसे पेचीदा उदाहरण ढूँढना कठिन है। यदि आप किसी इंसान से कहें कि वह रोबोट को धोखा देने के हर संभव तरीके को ड्रा करे, तो वे रोबोट के सब कुछ सीख जाने से बहुत पहले ही थक जाएंगे। यहीं पर "एक्टिव लर्निंग" (Active Learning) काम आती है—एक फैंसी शब्द जिसका अर्थ है कंप्यूटर को यह तय करने देना कि उसे अगले कौन से उदाहरणों से सीखने की आवश्यकता है। हालाँकि, यह भी तब अटक जाता है जब उदाहरण बहुत जटिल या बहुत अधिक संख्या में हों। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या हम एक ऐसा सिस्टम बना सकते हैं जो स्वचालित रूप से अपने आप ये पेचीदा उदाहरण आविष्कार कर सके, ताकि मानव द्वारा हर एक चित्र बनाने की प्रतीक्षा किए बिना रोबोट अधिक मजबूत बन सके?
यह शोध पत्र एक चतुर समाधान पेश करता है जिसे "ऑटोमैटिक हार्ड एक्ज़ाम्पल सिंथेसिस विद मल्टी-लेवल एजेंटिक डेटा क्यूरेशन" कहा जाता है। इसे एक डिजिटल "रेड टीम" (Red Team) के रूप में सोचें—AI एजेंटों का एक समूह जिनका एकमात्र काम सुरक्षा रोबोट को तोड़ने की कोशिश करना है। एक अकेला रोबोट अनुमान लगाने की कोशिश करने के बजाय, लेखकों ने तीन विशिष्ट AI "पात्रों" की एक टीम स्थापित की है जो मिलकर काम करते हैं। सबसे पहले, आर्किटेक्ट (Architect) है, जो एक उच्च-स्तरीय विचारक है जो सुरक्षा रोबोट को धोखा देने के लिए जंगली विचार (जैसे, "क्या होगा अगर हम एक पप्पी मिल का ऐसा चित्र बनाएं जो एक प्यारे पेट स्टोर विज्ञापन जैसा दिखे?") लेकर आता है। इसके बाद, ऑपरेटर (Operator) आता है जो उन विचारों को लेता है और वास्तव में चित्र बनाता है। अंत में, अन्य AI न्यायाधीशों की एक समिति (Committee) नए चित्रों की समीक्षा करती है कि क्या उन्होंने सफलतापूर्वक सुरक्षा रोबोट को चकमा दिया या वे बहुत स्पष्ट थे।
यह सिस्टम एक वीडियो गेम लूप की तरह काम करता है। आर्किटेक्ट एक नया विचार लाता है। यदि समिति सहमत होती है कि यह एक पेचीदा, सीमावर्ती मामला है, तो सिस्टम इसे एक "हार्ड एक्ज़ाम्पल" के रूप में सहेज लेता है। यदि विचार विफल हो जाता है, तो सिस्टम इसे केवल फेंकता नहीं है; यह "एक्सप्लोर एंड म्यूटेट" (Explore and Mutate) नामक एक रणनीति का उपयोग करता है। इसका मतलब है कि या तो यह पूरी तरह से एक नया विचार आज़माता है (Exploration) या यह एक पिछले विचार को लेता है जो लगभग सफल था और इसे और अधिक चालाक बनाने के लिए इसमें थोड़ा बदलाव करता है (Mutation)। लेखकों ने पाया कि सबसे अच्छी रणनीति यह थी कि ज्यादातर नए विचार (75%) आजमाए जाएं लेकिन कभी-कभी पुराने विचारों को थोड़ा बदला जाए (25%) ताकि एक ही गलती को दोहराने के लूप में फंसने से बचा जा सके।
इसके परिणाम काफी प्रभावशाली हैं। जब सुरक्षा रोबोट का परीक्षण 'होलीसेफ' (HoliSafe) नामक बेंचमार्क पर किया गया, तो शुरुआत में इसने खतरनाक चित्रों के एक बड़े हिस्से को मिस कर दिया, यानी यह 41.2% बार उन्हें फ्लैग करने में विफल रहा (एक उच्च फाल्स नेगेटिव रेट)। लेकिन, जब इस टीम ने अपने AI एजेंटों का उपयोग करके इन पेचीदा उदाहरणों को उत्पन्न किया और उन्हें रोबोट को "स्टडी गाइड्स" (In-Context Learning नामक तकनीक) के रूप में दिखाया, तो रोबोट बहुत बेहतर हो गया। विफलता दर काफी गिरकर 24.5% हो गई। यह बिना किसी मानव द्वारा चित्र बनाने या डेटा लेबल करने के हुआ। यह पेपर सुझाव देता है कि AI एजेंटों के लिए एक अधिक उन्नत "मस्तिष्क" (जैसे कि जेमिनी 3 मॉडल) का उपयोग करने से उत्पन्न उदाहरण, पुराने मॉडलों की तुलना में रोबोट की कमजोरियों को खोजने में बहुत बेहतर निकले।
संक्षेप में, यह पेपर दिखाता है कि हम एक स्व-सुधार प्रणाली बना सकते हैं। AI एजेंटों की एक टीम को नियमों को तोड़ने की कोशिश करने देकर, हम स्वचालित रूप से सबसे भ्रमित करने वाले 'एज केसेस' को खोज सकते हैं। यह सुरक्षा रोबोट को बहुत तेज़ी से और अधिक सटीकता से चालाकी भरी चीज़ों को पहचानने में मदद करता है, बजाय इसके कि हम इंसानों द्वारा हर एक ट्रिक खोजने का इंतज़ार करें। यह एक अथक, रचनात्मक कोच की तरह है जो लगातार नए अभ्यास आविष्कार करता रहता है ताकि एथलीट को मजबूत बनाया जा सके, यह सुनिश्चित करता है कि रोबोट भविष्य में आने वाले किसी भी अजीब, खतरनाक चित्रों के लिए तैयार रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।