Does the Competitive Component of Adversarial Self-Play Improve Legal Reasoning? A Controlled Negative Result

कल्पना कीजिए कि आप एक रोबोट को एक शानदार वकील बनने के लिए सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि वह ऐसे तर्क लिखे जो इतने मजबूत हों कि कोई उन्हें तोड़ न सके। आर्टिफिशियल इंटेलिजेंस की दुनिया में एक लोकप्रिय विचार है "एडवर्सरियल सेल्फ-प्ले" (adversarial self-play)। इसे एक जिम में होने वाले स्पैरिंग मैच की तरह समझें। आपके पास एक छात्र रोबोट ( "छात्र") है जो एक कानूनी तर्क तैयार करता है, और एक कठिन प्रतिद्वंद्वी रोबोट ( "प्रतिद्वंद्वी") है जो उसमें कमियां निकालने की कोशिश करता है। छात्र को इनाम तभी मिलता है जब उसका तर्क हमले में जीवित बच जाता है। उम्मीद यह है कि यह निरंतर लड़ाई छात्र को अकेले अभ्यास करने की तुलना में अधिक स्मार्ट, सख्त और तर्क करने में बेहतर बनाएगी।

यह अवधारणा केवल रोबots के बारे में नहीं है; यह इस बारे में है कि हम मशीनों को सोचना कैसे सिखाते हैं। अतीत में, शोधकर्ताओं ने पाया है कि जब मशीनें एक-दूसरे के खिलाफ अभ्यास करती हैं, तो वे पहेलियाँ सुलझाने, कोड लिखने या शतरंज जैसे खेल खेलने में बेहतर हो जाती हैं। कानूनी दुनिया के लिए बड़ा सवाल यह है: क्या यह "लड़ाई" वास्तव में रोबोट को कानूनों के बारे में बेहतर तर्क करने में मदद करती है, या लड़ाई खुद केवल एक भटकाव है? यदि रोबोट केवल मुक्कों से बचने का तरीका याद कर रहा है और वास्तव में कानून सीख नहीं रहा है, तो यह पूरा अभ्यास समय की बर्बादी है। यह वही रहस्य है जिसे एक नया अध्ययन हल करने के लिए निकला है।

---

वह महान कानूनी मुकाबला जो कहीं नहीं पहुँचा

इस शोध पत्र में, शोधकर्ताओं ने एक बहुत ही सख्त, वैज्ञानिक प्रयोग के साथ "लड़ाई" के सिद्धांत का परीक्षण करने का निर्णय लिया। उन्होंने एक प्रशिक्षण प्रणाली बनाई जहाँ एक छात्र रोबोट कानूनी तर्क लिखने की कोशिश करता था, और एक प्रतिद्वंद्वी रोबोट उन्हें नष्ट करने की कोशिश करता था। यह सुनिश्चित करने के लिए कि लड़ाई निष्पक्ष और ईमानदार हो, उन्होंने एक विशेष रेफरी जोड़ा: एक "साइटेशन वेरीफायर" (citation verifier)। यह रेफरी उल्लेख किए गए प्रत्येक कानूनी नियम और मामले की जाँच करता था। यदि किसी रोबोट ने कोई फर्जी कानून बनाया या ऐसा मामला उद्धृत किया जो अस्तित्व में नहीं था, तो रेफरी उसे तुरंत अयोग्य घोषित कर देता था। इसका मतलब था कि छात्र छल से नहीं जीत सकता था; उसे वास्तविक, सत्यापित तथ्यों के साथ जीतना था।

वैज्ञानिक ने एक बहुत ही विशिष्ट प्रश्न पूछा: यदि हम लड़ाई वाले हिस्से को हटा दें—प्रतिद्वंद्वी और "उत्तरजीविता" (survival) इनाम को—तो क्या छात्र रोबोट पहले से बदतर हो जाता है? दूसरे शब्दों में, क्या प्रतिस्पर्धा ही वह गुप्त नुस्खा है, या यह केवल अतिरिक्त शोर है? यह पता लगाने के लिए, उन्होंने चार अलग-अलग प्रकार के परीक्षण चलाए, एक "लड़ाई करने वाली" टीम की तुलना एक "गैर-लड़ाई करने वाली" टीम से की जो बिल्कुल उसी तरह से सीखती थी लेकिन बिना प्रतिद्वंद्वी के।

परिणाम: एक बड़ा, ईमानदार "नहीं"

जवाब आश्चर्यजनक और बहुत स्पष्ट "नहीं" निकला। प्रतिस्पर्धी हिस्सा वास्तव में छात्र रोबोट को कानूनी तर्क करने में बेहतर नहीं बना सका।

यहाँ कहानी कैसे आगे बढ़ी:

• गलत शुरुआत: शुरू में, शोधकर्ता को लगा कि उन्होंने लड़ने वाली टीम के लिए एक बड़ी जीत देखी है। परीक्षण मामलों के एक छोटे समूह 18 पर, लड़ती हुई रोबोट अपने तर्कों को खड़ा रखने में 29% बेहतर लग रही थी। यह एक बड़ी जीत जैसा लग रहा था!
• कहानी में मोड़: लेकिन फिर, उन्होंने परीक्षण का विस्तार करके 29 मामले कर दिए। अचानक, वह लाभ गायब हो गया। वास्तव में, लड़ने वाला रोबोट गैर-लड़ाई करने वाले से थोड़ा बदतर प्रदर्शन कर गया। वह शुरुआती 29% की बढ़त केवल छोटे सैंपल साइज का परिणाम थी, जैसे सिक्का उछालने पर शुद्ध भाग्य से लगातार कुछ बार 'हेड्स' आना।
• ब्लाइंड टेस्ट: पूरी तरह से आश्वस्त होने के लिए, उन्होंने एक "ब्लाइंड टेस्ट" चलाया। उन्होंने दोनों रोबोटों के तर्क लिए, उनके नाम छिपा दिए, और एक तीसरे, स्वतंत्र रोबोट को विजेता चुनने के लिए कहा। परिणाम? लड़ने वाला रोबोट 49% बार जीता, और गैर-लड़ाई करने वाला रोबोट 51% बार जीता। यह अनिवार्य रूप से एक पूर्ण टाई (बराबर) था।
• "मजबूत प्रतिद्वंद्वी" परीक्षण: वैज्ञानिकों को चिंता हुई, "शायद प्रतिद्वंद्वी रोबोट पर्याप्त रूप से सख्त नहीं था।" इसलिए, उन्होंने एक सुपर-चार्ज्ड प्रतिद्वंद्वी बनाया जो हर दौर के साथ स्मार्ट होता गया। उन्होंने फिर से परीक्षण चलाया। परिणाम? एक और पूर्ण टाई: दोनों पक्षों के लिए 50% जीत दर।

"लड़ाई" क्यों विफल हुई?

शोध पत्र ने दो चालाकियों को भी उजागर किया जिन्होंने लगभग शोधकर्ता को धोखा दे दिया था, जो इस कहानी का एक बड़ा हिस्सा है।

1. मृगतृष्णा (The Mirage): पहला जाल छोटे नंबरों पर विश्वास करना था। शुरुआती 29% का लाभ वास्तविक लग रहा था, लेकिन यह एक मृगतृष्णा थी जो अधिक डेटा देखते ही गायब हो गई। यह हमें सिखाता है कि विज्ञान में, आप एक छोटे नमूने पर आधारित हेडलाइन पर भरोसा नहीं कर सकते।
2. टूटा हुआ स्कोरकार्ड: दूसरा जाल सफलता को मापने के तरीके में एक दोष था। उनका "सर्वाइवल" स्कोर इस बात पर आधारित था कि छात्र और प्रतिद्वंद्वी के पास कितने कानूनी साइटेशन समान थे। लेकिन एक अच्छा प्रतिद्वंद्वी केवल उन्हीं कानूनों को नहीं दोहराता; वह छात्र पर हमला करने के लिए अलग कानून खोजता है। क्योंकि प्रतिद्वंद्वी अपना काम बहुत अच्छी तरह से कर रहा था, स्कोरकार्ड टूट गया। इसने "उत्तरजीविता" को मापना बंद कर दिया और केवल यह मापने लगा कि छात्र को कितने तथ्य याद हैं। शोधकर्ता को वास्तविक उत्तर पाने के लिए ब्लाइंड टेस्ट पर स्विच करना पड़ा।

निष्कर्ष

यह शोध पत्र एक दुर्लभ और मूल्यवान "नकारात्मक परिणाम" है। "देखो, हमारी अद्भुत नई विधि!" कहने के बजाय, लेखक कह रहा है, "हमने इस कूल विचार को आजमाया, और यह काम नहीं आया।" उन्होंने पाया कि मूल्य प्रतिस्पर्धा में नहीं था, बल्कि इस तथ्य में था कि उन्होंने एक ऐसी प्रणाली बनाई जहाँ उत्तरों की सत्यता की जाँच की जा सकती थी।

अध्ययन निष्कर्ष निकालता है कि कानूनी तर्क के लिए, केवल एक रोबोट को दूसरे रोबोट से लड़ाना उसे स्मार्ट नहीं बनाता है। असली जादू उस वातावरण में था जहाँ वे तथ्यों की जाँच कर सकते थे, न कि लड़ाई में। लेखक को उम्मीद है कि इस ईमानदार विफलता और उन जालों को साझा करके जिनमें वे फंसे, अन्य वैज्ञानिक उस समस्या को ठीक करने में समय बर्बाद नहीं करेंगे जो मौजूद ही नहीं है, और इसके बजाय सत्य को सत्यापित करने के बेहतर तरीकों के निर्माण पर ध्यान केंद्रित करेंगे।