Self-Verification is All You Need To Pass The Japanese Bar Examination
यह शोध पत्र एक स्व-सत्यापन मॉडल प्रस्तुत करता है जिसे एक ऐसे डेटासेट पर प्रशिक्षित किया गया है जो जापानी बार परीक्षा के प्रामाणिक प्रारूप और स्कोरिंग की निष्ठापूर्वक नकल करता है, यह प्रदर्शित करते हुए कि यह मूल परीक्षा संरचना को बदले बिना आधिकारिक उत्तीर्ण अंक से अधिक प्राप्त कर सकता है और जटिल मल्टी-एजेंट या अपघटन-आधारित रणनीतियों से बेहतर प्रदर्शन कर सकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर उन सुपर-स्मार्ट छात्रों की तरह हैं जिन्होंने अब तक लिखी गई लगभग हर किताब पढ़ ली है। ये "लार्ज लैंग्वेज मॉडल्स" (LLMs) बातचीत करने, कहानियाँ लिखने और गणित की समस्याओं को हल करने में अद्भुत हैं। लेकिन एक पेचीदा हिस्सा है: स्मार्ट होने का मतलब पेशेवर होना नहीं है। इसे एक ऐसे व्यक्ति की तरह समझें जो फुटबॉल के हर नियम को जानता है लेकिन उसने कभी वास्तव में कोई मैच नहीं खेला है; उसे सिद्धांत तो पता हो सकता है, लेकिन खेल शुरू होने पर वह शायद गेंद से टकराकर गिर जाएगा। यह विशेष रूप से उच्च-दांव वाली परीक्षाओं के लिए सच है, जैसे कि जापानी बार परीक्षा (Japanese Bar Examination)। यह केवल कानून जानने के बारे में नहीं है; यह एक बहुत ही विशिष्ट, कठोर प्रारूप का पालन करने के बारे में है जहाँ आपको एक साथ कई कथनों का न्याय करना होता है और सटीक संयोजन चुनना होता है। यदि आप एक भी छोटा सा हिस्सा गलत करते हैं, तो पूरा उत्तर विफल हो जाता है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं, वह यह है: क्या ये AI छात्र वास्तव में इस वास्तविक, बिना किसी बदलाव वाले एग्जाम को पास कर सकते हैं, या उन्हें खुद को आसान बनाने के लिए टेस्ट को बदलने की आवश्यकता है?
केइओ यूनिवर्सिटी (Keio University) के एक शोधकर्ता ने यह पता लगाने का फैसला किया, और उन्होंने कुछ आश्चर्यजनक खोजा: AI को टेस्ट को सरल बनाने की आवश्यकता नहीं थी। वास्तव में, टेस्ट को सरल बनाने से AI वास्तविक चीज़ में और भी खराब हो गया। परीक्षा के प्रश्नों को छोटे, आसान "सही या गलत" पहेलियों में तोड़ने के बजाय (जो अन्य अध्ययनों ने करने की कोशिश की थी), शोधकर्ता ने अपने AI मॉडल को प्रश्नों को ठीक उसी तरह से निपटने के लिए सिखाया जैसे वे वास्तविक परीक्षा में दिखाई देते हैं। उन्होंने "सेल्फ-वेरिफिकेशन" (Self-Verification) नामक एक चतुर तरकीब का उपयोग किया। कल्पना कीजिए कि आप एक टेस्ट देते हैं, अपने उत्तर लिखते हैं, और फिर, उसे जमा करने से पहले, आप एक सख्त शिक्षक की तरह अपने ही काम की दोबारा जाँच करते हैं। मॉडल खुद से पूछता है, "रुको, क्या यह उत्तर वास्तव में नियमों में फिट बैठता है?" यदि उसे कोई गलती मिलती है, तो वह उसे ठीक करता है।
परिणाम एक बड़ी सफलता रहे। वास्तविक 2024 जापानी बार परीक्षा पर परीक्षण किए जाने पर, उनके AI मॉडल ने 175 में से 96 अंक प्राप्त किए। उस वर्ष मानव छात्रों के लिए आधिकारिक पासिंग स्कोर 93 था। इसका अर्थ है कि AI ने बिना किसी के द्वारा प्रश्नों या स्कोरिंग नियमों को बदले, परीक्षा पास कर ली। शोधकर्ता ने अन्य फैंसी तरीकों का भी परीक्षण किया, जैसे कि कई AI "एजेंट्स" को एक टीम के रूप में मिलकर काम करने के लिए कहना जो किसी मामले पर बहस कर रहे हों, लेकिन उन दृष्टिकोणों ने वास्तव में एक अकेले मॉडल के स्वयं की जाँच करने की तुलना में खराब प्रदर्शन किया। उन्होंने यह भी पाया कि AI को सरल, टूटे हुए प्रश्नों (जैसे लोकप्रिय JBE-QA डेटासेट) पर प्रशिक्षित करने से कोई मदद नहीं मिली; वे मॉडल वास्तविक, जटिल प्रारूप का सामना करने पर संघर्ष करते थे।
अध्ययन सुझाव देता है कि "सीक्रेट सॉस" AI को अधिक स्मार्ट बनाना या उसे अधिक डेटा देना नहीं था, बल्कि उसे परीक्षा के सख्त नियमों का सम्मान करना और अपना स्वयं का आलोचक बनना सिखाना था। प्रामाणिक प्रारूप पर प्रशिक्षण देकर और सेल्फ-वेरिफिकेशन का वह अतिरिक्त चरण जोड़कर, मॉडल ने कई कानूनी बिंदुओं में अपने तर्क को सुसंगत रखना सीख लिया। शोधकर्ता सावधानी से यह नोट करते हैं कि हालांकि AI ने इस विशिष्ट बहुविकल्पीय खंड को पास कर लिया है, इसका मतलब यह नहीं है कि वह अदालत में एक वास्तविक वकील बनने के लिए तैयार है; वह अभी भी लंबे कानूनी तर्क नहीं लिख सकता या परीक्षा के मुक्त-प्रतिक्रिया (free-response) वाले हिस्से को नहीं संभाल सकता। लेकिन इस विशिष्ट, उच्च-दबाव वाले टेस्ट के लिए, संदेश स्पष्ट है: कभी-कभी, कठिन समस्या को हल करने का सबसे अच्छा तरीका उसे तोड़ना नहीं है, बल्कि पूरी तस्वीर को देखना, अपने काम की दोबारा जाँच करना और नियमों पर टिके रहना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।