BenGER: A Collaborative Web Platform for End-to-End Benchmarking of German Legal Tasks
यह शोध पत्र BenGER को प्रस्तुत करता है, जो एक ओपन-सोर्स वेब प्लेटफॉर्म है जिसे सहयोगी एनोटेशन (collaborative annotation), कॉन्फ़िगर करने योग्य LLM निष्पादन (configurable LLM execution) और बहुआयामी मूल्यांकन मेट्रिक्स (multi-faceted evaluation metrics) को एक ही पुनरुत्पादक वातावरण (reproducible environment) में एकीकृत करके जर्मन कानूनी कार्यों के एंड-टू-एंड बेंचमार्किंग को सुव्यवस्थित और एकीकृत करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप रोबोटों (लार्ज लैंग्वेज मॉडल्स) के एक समूह को वकील बनना सिखाने की कोशिश कर रहे हैं, जो बहुत बुद्धिमान तो हैं, लेकिन अनुभवहीन हैं। इसे करने के लिए, आपको उन्हें टेस्ट देने होंगे, उनके उत्तरों को ग्रेड करना होगा और यह देखना होगा कि वे कितनी अच्छी तरह प्रदर्शन कर रहे हैं।
अभी, कानूनी दुनिया में ऐसा करना पांच अलग-अलग रसोईघरों, तीन अलग-अलग नैपकिन पर लिखी रेसिपी और ऐसे शेफ की टीम का उपयोग करके एक जटिल केक बनाने जैसा है जो आपस में बात नहीं कर सकते। एक व्यक्ति सामग्री (कानूनी मामले) ढूंढता है, दूसरा टेस्ट प्रश्न लिखता है, तीसरा रोबोट्स को चलाता है, और चौथा व्यक्ति परिणामों को ग्रेड करने की कोशिश करता है। यह अस्त-व्यस्त, भ्रमित करने वाला और अंतिम केक पर भरोसा करना कठिन है।
BenGER इस रसोई के अराजक माहौल का समाधान है। इसे विशेष रूप से जर्मन कानून (हालांकि यह किसी भी कानून के लिए काम कर सकता है) के लिए बनाए गए एक "ऑल-इन-वन लीगल कुकिंग स्टूडियो" के रूप में समझें।
यह कैसे काम करता है, इसके सरल भाग यहाँ दिए गए हैं:
1. समस्या: "फ्रेंकेंस्टीन" वर्कफ़्लो
वर्तमान में, कानूनी विशेषज्ञ (शेफ) और कंप्यूटर वैज्ञानिक (इंजीनियर) अलग-अलग खानों में फंसे हुए हैं।
- कानूनी विशेषज्ञ के पास ज्ञान है लेकिन हो सकता है कि उसे कोडिंग का पता न हो।
- इंजीनियर को कोडिंग का पता है लेकिन वह जर्मन अदालत के मामले की बारीकियों को नहीं समझता।
- परिणाम: वे आपस में नोट्स साझा करते हैं, डेटा खो जाता है, और अंतिम टेस्ट परिणाम दोहराना या सत्यापित करना कठिन होता है। यह एक घर बनाने की कोशिश करने जैसा है जहाँ आर्किटेक्ट, प्लंबर और इलेक्ट्रीशियन सभी अलग-अलग ब्लूप्रिंट का उपयोग करते हैं।
2. समाधान: BenGER (एक एकीकृत स्टूडियो)
BenGER एक एकल वेबसाइट है जहाँ सभी लोग एक ही कमरे में मिलकर काम कर सकते हैं। यह शुरू से अंत तक पूरी प्रक्रिया को संभालता है:
- टेस्ट डिजाइन करना: कानूनी विशेषज्ञ सीधे स्क्रीन पर टेस्ट प्रश्न लिख सकते हैं और "सही" उत्तर प्रदान कर सकते हैं। इसके लिए कोडिंग की आवश्यकता नहीं है।
- मानव टीम: वास्तविक लोग (एनोटेटर्स) लॉग इन कर सकते हैं और इन समस्याओं को एक अध्ययन समूह की तरह मिलकर हल करने में मदद कर सकते हैं।
- रोबोट टीम: सिस्टम स्वचालित रूप से इन प्रश्नों को विभिन्न AI मॉडल्स (रोबोट्स) को भेज देता है ताकि यह देखा जा सके कि वे कैसे उत्तर देते हैं।
- ग्रेडिंग: हर एक पेपर को मैन्युअल रूप से चेक करने के बजाय, BenGER "ग्रेडर्स" के एक टूलबॉक्स का उपयोग करता है। कुछ चेक करते हैं कि क्या शब्द मेल खाते हैं, अन्य चेक करते हैं कि क्या अर्थ सही है, और कुछ एक "जज AI" की तरह कार्य करके स्कोर भी दे सकते हैं।
3. विशेष विशेषताएं (सीक्रेट सॉस)
- निजी कमरे (टेनेंट आइसोलेशन): कल्पना कीजिए कि एक बड़े ऑफिस बिल्डिंग में अलग-अलग लॉ फर्म एक ही प्रोजेक्ट पर काम कर रही हैं। BenGER प्रत्येक फर्म को एक साउंडप्रूफ, लॉक किए गए कमरे में रखता है। फर्म A, फर्म B के गुप्त दस्तावेज़ नहीं देख सकती, लेकिन वे सभी एक ही उपकरणों का उपयोग कर सकती हैं।
- "ट्यूटर" मोड: रोबोट्स टेस्ट देने से पहले, इंसानों को संकेत मिल सकते हैं। सिस्टम एक मित्रवत ट्यूटर (एक रेपेटिटोर, जो जर्मन कानूनी शिक्षा में एक सामान्य आकृति है) की तरह कार्य कर सकता है, यह कहते हुए, "हे, आपने अपने तर्क में यह चरण छोड़ दिया है," ताकि उन्हें उत्तर बताए बिना सीखने में मदद मिल सके।
- "ब्लैक बॉक्स" को तोड़ना: आमतौर पर, जब शोधकर्ता ये टेस्ट चलाते हैं, तो कोड केवल एक व्यक्ति द्वारा समझे जाने वाली अव्यवस्थित कंप्यूटर फाइलों में छिपा होता है। BenGER सब कुछ एक स्पष्ट, पुन: प्रयोज्य "रेसिपी कार्ड" के रूप में सहेजता है। यदि आप अगले वर्ष प्रयोग को दोहराना चाहते हैं, तो आप बस उस कार्ड को निकाल सकते हैं, और यह बिल्कुल उसी तरह काम करेगा।
4. यह क्यों मायने रखता है?
- गैर-तकनीकी लोगों के लिए: एक वकील जिसे कंप्यूटर के बारे में कुछ भी पता नहीं है, अब एक बड़ा प्रयोग चला सकता है यह देखने के लिए कि AI कानून में कितना अच्छा है। उन्हें इंजीनियरों की एक टीम को काम पर रखने की आवश्यकता नहीं है।
- भरोसे के लिए: क्योंकि पूरी प्रक्रिया रिकॉर्ड की गई और पारदर्शी है, हम परिणामों पर अधिक भरोसा कर सकते हैं। हम जानते हैं कि टेस्ट कैसे बनाया गया था और रोबोट्स को कैसे ग्रेड किया गया था।
- सहयोग के लिए: विश्वविद्यालय, सरकारी एजेंसियां और गैर-लाभकारी संस्थाएं संवेदनशील कानूनी डेटा लीक होने की चिंता किए बिना एक साथ काम कर सकती हैं।
निचोड़
BenGER एक बिखरे हुए, अराजक निर्माण स्थल को एक चिकने, आधुनिक कारखाने में बदलने जैसा है। यह कानूनी विशेषज्ञों को नियंत्रण लेने की अनुमति देता है, यह सुनिश्चित करता है कि जब हम कानून पर AI का परीक्षण करते हैं, तो परिणाम निष्पक्ष, स्पष्ट और वास्तव में न्याय के भविष्य के लिए उपयोगी हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।