ParliaBench: An Evaluation and Benchmarking Framework for LLM-Generated Parliamentary Speech
यह शोध पत्र पार्लियाबेंच (ParliaBench) प्रस्तुत करता है, जो मानक भाषाई मेट्रिक्स को नवीन राजनीतिक प्रामाणिकता मापों के साथ जोड़कर एलएलएम (LLM) द्वारा उत्पन्न संसदीय भाषणों के मूल्यांकन और सुधार के लिए एक व्यापक ढांचा और डेटासेट है, जो यह प्रदर्शित करता है कि फाइन-ट्यूनिंग मॉडलों की वैचारिक रूप से सुसंगत और सुसंगत राजनीतिक सामग्री उत्पन्न करने की क्षमता को महत्वपूर्ण रूप से बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक राजनेता की तरह बोलना सिखाने की कोशिश कर रहे हैं। आप केवल यह नहीं चाहते कि रोबोट व्याकरण के मामले में सटीक हो; आप चाहते हैं कि वह एक विशिष्ट राजनेता, एक विशिष्ट पार्टी के, एक विशिष्ट कारण के लिए सही जुनून और शैली के साथ तर्क दे।
यह शोध पत्र, ParliaBench, मूल रूप से उन रोबोटों के लिए एक "ड्राइविंग टेस्ट" और "प्रशिक्षण नियमावली" है जो बिल्कुल यही करने की कोशिश कर रहे हैं: वास्तविक संसदीय भाषण उत्पन्न करना।
यहाँ बताया गया है कि लेखकों ने क्या किया है, सरल उपमाओं का उपयोग करते हुए:
1. समस्या: रोबोट बहुत साधारण है
वर्तमान में, यदि आप किसी मानक AI को भाषण लिखने के लिए कहते हैं, तो यह सुचारू और विनम्र लग सकता है, लेकिन इसमें "आत्मा" की कमी होती है। इसे यह नहीं पता कि लेबर पार्टी के सदस्य और कंजर्वेटिव पार्टी के सदस्य के बीच क्या अंतर है।
- उपमा: एक रोबोट अभिनेता की कल्पना करें जो शेक्सपियर को पूरी तरह से सुना सकता है लेकिन चाहे वह राजा, भिखारी या खलनायक की भूमिका निभा रहा हो, वह बिल्कुल एक जैसा ही सुनाई देता है। उनके पास शब्द हैं, लेकिन उनमें "चरित्र" की कमी है।
- अंतराल: मौजूदा परीक्षण केवल यह देखते हैं कि शब्द अर्थपूर्ण हैं (व्याकरण) या वे अन्य ग्रंथों के समान हैं। वे यह नहीं देखते कि क्या AI "राजनीतिक रूप से प्रामाणिक" है।
2. समाधान: एक "राजनीतिक जिम" बनाना (डेटासेट)
इसे ठीक करने के लिए, लेखकों ने यूके (UK) संसद के वास्तविक भाषणों का उपयोग करके एक विशाल प्रशिक्षण मैदान बनाया।
- संग्रह: उन्होंने यूके संसद से लगभग 4,48,000 वास्तविक भाषण एकत्र किए।
- सफाई: उन्होंने एक लाइब्रेरियन की तरह काम किया, इन भाषणों को उनके वक्ता, उनकी पार्टी, उनके चर्चा के विषय और उनके समय के आधार पर व्यवस्थित किया। उन्होंने केवल वास्तविक बहसों को रखने के लिए "शोर" (जैसे प्रक्रियात्मक घोषणाएं) को हटा दिया।
- परिणाम: ब्रेक्सिट से लेकर महामारी तक सब कुछ कवर करने वाला एक साफ, व्यवस्थित पुस्तकालय, जो AI को यह सिखाने के लिए तैयार है कि वास्तविक राजनेता कैसे बात करते हैं।
3. प्रशिक्षण: रोबोट को सिखाना
शोधकर्ताओं ने पाँच अलग-अलग प्रकार के AI मॉडल (रोबोट्स) को लिया और उन्हें इस लाइब्रेरी का उपयोग करके एक क्रैश कोर्स दिया।
- विधि: उन्होंने केवल रोबोट्स को भाषण नहीं दिखाए; उन्होंने उन्हें 'फाइन-ट्यून' (fine-tune) किया। इसे एक सामान्य छात्र को राजनीतिक भाषण लेखक बनने के लिए एक विशेष बूट कैंपप देने के रूप में समझें।
- आउटपुट: प्रशिक्षण के बाद, इन रोबोट्स ने यह देखने के लिए 28,000 नए भाषण उत्पन्न किए कि क्या उन्होंने वास्तव में कुछ सीखा है।
4. परीक्षा: ग्रेडिंग का एक नया तरीका (मूल्यांकन ढांचा)
यह इस शोध पत्र का सबसे महत्वपूर्ण हिस्सा है। लेखकों ने महसूस किया कि मानक ग्रेडिंग (वर्तनी या वाक्य संरचना की जांच करना) पर्याप्त नहीं है। उन्होंने एक तीन-स्तरीय ग्रेडिंग प्रणाली बनाई:
- भाषाई गुणवत्ता (एक "व्याकरण चेक"): क्या यह मानवीय अंग्रेजी जैसा लगता है? क्या यह भ्रमित करने वाला या दोहराव वाला है?
- सिमेंटिक कोहेरेंस (एक "तर्क चेक"): क्या भाषण का अर्थ निकलता है? क्या तर्क शुरू से अंत तक तार्किक रूप से चलते हैं?
- राजनीतिक प्रामाणिकता (एक "वाइब चेक"): यह एक नई खोज है।
- "लेफ्ट-राइट" कंपास: उन्होंने राजनीतिक स्पेक्ट्रम अलाइनमेंट नामक एक नया मीट्रिक बनाया। एक रेखा की कल्पना करें जो कट्टर-वामपंथी से कट्टर-दक्षिणपंथी तक जाती है। यह परीक्षण जांचता है कि क्या AI का भाषण उस पार्टी के लिए सही स्थान पर आता है जिसका वह ढोंग कर रहा है।
- "पार्टी आईडी" बैज: उन्होंने पार्टी अलाइनमेंट नामक एक अन्य मीट्रिक बनाया। यह जांचता है कि क्या भाषण ऐसा लगता है जैसे वह विशिष्ट पार्टी से आया हो (उदाहरण के लिए, क्या यह एक लेबर भाषण जैसा लगता है, या क्या यह गलती से कंजर्वेटिव जैसा सुनाई देता है?)।
उन्होंने एक "जज AI" (एक अन्य रोबोट जिसे आलोचक बनने के लिए प्रशिक्षित किया गया है) का उपयोग किया, जिसने भाषणों को पढ़ा और उन्हें कितना प्रामाणिक महसूस हुआ, इस पर 1 से 10 तक स्कोर दिया, ठीक वैसे ही जैसे एक मानव न्यायाधीश किसी बहस में करता है।
5. परिणाम: क्या प्रशिक्षण काम आया?
परिणाम स्पष्ट रूप से "हाँ" थे।
- प्रशिक्षण से पहले: रोबोट साधारण लगते थे और अक्सर राजनीतिक "वाइब" गलत कर देते थे।
- प्रशिक्षण के बाद: रोबोट काफी बेहतर हो गए। वे अधिक स्वाभाविक रूप से बोले, अधिक तार्किक रूप से तर्क दिए, और सबसे महत्वपूर्ण बात यह है कि वे बिल्कुल उसी विशिष्ट राजनेता की तरह सुनाई दिए जिनका वे अनुकरण करने के लिए थे।
- प्रमाण: नए "राजनीतिक प्रामाणिकता" मीट्रिक्स (कंपास और बैज) प्रशिक्षित रोबोट और अप्रशिक्षित रोबोट के बीच अंतर पहचानने में बहुत अच्छे थे। वे बता सकते थे कि जब कोई रोबोट राजनीतिक रुख "दिखावा" कर रहा हो।
6. निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि यदि आप चाहते हैं कि एक AI राजनीतिक भाषण लिखे, तो आप केवल एक सामान्य AI का उपयोग नहीं कर सकते। आपको चाहिए:
- उसे बड़ी मात्रा में वास्तविक, विशिष्ट डेटा (जैसे यूके संसद के भाषण) खिलाना।
- उसे विशेष रूप से उस काम के लिए फाइन-ट्यून करना।
- इसे विशेष परीक्षणों का उपयोग करके ग्रेड करना जो केवल व्याकरण नहीं, बल्कि राजनीतिक "आत्मा" की जांच करते हैं।
लेखकों की महत्वपूर्ण टिप्पणी:
यह शोध पत्र स्पष्ट रूप से कहता है कि यह केवल अनुसंधान और शिक्षा के लिए है। वे यह सुझाव नहीं दे रहे हैं कि इन रोबोटों को वास्तव में संसद चलानी चाहिए या वास्तविक राजनेताओं की जगह लेनी चाहिए। इसका लक्ष्य यह समझना है कि राजनीतिक संदर्भों में AI कैसे काम करता है और राजनीतिक प्रक्रियाओं में तैनात करने के बजाय अध्ययन के लिए बेहतर उपकरण बनाना है।
संक्षेप में: ParliaBench एक नया जिम, एक नया शिक्षक और एक नई ग्रेडिंग प्रणाली है जो AI को एक वास्तविक राजनेता की तरह बोलना सीखने में मदद करता है, और यह साबित करता है कि सही प्रशिक्षण के साथ, वे वास्तव में ऐसा कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।