Can Commercial LLMs Be Parliamentary Political Companions? Comparing LLM Reasoning Against Romanian Legislative Expuneri de Motive
यह शोध पत्र रोमानियाई विधायी तर्क के विरुद्ध छह वाणिज्यिक लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करता है, जिसमें यह पाया गया है कि जहाँ फ्रंटियर मॉडल्स मानकीकृत कार्यों पर उच्च अर्थ संबंधी सटीकता प्राप्त करते हैं, वहीं सभी मॉडल्स कार्य-निर्भर भ्रम (कॉन्फैबुलेशन) और प्रासंगिक अज्ञानता प्रदर्शित करते हैं, जो यह सुझाव देता है कि विधायकों के लिए प्राथमिक जोखिम वैचारिक पूर्वाग्रह नहीं बल्कि मानव-एआई सलाहकार श्रृंखला में बाउंडेड रेशनैलिटी (सीमित तर्कसंगतता) के संचयी प्रभाव हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य सवाल: क्या AI एक राजनेता का सबसे अच्छा दोस्त बन सकता है?
कल्पना कीजिए कि एक राजनेता एक व्यस्त शेफ (chef) की तरह है जो एक विशाल रसोई (सरकार) चलाने की कोशिश कर रहा है। उनके पास प्रबंध करने के लिए हजारों रेसिपी (कानून) हैं, ग्राहकों (मतदाताओं) को खुश रखना है, और दिन में केवल कुछ ही घंटे हैं। तालमेल बनाए रखने के लिए, वे रेसिपी पढ़ने, सामग्री का सुझाव देने और यह समझाने के लिए कि कोई नया व्यंजन क्यों परोसा जाना चाहिए, उन्हें 'सू-शेफ' (सलाहकार) रखते हैं।
यह शोध पत्र पूछता है: क्या एक सुपर-स्मार्ट AI (एक लार्ज लैंग्वेज मॉडल) वह सू-शेफ बन सकता है?
शोधकर्ताओं ने यह परीक्षण करने के लिए छह अलग-अलग AI मॉडलों से पूछा कि एक नया रोमानियाई कानून क्यों पारित किया जाना चाहिए। इसके बाद उन्होंने AI के उत्तरों की तुलना वास्तविक रोमानियाई सरकार द्वारा लिखे गए आधिकारिक, वास्तविक-जीवन के स्पष्टीकरणों से की।
सेटअप: "टेस्ट ऑफ टेस्ट" (स्वाद परीक्षण)
शोधकर्ताओं ने AI से केवल यह नहीं पूछा कि "आप क्या सोचते हैं?" बल्कि उन्होंने इसे एक विशिष्ट चुनौती दी:
- कार्य: एक नए कानून के प्रस्ताव को पढ़ना।
- लक्ष्य: एक "तर्क ज्ञापन" (एक expuneri de motive) लिखना, जो यह समझाए कि यह कानून क्यों अच्छा है, ठीक वैसे ही जैसे एक वास्तविक सरकारी अधिकारी करेगा।
- जज: उन्होंने यह जांचने के लिए कि AI का उत्तर वास्तविक सरकारी उत्तर के कितने करीब है, अन्य AI और कंप्यूटर प्रोग्रामों के मिश्रण का उपयोग किया।
उन्होंने छह "शेफ" का परीक्षण किया:
- टॉप शेफ (फ्रंटियर मॉडल्स): GPT-5 (Mini और Chat) और Claude Haiku 4.5। ये सबसे उन्नत, महंगे और शक्तिशाली AI हैं।
- जूनियर शेफ (ओपन-वेट मॉडल्स): मेटा के लामा (Llama) के तीन संस्करण (छोटा, मध्यम और विशाल)। ये उपयोग के लिए मुफ्त हैं लेकिन आम तौर पर कम शक्तिशाली हैं।
परिणाम: दो-स्तरीय रसोई
परिणाम आश्चर्यजनक रूप से स्पष्ट थे। AI शेफ दो अलग-अलग समूहों में बंटे हुए थे, जैसे विमान में फर्स्ट-क्लास सीट बनाम इकोनॉमी सीट।
1. "फर्स्ट-क्लास" टियर (प्रो)
शीर्ष तीन मॉडल (GPT-5 और Claude) एक-दूसरे से लगभग अभिन्न थे। उन्होंने 5 में से 4.6 का स्कोर किया।
- इसका अर्थ है: वे बहुत हद तक वास्तविक राजनेताओं की तरह लगे। उन्होंने सही कानूनी शब्दावली का उपयोग किया, अपने तर्कों को सही ढंग से संरचित किया, और प्रभावशाली लगे।
- आश्चर्य: एंथ्रोपिक (Anthropic) का सबसे छोटा, सस्ता मॉडल (Claude Haiku) उतना ही अच्छा प्रदर्शन कर गया जितना कि विशाल, महंगा GPT-5 मॉडल। यह एक कॉम्पैक्ट स्पोर्ट्स कार की तरह है जो इस विशिष्ट ट्रैक पर एक लग्जरी लिमोसिन की तरह तेज चलती है।
2. "इकोनॉमी" टियर (जूनियर्स)
तीनों लामा (Llama) मॉडलों का स्कोर काफी कम (लगभग 3.7 से 4.0) था।
- इसका अर्थ है: वे ठीक थे, लेकिन लक्ष्य से चूक गए। वे थोड़े अधिक सामान्य (generic) और कम सटीक लगे।
- सबक: AI को "बड़ा" बनाना (अधिक मस्तिष्क शक्ति/पैरामीटर्स जोड़ना) ज्यादा मददगार नहीं रहा। एक 70-बिलियन पैरामीटर वाला लामा, 8-बिलियन वाले से बहुत बेहतर प्रदर्शन नहीं कर सका। अंतर आकार के बारे में नहीं था; यह इस बारे में था कि उन्हें किसने सिखाया (ट्रेनिंग डेटा)।
छिपा हुआ खतरा: "आत्मविश्वासी झूठा" (क्षमता का जाल - Competence Trap)
यहाँ शोध पत्र की सबसे महत्वपूर्ण चेतावनी है।
शीर्ष-स्तरीय AI तर्क की संरचना में बहुत अच्छे थे। वे जानते थे कि एक राजनीतिक ज्ञापन कैसे लिखा जाता है। लेकिन, उन्होंने कभी-कभी तथ्यों को बना दिया।
- उपमा: कल्पना कीजिए कि एक सू-शेफ एक "स्पाइसी टूना डिश" के लिए एक बेहतरीन रेसिपी लिखता है। सामग्री की सूची पेशेवर दिखती है, चरण तार्किक हैं, और प्रस्तुति सुंदर है। लेकिन, शेफ ने गलती से "टूना" लिख दिया जबकि कानून वास्तव में "सैल्मन" के बारे में था, या एक फर्जी कानून नंबर बना दिया जो अस्तित्व में ही नहीं है।
- जोखिम: क्योंकि AI इतना धाराप्रवाह और आत्मविश्वासी लगता है, राजनेता (बॉस) को गलती का पता नहीं चलेगा। इसे "कॉम्पिटेंस ट्रैप" (क्षमता का जाल) कहा जाता है। AI इतना अच्छा दिखने में माहिर है कि वह इंसान को उन तथ्यों पर विश्वास करने के लिए धोखा दे देता है जो वास्तव में मनगढ़ंत हैं।
AI कब काम करता है? ("टेम्प्लेट" बनाम "वाइल्ड कार्ड")
शोधकर्ताओं ने पाया कि AI उबाऊ, अनुमानित कार्यों के लिए एक महान सहायक है, लेकिन अजीब, राजनीतिक कार्यों के लिए एक बुरा सहायक है।
- आसान मोड (टेम्प्लेट्स): यदि कोई कानून यूरोपीय संघ के किसी नियम की नकल मात्र है (जैसे "हमें यूरोपीय संघ के नियमों से मेल खाने के लिए गति सीमा बदलनी चाहिए"), तो AI शानदार है। वह टेम्प्लेट जानता है, खाली जगहों को भरता है, और सही होता है।
- कठिन मोड (राजनीतिक वाइल्ड कार्ड्स): यदि कोई कानून किसी अजीब और विशिष्ट चीज़ के बारे में है, जैसे "हमें एक विशिष्ट स्थानीय चर्च को पैसा देने की आवश्यकता है क्योंकि मेयर उन्हें पसंद करते हैं," तो AI विफल हो जाता है। वह स्थानीय गपशप या छिपे हुए राजनीतिक कारणों को नहीं जानता। इसके बजाय, वह एक सामान्य, विश्वसनीय लगने वाला कारण बनाता है जो वास्तव में गलत होता है।
बड़ा निष्कर्ष: यह "पूर्वाग्रह" के बारे में नहीं है, यह "अज्ञानता" के बारे में है
ज्यादातर लोग चिंता करते हैं कि AI "पक्षपाती" (जैसे "यह बहुत उदार है" या "यह बहुत रूढ़िवादी है") है। यह पेपर कहता है कि राजनेताओं के लिए मुख्य समस्या यह नहीं है।
असली समस्या "संदर्भगत अज्ञानता" (Contextual Ignorance) है।
AI आपको राजनीतिक एजेंडे के साथ धोखा देने की कोशिश नहीं कर रहा है; वह बस स्थानीय संदर्भ को नहीं जानता। यह एक ऐसे पर्यटक की तरह है जो उस शहर में दिशा-निर्देश देने की कोशिश कर रहा है जहाँ उसने कभी यात्रा नहीं की है। वे सही शब्दों का उपयोग कर सकते हैं ("बड़े पेड़ के पास बाएं मुड़ें"), लेकिन यदि वहां कोई बड़ा पेड़ नहीं है, तो वे केवल अनुमान लगा रहे हैं।
आम आदमी के लिए सारांश
- AI राजनेता की तरह दिखने में डरावना रूप से कुशल होता जा रहा है। शीर्ष मॉडल मानक कार्यों के लिए वास्तविक चीज़ जितने अच्छे हैं।
- तथ्यों पर आँख मूंदकर भरोसा न करें। सबसे अच्छे AI भी आत्मविश्वास के साथ फर्जी कानून या नंबर बना सकते हैं। विवरणों की जांच के लिए अभी भी एक इंसान की आवश्यकता है।
- आकार उतना मायने नहीं रखता जितना आप सोचते हैं। एक छोटा, सस्ता AI कभी-कभी एक विशाल, महंगे AI जितना अच्छा काम कर सकता है, बशर्ते उसे सही डेटा पर प्रशिक्षित किया गया हो।
- "कैस्केडिंग विफलता" (Cascading Failure): राजनेता व्यस्त है (सब कुछ चेक नहीं कर सकता), AI स्मार्ट लेकिन अज्ञानी है (तथ्य बनाता है), और AI को चेक करने के लिए उपयोग किए जाने वाले उपकरण भी अपूर्ण हैं। यह एक ऐसी श्रृंखला बनाता है जहाँ गलतियाँ आसानी से निकल सकती हैं।
निचोड़: AI राजनेताओं के लिए एक बेहतरीन "ड्राफ्टिंग असिस्टेंट" हो सकता है, लेकिन इसे कभी भी "अंतिम निर्णय लेने वाला" नहीं होना चाहिए। यह एक शक्तिशाली उपकरण है, लेकिन किसी भी उपकरण की तरह, इसे चलाने के लिए एक कुशल इंसान की आवश्यकता होती है जो यह देख सके कि यह कहाँ काट रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।