💻 computer science

Who Speaks Matters: Authority-Aware Multi-View RAG over Italian Parliamentary Proceedings

यह शोध पत्र ParliamentRAG प्रस्तुत करता है, जो इतालवी संसदीय कार्यवाही के लिए एक अधिकार-जागरूक रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) प्रणाली है, जो प्रभुत्व संबंधी पूर्वाग्रहों और उद्धरण त्रुटियों को कम करने के लिए क्वेरी-विशिष्ट विशेषज्ञता के आधार पर वक्ताओं को गतिशील रूप से भारित करती है, और विशेषज्ञ प्राथमिकता बनाए रखते हुए राजनीतिक कवरेज और उद्धरण निष्ठा में Google NotebookLM से बेहतर प्रदर्शन करती है।

मूल लेखक: Mirko Tritella, Riccardo Pozzi, Matteo Palmonari

प्रकाशित 2026-08-14

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mirko Tritella, Riccardo Pozzi, Matteo Palmonari

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, शोर-शराबे वाले पुस्तकालय में कदम रख रहे हैं जहाँ हज़ारों लोग दुनिया चलाने के तरीके पर एक बड़ी, अराजक बहस कर रहे हैं। यह सिर्फ कोई साधारण पुस्तकालय नहीं है; यह इतालवी संसद है, एक ऐसी जगह जहाँ निर्वाचित प्रतिनिधि कानूनों, न्याय और देश के भविष्य पर बहस करते हैं। समस्या यह है कि यह पुस्तकालय इतना बड़ा है, और बहस इतनी बिखरी हुई है कि एक आम व्यक्ति के लिए यह समझना लगभग असंभव है कि वास्तव में किसी विशिष्ट विषय पर हर कोई क्या सोच रहा है। यदि आप केवल एक सुपर-स्मार्ट रोबोट से "बहस का सारांश दें" कहते हैं, तो रोबोट भ्रमित हो सकता है। वह केवल सबसे तेज़ आवाज़ों को सुन सकता है, शांत विशेषज्ञों को अनदेखा कर सकता है, या अनजाने में ऐसे उद्धरण बना सकता है जो कभी हुए ही नहीं। यह "रिट्रीवल-ऑगमेंटेड जनरेशन" (RAG) की चुनौती है, जो एक प्रकार का AI है जो पहले कई दस्तावेज़ों को पढ़ने की कोशिश करता है। मुख्य सवाल यह है: हम एक ऐसा AI कैसे बनाएं जो न केवल सबसे तेज़ बोलने वाले को चुने, बल्कि यह भी समझे कि कौन किस विषय पर विशेषज्ञ है, और यह सुनिश्चित करे कि वह सच बोले और मनगढ़ंत बातें न बनाए?

यह शोध पत्र ParliamentRAG नामक एक नई प्रणाली पेश करता है, जिसे विशेष रूप से इतालवी चैंबर ऑफ डेप्युटीज (Chamber of Deputies) की इन समस्याओं को हल करने के लिए डिज़ाइन किया गया है। ParliamentRAG को एक अत्यंत व्यवस्थित, निष्पक्ष पुस्तकालयाध्यक्ष (librarian) के रूप में समझें जो केवल मिली हुई पहली प्रतिक्रिया नहीं चिल्लाता। इसके बजाय, इस पुस्तकालयाध्यक्ष के पास एक विशेष मानचित्र (जिसे नॉलेज ग्राफ कहा जाता है) है जो प्रत्येक राजनेता को उनके काम, उनकी शिक्षा और उनके द्वारा हस्ताक्षरित कानूनों से जोड़ता है। जब आप "न्याय सुधार के बारे में विभिन्न राजनीतिक समूह क्या सोचते हैं?" जैसा प्रश्न पूछते हैं, तो सिस्टम केवल सबसे सामान्य भाषणों को नहीं पकड़ता। यह पहले यह पता लगाता है कि उस विशिष्ट विषय के लिए वास्तविक विशेषज्ञ कौन हैं, जिससे यह सुनिश्चित होता है कि हर राजनीतिक समूह को एक उचित आवाज़ मिले, भले ही वे दूसरों की तरह बार-बार न बोलें।

शोधकर्ताओं ने पाया कि उनका सिस्टम उन दो चीजों में अविश्वसनीय रूप से अच्छा है जिनमें अन्य AI उपकरण अक्सर गलती करते हैं। पहला, यह कभी भी उद्धरण (quotes) नहीं बनाता। यदि सिस्टम कहता है कि एक राजनेता ने कुछ कहा है, तो यह 100% गारंटी के साथ आधिकारिक रिकॉर्ड से शब्द-दर-शब्द प्रतिलिपि होती है, जैसे कि एक धुंधली याद के बजाय एक सटीक फोटोकॉपी हो। दूसरा, यह सुनिश्चित करता है कि लगभग हर एक राजनीतिक समूह की राय शामिल की जाए (97%), जबकि उनके द्वारा परीक्षण किए गए एक लोकप्रिय व्यावसायिक AI टूल (Google NotebookLM) ने लगभग 5% मामलों में कुछ समूहों को छोड़ दिया था। हालांकि वाणिज्यिक टूल ने थोड़े अधिक सुचारू और "पॉलिश किए हुए" वाक्य लिखे, लेकिन विशेषज्ञों ने स्रोत खोजने और राजनीतिक संतुलन को सही रखने के मामले में ParliamentRAG को प्राथमिकता दी। लेखक सुझाव देते हैं कि जबकि AI लिखने में बहुत अच्छा हो सकता है, जटिल राजनीतिक बहसों के लिए इसे वास्तव में भरोसेमंद होने के लिए इस तरह की विशेष "अथॉरिटी-अवेयर" संरचना की आवश्यकता होती है।

मूल विचार: "क्या" जितना ही "कौन" भी महत्वपूर्ण है

यह समझने के लिए कि ParliamentRAG क्यों विशेष है, आपको उन तीन जाल को समझना होगा जिनमें AI आमतौर पर राजनीतिक बहसों को पढ़ते समय फंस जाता है:

"लौडमाउथ" (ज़ोर से बोलने वाला) जाल: AI अक्सर यह सोचता है कि जो व्यक्ति सबसे अधिक बोलता है, वही सबसे महत्वपूर्ण है। लेकिन राजनीति में, स्वास्थ्य सेवा पर एक शांत विशेषज्ञ उस शोर मचाने वाले राजनेता से अधिक जानकार हो सकता है जो हर विषय पर बात करता है।
"फ्लैटनिंग" (समानता का) जाल: AI अक्सर सभी की राय को समान मानता है, यह अनदेखा करते हुए कि कुछ लोग वास्तव में उस विषय के विशेषज्ञ हैं जबकि अन्य केवल छोटी टिप्पणियाँ कर रहे हैं।
"हैलुसिनेशन" (भ्रम) का जाल: AI कभी-कभी उद्धरण गढ़ देता है या उन्हें गलत तरीके से किसी और को दे देता है, जो कानूनों और सरकारी कार्यों की बात करते समय खतरनाक है।

ParliamentRAG इसे एक नॉलेज ग्राफ का उपयोग करके ठीक करता है। एक विशाल मकड़ी के जाल की कल्पना करें जहाँ प्रत्येक नोड एक व्यक्ति, एक कानून या एक भाषण है, और उन्हें जोड़ने वाली डोरियाँ उनके संबंधों को दर्शाती हैं। यह जाल जानता है कि "सेनेटर रॉसी" "न्याय समिति" के सदस्य हैं, उनके पास "कानून" की डिग्री है, और उन्होंने पिछले साल एक विशिष्ट विधेयक पर हस्ताक्षर किए थे। जब आप कोई प्रश्न पूछते हैं, तो सिस्टम केवल कीवर्ड नहीं खोजता; यह इस वेब को देखता है ताकि यह गणना की जा सके कि "अथॉरिटी स्कोर" क्या है। यह पूछता है: "क्या यह व्यक्ति अभी इस विशिष्ट विषय पर विशेषज्ञ है?" यह उनके बैकग्राउंड (शिक्षा, पेशा) और हालिया कार्यों (उन्होंने कितने कानून हस्ताक्षरित किए, कितने भाषण दिए) को तौलकर यह तय करता है कि किसकी आवाज़ सुनी जानी चाहिए।

यह सिस्टम कैसे काम करता है: चार चरणों का नृत्य

यह सिस्टम एक अत्यधिक कुशल न्यूज़रूम की तरह चार अलग-अलग चरणों में काम करता है:

डुअल-चैनल सर्च: जब आप कोई प्रश्न पूछते हैं, तो सिस्टम एक साथ दो सर्च इंजन का उपयोग करता है। एक आपके प्रश्न जैसे दिखने वाले भाषणों की तलाश करता है (सिमेंटिक सर्च)। दूसरा उस मकड़ी के जाल (ग्राफ) को देखता है ताकि उन लोगों को खोजा जा सके जिन्होंने वास्तव में उस विषय पर काम किया है, जैसे कानून साइन करना या समितियों में सेवा देना। यह सुनिश्चित करता है कि यह प्रासंगिक शब्दों और प्रासंगिक विशेषज्ञों दोनों को खोज ले।
अथॉरिटी स्कोर: एक बार जब इसके पास संभावित भाषणों की सूची आ जाती है, तो यह प्रत्येक वक्ता के लिए एक स्कोर की गणना करता है। यह उनके बैकग्राउंड (शिक्षा, पेशा) को उनके हालिया कार्यों के साथ जोड़ता है। महत्वपूर्ण बात यह है कि यह स्कोर प्रश्न के आधार पर बदल जाता है। एक वक्ता "प्रवासन" (Immigration) पर अधिकार रखता हो सकता है लेकिन "अर्थव्यवस्था" पर नहीं।
मल्टी-व्यू सिलेक्शन: सिस्टम प्रत्येक दस राजनीतिक समूहों में से शीर्ष विशेषज्ञ को चुनता है। यह गारंटी देता है कि अंतिम उत्तर केवल एक पक्ष की कहानी नहीं है; यह विभिन्न दृष्टिकोणों का एक समूह है।
"नो-फ्लफ" जनरेशन: यह सबसे अनूठा हिस्सा है। जब AI सारांश लिखता है, तो वह स्वयं उद्धरण नहीं लिखता है। वह [SPEECH #45 से उद्धरण] जैसे प्लेसहोल्डर लिखता है। फिर, एक अलग चरण मूल, आधिकारिक ट्रांसक्रिप्ट पर वापस जाता है और उस भाषण से सटीक शब्दों को उस खाली स्थान में पेस्ट कर देता है। इसका मतलब है कि सिस्टम तकनीकी रूप से यह झूठ नहीं बोल सकता कि क्या कहा गया था।

परिणाम: प्रवाह से अधिक महत्वपूर्ण है निष्पक्षता

शोधकर्ताओं ने 15 विभिन्न राजनीतिक विषयों का उपयोग करके Google NotebookLM, एक शक्तिशाली वाणिज्यिक AI, के विरुद्ध ParliamentRAG का परीक्षण किया। उन्होंने छह मानव विशेषज्ञों (पत्रकारों और नीति विश्लेषकों) से परिणामों को परखने के लिए कहा।

यहाँ उन्हें क्या मिला:

पूर्ण सत्यनिष्ठा: ParliamentRAG ने "कोटेसन फेथफुलनेस" (उद्धरण की सत्यता) के लिए 1.00 का स्कोर प्राप्त किया, जिसका अर्थ है कि प्रत्येक उद्धरण मूल पाठ के साथ एक सटीक मिलान था। NotebookLM को 0.95 मिला, जिसका अर्थ है कि उसके लगभग 5% उद्धरण थोड़े अलग या पैराफ्रेज किए गए थे।
बेहतर कवरेज: ParliamentRG ने 97% राजनीतिक समूहों का प्रतिनिधित्व किया, जबकि NotebookLM केवल 95% तक पहुँच सका।
विशेषज्ञों की पसंद: जब मानव विशेषज्ञों से पूछा गया कि वे किस सिस्टम को पसंद करते हैं, तो उन्होंने "सोर्स कवरेज" (25% बनाम 5% प्राथमिकता) और "सोर्स अथॉरिटी" के लिए ParliamentRAG को चुना। उन्हें लगा कि ParliamentRAG ने सही विशेषज्ञों को खोजने और विभिन्न राजनीतिक विचारों को संतुलित करने में बेहतर काम किया।
ट्रेड-ऑफ (समझौता): NotebookLM "उत्तर की गुणवत्ता" और "स्पष्टता" पर जीत हासिल करने में सफल रहा। इसके वाक्य अधिक सुचारू थे और एक पॉलिश किए हुए निबंध की तरह सुनाई देते थे। हालाँकि, विशेषज्ञों ने नोट किया कि जबकि NotebookLM सुनने में बेहतर था, ParliamentRगर अधिक विश्वसनीय और संतुलित था।

इसका क्या अर्थ है

यह शोध पत्र सुझाव देता है कि सरकारी बहसों के विश्लेषण जैसे गंभीर कार्यों के लिए, केवल "अच्छा सुनाई देना" पर्याप्त नहीं है। आपको एक ऐसा सिस्टम चाहिए जो संरचनात्मक रूप से निष्पक्ष और सटीक होने के लिए डिज़ाइन किया गया हो। लेखक तर्क देते हैं कि आप केवल एक सरल निर्देश देकर AI को "निष्पक्ष होने" के लिए नहीं कह सकते; आपको निष्पक्षता को सिस्टम के आर्किटेक्चर में बनाना होगा, जैसा कि ParliamentRAG ने अपने अथॉरिटी स्कोर और सख्त कोट-चेकिंग के साथ किया।

हालाँकि यह अध्ययन 15 विषयों तक सीमित था और इसने हर संभव परिदृश्य का परीक्षण नहीं किया, फिर भी परिणाम दृढ़ता से संकेत देते हैं कि "अथॉरिटी अवेयरनेस" और सख्त सोर्स ट्रैकिंग की एक परत जोड़ने से AI नागरिक सूचना के लिए बहुत अधिक विश्वसनीय हो जाता है। लेखक निष्कर्ष निकालते हैं कि उनका सिस्टम सामान्य संतुष्टि के मामले में शीर्ष वाणिज्यिक उपकरणों के प्रदर्शन से मेल खाता है, लेकिन लोकतंत्र के लिए सबसे महत्वपूर्ण आयामों: संतुलन, सटीकता और यह जानने में कि वास्तव में कौन बोल रहा है, उन्हें काफी पीछे छोड़ देता है।

तकनीकी सारांश: इतालवी संसदीय कार्यवाही पर अथॉरिटी-अवेयर मल्टी-व्यू RAG

1. समस्या विवरण

संसदीय कार्यवाही लोकतांत्रिक विचार-विमर्श का प्राथमिक रिकॉर्ड होती है, फिर भी उनकी विशाल मात्रा और विखंडन नागरिकों, पत्रकारों और शोधकर्ताओं के लिए बहु-परिप्रेक्ष्य पहुंच में बाधा डालता है। मैन्युअल नेविगेशन महंगा है, और मानक कीवर्ड-आधारित खोज पोर्टल पृथक दस्तावेज़ों के बजाय संश्लेषित, बहु-दृष्टिकोण उत्तरों के बजाय केवल अलग-थलग दस्तावेज़ लौटाते हैं।

लेखकों द्वारा पहचाने गए तीन विशिष्ट जोखिमों के कारण राजनीतिक ट्रांसक्रिप्ट पर मानक रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) लागू करना चुनौतीपूर्ण है:

प्रभावी वक्ताओं का प्रभुत्व: मानक LLMs सबसे अधिक बोलने वाले अभिनेताओं का अत्यधिक प्रतिनिधित्व करने की प्रवृत्ति रखते हैं, जो वास्तविक राजनीतिक परिदृश्य के बजाय कॉर्पस के वितरण संबंधी विषमता को दर्शाते हैं।
विषयगत अधिकार (Topical Authority) का अभाव: सिस्टम अक्सर विषयगत विशेषज्ञ और गौण टिप्पणीकार के बीच अंतर करने वाले मेटाडेटा को अनदेखा करते हुए, सामग्री समानता के आधार पर सभी वक्ताओं को एक समान मान लेते हैं।
उद्धरण गलत मिलान (Citation Misattribution): राजनीतिक रूप से संवेदनशील संदर्भों में, उद्धरणों के भ्रमित या गलत तरीके से आरोपित होने की कम दर भी पत्रकारिता या संस्थागत उपयोग के लिए स्वीकार्य नहीं है।

चुनौती एक ऐसा सिस्टम बनाने की है जो मूल भाषणों तक पता लगाने की क्षमता (traceability) सुनिश्चित करते हुए और अलग-थलग हस्तक्षेपों के अत्यधिक प्रतिनिधित्व से बचते हुए, संसदीय स्थितियों के निष्ठावान, बहु-दृष्टिकोण सारांश प्रदान कर सके।

2. कार्यप्रणाली: ParliamentRAG

लेखक ParliamentRAG प्रस्तुत करते हैं, जो इतालवी चैंबर ऑफ डेप्युटीज के लिए डिज़ाइन किया गया एक RAG सिस्टम है। यह सिस्टम एक एकीकृत नॉलेज ग्राफ (KG) पर निर्मित है और एक रिट्रीवल-रैंकिंग-जनरेशन पाइपलाइन का अनुसरण करता है जो बहु-दृष्टिकोण प्रतिनिधित्व, अथॉरिटी अवेयरनेस और कोटेशन ट्रेसेबिलिटी को प्रथम श्रेणी के प्रतिबंधों के रूप में लागू करता है।

2.1 नॉलेज ग्राफ आर्किटेक्चर

सिस्टम एक एकल Neo4j इंस्टेंस में संग्रहीत प्रॉपर्टी ग्राफ पर संचालित होता है, जो इतालवी चैंबर ऑफ डेप्युटीज के ओपन डेटा इंफ्रास्ट्रक्चर (RDF प्रारूप) से डेटा को एकीकृत करता है।

स्कीमा: ग्राफ एक पदानुक्रमित संरचना को मॉडल करता है: Session → Debate → Phase → Speech → Chunk|
इकाइयाँ: इसमें 387 डिप्टी, 10 संसदीय समूह, 80 समितियाँ, 6,010 बहसें और 40,416 भाषण शामिल हैं।
संवर्धन (Enrichment): नोड प्रॉपर्टीज में जीवनी संबंधी डेटा (शिक्षा, पेशा) शामिल है जिसे वेक्टर्स के रूप में एम्बेड किया गया है, और समय-योग्य संबंध (जैसे, गठबंधन बदलावों को संभालने के लिए स्टार्ट/एंड डेट के साथ MEMBER_OF_GROUP) शामिल हैं।
रिट्रीवल यूनिट्स: भाषणों को 151,073 चंक्स (chunks) में विभाजित किया गया है। प्रत्येक चंक टेक्स्ट, एक डेंस एम्बेडिंग और कैरेक्टर-लेवल ऑफसेट्स (start_char_raw, end_char_raw) को स्टोर करता है ताकि वर्बेट (शब्दशः) पुनर्निर्माण सक्षम हो सके।

2.2 ड्यूल-चैनल रिट्रीवल

सामग्री की प्रासंगिकता और संस्थागत विशेषज्ञता दोनों सुनिश्चित करने के लिए, सिस्टम एक ड्यूल-चैनल रिट्रीवल रणनीति का उपयोग करता है:

डेंस चैनल: विषयगत प्रासंगिकता को पकड़ने के लिए स्पीच चंक्स पर वेक्टर समानता खोज (vector similarity search) करता है।
ग्राफ चैनल: विधायी गतिविधि के आधार पर साक्ष्य प्राप्त करता है। यह प्रासंगिक संसदीय अधिनियमों की पहचान करता है, उनके हस्ताक्षरकर्ताओं (प्राथमिक और सह-हस्ताक्षरकर्ता) तक जाता है, और उनसे जुड़े स्पीच चंक्स को प्राप्त करता है। यह उन वक्ताओं के चंक्स को प्राथमिकता भी देता है जो प्रासंगिक समितियों के सदस्य हैं।

2.3 अथॉरिटी-अवेयर रीरैंकिंग

प्राप्त साक्ष्यों को एक मिश्रित स्कोर का उपयोग करके मर्ज और रैंक किया जाता है:
$score(e) = w_{rr}r(e) + w_{dd}d(e) + w_{vv}v(e) + w_{a}authority(s_e, q) + w_{\sigma}\sigma(e)$
जहाँ $s_e$ वक्ता है। वेट्स (weights) प्रासंगिकता ($0.35 $) और सैलिएंस ($ 0.25 $) को प्राथमिकता देते हैं, जबकि विविधता और कवरेज ($ 0.15 $और$ 0.20$) समूह संतुलन सुनिश्चित करते हैं।

अथॉरिटी स्कोर गणना:
अथॉरिटी को रैंकिंग को ओवरराइड किए बिना सूचित करने के लिए रिट्रीवल के बाद कंप्यूट किया जाता है। यह एक क्वेरी-डिपेंडेंट स्कोर है जो निम्नलिखित को एकत्रित करता है:

सिमेंटिक समानता: क्वेरी और वक्ता के गुणों (पेशा, शिक्षा, समिति भूमिकाएं) के बीच कोसाइन समानता।
एक्टिविटी सिग्नल्स: हस्ताक्षरित विधायी कार्यों और भाषण हस्तक्षेपों की टाइम-डिकेड (time-decayed) गणना।
टेम्पोरल डिके (Temporal Decay): हाल की गतिविधि को पिछले प्रमुखता की तुलना में अधिक भार दिया जाता है।
गठबंधन संबद्धता (Coalition Affiliation): केवल वर्तमान समूह गतिविधियों पर विचार करने के लिए क्वेरी के समय हल किया जाता है।

2.4 मल्टी-व्यू जनरेशन पाइपलाइन

जनरेशन प्रक्रिया चार चरणों वाली पाइपलाइन का पालन करती है:

विश्लेषण (Analyze): क्वेरी को प्रत्येक संसदीय समूह के लिए साक्ष्य से जुड़े परमाणु दावों (atomic claims) में विभाजित किया जाता है।
जनरेशन (Generate): प्रत्येक के 10 संसदीय समूहों के लिए एक खंड तैयार किया जाता है, जो उस समूह के भीतर वक्ताओं के अथॉरिटी स्कोर द्वारा क्रमबद्ध होता है। यदि किसी समूह के लिए कोई साक्ष्य मौजूद नहीं है, तो इसे स्पष्ट रूप से कहा जाता है।
एकीकरण (Integrate): खंडों को एक सुसंगत नैरेटिव में संयोजित किया जाता है।
साइट (Cite): महत्वपूर्ण रूप से, LLM कभी भी कोटेशन टेक्स्ट जेनरेट नहीं करता है। यह कैरेक्टर ऑफसेट्स के साथ प्लेसहोल्डर्स डालता है, जिन्हें मूल ट्रांसक्रिप्ट से वर्बेट सबस्ट्रिंग्स द्वारा नियत रूप से (deterministically) बदला जाता है। यह निर्माण द्वारा 100% कोटेशन निष्ठा की गारंटी देता है।

3. प्रयोगात्मक मूल्यांकन

सिस्टम का मूल्यांकन 15 नीतिगत विषयों के बेंचमार्क पर Google NotebookLM (Gemini 3 का उपयोग करने वाला एक मजबूत वाणिज्यिक बेसलाइन) के विरुद्ध किया गया था।

3.1 प्रोटोकॉल

डेटासेट: आठ मैक्रो-क्षेत्रों (जैसे, न्याय, आव्रजन, अर्थव्यवस्था) में फैले 15 विषय।
बेसलाइन सेटअप: NotebookLM को प्रति विषय ~300 चंक्स (प्रासंगिक + डिस्ट्रैक्टर्स) का एक क्यूरेटेड कॉन्टेक्स्ट प्रदान किया गया था ताकि विशेषज्ञ रिट्रीवल का अनुकरण किया जा सके, क्योंकि पूरे कॉर्पस को फीड करना अव्यवहारिक माना गया था।
मूल्यांकन:
- स्वचालित मेट्रिक्स: कवरेज (ग्रुप्स विद कोटेशन, पूर्णता), कोटेशन निष्ठा (Faithfulness), और मीन अथॉरिटी।
- मानव मूल्यांकन: छह डोमेन विशेषज्ञों (पत्रकार, विश्लेषक) ने नौ लिकर्ट आयामों (Likert dimensions) पर 67 युग्मित मूल्यांकनों पर एक ब्लाइंड A/B टेस्ट किया।

3.2 परिणाम

स्वचालित मेट्रिक्स:

कोटेशन निष्ठा (Quotation Faithfulness): ParliamentRAG ने 1.00 (परफेक्ट) प्राप्त किया, जबकि NotebookLM ने 0.95 प्राप्त किया।
ग्रुप कवरेज: ParliamentRAG ने 0.97 समूहों को कवर किया (NotebookLM के 0.95 के मुकाबले)।
अथॉरिटी: ParliamentRAG ने थोड़ा उच्च माध्य अथॉरिटी स्कोर (0.53 बनाम 0.52) वाले वक्ताओं को उद्धृत किया।

मानव मूल्यांकन:

कुल संतुष्टि: दोनों सिस्टम के बीच तुलनीय (ParliamentRAG के लिए 4.24 बनाम NotebookLM के लिए 4.27)।
प्रवाह (Fluency): NotebookLM को प्रोस-ओरिएंटेड आयामों (उत्तर गुणवत्ता, स्पष्टता) पर प्राथमिकता दी गई, जो संभवतः इसके मोनोलिथिक जनरेशन और मजबूत बैकबोन मॉडल के कारण है।
स्रोत और संतुलन: ParliamentRAG अपने डिज़ाइन के अनुरूप आयामों पर NotebookLM से काफी बेहतर प्रदर्शन करता है:
- स्रोत कवरेज: 4.64 बनाम 4.39 (NotebookLM के लिए 5% के मुकाबले 25% प्राथमिकता)।
- स्रोत अथॉरिटी: 4.21 बनाम 4.00।
- संतुलन धारणा: 4.66 बनाम 4.48।

4. प्रमुख योगदान और महत्व

पेपर निम्नलिखित योगदान और महत्व का दावा करता है:

नवीन आर्किटेक्चर: यह एक एकीकृत RAG आर्किटेक्चर के भीतर स्ट्रक्चर्ड संसदीय ग्राफ के साथ क्वेरी-डिपेंडेंट अथॉरिटी मॉडलिंग और मल्टी-व्यू जनरेशन को एकीकृत करने वाला पहला कार्य है।
बाय-कंस्ट्रक्शन गारंटी: सिस्टम वर्बेट कोटेशन निष्ठा की एक संरचनात्मक गारंटी प्रदान करता है, जो नागरिक सूचना प्रणालियों के लिए एक महत्वपूर्ण मुद्दे को हल करता है जहाँ भ्रम (hallucination) अस्वीकार्य है।
अथॉरिटी मॉडलिंग: यह केवल सामग्री समानता पर निर्भर रहने के बजाय, जीवनी संबंधी, संस्थागत और टेम्पोरल संकेतों को जोड़कर क्वेरी के आधार पर वक्ता की अथॉरिटी का अनुमान लगाने की एक विधि पेश करता है।
संतुलित प्रतिनिधित्व: सिस्टम यह सुनिश्चित करता है कि सारांश सभी संसदीय समूहों का प्रतिनिधित्व करें, जिससे बार-बार बोलने वाले वक्ताओं के प्रभुत्व को रोका जा सके।
अनुभवजन्य सत्यापन: मूल्यांकन प्रदर्शित करता है कि जबकि सामान्य-उद्देश्य वाले LLMs प्रवाह में उत्कृष्ट हो सकते हैं, आर्किटेक्चरल रूप से लागू प्रतिबंध राजनीतिक संदर्भों में स्रोत विश्वसनीयता, संतुलन और ट्रैसेबिलिटी के लिए बेहतर होते हैं।

लेखक निष्कर्ष निकालते हैं कि जबकि फ्लुएंसी (fluency) सीमाओं को बेहतर भाषा मॉडलों के माध्यम से कम किया जा सकता है, वर्बेट एट्रिब्यूशन और व्यवस्थित समूह कवरेज के लिए विशिष्ट आर्किटेक्चरल सपोर्ट की आवश्यकता होती है जो केवल प्रॉम्प्टिंग द्वारा प्रदान नहीं की जा सकती। सिस्टम parliamentrag.it पर लाइव तैनात है और सोर्स कोड Apache-2.0 लाइसेंस के तहत उपलब्ध है।