तकनीकी सारांश: द सिटीजनक्वेरी (CitizenQuery) बेंचमार्क

समस्या विवरण

"सिटीजन क्वेरीज" (नागरिक प्रश्न)—सरकारी नीतियों, सेवाओं और मार्गदर्शन (जैसे कि लाभ, कर, आव्रजन) के संबंध में जनता के प्रश्न—लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए एक उच्च-जोखिम वाला उपयोग मामला (use case) हैं। जबकि LLMs संदर्भ-जागरूक, सुलभ और तीव्र सूचना सेवाएँ प्रदान करने की क्षमता रखते हैं, सार्वजनिक क्षेत्र में उनकी तैनाती 'हैलुसिनेशन' (hallucination) और गलत सूचना के जोखिम के कारण बाधित है। नागरिक प्रश्नों के संबंधतः गलत उत्तरों से उन व्यक्तियों के लिए गंभीर, अक्सर अदृश्य नकारात्मक परिणाम हो सकते हैं जो ऐसे परामर्श पर निर्भर हैं। वर्तमान में, विशेष रूप से नागरिक प्रश्नों के संदर्भ में LLM प्रदर्शन को मापने के लिए डिज़ाइन किए गए मानकीकृत बेंचमार्क डेटासेट या मूल्यांकन सूट की कमी है, जिससे सरकारों और हितधारकों के लिए सार्वजनिक सेवाओं में AI एकीकरण की विश्वसनीयता का आकलन करना कठिन हो जाता है।

कार्यप्रणाली (Methodology)

डेटासेट क्यूरेशन: CitizenQuery-UK

लेखक CitizenQuery-UK पेश करते हैं, जो एक नवीन बेंचमार्क डेटासेट है जिसमें 22,066 सिंथेटिक नागरिक प्रश्न-उत्तर जोड़े शामिल हैं।

• स्रोत सामग्री: यह डेटासेट पूरी तरह से gov.uk पर मौजूद पाठ्य सूचनाओं से लिया गया है, जो इस बेंचमार्क के लिए आधिकारिक सत्य के एकल स्रोत के रूप में कार्य करता है।
• जेनरेशन प्रक्रिया:
  • कॉर्पस निर्माण: 2,781 gov.uk पेजों को स्क्रैप किया गया, जिन्हें 3-स्तरीय वर्गीकरण (होम पेज $\rightarrow$ डोमेन $\rightarrow$ सब-डोमेन) में व्यवस्थित किया गया।
  • क्वेरी सिंथेसिस: स्वाभाविक अभिव्यक्ति सुनिश्चित करने के लिए, क्वेरी जनरेशन को ऑनलाइन सार्वजनिक मंचों (मुख्य रूप से Reddit) के वास्तविक डेटा पर आधारित किया गया ताकि बोलचाल की, संदर्भ-युक्त उपयोगकर्ता इनपुट की नकल की जा सके, जिससे सिंथेटिक जनरेशन की विशिष्ट शुष्क भाषा से बचा जा सके।
  • मॉडल: विशिष्ट व्यक्तित्वों (आयु, शिक्षा, डिजिटल साक्षरता, व्यवसाय, आय और क्षेत्र के आधार पर भिन्न) और मेटाडेटा के आधार पर प्रश्न-उत्तर जोड़े उत्पन्न करने के लिए Qwen 2.5 72B-Instruct मॉडल का उपयोग किया गया।
  • गुणवत्ता आश्वासन: तीन एनोटेटर्स वाले एक कठोर मानव एनोटेशन प्रोटोकॉल ने जनरेशन प्रॉम्प्ट्स को परिष्कृत करने के लिए एक स्तरीकृत नमूने (stratified sample) की समीक्षा की, जिससे यह सुनिश्चित हुआ कि उत्तर तथ्यात्मक रूप से आधारित और सुलभ हों। टॉक्सिसिटी (toxicity) और बायस (bias) स्कोर Cleanlab Studio के माध्यम से जेनरेट किए गए थे लेकिन उन्हें मुख्य उद्देश्यों के लिए काफी हद तक अप्रासंगिक माना गया, क्योंकि टॉक्सिसिटी कम रही।
• डेटासेट संरचना: डेटासेट में 16 मुख्य डोमेन के तहत 139 सबडोमेन शामिल हैं। प्रॉम्प्ट्स को प्रक्रियात्मक (procedural), निर्देशात्मक (instructional), सूचनात्मक (informational), या तुलनात्मक (comparative) के रूप में वर्गीकृत किया गया है। प्रत्येक प्रविष्टि में क्वेरी, अपेक्षित उत्तर (ग्राउंड ट्रुथ), और विस्तृत मेटाडेटा शामिल है।

मूल्यांकन पाइपलाइन (Evaluation Pipeline)

लेखक एक मूल्यांकन पद्धति प्रस्तावित करते हैं जो FActScore और SAFE आर्किटेक्चर से अनुकूलित है, जिसमें तीन मुख्य घटक शामिल हैं:

1. अब्स्टेंशन डिटेक्शन (AB - त्याग पहचान):

   • यह पहचानने के लिए कि क्या कोई मॉडल किसी प्रश्न का उत्तर देने से मना करता है या असमर्थ है, एक फाइन-ट्यून्ड क्लासिफायर (LibrAI/longformer-action-ro) का उपयोग करता है।
   • लेखक मानक एनोटेशन योजना को "डिस्क्लेमर" (लेबल 3) को 'अब्स्टेंशन' के बजाय 'पास' के रूप में मानने के लिए अनुकूलित करते हैं, यह स्वीकार करते हुए कि सरकारी सलाह में डिस्क्लेमर मानक और प्रोत्साहित किए जाने वाले तत्व हैं।
   • गलत सकारात्मक परिणामों (false positives) को कम करने के लिए एक कॉन्फिडेंस थ्रेशोल्ड ($AB_{th} = 0.925$) लागू किया जाता है।

2. एटमाइज्ड फैक्ट जनरेशन (AFG - परमाणु तथ्य निर्माण):

   • यह अपेक्षित प्रतिक्रिया ($a_i$) और मॉडल द्वारा जेनरेट की गई प्रतिक्रिया ($\hat{a}_i$) दोनों को परमाणु तथ्यों/दावों में विभाजित करता है।
   • वाक्यों को सूक्ष्म, सत्यापन योग्य घटकों में तोड़ने के लिए एक रिट्रीवल-आधारित फ्यू-शॉट प्रॉम्प्टिंग रणनीति का उपयोग करता है, जिसमें एक इंस्ट्रक्ट-ट्यून्ड LLM ($M_{AFG}$) का उपयोग किया गया है।
   • ग्राउंड ट्रुथ के परमाणु तथ्य पूर्व-निर्धारित (pre-computed) हैं ताकि एक निश्चित संदर्भ बिंदु सुनिश्चित किया जा सके।

3. एटमाइज्ड फैक्ट वेरिफिकेशन (AFV - परमाणु तथ्य सत्यापन):

   • यह यह सत्यापित करने के लिए कि क्या मॉडल के दावे ग्राउंड ट्रुथ तथ्यों द्वारा समर्थित हैं, एक LLM-एज़-ए-जज ($M_{AFV}$) का उपयोग करता है।
   • मेट्रिक्स:
     • F1@K: ग्राउंड ट्रुथ तथ्यों ($K$) के सापेक्ष प्रिसिजन (precision) और रिकॉल (recall) के हार्मोनिक मीन की गणना करता है। यह मॉडल्स को रेडंडेंसी (तथ्यों को दोहराने) और अत्यधिक वर्बोसिटी (शब्दबहुलता) के लिए दंडित करता है, और सूचना घनत्व को पुरस्कृत करता है।
     • वर्बोसिटी ($\Delta K$): मॉडल द्वारा जेनरेट किए गए दावों की संख्या ($\hat{K}$) और ग्राउंड ट्रुथ ($K$) के बीच के अंतर को मापता है। धनात्मक मान ओवर-जेनरेशन को दर्शाते हैं; ऋणात्मक मान विलोपन (omission) को दर्शाते हैं।

मुख्य परिणाम

बेंचमार्क ने 11 LLMs (Llama, Claude, Gemini, Qwen और OpenAI परिवारों सहित) का जीरो-शॉट (Zero-Shot) और फ्यू-शॉट (Few-Shot) दोनों स्थितियों में मूल्यांकन किया।

• प्रदर्शन प्रोफाइल:

  • तथ्यात्मकता (Factuality): औसत F1@K स्कोर आम तौर पर उच्च (अक्सर >0.90) थे, जो इंगित करते हैं कि मॉडल अक्सर सही उत्तर देते हैं। हालांकि, औसत स्कोर मेडियन से कम थे, जो खराब प्रदर्शन के "लॉन्ग टेल" और उच्च विचलन (मानक विचलन 0.18 से 0.36 तक) को प्रकट करते हैं।
  • मॉडल परिवार: क्लोज्ड-सोर्स मॉडल्स जैसे Claude-4.5-Haiku ने उच्च सटीकता दिखाई लेकिन उच्च वर्बोसिटी भी प्रदर्शित की। ओपन-वेट मॉडल्स (जैसे Qwen3-32B, Llama-3.3-70B) ने क्लोज्ड मॉडल्स के मुकाबले प्रतिस्पर्धी प्रदर्शन किया। Kimi-K2-Instruct ने कम तथ्यात्मकता लेकिन उच्च अब्स्टेंशन दर दिखाई।
  • फ्यू-शॉट प्रभाव: उम्मीदों के विपरीत, फ्यू-शॉट उदाहरण प्रदान करने से आम तौर पर औसत F1@K स्कोर में कमी आई और विचलन बढ़ गया, जबकि वर्बोसिटी में थोड़ी कमी आई। कुछ मामलों में, मॉडल्स ने कम जानकारी जेनरेट की लेकिन वह जानकारी कम तथ्यात्मक रूप से समर्थित थी।

• प्रमुख व्यवहार संबंधी निष्कर्ष:

  • कम अब्स्टेंशन (Low Abstention): मॉडल्स अनिश्चित होने पर भी शायद ही कभी उत्तर देने से मना करते हैं (दर <1.5%)।
  • उच्च वर्बोसिटी (High Verbosity): मॉडल्स लगातार सूचना का ओवर-जेनरेशन करते हैं ($\Delta K$ धनात्मक और महत्वपूर्ण था, जैसे जीरो-शॉट में Claude-4.5-Haiku के लिए +16.63)।
  • विचलन (Variance): उच्च मानक विचलन यह सुझाव देते हैं कि हालांकि मॉडल्स अक्सर सही होते हैं, उनके विफलता मोड (failure modes) अप्रत्याशित होते हैं, जो विश्वसनीयता का जोखिम पैदा करते हैं।

महत्व और दावे

पेपर का दावा है कि CitizenQuery-UK नागरिक क्वेरी कार्यों में LLM विश्वसनीयता का आकलन करने के लिए पहला साक्ष्य-आधारित ढांचा प्रदान करता है। इसकी महत्ता निम्नलिखित में निहित है:

1. सार्वजनिक क्षेत्र के लिए अपनाने हेतु साक्ष्य: यह सरकारों को AI एकीकरण से पहले उसकी सटीकता का मूल्यांकन करने के लिए एक तंत्र प्रदान करता है, जो सैद्धांतिक धारणाओं से आगे बढ़कर मापे गए प्रदर्शन तक ले जाता है।
2. "वर्बोसिटी बनाम विश्वसनीयता" के ट्रेड-ऑफ को उजागर करना: परिणाम बताते हैं कि वर्तमान LLMs अनिश्चितता को स्वीकार करने के बजाय जानकारी उत्पन्न करने को प्राथमिकता देते हैं। उच्च-जोखिम वाले नागरिक प्रश्नों में, यह "बोलने की उत्सुकता" और उच्च विचलन मिलकर एक ऐसा जोखिम पैदा करते हैं जहाँ उपयोगकर्ता गलत या पुराने डेटा पर अत्यधिक भरोसा कर सकते हैं।
3. स्वीकार्य अपूर्णता (Acknowledged Fallibility) के लिए आह्वान: लेखक तर्क देते हैं कि सार्वजनिक क्षेत्र में विश्वसनीय AI के लिए ऐसे मॉडल्स की आवश्यकता है जो अपनी सीमाओं (fallibility) को स्वीकार कर सकें, न कि संभावित रूप से गलत दावों को ओवर-जेनरेट कर सकें।
4. भविष्य के शासन का आधार: पूरी तरह से ओपन डेटा पर निर्मित, यह बेंचमार्क सार्वजनिक क्षेत्र में AI के संबंध में नीति और खरीद निर्णयों को निर्देशित करने वाले केंद्रीकृत मूल्यांकन सूट के लिए आधार तैयार करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि LLMs आशाजनक दिखते हैं, लेकिन उनका वर्तमान रुझान उच्च विचलन और ओवर-जेनरेशन की ओर है, जो उन्हें विश्वसनीयता और अनिश्चितता को स्वीकार करने के तंत्रों में सुधार के बिना सीधे तैनाती के लिए अनुपयुक्त बनाता है।