IUQ: Interrogative Uncertainty Quantification for Long-Form Large Language Model Generation
यह शोध पत्र इंटररोगेटिव अनसर्टेन्टी क्वांटिफिकेशन (IUQ) को प्रस्तुत करता है, जो एक ऐसा नवीन ढांचा है जो लंबे, मुक्त-रूप वाले लार्ज लैंग्वेज मॉडल जनरेशन में क्लेम-लेवल अनसर्टेन्टी और फेथफुलनेस को प्रभावी ढंग से मापने के लिए 'इंटररोगेट-देन-रिस्पोंड' प्रतिमान का लाभ उठाता है, जो विविध मॉडलों और डेटासेट्स में मौजूदा विधियों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही आत्मविश्वासी, विद्वान, लेकिन थोड़े अविश्वसनीय कहानी सुनाने वाले "द एआई" (The AI) का साक्षात्कार ले रहे हैं। आप इस एआई से एक प्रसिद्ध व्यक्ति की विस्तृत जीवनी लिखने के लिए कहते हैं।
एआई एक सुंदर, 500 शब्दों की कहानी लिखता है। यह पूरी तरह से बहती है, व्याकरण एकदम सही है, और तर्क भी सुसंगत लगता है। लेकिन यहाँ एक पेंच है: एआई ने पूरी कहानी खुद गढ़ी है। उसने उस व्यक्ति का पेशा गलत बताया, एक फर्जी बचपन बनाया, और एक ऐसा पुरस्कार बना दिया जो उसने कभी नहीं जीता।
यदि आप केवल कहानी को पढ़ते हैं, तो यह एकदम सही लगती है। यदि आप एआई को एक ही कहानी तीन बार और लिखने के लिए कहते हैं, तो वह उसी नकली कहानी के तीन अलग-अलग संस्करण लिखेगा। वे एक-दूसरे के साथ सुसंगत दिखेंगे, लेकिन वे सभी झूठ होंगे।
यही वह समस्या है जिसे IUQ (Interrogative Uncertainty Quantification) नामक शोध पत्र हल करने की कोशिश करता है।
पुराना तरीका: "ग्रुप हग" (Group Hug) विधि
पिछले तरीकों ने यह पता लगाने की कोशिश की कि क्या एआई झूठ बोल रहा है, इसके लिए एआई को कहानी पाँच बार सुनाने और यह देखने के लिए कि क्या कहानियाँ आपस में मेल खाती हैं।
- खामी: यदि एआई किसी व्यक्ति के पेशे के बारे में झूठ बोलने का निर्णय लेता है, तो वह कथानक को सुसंगत बनाए रखने के लिए सभी पाँचों कहानियों में उस पेशे के बारे में झूठ बोलेगा। कहानियाँ आपस में "सहमत" होती हैं, इसलिए पुराने तरीके सोचते हैं, "बहुत बढ़िया! वे सभी सहमत हैं, इसलिए यह सच होना चाहिए!"
- रूपक (Metaphor): यह पाँच दोस्तों से एक अजनबी का वर्णन करने के लिए पूछने जैसा है जिसे उन्होंने केवल 5 सेकंड के लिए देखा था। यदि वे सभी एक विवरण पर सहमत होते हैं, तो आप मान लेते हैं कि वह सच है। लेकिन यदि उन सभी ने एक ही चीज़ की कल्पना की थी, तो वे अभी भी सहमत होंगे, और आप मूर्ख बन जाएंगे।
नया तरीका: "पूछताछ कक्ष" (The Interrogation Room - IUQ)
लेखकों ने महसूस किया कि किसी झूठे को पकड़ने के लिए, आपको उसे केवल अपनी कहानी दोहराने के लिए नहीं कहना चाहिए। आपको उससे पूछताछ (interrogate) करनी होगी।
उन्होंने IUQ नामक एक नई प्रणाली बनाई। यह कैसे काम करती है, इसे एक सरल उपमा का उपयोग करके चरण-दर-चरण समझें:
1. कहानी (लंबे रूप में निर्माण - The Long-Form Generation)
एआई उसकी विस्तृत जीवनी लिखता है। मान लीजिए कि इसमें यह दावा शामिल है: "शिगेरू फुकुडोमे एक नौसेना अधिकारी (Navy Officer) थे।" (वास्तव में, वह एक बेसबॉल खिलाड़ी थे)।
2. टूटना (दावा निष्कर्षण - Claim Extraction)
प्रणाली उस लंबी कहानी को छोटे-छोटे, व्यक्तिगत तथ्यों (दावों) में तोड़ देती है।
- दावा A: "वह एक नौसेना अधिकारी थे।"
- दावा B: "उनका जन्म 1976 में हुआ था।"
- दावा C: "वह हानशिन टाइगर्स के लिए खेले थे।"
3. पूछताछ (The Interrogator)
यही जादुई हिस्सा है। सिस्टम दावा A ("वह एक नौसेना अधिकारी थे") को लेता है और उसे एक अलग कमरे में ले जाता है। यह एआई से उस विशिष्ट तथ्य के बारे में एक नया, सीधा प्रश्न पूछता है, बिना एआई को उसके द्वारा अभी लिखी गई कहानी का बाकी हिस्सा दिखाए।
- प्रश्न: "शिगेरू फुकुडोमे का पेशा क्या था?"
- एआई का उत्तर: "वह एक बेसबॉल खिलाड़ी थे।"
4. क्रॉस-एग्जामिनेशन (निष्ठा की जाँच - Faithfulness Check)
सिस्टम मूल कहानी (दावा A: "नौसेना अधिकारी") की तुलना नए उत्तर ("बेसबॉल खिलाड़ी") से करता है।
- परिणाम: वे विरोधाभासी हैं! सिस्टम इसे एक "झूठ" के रूप में चिह्नित करता है।
- अंतर्दृष्टि: एआई कहानी लिखने के लिए पर्याप्त आत्मविश्वासी था, लेकिन जब उसे बिना "कहानी के संदर्भ" के सहारे के एक सरल, सीधा प्रश्न पूछा गया, तो उसने सच स्वीकार कर लिया (या कम से कम, एक अलग उत्तर दिया)।
5. डोमिनो प्रभाव (प्रसार - Propagation)
शोध पत्र नोट करता है कि यदि एआई पहली चीज़ (पेशा) के बारे में झूठ बोलता है, तो वह तार्किक बने रहने के लिए उसके बाद की हर चीज़ के बारे में झूठ बोलता है।
- यदि एआई कहता है कि वह एक नौसेना अधिकारी थे, तो वह एक फर्जी नौसेना करियर भी गढ़ सकता है।
- IUQ सिस्टम समझ जाता है: "यदि नींव (पेशा) एक झूठ है, तो पूरी इमारत डगमगा रही है।"
- यह केवल उस एक वाक्य के लिए ही नहीं, बल्कि पूरी जीवनी के लिए विश्वास स्कोर (confidence score) को कम कर देता है।
यह एक बड़ी बात क्यों है?
एआई को एक छात्र की तरह समझें जो परीक्षा दे रहा है।
- पुराना तरीका: छात्र एक लंबा निबंध लिखता है। शिक्षक यह जाँचते हैं कि क्या निबंध आंतरिक रूप से समझ में आता है। यदि ऐसा है, तो शिक्षक उसे 'A' ग्रेड देते हैं।
- IUQ तरीका: शिक्षक छात्र को रोकते हैं, निबंध छीन लेते हैं, और पूछते हैं, "ठीक है, पैराग्राफ 3 का मुख्य बिंदु क्या है?" यदि छात्र हकलाता है या अलग उत्तर देता है, तो शिक्षक को पता चल जाता है कि छात्र केवल मनगढ़ंत बातें बना रहा था।
परिणाम
शोधकर्ताओं ने कई अलग-अलग एआई मॉडल (जैसे GPT-4, Llama, आदि) का दो प्रकार के परीक्षणों का उपयोग करके परीक्षण किया:
- वास्तविक लोगों की जीवनियाँ (FActScore)।
- सामान्य ज्ञान के प्रश्न (LongFact)।
उन्होंने पाया कि IUQ इन "आत्मविश्वासी झूठ बोलने वालों" को पकड़ने में पिछले तरीकों की तुलना में बहुत बेहतर है। यह केवल यह नहीं देखता कि एआई अपने आप के साथ सुसंगत है या नहीं; यह जाँचता है कि क्या एआई अपने स्वयं के संदर्भ से अलग होने के बाद भी सत्य के प्रति निष्ठावान है।
सारांश
IUQ लंबी एआई कहानियों के लिए एक "सत्य डिटेक्टर" है। केवल एआई को अपनी कहानी दोहराने के लिए पूछकर यह देखने के बजाय कि वह सुसंगत है या नहीं, यह कहानी को टुकड़ों में तोड़ता है, एआई से प्रत्येक हिस्से के बारे में सीधे प्रश्न पूछता है, और जाँचता है कि क्या उत्तर कहानी से मेल खाते हैं। यदि एआई पूछताछ के दौरान खुद का खंडन करता है, तो सिस्टम जान जाता है कि कहानी एक भ्रम (hallucination) है, भले ही पहली नज़र में कहानी बिल्कुल सटीक लग रही हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।