💬 NLP

Beyond Precision: Importance-Aware Recall for Factuality Evaluation in Long-Form LLM Generation

यह शोध पत्र दीर्घ-रूप (long-form) LLM जनरेशन के लिए एक व्यापक तथ्यात्मकता मूल्यांकन ढांचे का प्रस्ताव करता है जो सटीकता (precision) और महत्व-जागरूक रिकॉल (importance-aware recall) को संयुक्त रूप से मापता है, जिससे यह पता चलता है कि वर्तमान मॉडल उच्च सटीकता प्रदर्शन के बावजूद तथ्यात्मक पूर्णता के साथ महत्वपूर्ण रूप से संघर्ष करते हैं।

मूल लेखक: Nazanin Jafari, James Allan, Mohit Iyyer

प्रकाशित 2026-04-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nazanin Jafari, James Allan, Mohit Iyyer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किसी प्रसिद्ध शहर की यात्रा के लिए एक टूर गाइड रख रहे हैं। आप चाहते हैं कि वे आपको स्मारकों के बारे में सच बताएं, लेकिन आप यह भी चाहते हैं कि वे आपको शहर के बारे में सब कुछ बताएं जो महत्वपूर्ण है, न कि केवल वही हिस्से जिनका वे उल्लेख करना चाहते हैं।

यह शोध पत्र इन "AI टूर गाइड्स" (लार्ज लैंग्वेज मॉडल्स) को यह जांचने का एक नया तरीका बताता है कि वे कितनी सच्चाई से और कितनी पूर्णता से जानकारी देते हैं।

पुराना तरीका: "स्पॉट चेक" (केवल प्रिसिजन/सटीकता)

पहले, जब हम यह देखते थे कि क्या एक AI सच बोल रहा है, तो हम प्रिसिजन (Precision) नामक एक विधि का उपयोग करते थे।

इसे ऐसे समझें जैसे एक शिक्षक छात्र को पॉप क्विज़ देता है। शिक्षक छात्र द्वारा लिखे गए 10 रैंडम वाक्यों को चुनता है और जाँचता है कि क्या वे सच हैं।

यदि छात्र ने 10 वाक्य लिखे और 9 सच थे, तो उसे 90% स्कोर मिलता है।
समस्या: यह इस बात को नजरअंदाज कर देता है कि छात्र ने क्या नहीं लिखा। यदि छात्र ने 10 सच वाक्य लिखे लेकिन शहर के बारे में 50 सबसे महत्वपूर्ण तथ्यों (जैसे संग्रहालय का स्थान या ट्रेन टिकट की कीमत) को छोड़ दिया, तो भी उसे 90% स्कोर मिलेगा। वे तकनीकी रूप से "सटीक" हैं, लेकिन वे एक बुरे गाइड हैं क्योंकि उन्होंने आवश्यक जानकारी छोड़ दी है।

नया तरीका: "पूर्ण मानचित्र" (प्रिसिजन + रिकॉल)

इस शोध पत्र के लेखक कहते हैं, "हमें एक साथ दो चीजें जांचने की आवश्यकता है":

प्रिसिजन (Precision): जो आपने कहा वह कितना सच है? (स्पॉट चेक)
रिकॉल (Recall): क्या आपने वे सभी महत्वपूर्ण बातें कहीं जो आपको कहनी चाहिए थीं? (पूर्ण मानचित्र)

इसे करने के लिए, उन्होंने एक ऐसा सिस्टम बनाया है जो एक सुपर-रिसर्चर की तरह काम करता है:

रिसर्चर: AI के उत्तर देने से पहले, सिस्टम इंटरनेट (जैसे विकिपीडिया) को खोजता है ताकि उस विषय के बारे में सभी सच्चे तथ्यों की एक "मास्टर लिस्ट" मिल सके।
ग्रेडर: सिस्टम फिर AI के उत्तर की तुलना इस मास्टर लिस्ट से करता है।
- यह जाँचता है: "क्या AI ने तथ्यों को सही बताया?" (प्रिसिजन)
- यह जाँचता है: "क्या AI ने मास्टर लिस्ट से कोई तथ्य छोड़ दिया?" (रिकॉल)

"VIP" फैक्टर: महत्व-जागरूक स्कोरिंग (Importance-Aware Scoring)

यहाँ एक चतुर मोड़ है। सभी तथ्य समान नहीं होते।

तथ्य A: "एफिल टॉवर पेरिस में है।" (बहुत महत्वपूर्ण)
तथ्य B: "एफिल टॉवर को 1982 में एक विशिष्ट भूरे रंग में रंगा गया था।" (कम महत्वपूर्ण)

लेखकों ने महसूस किया कि यदि AI तथ्य A को भूल जाता है, तो यह एक बड़ी विफलता है। यदि वह तथ्य B को भूल जाता है, तो यह एक मामूली चूक है। इसलिए, उन्होंने अपने ग्रेडिंग सिस्टम को एक VIP पास दिया।

वे सिस्टम को सिखाते हैं कि "महत्वपूर्ण तथ्यों" (Salience) और "प्रासंगिक तथ्यों" (Relevance) को अधिक भार (weight) दिया जाए।
यदि AI VIP तथ्यों को सही बताता है लेकिन उबाऊ तथ्यों को छोड़ देता है, तो भी उसे एक अच्छा स्कोर मिलता है। यदि वह VIP तथ्यों को छोड़ देता है, तो उसका स्कोर बहुत गिर जाता है।

उन्होंने क्या पाया: "बातूनी लेकिन अपूर्ण" की समस्या

उन्होंने कई AI मॉडल्स पर इसका परीक्षण किया और एक दिलचस्प पैटर्न पाया:

AI झूठ न बोलने में माहिर है: जब AI कोई बयान देता है, तो वह आमतौर पर सही होता है। वह शायद ही कभी कुछ ऐसा कहता है जो स्पष्ट रूप से गलत हो (जैसे "चंद्रमा पनीर से बना है")।
AI पूर्ण होने में बुरा है: AI अक्सर बड़ी, महत्वपूर्ण चीजों को बताना भूल जाता है। यह आपको एक छोटी, सटीक कहानी देता है लेकिन अध्याय का दूसरा आधा हिस्सा छोड़ देता है।

उपमा (Analogy):
कल्पना कीजिए कि AI इतिहास की परीक्षा दे रहा एक छात्र है।

पुराना ग्रेडिंग: शिक्षक केवल छात्र द्वारा लिखे गए उत्तरों को देखता है। "आपने 5/5 सही किए! A+"
नई ग्रेडिंग: शिक्षक पूरे टेस्ट को देखता है। "आपने 5/5 सही किए, लेकिन आपने 50 में से केवल 5 प्रश्नों के उत्तर दिए। आपने सबसे महत्वपूर्ण प्रश्न छोड़ दिए। आपका ग्रेड C है।"

ट्रेड-ऑफ: अधिक शब्द बनाम बेहतर शब्द

शोध पत्र ने यह भी देखा कि क्या होता है जब AI मॉडल बेहतर स्कोर पाने के लिए अधिक बोलने की कोशिश करते हैं।

कुछ मॉडल बस बड़बड़ाना शुरू कर देते हैं, बड़े पैराग्राफ लिखते हैं इस उम्मीद में कि वे गलती से सही तथ्यों तक पहुँच जाएंगे। इससे उनका "रिकॉल" (वे अधिक क्षेत्र कवर करते हैं) बढ़ जाता है, लेकिन उनका "प्रिसिजन" (वे बकवास करने लगते हैं या खुद को दोहराने लगते हैं) कम हो जाता है।
सबसे अच्छे मॉडल वे हैं जो कम बोलते हैं, लेकिन जो सही महत्वपूर्ण बातें कहते हैं। वे कुशल होते हैं, न कि केवल शब्दजाल बनाने वाले।

निष्कर्ष

यह शोध पत्र AI को आंकने का एक बेहतर तरीका पेश करता है। यह हमें उस AI से धोखा खाने से रोकता है जो आत्मविश्वास से भरा और सटीक लगता है लेकिन वास्तव में सबसे महत्वपूर्ण जानकारी को छोड़ देता है।

संक्षेप में: हमें केवल ऐसा AI नहीं चाहिए जो सच बोले; हमें ऐसा AI चाहिए जो पूरा सच बताए, विशेष रूप से वे हिस्से जो सबसे अधिक मायने रखते हैं। लेखकों ने ठीक यही मापने के लिए एक उपकरण बनाया है।

यहाँ शोध पत्र "Beyond Precision: Importance-Aware Recall for Factuality Evaluation in Long-Form LLM Generation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लंबे प्रारूप (long-form) वाले LLM आउटपुट की तथ्यात्मकता (factuality) का मूल्यांकन करना एक महत्वपूर्ण चुनौती बनी हुई है। वर्तमान मूल्यांकन प्रतिमान मुख्य रूप से तथ्यात्मक परिशुद्धता (factual precision) पर निर्भर करते हैं:

विधि: उत्पन्न प्रतिक्रियाओं को परमाणु दावों (atomic claims) में तोड़ना और उन्हें बाहरी ज्ञान स्रोतों (जैसे विकिपीडिया, सर्च इंजन) के विरुद्ध सत्यापित करना।
मीट्रिक: कुल उत्पन्न दावों के सापेक्ष समर्थित दावों के अनुपात की गणना करना।
सीमा: यह दृष्टिकोण स्वाभाविक रूप से तथ्यात्मक रिकॉल (factual recall) की अनदेखी करता है। यह यह मापने में विफल रहता है कि क्या मॉडल ने उस महत्वपूर्ण, प्रासंगिक जानकारी को छोड़ दिया है जिसे शामिल किया जाना चाहिए था। एक प्रतिक्रिया 100% सटीक (कोई मतिभ्रम/hallucination नहीं) हो सकती है लेकिन 0% पूर्ण (प्रमुख तथ्य गायब) हो सकती है, फिर भी पारंपरिक मीट्रिक्स इसे उच्च रेटिंग देंगे। इसके अलावा, मौजूदा रिकॉल सन्निकटन (approximations) अक्सर भंगुर ह्यूरिस्टिक्स (जैसे कि तथ्यों की एक निश्चित लक्षित संख्या) पर निर्भर करते हैं, न कि सूक्ष्म तथ्यात्मक इकाइयों पर।

2. कार्यप्रणाली (Methodology)

लेखक एक एकीकृत ढांचा प्रस्तावित करते हैं जो तथ्यात्मक परिशुद्धता (Factual Precision) और तथ्यात्मक रिकॉल (Factual Recall) को संयुक्त रूप से मापता है, जिसमें एक महत्व-जागरूक वेटिंग स्कीम (importance-aware weighting scheme) शामिल है।

A. संदर्भ तथ्य सेट निर्माण ( $F$ )

यह निर्धारित करने के लिए कि कितने तथ्य शामिल होने चाहिए, मॉडल के व्यवहार पर निर्भर रहने के बजाय, यह ढांचा रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) का उपयोग करके एक ग्राउंड-ट्रुथ संदर्भ सेट बनाता है:

रिट्रीवल (Retrieval): एक दिए गए प्रश्न $q$ के लिए, बाहरी ज्ञान स्रोत ( $S$ ) से शीर्ष- $k$ दस्तावेज़ प्राप्त किए जाते हैं।
तथ्य निष्कर्षण (Fact Extraction): एक LLM इन प्राप्त अनुच्छेदों से परमाणु, गैर-अतिरेखी (non-redundant) तथत्मक कथनों को निकालता है।
महत्व स्कोरिंग (Importance Scoring): यह पहचानते हुए कि सभी तथ्य समान रूप से महत्वपूर्ण नहीं हैं, यह ढांचा प्रत्येक तथ्य $f_k$ $f_{k}$ को दो आयामों के आधार पर एक महत्व स्कोर प्रदान करता है:
- प्रासंगिकता (Relevance - $r_k$ ): तथ्य विशिष्ट प्रश्न का उत्तर कितनी सीधे तौर पर देता है।
- सैलिएंस (Salience - $s_k$ ): विशिष्ट प्रश्न की शब्दावली से स्वतंत्र होकर, मुख्य विषय/इकाई के लिए तथ्य कितना केंद्रीय है।
- संयुक्त स्कोर (Composite Score): $imp(f_k; q) = \alpha \tilde{r}_k + \beta \tilde{s}_k$ ।
संदर्भ सेट ( $F^*$ ): तथ्यों को इस संयुक्त स्कोर द्वारा रैंक किया जाता है। एक "शोल्ड-इनक्लूड" (शामिल किया जाना चाहिए) संदर्भ सेट या तो एक निश्चित बजट ( $K^*$ ) या महत्व थ्रेसहोल्ड द्वारा बनाया जाता है।

B. दावा निष्कर्षण (Claim Extraction - $C$ )

सूक्ष्मता और स्वतंत्रता सुनिश्चित करने के लिए एक समान निष्कर्षण प्रक्रिया का उपयोग करके LLM के उत्पन्न आउटपुट ( $G_o$ ) को परमाणु दावों ( $C$ ) के सेट में विभाजित किया जाता है।

C. मूल्यांकन मीट्रिक (Evaluation Metrics)

यह ढांचा दो प्राथमिक मीट्रिक को परिभाषित करता है:

तथ्यात्मक परिशुद्धता (Factual Precision - $Prec_F$ ): उत्पन्न दावों ( $C$ $C$ ) का वह अंश जो प्राप्त साक्ष्यों द्वारा समर्थित है।
- उप-मीट्रिक: "समर्थित" (Supported), "समर्थित नहीं" (Not Supported), और "विरोधाभासी" (Contradicted) दावों की दरें।
तथ्यात्मक रिकॉल (Factual Recall - $Rec_F$ ): संदर्भ सेट ( $F^*$ $F^{*}$ ) के उन तथ्यों का अंश जो उत्पन्न आउटपुट द्वारा कवर (entailed) किए गए हैं।
- महत्व-भारित रिकॉल (Importance-Weighted Recall - $Rec^w_F$ ): एक भारित संस्करण जो परिधीय जानकारी के बजाय उच्च-महत्व वाले तथ्यों (मुख्य विवरणों) को प्राथमिकता देता है।

3. प्रमुख योगदान (Key Contributions)

एकीकृत परिशुद्धता-रिकॉल ढांचा: रिट्रीवल-आधारित संदर्भ तथ्यों का उपयोग करके लंबे प्रारूप के जनरेशन के लिए शुद्धता (precision) और पूर्णता (recall) दोनों को मापने के लिए एक पूर्णतः स्वचालित तंत्र।
महत्व-जागरूक स्कोरिंग: एक नवीन वेटिंग स्कीम का परिचय जो प्रश्न-विशिष्ट प्रासंगिकता और विषय-स्तरीय सैलिएंस के बीच अंतर करती है, जिससे यह आकलन करना संभव होता है कि कौन से तथ्य गायब हैं।
व्यापक अनुभवजन्य विश्लेषण: तीन विविध लॉन्ग-फॉर्म डोमेन (जीवनी, LongFact, और LongForm) में व्यापक प्रयोग, जो वर्तमान LLM क्षमताओं में व्यवस्थित अंतराल को प्रकट करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन डेटासेट्स पर 6 LLMs (Llama-3.1, Qwen2.5, Mistral, GPT-4o-mini, और Gemini-2.5-flash-lite सहित) का मूल्यांकन किया।

परिशुद्धता बनाम रिकॉल गैप (Precision vs. Recall Gap): वर्तमान LLMs रिकॉल की तुलना में परिशुद्धता पर काफी बेहतर प्रदर्शन करते हैं। मॉडल आमतौर पर मतिभ्रम (hallucinations) से बचने में अच्छे होते हैं लेकिन प्रासंगिक तथ्यों के पूर्ण सेट को कवर करने वाले व्यापक उत्तर बनाने में संघर्ष करते हैं।
डोमेन निर्भरता (Domain Dependency): डोमेन के आधार पर तथ्यात्मकता काफी भिन्न होती है। उदाहरण के लिए, जीवनी (Biography) जनरेशन में, अन्य डोमेन की तुलना में मॉडलों ने उच्च विरोधाभास दर (स्पष्ट तथ्यात्मक त्रुटियां) दिखाईं।
"वर्बोसिटी" ट्रेड-ऑफ (The "Verbosity" Trade-off):
- लंबे जनरेशन का अर्थ बेहतर तथ्यात्मकता की गारंटी नहीं है।
- कुछ मॉडल (जैसे Gemini-2.5-flash-lite) अधिक दावे उत्पन्न करके (उच्च $\rho$ , जो उत्पन्न दावों और संदर्भ तथ्यों का अनुपात है) उच्च रिकॉल प्राप्त करते हैं, लेकिन अक्सर यह कम परिशुद्धता की कीमत पर आता है।
- GPT-4o-mini ने उच्च दक्षता प्रदर्शित की, जिसने कम क्लेम-टू-फैक्ट अनुपात के साथ लगभग अधिकतम रिकॉल और उच्चतम परिशुद्धता प्राप्त की, जो साक्ष्यों के साथ बेहतर संरेखण का सुझाव देती है।
महत्व-भारित अंतर्दृष्टि (Importance Weighting Insights):
- मॉडल सबसे महत्वपूर्ण तथ्यों (उच्च सैलिएंस/प्रासंगिकता) को कवर करने में अपेक्षाकृत प्रभावी हैं।
- जब प्रासंगिक तथ्यों के पूर्ण सेट के कवरेज का मूल्यांकन किया जाता है, तो प्रदर्शन काफी गिर जाता है।
- संयुक्त महत्व स्कोर (प्रासंगिकता + सैलिएंस) संदर्भ सेट बनाने के लिए सबसे मजबूत साबित हुआ, जो विशिष्ट उत्तरों और मुख्य विषय कवरेज के बीच संतुलन बनाता है।
त्रुटि के प्रकार (Error Types): सबसे आम विफलता मोड "समर्थित नहीं" (Not Supported) दावे हैं (प्रत्यक्ष विरोधाभास के बिना मतिभ्रम), न कि प्रत्यक्ष विरोधाचनात्मक दावे। हालांकि, जीवनी कार्यों में विरोधाभास की दर उल्लेखनीय रूप से अधिक थी।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र LLM तथ्यात्मकता मूल्यांकन के प्रतिमान को "केवल परिशुद्धता" के फोकस से बदलकर एक समग्र दृष्टिकोण की ओर ले जाता है जिसमें पूर्णता (completeness) भी शामिल है।

व्यावहारिक प्रभाव: यह रेखांकित करता है कि "तथ्यात्मक अपूर्णता" वर्तमान लॉन्ग-फॉर्म जनरेशन की एक बड़ी सीमा है, जो मतिभ्रम (hallucination) से अलग है।
मूल्यांकन मानक: प्रस्तावित ढांचा मॉडल की गुणवत्ता का अधिक विश्वसनीय मूल्यांकन प्रदान करता है, विशेष रूप से उन अनुप्रयोगों के लिए जहाँ महत्वपूर्ण जानकारी का छूटना, गलत जानकारी देने जितना ही हानिकारक है।
भावी दिशाएं: लेखक इन मीट्रिक्स की विश्वसनीयता को और बढ़ाने के लिए बाहरी ज्ञान स्रोतों की गुणवत्ता (शोर को फ़िल्टर करना) में सुधार करने और स्वचालित निष्कर्षण पाइपलाइनों को परिष्कृत करने का सुझाव देते हैं।

संक्षेप में, यह कार्य तर्क देता है कि लॉन्ग-फॉर्म जनरेशन के वास्तव में उपयोगी होने के लिए, मॉडलों को न केवल सही (उच्च परिशुद्धता) होना चाहिए बल्कि व्यापक (उच्च रिकॉल) भी होना चाहिए, जिसमें सबसे महत्वपूर्ण तथ्यों को पकड़ने पर विशेष जोर दिया गया है।