तकनीकी सारांश: विश्वसनीय दीर्घ-रूप पाठ निर्माण के लिए चयनात्मक अमूर्तीकरण (Selective Abstraction)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) तथ्यात्मक त्रुटियों के प्रति संवेदनशील होते हैं, जो उपयोगकर्ता के विश्वास को कम करते हैं और स्वास्थ्य सेवा एवं कानून जैसे उच्च-जोखिम वाले क्षेत्रों में उनके उपयोग को सीमित करते हैं। जबकि अनिश्चितता अनुमान (uncertainty estimation) तंत्र मौजूद हैं, वर्तमान दृष्टिकोण एक बाइनरी "सब-या-कुछ-नहीं" (all-or-nothing) निर्णय पर निर्भर करते हैं: या तो मॉडल एक प्रतिक्रिया उत्पन्न करता है या वह पूरी तरह से परहेज (abstain) करता है। यह बाइनरी दृष्टिकोण दीर्घ-रूप निर्माण के लिए अत्यधिक प्रतिबंधात्मक है। लंबे उत्तरों में कई तथ्यात्मक दावे हो सकते हैं जिनमें अनिश्चितता के विभिन्न स्तर होते हैं; एक एकल अनिश्चित विवरण के कारण संपूर्ण जनरेशन से परहेज करना मूल्यवान जानकारी को त्याग देता है। इसके विपरीत, बिना किसी संशोधन के पूर्ण पाठ उत्पन्न करने का जोखिम है कि इसमें मतिभ्रम (hallucinations) शामिल हो जाएं। यह शोध पत्र एक सूक्ष्म दृष्टिकोण की महत्वपूर्ण आवश्यकता को पहचानता है जो मॉडल को पूरी प्रतिक्रिया को त्यागने के बजाय विशिष्टता (specificity) और विश्वसनीयता के बीच संतुलन बनाने की अनुमति देता है।

कार्यप्रणाली: चयनात्मक अमूर्तीकरण (Selective Abstraction - SA)

लेखक चयनात्मक अमूर्तीकरण (SA) पेश करते हैं, जो एक ऐसा ढांचा है जो LLMs को अनिश्चित सामग्री के विवरण को पूरी तरह से हटाने के बजाय उसके स्तर को कम करने में सक्षम बनाता है। मुख्य विचार कम-विश्वास वाले दावों को उच्च-विश्वास वाले, कम विशिष्ट अमूर्त (abstractions) से बदलना है।

ढांचे का औपचारिकीकरण

SA को चयनात्मक जोखिम (selective risk) और कवरेज (coverage) के लेंस के माध्यम से औपचारिक रूप दिया गया है:

• जोखिम (Risk): उत्पन्न पाठ में तथ्यात्मक त्रुटियों (मतिभ्रम) की दर के रूप में परिभाषित।
• कवरेज (Coverage): मूल जनरेशन के सापेक्ष रिटेन (retained) की गई जानकारी के अंश के रूप में परिभाषित।
• ट्रेड-ऑफ (Trade-off): एक आत्मविश्वास थ्रेशोल्ड $\theta$ को बदलकर, SA एक ट्रेड-ऑफ कर्व प्रेरित करता है जहाँ उच्च थ्रेशोल्ड जोखिम को कम करता है (अमूर्तीकरण बढ़ाकर) लेकिन साथ ही कवरेज को भी कम करता है (विशिष्टता घटाकर)।

परमाणु-वार चयनात्मक अमूर्तीकरण (Atom-wise Selective Abstraction)

शोध पत्र एक विशिष्ट इंस्टेंशिएशन प्रस्तावित करता है जिसे परमाणु-वार चयनात्मक अमूर्तीकरण कहा जाता है, जो चार चरणों वाली पाइपलाइन के माध्यम से दावा-स्तर (claim level) पर कार्य करता है:

1. जनरेशन (Generation): LLM एक प्रॉम्प्ट $p$ के लिए एक प्रारंभिक प्रतिक्रिया $T$ उत्पन्न करता है।
2. परमाणुकरण (Atomization): प्रतिक्रिया को परमाणु दावों (atomic claims/atoms) में विभाजित किया जाता है। ये छोटे, स्व-निहित कथन हैं, जिनमें से प्रत्येक एक एकल तथ्य व्यक्त करता है (जैसे, "अमेलिया ईयरहार्ट का जन्म एटचिसन, कंसास में हुआ था")।
3. अमूर्तीकरण (Abstraction): यह मुख्य प्रसंस्करण चरण है, जिसमें तीन चरण शामिल हैं:
   • विश्वास उद्घोषणा (Confidence Elicitation): मॉडल प्रत्येक परमाणु (atom) को एक विश्वास स्कोर प्रदान करता है।
   • अमूर्त जनरेशन (Abstraction Generation): उन परमाणुओं के लिए जिनका विश्वास $\theta$ से कम है, मॉडल तेजी से सामान्य होते अमूर्त (abstractions) का एक क्रम उत्पन्न करता है (जैसे, "Atchison, Kansas" $\to$ "Kansas" $\to$ "Midwestern US" $\to$ "US")। यह अनुक्रम पूर्ण परहेज ($\top$) के साथ समाप्त होता है।
   • चयन (Selection): मॉडल अमूर्त अनुक्रम को विश्वास स्कोर प्रदान करता है। यह अनुक्रम में सबसे विशिष्ट अमूर्त का चयन करता जो विश्वास थ्रेशोल्ड $\theta$ को संतुष्ट करता है। यदि कोई भी अमूर्त थ्रेशोल्ड को पूरा नहीं करता है, तो उस परमाणु से परहेज किया जाता है।
4. पुनर्गठन (Reconstruction): चयनित अमूर्तों को एक सुसंगत पाठ $T'$ में पुनर्गठित किया जाता है।

मूल्यांकन पाइपलाइन

SA का मूल्यांकन करने के लिए, लेखकों ने ओपन-एंडेड तथ्यात्मक जनरेशन के लिए एक एंड-टू-एंड पाइपलाइन विकसित की है:

• जोखिम मापन (Risk Measurement): एक एजेंटिक फैक्ट-चेकिंग सिस्टम का उपयोग करता है जो परमाणु दावों को विकिपीडिया के विरुद्ध सत्यापित करता है। यदि साक्ष्य मिलता है, तो एक दावे को "समर्थित" (supported) लेबल किया जाता है, अन्यथा "असमर्थित" (unsupported)। जोखिम को $1 - \text{accuracy}$ के रूप में गणना किया जाता है।
• कवरेज मापन (Coverage Measurement): एक सूचना-सैद्धांतिक (information-theoretic) माप का उपयोग करता है। एक दावे की सूचना सामग्री को संगत संस्थाओं (compatible entities) के सेट के संबंध में यह द्वारा प्रदान की गई एंट्रॉपी की कमी से मापा जाता है (जैसे, "लंदन में पैदा हुआ" "यूरोप में पैदा हुआ" की तुलना में अधिक सूचनात्मक है क्योंकि यह लोगों के सेट को अधिक महत्वपूर्ण रूप से सीमित करता है)। कवरेज $T$ में $T'$ में रिटेन की गई सूचना का अनुपात है।
• मेट्रिक्स (Metrics): प्रदर्शन को रिस्क-कवरेज (RC) कर्व्स और एरिया अंडर द रिस्क-कवरेज कर्व (AURC) का उपयोग करके सारांशित किया जाता है। कम AURC बेहतर ट्रेड-ऑफ को दर्शाता है।

प्रमुख योगदान

1. चयनात्मक अमूर्तीकरण ढांचा (Selective Abstraction Framework): दीर्घ-रूप पाठ जनरेशन में विशिष्टता बनाम विश्वसनीयता के लिए ट्रेड-ऑफ करने वाला एक सामान्य ढांचा, जिसे चयनात्मक जोखिम और कवरेज के माध्यम से औपचारिक रूप दिया गया है।
2. परमाणु-वार इंस्टेंशिएशन (Atom-wise Instantiation): दावा-स्तर की एक प्रक्रिया जो अनिश्चित दावों को पूरी तरह से हटाने के बजाय उन्हें उच्च-विश्वास वाले अमूर्त रूपों से चुनिंदा रूप से बदल देती है।
3. मूल्यांकन पाइपलाइन (Evaluation Pipeline): एक नवीन एंड-टू-एंड पाइपलाइन जो ओपन-एंडेड जनरेशन के लिए जोखिम को तथ्यात्मक शुद्धता के रूप में और कवरेज को रिटेन की गई सामग्री के सूचना-सैद्धांतिक माप के रूप में स्थापित करती है।
4. अनुभवजन्य सत्यापन (Empirical Validation): छह ओपन-सोर्स मॉडल्स और दो बेंचमार्क (FactScore और LongFact-Objects) पर निरंतर सुधार का प्रदर्शन।
5. थ्रेशोल्ड चयन एल्गोरिदम (Threshold Selection Algorithm): उपयोगकर्ता-निर्धारित लक्षित जोखिमों को उच्च संभाव्यता के साथ पूरा करने के लिए स्प्लिट कॉन्फॉर्मल प्रेडिक्शन (split conformal prediction) पर आधारित एक जोखिम-निर्देशित एल्गोरिदम।

परिणाम

लेखकों ने छह ओपन-सोर्स मॉडल्स (GPT-OSS, Qwen3, और Llama 3.3 सहित) पर FactScore और LongFact-Objects बेंचमार्क का उपयोग करके विधि का मूल्यांकन किया।

• बेसलाइन्स के मुकाबले प्रदर्शन: परमाणु-वार SA ने मौजूदा बेसलाइन्स, जिनमें चयनात्मक रेडैक्शन (Selective Redaction) (अनिश्चित परमाणुओं को पूरी तरह से हटाना), इनलाइन एब्स्ट्रैक्शन (Inline Abstraction) (शुरुआत से ही मोटे स्तर पर जनरेट करना), और सेल्फ-रिवीजन (Self-Revision) (पोस्ट-हॉक पुनर्लेखन) शामिल हैं, को लगातार पछाड़ दिया।
• AURC सुधार: परमाणु-वार SA ने FactScore बेंचमार्क पर क्लेम रिमूवल (Redaction) की तुलना में AURC में 27.73% तक सुधार किया। FactScore पर औसत सुधार 17.43% और LongFact पर 13.77% रहा।
• रिस्क-कवरेज ट्रेड-ऑफ: विधि ने एक स्मूथ (smooth) ट्रेड-ऑफ कर्व प्राप्त किया, जो पूरे कवरेज रेंज में बेसलाइन्स पर हावी रहा। समान कवरेज स्तरों पर, परमाणु-वार SA ने बेसलाइन (Inline और Self-Revision) की तुलना में काफी कम जोखिम (औसत अंतर ~10 प्रतिशत अंक) प्राप्त किया।
• थ्रेशोल्ड चयन: प्रस्तावित एल्गोरिदम ने सफलतापूर्वक ऐसे थ्रेशोल्ड चुने जो विभिन्न मॉडल्स और डेटासेट्स में अनुभवजन्य जोखिम को उपयोगकर्ता-निर्धारित लक्षित जोखिमों के करीब रखते हैं।

महत्व और दावे

शोध पत्र तर्क देता है कि दीर्घ-रूप जनरेशन में विश्वसनीयता उत्तर देने और परहेज करने के बीच एक बाइनरी विकल्प नहीं है, बल्कि विशिष्टता बनाम शुद्धता का एक स्पेक्ट्रम है। इस कार्य का महत्व यह प्रदर्शित करने में निहित है कि विशिष्टता को कम करने से अधिकांश अर्थ को संरक्षित करते हुए सटीकता और विश्वसनीयता बढ़ सकती है।

व्यक्तिगत दावों के स्तर पर कार्य करके, प्रस्तावित विधि पूरे वाक्यों या दावों को हटाने से होने वाली अचानक सूचना हानि से बचती है। इसके बजाय, यह लक्षित, दावा-विशिष्ट नियंत्रण प्रदान करती है। लेखक चयनात्मक अमूर्तीकरण को एक ऐसे जनरेशन प्रतिमान की ओर एक कदम के रूप में देखते हैं जो स्पष्ट रूप से प्रतिक्रिया में उपयुक्त विवरण की मात्रा के बारे में तर्क करता है, यह सुझाव देते हुए कि उच्च-जोखिम वाले सेटिंग्स में, आत्मविश्वासी त्रुटियों की तुलना में कम विशिष्ट प्रतिक्रियाएं बेहतर होती हैं।

यह शोध भविष्य की दिशाओं के संबंध में विनम्र रहता है, यह नोट करते हुए कि अमूर्तीकरण की गुणवत्ता काफी हद तक कॉन्फिडेंस स्कोरिंग फंक्शन पर निर्भर करती है (वर्बलाइज्ड कॉन्फिडेंस को लॉग-प्रोब-आधारित स्कोर की तुलना में बेहतर पाया गया) और दावों के बीच निर्भरता (दावों को स्वतंत्र मानने के बजाय) को मॉडल करना परिणामों को और बेहतर बना सकता है।