तकनीकी सारांश: तर्क प्रतिनिधित्व और कवरेज (ARC)

समस्या विवरण

यद्यपि एब्स्ट्रैक्टिव समराइजेशन (abstractive summarization) में लार्ज लैंग्वेज मॉडल्स (LLMs) ने प्रवाह (fluency) प्राप्त कर ली है, लेकिन उच्च-जोखिम वाले डोमेन (जैसे कानून और विज्ञान) में उनकी विश्वसनीयता अक्सर मतिभ्रम (hallucinations) और मुख्य सामग्री के लोप (omission) के कारण बाधित होती है। मौजूदा मूल्यांकन मेट्रिक्स अक्सर प्रवाह और तथ्यात्मक पूर्णता के बीच अंतर करने में विफल रहते हैं, विशेष रूप से लंबे दस्तावेज़ों के सारांशीकरण में जहाँ महत्वपूर्ण तर्क बिखरे हुए होते हैं। वर्तमान विधियाँ इस बारे में व्याख्यात्मक निदान (interpretable diagnostics) प्रदान करने में संघर्ष करती हैं कि क्या विशिष्ट जानकारी गायब है या गलत तरीके से प्रस्तुत की गई है, और क्या LLMs बिना स्पष्ट पर्यवेक्षण के प्रमुख तर्क संरचनाओं को स्वाभाविक रूप से संरक्षित करते हैं।

कार्यप्रणाली: ARC फ्रेमवर्क

लेखक आर्ग्युमेंट रिप्रेजेंटेशन कवरेज (Argument Representation Coverage - ARC) पेश करते हैं, जो एक बॉटम-अप मूल्यांकन ढांचा है जिसे यह आकलन करने के लिए डिज़ाइन किया गया है कि सारांश प्रमुख तर्कों को कितनी अच्छी तरह संरक्षित करते हैं। ARC तीन स्तरों की सूक्ष्मता (granularity) के माध्यम से पदानुक्रमित रूप से कार्य करता है:

1. परमाणु तथ्यों (Atomic Facts) में विघटन:

   • प्रमुख तर्क भूमिकाओं (जैसे कानूनी ग्रंथों में मुद्दे (Issues), कारण (Reasons), निष्कर्ष (Conclusions); वैज्ञानिक ग्रंथों में अपने दावे (Own Claims), पृष्ठभूमि के दावे (Background Claims), डेटा) को एक शक्तिशाली LLM (GPT-4o) का उपयोग करके परमाणु तथ्यों ($F_r$) के सेट में विघटित किया जाता है।
   • एक एंटेलमेंट चेक (entailment check) ओवर-जेनरेटेड तथ्यों को फ़िल्टर करता है ताकि यह सुनिश्चित हो सके कि वे मूल तर्क से सख्ती से प्राप्त हुए हैं।

2. तथ्य-स्तरीय मूल्यांकन ($\delta$):

   • प्रत्येक परमाणु तथ्य की तुलना एक LLM जज का उपयोग करके उत्पन्न सारांश से की जाती है।
   • जज एक बाइनरी स्थिति (समर्थित या नहीं) असाइन करता है और त्रुटि के प्रकार को वर्गीकृत करता है: लुप्त (ओमिशन) या गैर-तथ्यात्मक (विरोधाभास/गलत प्रस्तुति)। यह पृथक्करण यह निदान करने की अनुमति देता है कि क्या त्रुटियां खराब सामग्री चयन या पीढ़ी संबंधी अशुद्धियों से उत्पन्न होती हैं।

3. पदानुक्रमित एकत्रीकरण (Hierarchical Aggregation):

   • $ARC_{role}$: एक विशिष्ट तर्क भूमिका के लिए कवरेज स्कोर उसके परमाणु तथ्य कवरेज का औसत है।
   • $ARC_{score}$: समग्र सारांश स्कोर सभी भूमिका-स्तरीय स्कोर का औसत है, जो तर्क संरक्षण का एक समग्र माप प्रदान करता है।

डेटासेट और मॉडल:
इस फ्रेमवर्क को दो डोमेन पर लागू किया गया है:

• CANLII: 1,049 लंबे कानूनी विचार (legal opinions) जहाँ तर्क भूमिकाएँ (मुद्दा, कारण, निष्कर्ष) इनपुट टेक्स्ट का केवल ~7.66% बनाती हैं लेकिन संदर्भ सारांश का ~66% हिस्सा बनाती हैं, जो एक "सुई खोजने" (needle in a haystack) जैसी चुनौती पैदा करती है।
• DRI (DR. INVENTOR): 40 वैज्ञानिक लेख जिनमें सघन तर्क सामग्री (74.14% इनपुट) है।

आठ ओपन-वेट इंस्ट्रक्शन-फॉलोइंग LLMs (1B से 14B पैरामीटर्स तक, जिसमें LLaMA, Mistral और Qwen परिवार शामिल हैं) का इन डेटासेट्स पर मूल्यांकन किया गया।

मुख्य परिणाम

1. कवरेज सीमाएँ और त्रुटि प्रकार

• अपूर्ण कवरेज: सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल भी पूर्ण तर्क कवरेज प्राप्त करने में विफल रहते हैं। कानूनी डोमेन (CANLeli) में, सर्वश्रेष्ठ मॉडल $ARC_{score}$ के 0.72 के आसपास रुक जाते हैं, जो मानव संदर्भ (0.98) से काफी नीचे है।
• लोप बनाम मतिभ्रम (Omission vs. Hallucination): तथ्य-स्तरीय विश्लेषण से पता चलता है कि लुप्त तथ्य सभी मॉडलों और डोमेन में त्रुटि का प्रमुख स्रोत हैं, जो तथ्यात्मक त्रुटियों (मतिभ्रम) से कहीं अधिक हैं। यह सुझाव देता है कि प्राथमिक चुनौती गलत तथ्य उत्पन्न करना नहीं, बल्कि बिखरे हुए प्रमुख कंटेंट को पुनः प्राप्त करना और प्राथमिकता देना है।
• मॉडल स्केलिंग: बड़े मॉडल आम तौर पर उच्च कवरेज प्राप्त करते हैं, लेकिन मॉडल प्रदर्शन और मानव संदर्भ के बीच का अंतर, विशेष रूप से कानूनी ग्रंथों में, काफी बड़ा बना रहता है।

2. स्थितिजन्य पूर्वाग्रह (Positional Bias - RQ2)

• U-आकार का पूर्वाग्रह: पूर्व कार्यों के अनुरूप, मॉडल संदर्भ विंडो के प्रारंभ और अंत की सामग्री को प्राथमिकता देते हुए एक U-आकार का स्थितिजन्य पूर्वाग्रह प्रदर्शित करते हैं।
• कानूनी सारांशों पर प्रभाव: CANLII में, जहाँ संदर्भ सारांश निश्चित स्थिति रुझानों का पालन नहीं करते हैं, यह पूर्वाग्रह कवरेज ($ARC_{score}$) के साथ नकारात्मक रूप से सह-संबंधित है। लंबे कानूनी विचारों के मध्य में स्थित तर्कों का व्यवस्थित रूप से कम प्रतिनिधित्व किया जाता है।
• वैज्ञानिक दस्तावेज़: DRI में, सहसंबंध कमजोर है, क्योंकि संदर्भ सारांश LLMs के प्राकृतिक स्थितिजन्य पूर्वाग्रहों के साथ अधिक निकटता से संरेखित होते हैं।

3. भूमिका-विशिष्ट पूर्वाग्रह (Role-Specific Bias - RQ3)

• व्यवस्थित प्राथमिकताएं: LLMs कुछ तर्क भूमिकाओं के प्रति व्यवस्थित प्राथमिकता दिखाते हैं।
  • कानूनी (CANLII): मॉडल मुद्दों (Issues) और कारणों (Reasons) की तुलना में निष्कर्षों (Conclusions) को अत्यधिक प्राथमिकता देते हैं। बायस स्कोर ($\beta$) निष्कर्षों के लिए लगातार सबसे कम है, जो यह दर्शाता है कि उन्हें बेहतर ढंग से संरक्षित किया जाता है।
  • वैज्ञानिक (DRI): पृष्ठभूमि के दावों (Background Claims) को अपने दावों (Own Claims) की तुलना में कम प्रभावी ढंग से कवर किया जाता है, भले ही तर्क की लंबाई को नियंत्रित किया जाए।
• मॉडल आकार का प्रभाव: छोटे मॉडल (<3B पैरामीटर्स) उच्च बायस स्कोर प्रदर्शित करते हैं, जो विभिन्न तर्क भूमिकाओं के बीच कम संतुलित कवरेज का संकेत देते हैं।

4. मेट्रिक सत्यापन

• विशेषज्ञों के साथ सहसंबंध: $ARC_{score}$ मानक मेट्रिक्स (ROUGE, BERTScore) और FactScore जैसे डिकंपोजिशन-आधारित बेसलाइन की तुलना में मानव विशेषज्ञ निर्णयों के साथ उच्चतम सहसंबंध (Kendall's $\tau$ = 0.465, Pearson's $\rho$ = 0.593) प्राप्त करता है।
• व्याख्यात्मकता (Interpretability): FactScore के विपरीत, जो केवल तथ्य-स्तरीय कवरेज प्रदान करता है, ARC मल्टी-लेवल विश्लेषण (भूमिका-स्तरीय और त्रुटि-प्रकार विभेदन) प्रदान करता है, जिससे यह एक बेहतर नैदानिक उपकरण बन जाता है।
• जज की मजबूती: फ्रेमवर्क ओपन-वेट जजों (जैसे DeepSeek-R1-Distill-Qwen-14B) के साथ अच्छा प्रदर्शन करता है, जिन्होंने कुछ सेटिंग्स में प्रोप्रायटरी GPT-4o की तुलना में और भी उच्च सहसंबंध प्राप्त किया।

महत्व और दावे

यह पेपर दावा करता है कि ARC लंबे-संदर्भ सारांशीकरण में संरचित तर्क कवरेज के मूल्यांकन के लिए एक सिद्धांतिक और व्याख्यात्मक नैदानिक उपकरण प्रदान करता है। इसके प्राथमिक योगदान हैं:

1. सूक्ष्म नैदानिक (Granular Diagnostics): लोप और तथ्यात्मक त्रुटियों के बीच अंतर करके, और भूमिका स्तर पर कवरेज का विश्लेषण करके, ARC यह बताता है कि सारांश क्यों विफल होते हैं (जैसे मध्य-मार्ग के तर्कों को छोड़ना या विशिष्ट भूमिका प्रकारों को अनदेखा करना) न कि केवल यह कि वे विफल होते हैं।
2. व्यवस्थित पूर्वाग्रह का प्रमाण: अध्ययन यह उजागर करता है कि वर्तमान इंस्ट्रक्शन-फॉलोइंग LLMs में विशिष्ट तर्क भूमिकाओं (निष्कर्षों को प्राथमिकता देना) और दस्तावेज़ स्थितियों (अंत को प्राथमिकता देना) के प्रति अंतर्निहित पूर्वाग्रह हैं, जो उन उच्च-जोखिम वाले डोमेन में उनकी विश्वसनीयता को बाधित करता है जहाँ व्यापक तर्क की आवश्यकता होती है।
3. एलाइनमेंट की आवश्यकता: परिणाम रेखांकित करते हैं कि केवल प्रवाह पर्याप्त नहीं है। मॉडल प्रदर्शन और मानव संदर्भ के बीच निरंतर अंतराल, विशेष रूप से विरल (sparse) कानूनी संदर्भों में, सैलिएंस कवरेज (saliency coverage) में सुधार के लिए आगे के एलाइनमेंट रणनीतियों (जैसे प्रशिक्षण या प्रॉम्प्टिंग में स्पष्ट तर्क संरचना) की आवश्यकता को दर्शाता है।

लेखक निष्कर्ष निकालते हैं कि जबकि ARC कवरेज के मूल्यांकन में सुधार करता है, यह वर्तमान में शुद्धता (precision) के बजाय रिकॉल (महत्वपूर्ण तथ्यों को पकड़ना) पर जोर देता है। भविष्य के कार्यों को दोनों आयामों का संयुक्त रूप से आकलन करने और सैलिएंस डिटेक्शन को सीधे समराइजेशन पाइपलाइन में एकीकृत करने का लक्ष्य रखना चाहिए।