💬 NLP

SCURank: Ranking Multiple Candidate Summaries with Summary Content Units for Enhanced Summarization

यह शोध पत्र SCURank प्रस्तुत करता है, जो एक ऐसा फ्रेमवर्क है जो सारांश सामग्री इकाइयों (Summary Content Units - SCUs) का लाभ उठाकर टेक्स्ट सारांशीकरण (text summarization) में सुधार करता है ताकि विविध LLM-जनित उम्मीदवारों को प्रभावी ढंग से रैंक किया जा सके, जिससे छोटे भाषा मॉडलों (small language models) में उच्च-गुणवत्ता वाले सारांशों को संकुचित करने के मामले में पारंपरिक मेट्रिक्स और अस्थिर LLM-आधारित रैंकिंग विधियों से बेहतर प्रदर्शन किया जा सके।

मूल लेखक: Bo-Jyun Wang, Ying-Jia Lin, Hung-Yu Kao

प्रकाशित 2026-04-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bo-Jyun Wang, Ying-Jia Lin, Hung-Yu Kao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जो एक बुद्धिमान लेकिन छोटे छात्र (एक Small Language Model) को एक बेहतरीन बुक रिपोर्ट लिखना सिखाने की कोशिश कर रहे हैं। आपके पास नौ अलग-अलग जीनियस प्रोफेसरों (Large Language Models, या LLMs) द्वारा लिखी गई रिपोर्ट की एक लाइब्रेरी तक पहुँच है। आपका लक्ष्य छात्र को सबसे अच्छी रिपोर्ट दिखाना है ताकि वह पेशेवरों की तरह लिखना सीख सके।

समस्या क्या है? छात्र को यह जानने की ज़रूरत है कि कौन सी रिपोर्ट वास्तव में अच्छी है।

पुराना तरीका: अविश्वसनीय जज

पहले, शिक्षक एक जीनियस प्रोफेसर का उपयोग जज के रूप में करने की कोशिश करते थे। वे कहते, "प्रोफेसर A, इन नौ रिपोर्टों को देखें और मुझे बताएं कि उनमें से कौन सी सबसे अच्छी है।"

लेकिन इसमें एक पेंच है: प्रोफेसर A मूडी (मनमौजी) है।

यदि आप सूची में रिपोर्ट #1 को पहले रखते हैं, तो वे उसे इसलिए पसंद कर सकते हैं क्योंकि वह पहले स्थान पर है।
यदि आप सूची को इधर-उधर कर देते हैं, तो वे अचानक उससे नफरत करने लग सकते हैं।
वे जटिल शब्दों से भ्रमित हो सकते हैं या बस उनका दिन खराब हो सकता है।

यही वह चीज़ है जिसे पेपर instability (अस्थिरता) कहता है। दूसरों की रैंकिंग करने के लिए एक एकल AI पर भरोसा करना एक थके हुए रेफरी से खेल का निर्णय लेने के लिए पूछने जैसा है; उनके परिणाम असंगत और अनुचित हो सकते हैं।

नया तरीका: SCURank (एक "फैक्ट-चेकर" सिस्टम)

इस पेपर के लेखकों, बो-जुन वांग और सहयोगियों ने एक नया सिस्टम बनाया जिसे SCURank कहा जाता है। यह पूछने के बजाय कि कोई सारांश (summary) बेहतर "महसूस" होता है या नहीं, यह सिस्टम तथ्यों (facts) को गिनता है।

इसे इस तरह समझें:

1. सारांशों को तोड़ना (LEGO का उदाहरण)

कल्पना कीजिए कि हर सारांश LEGO ब्रिक्स से बना है। प्रत्येक ब्रिक सूचना के एक अद्वितीय टुकड़े (एक "Summary Content Unit" या SCU) का प्रतिनिधित्व करती है।

खराब सारांश: "बिल्ली प्यारी है।" (1 ब्रिक)।
अच्छा सारांश: "बिल्ली प्यारी है, वह लाल घर में रहती है, और उसे टूना मछली पसंद है।" (3 ब्रिक्स)।

SCURank उन सभी सारांशों को लेता है जो नौ जीनियस प्रोफेसरों द्वारा बनाए गए हैं और उन्हें इन व्यक्तिगत LEGO ब्रिक्स (तथ्यों) में तोड़ देता है।

2. "लोकप्रियता प्रतियोगिता" (भीड़ का ज्ञान)

अब, सिस्टम सभी सारांशों से सभी ब्रिक्स को लेता है और उन्हें उनके प्रकार के आधार पर ढेरों में डाल देता है।

यदि 9 में से 8 प्रोफेसर उल्लेख करते हैं कि "बिल्ली लाल घर में रहती है," तो वह ब्रिक एक बड़े ढेर (Big Pile) में जाता है। इसका मतलब है कि यह एक बहुत ही महत्वपूर्ण तथ्य है जिस पर सभी सहमत हैं।
यदि केवल 1 प्रोफेसर उल्लेख करता है कि "बिल्ली के चेहरे पर एक निशान है," तो वह ब्रिक एक छोटे ढेर (Tiny Pile) में जाता है। यह सच हो सकता है, लेकिन यह मुख्य बिंदु नहीं है।

जादुई नियम: जितने अधिक प्रोफेसर एक तथ्य पर सहमत होते हैं, वह तथ्य उतने ही अधिक "पॉइंट्स" का हकदार होता है।

3. सारांशों को स्कोर देना

अंत में, सिस्टम प्रत्येक सारांश को इस आधार पर स्कोर देता है कि उसमें कितने "बड़े ढेर" वाले ब्रिक्स शामिल हैं।

एक सारांश जो सबसे अधिक सहमत-महत्वपूर्ण तथ्यों को पकड़ लेता है, उसे उच्च स्कोर (High Score) मिलता है।
एक सारांश जो बड़े तथ्यों को छोड़ देता है या बस एक ही चीज़ को बार-बार दोहराता है, उसे कम स्कोर (Low Score) मिलता है।

यह बेहतर क्यों है

मूड स्विंग्स का कोई चक्कर नहीं: मूडी प्रोफेसर जज के विपरीत, यह सिस्टम सारांशों के क्रम की परवाह नहीं करता है। यह केवल महत्वपूर्ण तथ्यों को गिनता है। यह एक गणित के सवाल की तरह है: $2 + 2$ हमेशा $4$ होता है, चाहे आप इसे किसी भी तरह से कहें।
विविधता (Diversity): नौ अलग-अलग AI मॉडल के सारांशों का उपयोग करके, सिस्टम को विविध प्रकार के "LEGO ब्रिक्स" मिलते हैं। यह छोटे छात्र को अधिक रचनात्मक होने के लिए सिखाता है और मूल टेक्स्ट को केवल कॉपी-पेस्ट करने की संभावना को कम करता है।
बेहतर परिणाम: जब उन्होंने SCURank के साथ परीक्षण किया, तो SCURank से प्रशिक्षित छोटे छात्र ने पुराने, अस्थिर तरीकों से प्रशिक्षित छात्रों की तुलना में बेहतर बुक रिपोर्ट लिखीं। उनकी रिपोर्ट अधिक पूर्ण, अधिक सटीक और अधिक स्वाभाविक थीं।

निचोड़ (The Bottom Line)

SCURank एक स्मार्ट लाइब्रेरियन की तरह है जो केवल यह नहीं पूछता कि "कौन सी किताब दिखने में अच्छी है?" बल्कि यह पूछता है कि "किस किताब में सबसे महत्वपूर्ण तथ्य हैं जिन पर सभी सहमत हैं?"

केवल शैली (style/शब्दों) के बजाय सामग्री (content/तथ्यों) पर ध्यान केंद्रित करके, उन्होंने छोटे, सस्ते AI मॉडल को प्रशिक्षित करने का एक तरीका बनाया जो महंगे, विशाल मॉडलों के समान ही अच्छे सारांश लिख सकें। यह दक्षता और गुणवत्ता के लिए एक बड़ी जीत है!

यहाँ शोध पत्र "SCURank: Enhanced Summarization के लिए Summary Content Units के साथ Multiple Candidate Summaries को Rank करना" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र टेक्स्ट समराइजेशन (पाठ सारांशीकरण) के क्षेत्र में दो महत्वपूर्ण चुनौतियों को संबोधित करता है, विशेष रूप से मॉडल डिस्टिलेशन (BART जैसे छोटे मॉडलों को Large Language Models की नकल करने के लिए प्रशिक्षित करना) के संदर्भ में:

LLM-आधारित रैंकिंग की अस्थिरता: मौजूदा विधियाँ (जैसे GPTRank) उम्मीदवार सारांशों (candidate summaries) की सीधे तुलना और रैंकिंग करने के लिए LLMs पर निर्भर करती हैं। शोध इंगित करता है कि LLMs टेक्स्ट तुलना करते समय पोजीशनल बायस (स्थान संबंधी पूर्वाग्रह) और असंगति से ग्रस्त होते हैं, जिससे कंट्रास्टिव लर्निंग (contrastive learning) के लिए अविश्वसनीय सुपरविजन सिग्नल मिलते हैं।
सतही-स्तरीय मेट्रिक्स की सीमाएँ: पारंपरिक स्वचालित मेट्रिक्स जैसे ROUGE, n-gram ओवरलैप पर निर्भर करते हैं, जो सिमेंटिक समृद्धि (semantic richness), एब्स्ट्रैक्टिव गुणवत्ता (abstractive quality), या सारांश के वास्तविक सूचनात्मक मूल्य को पकड़ने में विफल रहते हैं।
सिंगल-सोर्स बायस (एकल-स्रोत पूर्वाग्रह): पिछले डिस्टिलेशन दृष्टिकोण अक्सर एक ही LLM द्वारा उत्पन्न सारांशों पर निर्भर करते हैं, जो जनरेशन पैटर्न की विविधता को सीमित करता है और मॉडल-विशिष्ट पूर्वाग्रह पेश करता है।

2. कार्यप्रणाली (Methodology): SCURank

लेखक SCURank (Summary Content Unit Ranking) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे सतह के ओवरलैप या प्रत्यक्ष LLM तुलना के बजाय सूचना की प्रचुरता (information richness) और सिमेंटिक महत्व (semantic importance) के आधार पर उम्मीदवार सारांशों को रैंक करने के लिए डिज़ाइन किया गया है। इस प्रक्रिया में तीन मुख्य चरण शामिल हैं:

A. SCU निष्कर्षण (Information Decomposition)

पूर्ण सारांशों की तुलना करने के बजाय, यह फ्रेमवर्क प्रत्येक उम्मीदवार सारांश को Summary Content Units (SCUs) में विभाजित करता है।

परिभाषा: एक SCU एक सरल, स्वतंत्र और अद्वितीय सूचना का हिस्सा है (जो "Semantic GPT Unit" या SGU के समान है)।
कार्यान्वयन: लेखक प्रत्येक सारांश से SCUs निकालने के लिए एक LLM (विशेष रूपकर gpt-4o-mini) का उपयोग करते हैं। प्रॉम्प्ट मॉडल को वाक्यों को अलग-अलग तथ्यात्मक कथनों में विभाजित करने का निर्देश देता है।

B. SCU एकत्रीकरण (Clustering)

विशिष्ट सूचना के महत्व को निर्धारित करने के लिए, यह फ्रेमवर्क एक ही दस्तावेज़ के लिए उत्पन्न किए गए सभी उम्मीदवार सारांशों में SCUs को एकत्रित करता है।

एम्बेडिंग (Embedding): वाक्य एनकोडर (all-mpnet-base-v2) का उपयोग करके SCUs को वेक्टर रिप्रजेंटेशन में परिवर्तित किया जाता है।
क्लस्टरिंग (Clustering): वेक्टर्स को HDBSCAN (Hierarchical Density-Based Spatial Clustering of Applications with Noise) का उपयोग करके क्लस्टर किया जाता है।
- HDBSCAN को इसलिए चुना गया क्योंकि यह पूर्व-निर्धारित क्लस्टर संख्या की आवश्यकता के बिना स्वचालित रूप से क्लस्टरों की संख्या निर्धारित कर सकता है और विभिन्न घनत्वों (densities) को संभाल सकता है।
- प्रत्येक क्लस्टर एक विशिष्ट सिमेंटिक अवधारणा (semantic concept) का प्रतिनिधित्व करता जो उम्मीदवार सारांशों में पाई जाती है।
कंसेंसस लॉजिक (सर्वसम्मति तर्क): एक क्लस्टर का आकार (उसमें शामिल SCUs की संख्या) विविध LLMs के बीच कंसेंसस (सर्वसम्मति) को दर्शाता है। एक बड़ा क्लस्टर यह संकेत देता है कि कई मॉडलों ने स्वतंत्र रूप से उस सूचना को महत्वपूर्ण माना है।

C. स्कोरिंग और रैंकिंग

प्रत्येक सारांश को उसमें मौजूद SCUs के आधार पर एक स्कोर दिया जाता है:

बेस स्कोर: एक व्यक्तिगत SCU का स्कोर उसके संबंधित क्लस्टर के आकार द्वारा परिभाषित किया जाता है ( $\phi(u_{i,j}) = \|C_k\|$ )|
सारांश स्कोर: एक सारांश का कुल स्कोर उसके घटक SCUs के स्कोर का योग है ( $\Phi(s_i)$ )।
लेंथ पेनल्टी (लंबाई दंड): यह सुनिश्चित करने के लिए कि लंबे सारांशों को कृत्रिम रूप से उच्च स्कोर न मिले, कुल स्कोर को सारांश के टोकन काउंट के वर्गमूल द्वारा सामान्यीकृत (normalize) किया जाता है:
$\Phi_{lp}(s_i) = \frac{\Phi(s_i)}{\sqrt{\|s_i\|}}$
रैंकिंग: इन समायोजित स्कोरों के आधार पर सारांशों को रैंक किया जाता है। इन रैंक किए गए सारांशों का उपयोग फिर BRIO फ्रेमवर्क में कंट्रास्टिव लर्निंग के लिए पॉजिटिव/नेगेटिव पेयर्स के रूप में किया जाता है।

3. प्रमुख योगदान (Key Contributions)

नया रैंकिंग फ्रेमवर्क: SCURank का परिचय, जो मूल्यांकन के फोकस को प्रत्यक्ष LLM तुलना से हटाकर SCUs के माध्यम से सूचना-केंद्रित रैंकिंग (information-centric ranking) पर स्थानांतरित करता है। यह LLM-आधारित युग्म तुलनाओं (pairwise comparisons) की अस्थिरता को दरकिनार करता है।
Multi-LLM डिस्टिलेशन रणनीति: यह शोध पत्र उम्मीदवार सारांश उत्पन्न करने के लिए कई विविध LLMs (9 अलग-अलग मॉडल) के उपयोग की जांच और पुष्टि करता है। यह दृष्टिकोण प्रशिक्षण डेटा की विविधता को बढ़ाता है और डिस्टिल्ड मॉडल की एब्स्ट्रैक्टिव (abstractive) क्षमताओं में सुधार करता है।
कंट्रास्टिव लर्निंग के साथ एकीकरण: लेखक सफलतापूर्वक SCURank को BRIO (BART with Ranking for Information Ordering) फ्रेमवर्क में एकीकृत करते हैं, जहाँ ROUGE-आधारित रैंकिंग को अधिक स्थिर सुपरविजन प्रदान करने के लिए SCURank से बदल दिया जाता है।
व्यापक मूल्यांकन: अध्ययन कई डेटासेट्स (CNN/DailyMail, XSum) और मूल्यांकन आयामों (स्वचालित मेट्रिक्स, मानव मूल्यांकन, और LLM-आधारित जज) में व्यापक अनुभवजन्य साक्ष्य प्रदान करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिंगल-LLM (BASE) और मल्टी-LLM (LLMs-9) डेटासेट्स का उपयोग करते हुए ROUGE, BERTScore, BLANC और GPTRank सहित बेसलाइन्स के विरुद्ध SCURank का मूल्यांकन किया।

स्वचालित मेट्रिक्स पर प्रदर्शन:
- SCURank ने दोनों CNN/DailyMail और XSum डेटासेट्स पर ROUGE-1/2/L, BLEURT, और BERTScore पर GPTRank और पारंपरिक मेट्रिक्स (ROUGE, BERTScore) को लगातार पछाड़ दिया।
- XSum डेटासेट (अत्यधिक एब्स्ट्रैक्टिव) पर, SCURank ने ROUGE-1, ROUGE-2 और BLEURT में सर्वश्रेष्ठ स्कोर प्राप्त किया।
स्थिरता विश्लेषण (Stability Analysis):
- GPTRank ने इनपुट ऑर्डर के प्रति उच्च संवेदनशीलता (पोजीशनल बायस) दिखाई; सारांश क्रम को बदलने पर इसका सहसंबंध (correlation) काफी गिर गया।
- SCURank ने उच्च स्थिरता (Krippendorff's $\alpha$ = 0.846) प्रदर्शित की, और इनपुट ऑर्डर के बावजूद मजबूत बनी रही क्योंकि यह प्रत्यक्ष LLM रैंकिंग के बजाय क्लस्टरिंग कंसेंसस पर निर्भर करती है।
मानव मूल्यांकन:
- Amazon Mechanical Turk के माध्यम से युग्म तुलना (pairwise comparisons) में, SCURank के साथ प्रशिक्षित सारांशों को पूर्णता (Completeness), संक्षिप्तता (Conciseness) और विश्वसनीयता (Faithfulness) के मामले में GPTRank की तुलना में प्राथमिकता दी गई।
- SCURank ने पूर्णता में सांख्यिकीय रूप से महत्वपूर्ण सुधार ( $p < 0.01$ ) दिखाया, जो बेहतर मुख्य सूचना प्रतिधारण (retention) को दर्शाता है।
एब्स्ट्रैक्टिव गुणवत्ता:
- Multiple LLMs से डिस्टिल्ड मॉडल ने सिंगल-LLM डिस्टिलेशन की तुलना में कम कवरेज (Coverage) और घनत्व (Density) स्कोर दिखाए, जो अधिक एब्स्ट्रैक्टिव (पैराफ्रेज्ड) सारांशों की ओर बदलाव का संकेत देते हैं, जो मानव लेखन शैली के करीब हैं।
LLMs के साथ तुलना:
- SCURank के साथ प्रशिक्षित डिस्टिल्ड BART मॉडल ने जनरेशन के लिए उपयोग किए गए शीर्ष 9 LLMs के औसत के बराबर, और कुछ मेट्रिक्स में उससे बेहतर प्रदर्शन किया।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र स्थापित करता है कि सारांश मॉडल को प्रशिक्षित करने के लिए प्रत्यक्ष LLM तुलना के बजाय सूचना-केंद्रित रैंकिंग (information-centric ranking) एक बेहतर विकल्प है। Summary Content Units के माध्यम से कई LLMs के कंसेंसस का लाभ उठाकर, SCURank एक स्थिर, मजबूत और अर्थपूर्ण सुपरविजन सिग्नल प्रदान करता है।

मुख्य निष्कर्ष:

स्थिरता: SCURank, LLM-आधारित रैंकिंग में निहित पोजीशनल बायस और असंगति की समस्याओं को हल करता है।
विविधता: उम्मीदवार जनरेशन के लिए कई LLMs का उपयोग करना डिस्टिल्ड मॉडल की एब्स्ट्रैक्टिव गुणवत्ता को महत्वपूर्ण रूप से बढ़ाता है।
व्यावहारिकता: यह फ्रेमवर्क छोटे भाषा मॉडलों (SLMs) को सारांकरण कार्यों में बड़े LLMs के समान प्रदर्शन स्तर प्राप्त करने की अनुमति देता है, जिससे उच्च-गुणवत्ता वाला सारांशीकरण अधिक संसाधन-कुशल हो जाता है।

SCURank का कोड सार्वजनिक रूप से उपलब्ध है, जो सूचना-आधारित मूल्यांकन और मल्टी-LLM डिस्टिलेशन में आगे के अनुसंधान को सुगम बनाता है।