Abstractiveness Metrics for Evaluating Text Summarization: A Refined Formulation with Empirical Validation
यह शोध पत्र टेक्स्ट सारांशों में अमूर्तता (abstraction) की डिग्री को मापने के लिए संदर्भ अमूर्तता (Reference Abstraction), सारांश अमूर्तता (Summary Abstraction) और अमूर्तता अनुपात (Abstraction Ratio) को सिद्धांतगत ह्यूरिस्टिक मेट्रिक्स के रूप में प्रस्तुत करता है, जो XSUM डेटासेट पर अनुभवजन्य सत्यापन के माध्यम से यह प्रदर्शित करता है कि ये माप निष्कर्षणत्मक (extractive) और अमूर्तकारी (abstractive) मॉडलों के बीच प्रभावी ढंग से अंतर करते हैं और संभावित मतिभ्रम (hallucinations) की पहचान करते हैं।