Evaluating LLM-Driven Summarisation of Parliamentary Debates with Computational Argumentation

यहाँ शोध पत्र "Evaluating LLM-Driven Summarisation of Parliamentary Debates with Computational Argumentation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

संसदीय बहसें जटिल सामग्री की विशाल मात्रा उत्पन्न करती हैं जिसे नागरिकों और शोधकर्ताओं के लिए समझना कठिन होता है। जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) बड़े पैमाने पर इन बहसों का सारांश (summarization) स्वचालित कर सकते हैं, वर्तमान मूल्यांकन विधियाँ पाठ की विश्वसनीयता (faithfulness) या तथ्यात्मक निरंतरता को, विशेष रूप से तर्कपूर्ण संरचना (argumentative structure) के संदर्भ में, आंकने में विफल रहती हैं।

• मौजूदा मेट्रिक्स की सीमाएँ: पारंपरिक मेट्रिक्स जैसे ROUGE (लेक्सिकल ओवरलैप) और BERTScore (सिमेंटिक समानता) मानवीय निर्णयों के साथ खराब सहसंबंध दिखाते हैं। वे अक्सर उन सारांशों को पुरस्कृत करते हैं जो अर्थपूर्ण रूप से समान तो होते हैं लेकिन तर्कपूर्ण रूप से विकृत होते हैं।
• मुख्य चुनौती: एक औपचारिक, व्याख्या योग्य ढांचे का अभाव है जो यह निर्धारित कर सके कि क्या LLM-जनित सारांश बहस के भीतर विशिष्ट नीतिगत परिणामों (provisions) को न्यायसंगत बनाने या विरोध करने के लिए उपयोग किए गए तर्क (reasoning) को निष्ठापूर्वक संरक्षित करता है।

2. कार्यप्रणाली (Methodology)

लेखक एक नवीन मूल्यांकन ढांचा प्रस्तावित करते हैं जो कंप्यूटेशनल आर्गुमेंटेशन (Computational Argumentation) पर आधारित है, विशेष रूप से क्वांटिटेटिव बाइपोलर आर्गुमेंटेशन फ्रेमवर्क्स (QBAFs) का उपयोग करता है।

अ. औपचारिक प्रतिनिधित्व (QBAF)

लेखक संसदीय बहसों को QBAFs के रूप में मॉडल करते हैं, जिसे $\langle X, A, S, \tau \rangle$ के चतुर्भुज (quadruple) के रूप में परिभाषित किया गया है:

• $X$ (तर्क/Arguments): इन्हें प्रस्ताव तर्क ($X_p$), जो बहस की जा रही विशिष्ट नीतिगत प्रावधानों का प्रतिनिधित्व करते हैं, और भाषण तर्क ($X_s$), जो वक्ताओं द्वारा दिए गए कथनों का प्रतिनिधित्व करते हैं, में विभाजित किया गया है।
• $A$ (आक्रमण/Attacks) और $S$ (समर्थन/Support): बाइनरी संबंध जहाँ भाषण तर्क अन्य भाषण तर्कों या प्रस्ताव तर्कों पर आक्रमण करते हैं या उनका समर्थन करते हैं।
• $\tau$ (आधार स्कोर/Base Scores): प्रस्ताव तर्कों को एक तटस्थ आधार स्कोर (0.5) दिया जाता है ताकि हमलों और समर्थनों का संतुलन अंतिम शक्ति निर्धारित कर सके। भाषण तर्कों के पास ट्यून करने योग्य आधार स्कोर (जैसे, 0.2) होते हैं।
• सिमेंटिक्स (Semantics): ढांचा हमलों और समर्थनों के नेटवर्क के आधार पर तर्कों की अंतिम शक्ति ($\sigma$) की गणना करने के लिए DF-QuaD ग्रेडुअल सिमेंटिक्स का उपयोग करता है, जो 0 से 1 के बीच होती है।

ब. मूल्यांकन गुण (Evaluation Properties)

यह ढांचा एक सारांश ($Q^*$) का मूल बहस ($Q$) के विरुद्ध पाँच औपचारिक गुणों का उपयोग करके मूल्यांकन करता है। ये गुण यह मापते हैं कि सारांश तर्कपूर्ण तर्क को कितनी अच्छी तरह संरक्षित करता है:

1. भाषण तर्क प्रासंगिकता (Speech Argument Relevance): उन भाषण तर्कों के अनुपात को मापता है जो कम से कम एक प्रस्ताव तर्क से जुड़े हैं (यह सुनिश्चित करना कि तर्क निराधार न रह जाएँ)।
2. पक्ष-विपक्ष अनुपात (Pro-Con Ratio): यह जाँचता है कि क्या किसी विशिष्ट प्रस्ताव के लिए समर्थक बनाम हमलावर तर्कों का अनुपात संरक्षित है।
3. d-Preferability निरंतरता (d-Preferability Consistency): एक युग्मवार (pairwise) गुण जो यह जाँचता है कि क्या प्रस्ताव तर्कों की "स्वीकार्यता स्थिति" (d-preferred extensions के आधार पर) स्रोत और सारांश के बीच सुसंगत बनी हुई है।
4. संतुलन निरंतरता (Balance Consistency): एक क्रमिक गुण जो जाँचता है कि क्या वे प्रस्ताव तर्क जिनका शुद्ध समर्थन ($>0.5$) या शुद्ध विरोध ($<0.5$) था, सारांश में भी वही स्थिति बनाए रखते हैं।
5. $\epsilon$-सटीकता ($\epsilon$-Accuracy): एक सख्त गुण जो यह मापता है कि सारांश में प्रस्ताव तर्कों की गणना की गई शक्ति मूल के $\epsilon$ त्रुटि मार्जिन के भीतर है या नहीं।

स. प्रयोगात्मक सेटअप (Experimental Setup)

• डेटासेट: तीन यूरोपीय संसद (EP) बहसों (2006-2008) से 511 तर्क।
• आर्ग्युमेंट माइनिंग (Argument Mining): वाक्यों के बीच आक्रमण/समर्थन संबंधों की पहचान करने के लिए रिलेशन-बेस्ड आर्ग्युमेंट माइनिंग (ARC) का उपयोग किया गया।
  • ARC के लिए चार LLMs (Claude Sonnet 4.5, Claude Haiku 4.5, Qwen3, Llama 3.1) का मूल्यांकन किया गया।
  • निष्कर्ष: इस विशिष्ट डोमेन के लिए बड़े रीजनिंग मॉडल्स (Claude Sonnet/Haiku) ने छोटे फाइन-ट्यून्ड मॉडल्स की तुलना में बेहतर प्रदर्शन किया।
• तुलना: प्रस्तावित QBAF मेट्रिक्स की तुलना LLM-जनित सारांशों पर मानक NLP मेट्रिक्स (ROUGE, BERTScore, Sentence-NLI) के विरुद्ध की गई।

3. मुख्य योगदान (Key Contributions)

1. विश्वसनीयता के लिए औपचारिक ढांचा: सामान्य पाठ समानता के बजाय विवादित नीतिगत परिणामों पर आधारित सारांश मूल्यांकन के लिए एक विधि पेश की। यह ध्यान को "क्या यह सही लगता है?" से हटाकर "क्या यह बहस के तर्क को संरक्षित करता है?" पर केंद्रित करता है।
2. पाँच औपचारिक गुण: विशिष्ट, मात्रात्मक मेट्रिक्स (प्रासंगिकता, पक्ष-विपक्ष अनुपात, निरंतरता, संतुलन, सटीकता) को परिभाषित किया जो तर्कपूर्ण विरूपण के सूक्ष्म मूल्यांकन की अनुमति देते हैं।
3. मेट्रिक विफलता का प्रदर्शन: दिखाया कि पारंपरिक मेट्रिक्स (ROUGE/BERTScore) ऐसे सारांशों के लिए उच्च स्कोर दे सकते हैं जो मौलिक रूप से तर्कपूर्ण संतुलन को गलत तरीके से प्रस्तुत करते हैं (जैसे, एक विवादास्पद मुद्दे को सर्वसम्मति में बदलना)।
4. स्केलेबल आर्ग्युमेंट माइनिंग: यह प्रमाणित किया कि आधुनिक LLMs जटिल राजनीतिक ग्रंथों से तर्क संबंधों को प्रभावी ढंग से खोज सकते हैं, जहाँ ज़ीरो-शॉट बड़े मॉडल सामान्य ARC डेटासेट पर फाइन-ट्यून किए गए छोटे मॉडल्स की तुलना में बेहतर प्रदर्शन करते हैं।

4. परिणाम (Results)

• आर्ग्युमेंट माइनिंग प्रदर्शन:
  • Claude Sonnet 4.5 ने ज़ीरो-शॉट सेटिंग्स में उच्चतम सटीकता (0.74) और F1 (0.78) प्राप्त की।
  • Llama 3.1 (fine-tuned) का प्रदर्शन खराब रहा (0.21 सटीकता), जो यह दर्शाता कि सामान्य ARC डेटासेट्स पर डोमेन-विशिष्ट फाइन-ट्यूनिंग बिना विशिष्ट अनुकूलन के जटिल राजनीतिक बहसों में स्थानांतरित नहीं होती है।
• सारांश मूल्यांकन:
  • पारंपरिक मेट्रिक्स: उच्च सिमेंटिक सुसंगतता (उच्च BERTScore, NLI) लेकिन निम्न लेक्सिकल ओवरलैप (कम ROUGE) दिखाई, जो सफल एब्स्ट्रैक्शन का संकेत है। हालाँकि, वे अलग-अलग तर्कपूर्ण गुणवत्ता वाले सारांशों के बीच अंतर करने में विफल रहे।
  • प्रस्तावित QBAF मेट्रिक्स: महत्वपूर्ण तर्कपूर्ण विश्वसनीयता में गिरावट को प्रकट किया:
    • पक्ष-विपक्ष संतुलन: LLM सारांश अक्सर साक्ष्य के संतुलन को बनाए रखने में विफल रहे (उदाहरण के लिए, Haiku सारांशों ने स्रोत के 0.83 के मुकाबले 0.05 का पक्ष-विपक्ष अनुपात दिखाया)।
    • शक्ति विरूपण (Strength Distortion): मूल बहस में विवादास्पद ($\approx 0.5$ शक्ति) प्रमुख प्रस्तावों को अक्सर सारांशों में अत्यधिक समर्थित ($\gg 0.5$ शक्ति) के रूप में प्रस्तुत किया गया।
    • सटीकता: $\epsilon$-सटीकता गुण ने दिखाया कि सारांश शायद ही कभी तर्कों की सटीक शक्ति को बनाए रखते थे (स्कोर 0.00 से 0.52 के बीच थे)।
  • मॉडल तुलना: बड़े मॉडल (Claude Sonnet) ने सभी तर्कपूर्ण गुणों में छोटे मॉडल (Claude Haiku) की तुलना में लगातार बेहतर प्रदर्शन किया, हालांकि दोनों ही सटीक शक्ति संरक्षण में संघर्ष करते रहे।

5. महत्व (Significance)

• लोकतांत्रिक पारदर्शिता: यह ढांचा यह सुनिश्चित करने के लिए एक उपकरण प्रदान करता है कि संसदीय बहसों के स्वचालित सारांश अनजाने में तर्कों के संतुलन को विकृत करके सार्वजनिक धारणा को पक्षपाती न बना दें।
• सिमेंटिक समानता से परे: यह स्थापित करता है कि तर्कपूर्ण ग्रंथों के लिए, सिमेंटिक समानता अपर्याप्त है; तर्क की संरचना को संरक्षित किया जाना चाहिए।
• भविष्य की दिशा: यह पत्र "तर्कपूर्ण विश्वसनीयता" (Argumentative Faithfulness) को कानूनी, राजनीतिक और नीतिगत डोमेन में LLMs के लिए एक मानक मूल्यांकन मेट्रिक के रूप में स्थापित करने की नींव रखता है। यह सुझाव देता है कि भविष्य के कार्यों को चूक (omissions) और मतिभ्रम (hallucinations) का अधिक सटीक रूप से पता लगाने के लिए स्रोत और सारांश के बीच विशिष्ट भाषण तर्कों को मिलाने पर ध्यान केंद्रित करना चाहिए।

निष्कर्षतः, यह शोध पत्र तर्क देता है कि बिना औपचारिक तर्क-आधारित मूल्यांकन के, संसदीय बहसों के LLM सारांश "विश्वसनीय लगने वाले लेकिन भ्रामक" होने का जोखिम उठाते हैं, और इन विकृतियों को पहचानने और मापने के लिए एक कठोर गणितीय ढांचा प्रस्तावित करता है।