CAF-Gen: A Multi-Agent System for Enriching Argumentation Structures

तकनीकी सारांश: CAF-Gen

समस्या विवरण
यह शोध पत्र वर्तमान तर्क खनन (Argument Mining - AM) तकनीकों की एक महत्वपूर्ण सीमा को संबोधित करता है: जबकि वे बुनियादी दावों, आधारों (premises) और सरल समर्थन/आक्रमण संबंधों को प्रभावी ढंग से पहचानते हैं, वे उन्नत औपचारिक तर्क ढांचे (formal argumentation frameworks) के लिए आवश्यक समृद्ध संरचनात्मक जानकारी को पकड़ने में संघर्ष करते हैं। विशेष रूप से, मानक AM आउटपुट कार्नेडेस तर्क ढांचे (Carneades Argumentation Framework - CAF) जैसे ढांचों के लिए आवश्यक अर्थ संबंधी गहराई की कमी रखते हैं, जिसके लिए विशिष्ट आधार प्रकारों (जैसे, साधारण आधार, धारणाएं, अपवाद), प्रमाण मानकों (proof standards) और स्पष्ट तर्क योजनाओं (argument schemes - जैसे, वॉल्टन का वर्गीकरण) की आवश्यकता होती है। इसके अलावा, ऐसे ढांचों का अनुप्रयोग जटिल संरचनाओं का समर्थन करने वाले एनोटेटेड कॉर्पा (annotated corpora) की कमी के कारण बाधित होता है। यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) प्राकृतिक भाषा प्रसंस्करण में आशाजनक दिख रहे हैं, एकल-पास जनरेशन (single-pass generation) अक्सर औपचारिक तर्क के सख्त तार्किक प्रतिबंधों का पालन करने में विफल रहता है, जिससे मतिभ्रम (hallucinations) और संरचनात्मक अस्थिरता उत्पन्न होती है।

कार्यप्रणाली: CAF-Gen फ्रेमवर्क
उथले तर्क एनोटेशन और कठोर CAF-अनुपालन मॉडलों के बीच के अंतर को पाटने के लिए, लेखक CAF-Gen नामक एक स्वचालित मल्टी-एजेंट सिस्टम पेश करते हैं। यह फ्रेमवर्क UKP आर्ग्युमेंट एनोटेटेड एसेज v2 कॉर्पस पर कार्य करता है, जो बुनियादी तर्क ग्राफों को एक पुनरावृत्ति (iterative) क्रिएटर-रिव्यूअर पाइपलाइन के माध्यम से समृद्ध CAF संरचनाओं में परिवर्तित करता है:

1. कार्य सूत्रीकरण (Task Formulation): सिस्टम इस समस्या को एक संरचना-संरक्षण ग्राफ रूपांतरण (structure-preserving graph transformation) के रूप में मानता है। यह एक स्रोत ग्राफ ($G_{src}$) को, जिसमें बुनियादी घटक (प्रमुख दावे, दावे, आधार) और संबंध (समर्थन, आक्रमण) शामिल हैं, एक लक्ष्य CAF ग्राफ ($G_{CAF}$) में मैप करता है। लक्ष्य ग्राफ नोड्स को स्टेटमेंट प्रकारों और प्रमाण मानकों के साथ समृद्ध करता है, और किनारों (edges) को तर्क योजनाओं और ध्रुवीयता (polarity) के साथ।
2. क्रिएटर एजेंट (The Creator Agent): यह जेनेरेटिव एजेंट कॉर्पस से एक इकाई लेता है और एक संभावित CAF प्रविष्टि का निर्माण करता है। इसके उप-कार्यों में शामिल हैं:
   • घटकों को CAF कथनों (statements) से मैप करना (जैसे, प्रमुख दावों को निष्कर्षों से मैप करना)।
   • कथन प्रकारों को वर्गीकृत करना (साधारण आधार, धारणा, अपवाद)।
   • प्रमाण मानकों को सौंपना (जैसे, साक्ष्य का अंश [Scintilla of Evidence], साक्ष्य का प्रबलता [Preponderance of Evidence])।
   • वॉल्टन के वर्गीकरण से तर्क योजनाओं की पहचान करना।
3. रिव्यूअर एजेंट (The Reviewer Agent): एक आलोचक के रूप में कार्य करते हुए, यह एजेंट अखंडता, पाठ्य सामंजस्य (textual coherence) और पूर्णता की एक चेकलिस्ट के विरुद्ध क्रिएटर के आउटपुट का मूल्यांकन करता है। यह संरचनात्मक विसंगतियों, गलत योजना चयन, या छूटे हुए क्षेत्रों जैसे मुद्दों को चिह्नित करता है।
4. पुनरावृत्ति परिशोधन (Iterative Refinement): यदि रिव्यूअर मॉडल को (त्रुटियों या चेतावनियों के कारण) अस्वीकार कर देता है, तो वह विशिष्ट फीडबैक प्रदान करता है, और क्रिएटर मॉडल को संशोधित करता है। यह चक्र तब तक चलता रहता है जब तक कि मॉडल को स्वीकार नहीं कर लिया जाता या एक पूर्व-निर्धारित पुनरावृत्ति सीमा (पाँच चक्र) तक नहीं पहुँच जाता। सिस्टम स्कीमा के प्रति नियत पालन सुनिश्चित करने के लिए कम तापमान (0.1) के साथ Google के Gemini 2.5 Pro मॉडल का उपयोग करता है।

मुख्य योगदान

• स्वचालित संवर्धन (Automated Enrichment): एक मल्टी-एजेंट फ्रेमवर्क का परिचय जो बिना किसी पूर्व-मौजूदा एनोटेटेड कॉर्पस के, उथले तर्क संरचनाओं को जटिल, CAF-अनुपालन मॉडलों में स्वचालित रूप से समृद्ध करने में सक्षम है।
• पुनरावृत्ति गुणवत्ता आश्वासन (Iterative Quality Assurance): औपचारिक तर्क के लिए विशेष रूप से अनुकूलित एक पुनरावृत्ति क्रिएटर-रिव्यूअर पाइपलाइन का सत्यापन। यह दृष्टिकोण सामूहिक बुद्धिमत्ता का अनुकरण करके आउटपुट को परिष्कृत करके एकल-पास LLM जनरेशन की विशिष्ट संरचनात्मक अस्थिरता को कम करता है।
• आधारित रूपांतरण (Grounded Transformation): एक ऐसी कार्यप्रणाली जो यह सुनिश्चित करती है कि समृद्ध मॉडल मूल इनपुट संरचना में आधारित रहें, जिससे आवश्यक तार्किक गुणों को जोड़ते समय अन-ग्राउंडेड नोड्स या किनारों के प्रवेश को रोका जा सके।

प्रायोगिक परिणाम
सिस्टम का मूल्यांकन पूर्ण UKP आर्ग्युमेंट एनोटेटेड एसेज v2 कॉर्पस (402 निबंध) पर किया गया।

• परिशोधन प्रभावशीलता (Q1): पुनरावृत्ति प्रक्रिया आवश्यक सिद्ध हुई। प्रथम-पास स्वीकृति दर (First-Pass Acceptance Rate) केवल 34.6% थी, लेकिन परिशोधन के बाद, अंतिम स्वीकृति दर (Final Acceptance Rate) बढ़कर 91.3% हो गई। स्वीकृत निबंध के लिए औसत पुनरावृत्ति संख्या 2.35 थी। रिव्यूअर द्वारा चिह्नित सबसे सामान्य मुद्दे संरचनात्मक विसंगतियाँ (44.7%) और अनुपयुक्त तर्क योजना चयन (38.9%) थे।
• संरचनात्मक निष्ठा (Structural Fidelity) (Q2): यह मापने के लिए कि समृद्ध मॉडल मूल तर्क संरचना को कितनी अच्छी तरह संरक्षित करते हैं, आउटपुट को वापस स्रोत स्कीमा में प्रोजेक्ट किया गया।
  • घटक पहचान (Component Identification): इसने 99.8% प्रिसिजन (Precision), 98.8% रिकॉल (Recall) और 99.3% F1-स्कोर प्राप्त किया।
  • संबंध पहचान (Relation Identification): इसने 99.1% रिकॉल प्राप्त किया लेकिन कम 67.1% प्रिसिजन (F1-स्कोर: 80.0%) प्राप्त किया। लेखक नोट करते हैं कि कम प्रिसिजन यह दर्शाता है कि सिस्टम न केवल मूल संबंधों को संरक्षित करता है, बल्कि सक्रिय रूप से नए कनेक्शन भी जोड़ता है जो मूल पाठ में निहित (implicit) थे।

महत्व और दावे
पेपर का दावा है कि CAF-Gen औपचारिक तर्क के स्वचालित मॉडलिंग के लिए एक मजबूत कार्यप्रणाली प्रदर्शित करता है। प्राथमिक महत्व इस बात में निहित है कि मल्टी-एजेंट सिस्टम एकल-पास जनरेशन की सीमाओं को पार कर सकते हैं, जो फीडबैक लूप के माध्यम से आउटपुट की गुणवत्ता में उल्लेखनीय सुधार करते हैं। लेखक जोर देते हैं कि उनका सिस्टम सफलतापूर्वक मूल संरचना में बंधा रहता है और बिना किसी विनाशकारी व्यवहार के आवश्यक तार्किक गुणों को जोड़ता है।

यह कार्य सुझाव देता है कि जेनरेटेड मॉडलों की संरचनात्मक अखंडता और अर्थ संबंधी समृद्धि सुनिश्चित करने के लिए ऐसा मल्टी-एजेंट सहयोग महत्वपूर्ण है, जो एक ऐसा कार्य है जिसे पहले मानव-स्तर के निर्णय की आवश्यकता वाला माना जाता था। प्राकृतिक भाषा तर्क को औपचारिक तर्क स्कीमा से जोड़कर, यह शोध कानूनी तर्क और शैक्षणिक बहस जैसे सटीक डोमेन के लिए बुद्धिमान प्रणालियों के विकास में योगदान देता है। लेखक जटिल संरचनाओं के लिए पूर्ण शुद्धता (absolute correctness) के संबंध में विनम्र हैं (ग्राउंड ट्रुथ की कमी के कारण), लेकिन इस बात पर जोर देते हैं कि सिस्टम विश्वसनीय रूप से अंतर्निहित तर्क संरचनाओं का सम्मान करता है।