A comprehensive study of LLM-based argument classification: from Llama through DeepSeek to GPT-5.2
यह शोध पत्र तर्क वर्गीकरण कार्यों पर GPT-5.2, Llama 4 और DeepSeek सहित अत्याधुनिक लार्ज लैंग्वेज मॉडल्स का एक व्यापक मूल्यांकन प्रस्तुत करता है, जो यह प्रदर्शित करता है कि उन्नत प्रॉम्पटिंग रणनीतियाँ प्रदर्शन को महत्वपूर्ण रूप से बढ़ाती हैं और जटिल तर्कपूर्ण संरचनाओं को संभालने में व्यवस्थित विफलता मोड को प्रकट करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप बहुत बुद्धिमान, लेकिन कभी-कभी अत्यधिक शाब्दिक (literal) होने वाले रोबोटों के एक समूह को मानवीय तर्कों को समझना सिखाने की कोशिश कर रहे हैं। मूल रूप से यह शोध पत्र इसी के बारे में है।
शोधकर्ता यह देखना चाहते थे कि क्या आर्टिफिशियल इंटेलिजेंस के नवीनतम "सुपर-ब्रेन" (जिन्हें लार्ज लैंग्वेज मॉडल्स या LLMs कहा जाता है) आर्ग्युमेंट माइनिंग (Argument Mining) में कुशल हैं। सरल भाषा में इसका अर्थ है: क्या AI एक टेक्स्ट को पढ़कर यह पता लगा सकता है कि कौन किस बात के पक्ष में है, कौन उसके विरुद्ध है, और कौन ऐसी बात कह रहा है जिसका वास्तव में कोई तर्क नहीं है?
यहाँ उनके अध्ययन का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:
1. प्रतियोगी: AI "ओलंपियंस"
शोधकर्ताओं ने कई अलग-अलग AI मॉडल्स को एक-दूसरे के विरुद्ध मैदान में उतारा। इन्हें अलग-अलग प्रशिक्षण पृष्ठभूमि वाले एथलीटों के रूप में सोचें:
- हेवीवेट्स (GPT-5.2, Llama 4, DeepSeek): ये विशाल, महंगे या अत्यधिक जटिल मॉडल्स हैं। ये वर्षों के प्रशिक्षण वाले ओलंपिक स्वर्ण पदक विजेताओं की तरह हैं।
- अंडरडॉग्स (छोटे ओपन मॉडल्स): ये छोटे, मुफ्त में उपयोग किए जाने वाले मॉडल्स हैं। शोधकर्ता यह देखना चाहते थे कि क्या एक "लोकल जिम" का एथलीट "ओलंपिक" एथलीट को हरा सकता है।
2. अखाड़ा: डिबेट डेटासेट्स
AI का परीक्षण करने के लिए, उन्होंने वास्तविक मानवीय बहसों के दो विशाल पुस्तकालयों (UKP और Args.me) का उपयोग किया।
- UKP: यह इंटरनेट पर विवादास्पद विषयों (गर्भपात, गन कंट्रोल, मृत्युदंड) पर की गई गरमागरम टिप्पणियों के संग्रह की तरह है।
- Args.me: यह औपचारिक डिबेट क्लबों के ट्रांसक्रिप्ट की तरह है।
- कार्य: AI को एक वाक्य पढ़ना था और निर्णय लेना था: "क्या यह व्यक्ति विचार के पक्ष (For) में है? इसके विरुद्ध (Against) है? या क्या वे बस तर्क नहीं दे रहे (Not Arguing) हैं?"
3. कोचिंग रणनीतियाँ (प्रॉम्प्टिंग)
शोधकर्ताओं ने केवल AI से यह नहीं पूछा, "तुम क्या सोचते हो?" बल्कि उन्होंने पूछने के विभिन्न तरीके आजमाए, जैसे एक कोच अलग-अलग ड्रिल के माध्यम से सर्वश्रेष्ठ प्रदर्शन पाने की कोशिश करता है:
- चेन-ऑफ-थॉट (Chain-of-Thought): उन्होंने AI को बताया, "सिर्फ उत्तर मत दो। पहले अपना काम दिखाओ। यह समझाने से पहले कि तुम इसे तर्क क्यों मानते हो, कारण बताओ।" यह एक छात्र से उसके गणित के स्टेप्स दिखाने के लिए कहने जैसा है।
- पुनर्गठन (Rephrasing - mRAR): उन्होंने AI से कहा कि वह उत्तर देने से पहले प्रश्न को अपने शब्दों में दोबारा लिखे। यह एक वकील द्वारा अदालत जाने से पहले अपने क्लाइंट की कहानी को दोबारा दोहराने जैसा है ताकि यह सुनिश्चित हो सके कि वह समझ गया है।
- वोटिंग पैनल (The Voting Panel): एक ही AI से एक बार पूछने के बजाय, उन्होंने उसी AI से चार अलग-अलग तरीकों से, थोड़े अलग प्रश्नों के साथ पूछा। फिर, उन्होंने यह देखने के लिए "वोटिंग" आयोजित की कि बहुमत ने क्या कहा। यह चार जजों से एक जिम्नास्ट को स्कोर करने के लिए कहने और एक खराब कॉल से बचने के लिए औसत स्कोर लेने जैसा है।
4. परिणाम: कौन जीता?
- चैंपियन: GPT-5.2 (सबसे उन्नत प्रोप्राइटरी मॉडल) ने स्वर्ण पदक जीता। इसने इंटरनेट कमेंट्स पर लगभग 78% सटीकता और औपचारिक बहसों पर 92% सटीकता प्राप्त की।
- आश्चर्य: एक छोटा, ओपन-सोर्स मॉडल जिसे gpt-oss-120b कहा जाता है, उसने चैंपियन के लगभग बराबर प्रदर्शन किया! यह एक बड़ी खबर है क्योंकि इसका मतलब है कि आपको अच्छा तर्क विश्लेषण करने के लिए अरबों डॉलर के सुपरकंप्यूटर की आवश्यकता नहीं है; एक छोटा, सस्ता मॉडल भी आपको 95% तक पहुँचा सकता है।
- पैनल की शक्ति: "वोटिंग पैनल" रणनीति ने सभी के स्कोर को लगभग 2% से 8% तक बढ़ा दिया। इसने साबित कर दिया कि AI से कई बार पूछना और उत्तरों का औसत लेना उसे बहुत अधिक स्मार्ट बनाता है।
5. जहाँ वे लड़खड़ाए (द "हैलुसिनेशन")
सबसे अच्छे AI भी गलतियाँ करते हैं, और शोधकर्ताओं ने कुछ मजेदार (और निराशाजनक) पैटर्न पाए:
- "लिटरल रोबोट" की समस्या: यदि किसी वाक्य में संख्याएँ या तथ्य थे (जैसे, "एक अध्ययन ने X दिखाया"), तो AI अक्सर सोचता था, "ओह, यह तो बस एक तथ्य है, तर्क नहीं!" और उसने इसे अनदेखा कर दिया। लेकिन इंसान जानते हैं कि तथ्यों का उपयोग अक्सर तर्क का समर्थन करने के लिए किया जाता है।
- "लेकिन" (But) का भ्रम: इंसान "लेकिन" या "हालांकि" जैसे शब्दों का उपयोग वाक्य का अर्थ बदलने के लिए करते हैं। AI कभी-कभी वाक्य के पहले भाग से भ्रमित हो जाता था और भूल जाता था कि मुख्य बिंदु "लेकिन" के बाद आता है।
- विषय पूर्वाग्रह (Topic Bias): यदि विषय "मृत्युदंड" था, तो AI कभी-कभी मान लेता था कि कोई भी टिप्पणी इसके विरुद्ध है, सिर्फ इसलिए क्योंकि उसने अपने प्रशिक्षण डेटा में ऐसा देखा था। वह वास्तविक शब्दों को पढ़ने के बजाय विषय के आधार पर अनुमान लगा रहा था।
- "बॉर्डरलाइन" समस्या: कभी-कभी, डेटा को लेबल करने वाले इंसान भी भ्रमित थे! शोधकर्ताओं ने पाया कि लगभग आधे मामलों में जहाँ AI "विफल" हुआ, वहां मानवीय लेबल वास्तव में अस्पष्ट था। AI सही हो सकता था, लेकिन मानवीय लेबल गलत था।
6. बड़ा निष्कर्ष
यह अध्ययन हमें तीन मुख्य बातें बताता है:
- AI तर्क समझने में बहुत अच्छा होता जा रहा है, लेकिन यह अभी भी पूर्ण नहीं है। यह अभी भी व्यंग्य (sarcasm), जटिल वाक्य संरचनाओं और सूक्ष्म संकेतों के साथ संघर्ष करता है।
- जीतने के लिए आपको सबसे बड़े मॉडल की आवश्यकता नहीं है। छोटे, स्मार्ट मॉडल्स, जब उन्हें अच्छी तरह से कोचिंग दी जाती है (वोटिंग और पुनर्गठन का उपयोग करके), तो वे महंगे दिग्गजों के लगभग बराबर प्रदर्शन कर सकते हैं।
- डेटा परफेक्ट नहीं है। कभी-कभी, "ग्राउंड ट्रुथ" (सही उत्तर) धुंधला होता है। हमें AI को यह सिखाने के बेहतर तरीके चाहिए कि वह मानवीय बहस के ग्रे एरिया (धुंधले क्षेत्रों) को कैसे संभाले, न कि केवल ब्लैक-एंड-व्हाइट तथ्यों को।
संक्षेप में: हमने कई एआईएस को डिबेट जज बनने की ट्रेनिंग दी। सबसे स्मार्ट वाला जीता, लेकिन छोटे मॉडल्स ने भी आश्चर्यजनक रूप से अच्छा प्रदर्शन किया जब उन्हें वोटिंग के लिए एक टीम दी गई। हालांकि, वे अभी भी व्यंग्य, जटिल "लेकिन" वाले वाक्यों और कभी-कभी केवल विषय के आधार पर अनुमान लगाने में लड़खड़ा जाते हैं। हमें उन्हें शब्दों के बीच के अर्थ को पढ़ना सिखाना जारी रखना होगा!
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।