💬 NLP

Validating Political Position Predictions of Arguments

यह शोध पत्र पॉइंटवाइज़ (pointwise) और पेयरवाइज़ (pairwise) मानव एनोटेशन को संयोजित करने वाले एक द्वि-स्तरीय सत्यापन ढांचे को प्रस्तुत करता है जो भाषा मॉडलों द्वारा राजनीतिक रुख के पूर्वानुमानों को प्रभावी ढंग से मूल्यांकित करता है, यह प्रदर्शित करते हुए कि जबकि व्यक्तिगत भविष्यवाणियां व्यक्तिपरक होती हैं, उनसे प्राप्त क्रमिक रैंकिंग (ordinal rankings) मानव निर्णयों के साथ उच्च संरेखण प्राप्त करती है और राजनीतिक विमर्श के लिए एक बड़े पैमाने पर, सत्यापित तर्कसंगत ज्ञान आधार के निर्माण को सक्षम बनाती है।

मूल लेखक: Jordan Robinson, Angus R. Williams, Katie Atkinson, Anthony G. Cohn

प्रकाशित 2026-02-23

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Jordan Robinson, Angus R. Williams, Katie Atkinson, Anthony G. Cohn

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप राजनीतिक बहसों के एक विशाल पुस्तकालय को व्यवस्थित करने की कोशिश कर रहे हैं। आप राजनेताओं द्वारा बोले गए हर एक वाक्य को एक विशाल "बाएं-से-दाएं" (Left-to-Right) राजनीतिक स्पेक्ट्रम पर छाँटना चाहते हैं।

समस्या: "पूर्णता" का जाल (The "Absolute" Trap)
इस शोध पत्र के लेखकों ने महसूस किया कि इंसानों (या कंप्यूटरों) से यह पूछना कि, "1 से 100 के पैमाने पर, यह वाक्य कितना 'वामपंथी' (Left-wing) है?" एक बहुत ही बुरा विचार है। यह किसी से बिना थर्मामीटर के कॉफी के कप का सटीक तापमान बताने को कहने जैसा है। लोग पूर्ण संख्याओं के मामले में खराब होते हैं; वे भ्रमित हो जाते हैं, असंगत हो जाते हैं, और इस बात पर बहस करने लगते हैं कि क्या कोई वाक्य "42" है या "43"।

हालांकि, इंसान तुलना करने में बेहतरीन होते हैं। यदि आप उनसे पूछते हैं, "क्या यह वाक्य उस वाक्य की तुलना में अधिक 'वामपंथी' है?" तो वे इसका उत्तर लगभग तुरंत और उच्च सहमति के साथ दे सकते हैं। यह पूछने जैसा है, "क्या यह कॉफी उस चाय से अधिक गर्म है?" हर कोई तुरंत इस पर सहमत हो जाता है।

समाधान: दो-चरणीय नृत्य (A Two-Step Dance)
शोधकर्ताओं ने इस समस्या को हल करने के लिए एक "दोहरी-पैमाने" (Dual-Scale) वाली प्रणाली बनाई। इसे एक दो-चरणीय नृत्य की तरह समझें:

चरण 1: त्वरित स्कैन (पॉइंटवाइज/Pointwise)। उन्होंने 22 अलग-अलग AI मॉडल (जैसे 22 अलग-अलग विशेषज्ञ पुस्तकालयाध्यक्ष) का उपयोग किया जो हजारों वाक्यों को जल्दी से स्कैन करके उन्हें एक मोटा "बाएं-दाएं" स्कोर दे सकें। यह तेज़ और बड़े पैमाने पर किया जा सकने वाला है, लेकिन इसमें अव्यवस्था हो सकती है।
चरण 2: आमने-सामने की टक्कर (पेयरवाइज/Pairwise)। यह जांचने के लिए कि क्या AI वास्तव में सही था, उन्होंने इंसानों से स्कोर नहीं पूछा। इसके बजाय, उन्होंने इंसानों को वाक्यों के जोड़े दिखाए और पूछा, "कौन सा अधिक 'वामपंथी' है?" यह "स्वर्ण मानक" (Gold Standard) है क्योंकि यह हमारे मस्तिष्क के काम करने के स्वाभाविक तरीके से मेल खाता है।

प्रयोग: "क्वेश्चन टाइम" लाइब्रेरी
उन्होंने ब्रिटिश टीवी शो के प्रसिद्ध कार्यक्रम Question Time के 30 एपिसोड लिए (जहाँ राजनेता मंच पर बहस करते हैं)। उन्होंने हर एक तर्क को छोटे-छोटे टुकड़ों में तोड़ दिया (23,000 से अधिक टुकड़े)।

उन्होंने 22 अलग-अलग AI मॉडल से इन तर्कों को स्कोर करने के लिए कहा।
उन्होंने 1,500 से अधिक मानव श्रमिकों से "आमने-सामने" (Head-to-Head) की तुलना करने के लिए कहा।

बड़ी खोज
यहाँ जादू वाला हिस्सा है:

जब उन्होंने कच्चे स्कोर (वे "1 से 100" वाले अनुमान) को देखा, तो AI और इंसान बहुत अच्छी तरह से सहमत नहीं थे। यह दो लोगों द्वारा पत्थर का वजन अनुमान लगाने जैसा था; दोनों ही गलत थे।
लेकिन, जब उन्होंने क्रम (Order) को देखा (कि कौन किससे अधिक वामपंथी है), तो AI आश्चर्यजनक रूप से अच्छा था! AI ने राजनीतिक स्पेक्ट्रम के आकार को समझ लिया था, भले ही वह सटीक संख्या न बता सका हो।

अध्ययन ने पाया कि यदि हम उन "भ्रमित करने वाले" तर्कों को हटा दें (जिन पर इंसान भी सहमत नहीं हो पाते), तो AI का रैंकिंग अत्यंत सटीक हो जाता है। यह कहने जैसा है कि, "AI को सटीक तापमान का पता नहीं चल सकता है, लेकिन वह निश्चित रूप से जानता है कि उबलते पानी का तापमान बर्फ के पानी से अधिक होता है।"

यह क्यों महत्वपूर्ण है
यह शोध पत्र हमें एक नया उपकरण देता है: एक राजनीतिक ज्ञान ग्राफ (Political Knowledge Graph)।
एक विशाल मानचित्र की कल्पना करें जहाँ हर तर्क एक शहर है, और सड़कें जो दिखाती हैं कि कौन किसका समर्थन करता है और कौन किस पर हमला करता है। अब, यह मानचित्र रंग-कोडित (Color-coded) भी है जो राजनीतिक झुकाव को दर्शाता है।

यह निम्नलिखित कार्यों की अनुमति देता है:

बेहतर खोज इंजन (Search Engines): आप कंप्यूटर से पूछ सकते हैं, "मुझे वे सभी तर्क ढूंढ कर दें जो वामपंथ का समर्थन करते हैं, लेकिन X की विशिष्ट नीति पर हमला करते हैं," और वह सूक्ष्मता को समझ जाएगा।
पूर्वाग्रह को समझना: हम देख सकते हैं कि राजनीतिक पूर्वाग्रह एक तर्क के माध्यम से, वाक्य-दर-वाक्य, कैसे फैलता है, न कि केवल यह अनुमान लगाकर कि बोलने वाला कौन है।
AI व्यक्तित्व (AI Personas): हम विशिष्ट राजनीतिक दृष्टिकोण से लगातार तर्क देने वाले AI पात्र बना सकते हैं, क्योंकि हमारे पास अंततः इस बात का विस्तृत मानचित्र है कि वह दृष्टिकोण वास्तव में कैसा दिखता है।

संक्षेप में
यह शोध पत्र सिद्ध करता है कि जबकि AI (और इंसान) सटीक राजनीतिक संख्या बताने में खराब हैं, वे राजनीतिक विचारों के सापेक्ष क्रम (Relative Order) को समझने में उत्कृष्ट हैं। तेज़ AI अनुमानों को मानवीय तुलनाओं के साथ जोड़कर, हम राजनीतिक विमर्श का एक अत्यधिक सटीक, संरचित मानचित्र बना सकते हैं जो पहले असंभव था।

यहाँ रोबिन्सन और अन्य द्वारा लिखित शोध पत्र "Validating Political Position Predictions of Arguments" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र बड़े पैमाने पर, पॉइंटवाइज (pointwise) भविष्यवाणियों को मान्य करने की चुनौती को संबोधित करता है जो कि 'लार्ज लैंग्वेज मॉडल्स' (LLMs) द्वारा विषयगत निरंतर चरों (subjective continuous variables), विशेष रूप से तर्कपूर्ण विमर्श में राजनीतिक स्थितियों के संबंध में की जाती हैं।

मुख्य संघर्ष: पारंपरिक मानव मूल्यांकन युग्म सत्यापन (pairwise validation - दो वस्तुओं की तुलना करना) पर निर्भर करता है, जो मानव संज्ञानात्मक शक्तियों के अनुरूप है लेकिन यह गणनात्मक रूप से महंगा ( $O(n^2)$ ) है। पॉइंटवाइज एनोटेशन (एक एकल वस्तु को एक पूर्ण स्कोर प्रदान करना) स्केलेबल ( $O(n)$ ) है, लेकिन निरंतर पैमानों पर सटीक रूप से कार्य करने के लिए मनुष्यों के लिए संज्ञानात्मक रूप से कठिन है, जिससे इंटर-एनोटेटर सहमति (inter-annotator agreement) कम हो जाती है।
अंतराल (The Gap): मौजूदा राजनीतिक तर्क खनन (argumentation mining) संसाधनों में बड़े पैमाने पर, संरचित डेटा का अभाव है जो तर्कों की संरचना (आधार, निष्कर्ष, आक्रमण) और उनकी राजनीतिक स्थिति को एक निरंतर स्पेक्ट्रम पर संयुक्त रूप से प्रदर्शित करता हो। वर्तमान दृष्टिकोण अक्सर श्रेणीबद्ध लेबल या समग्र पाठ-स्तरीय स्कोर पर निर्भर करते हैं, जिससे सूक्ष्म, परमाणु-स्तर (atom-level) की राजनीतिक स्थिति छूट जाती है।

2. कार्यप्रणाली (Methodology)

लेखक LLM भविष्यवाणियों को मान्य करने के लिए पॉइंटवाइज और पेयरवाइज मानव एनोटेशन को संयोजित करने वाला एक दोहरे-पैमाने वाला सत्यापन ढांचा (dual-scale validation framework) प्रस्तावित करते हैं।

A. ज्ञान आधार निर्माण (Knowledge Base Construction)

डेटा स्रोत: यूके (UK) के राजनीतिक टीवी शो 'क्वेश्चन टाइम' (Question Time) के 30 एपिसोड, जिन्हें पहले तर्कपूर्ण संरचना के लिए एनोटेट किया गया था।
संरचना: 23,228 तर्कपूर्ण विमर्श इकाइयाँ (ADUs) जिन्हें ASPIC+ तर्क ढांचे का उपयोग करके एक Neo4j ग्राफ डेटाबेस में निकाला गया है। ग्राफ में 50,905 संबंध (समर्थन, आक्रमण, पुनर्कथन, कालानुक्रमिक संक्रमण) शामिल हैं।
LLM भविष्यवाणी: 22 अलग-अलग LLMs (GPT-4o, Claude 3.5, Llama 3.3 आदि सहित) को प्रत्येक ADU को एक राजनीतिक स्थिति स्कोर (0–100, बाएं-से-दाएं) प्रदान करने के लिए प्रॉम्प्ट किया गया था। आउटपुट परिवर्तनशीलता को पकड़ने के लिए प्रत्येक मॉडल प्रत्येक नोड के लिए 5 बार चला।
एन्सेम्बल्स (Ensembles): मजबूती का परीक्षण करने के लिए तीन एन्सेम्बल्स बनाए गए:
1. E1: सभी 22 मॉडल (बेसलाइन)।
2. E2: 5 रीजनिंग-केंद्रित मॉडल (चेन-ऑफ-थॉट)।
3. E3: 12 उच्च-विश्वास वाले मॉडल (वे जो राजनीतिक सामग्री की अधिक बार भविष्यवाणी करते हैं बजाय "NA" के)।

B. मानव एनोटेशन और सत्यापन डिजाइन (Human Annotation & Validation Design)

मानव सत्यापन 1,500 से अधिक क्राउडवर्कर्स (यूके-आधारित) का उपयोग करके दो चरणों में आयोजित किया गया था:

पॉइंटवाइज बाइनरी वर्गीकरण: एनोटेटर्स ने यह निर्धारित किया कि क्या एक तर्क "राजनीतिक" था या "गैर-राजनीतिक"। इसने गैर-राजनीतिक सामग्री को फ़िल्टर करने की मॉडल्स की क्षमता को मान्य किया और स्कोर सत्यापन के लिए एक उच्च-विश्वास उपसमुच्चय बनाया।
- सैंपलिंग: तर्कों को मॉडल विश्वास (उच्च राजनीतिक, निम्न विश्वास, उच्च गैर-राजनीतिक) द्वारा स्तरीकृत किया गया था।
पेयरवाइज तुलना (Pairwise Comparison): एनोटेटर्स ने यह निर्धारित करने के लिए तर्कों के जोड़ों की तुलना की कि कौन सा अधिक बाएं-या दाएं-झुकाव वाला था।
- सैंपलिंग: 100 राजनीतिक तर्कों को चुना गया और जोड़ा गया (कुल 934 जोड़े)।
- मॉडलिंग: मानव और मॉडल रैंकिंग को लेटेंट स्ट्रेंथ स्कोर ( $\theta$ ) और संभाव्यता मैट्रिक्स उत्पन्न करने के लिए ब्रैडली-टेरी (BT) मॉडल का उपयोग करके प्राप्त किया गया।

C. मूल्यांकन मेट्रिक्स (Evaluation Metrics)

सहमति (Agreement): क्रिपेन्डॉर्फ का $\alpha$ (बाइनरी के लिए नाममात्र, रैंकिंग के लिए ऑर्डिनल)।
रैंकिंग दूरी: स्पीयरमैन का फुटल डिस्टेंस और केंडल का $\tau$ (समानता के लिए सामान्यीकृत)।
वर्गीकरण प्रदर्शन: मैक्रो/माइक्रो F1, बैलेंस्ड एक्यूरेसी।

3. मुख्य परिणाम (Key Results)

पॉइंटवाइज सत्यापन (बाइनरी वर्गीकरण)

मानव विश्वसनीयता: इंटर-एनोटेटर सहमति कम थी ( $\alpha_n = 0.305$ ), जो पुष्टि करती है कि पूर्ण राजनीतिक स्कोरिंग स्वाभाविक रूप से व्यक्तिपरक और मनुष्यों के लिए कठिन है।
मॉडल-मानव संरेखण: पूरे डेटासेट पर मानव और मॉडल के बीच सहमति मध्यम थी ( $\alpha_n = 0.578$ ), लेकिन उच्च-विश्वास उपसमुच्चय पर यह काफी अधिक थी ( $D^{conf}_{NA}$ )।
अस्पष्टता: अस्पष्ट मामलों में ( $D^{ambig}_{NA}$ ), मानव सहमति और मॉडल-मानव संरेखण दोनों ही संयोग के स्तर या नकारात्मक स्तर तक गिर गए, जो वास्तविक अर्थ संबंधी अनिश्चितता को दर्शाता है न कि केवल मॉडल शोर को।
सहसंबंध: उच्च मानव-मॉडल सहमति बेहतर वर्गीकरण प्रदर्शन (F1 स्कोर) की भविष्यवाणी करती थी।

पेयरवाइज सत्यापन (रैंकिंग)

मानव ऊपरी सीमा (Human Upper Bound): पेयरवाइज कार्यों पर मानव इंटर-एनोटेटर सहमति पर्याप्त थी ( $\alpha_o = 0.889$ ), जो पेयरवाइज प्रोटोकॉल को मान्य करती है।
मॉडल प्रदर्शन:
- पूरे डेटासेट पर, मॉडल्स ने मानव रैंकिंग के साथ मध्यम संरेखण दिखाया ( $\alpha_o \approx 0.52 - 0.80$ )।
- कॉन्फिडेंस फ़िल्टरिंग: जब उच्च-विश्वास भविष्यवाणियों ( $P_{1,1}$ ) तक सीमित किया गया, तो कई मॉडल्स (जैसे GPT 4.5, o3 Mini, DeepSeek-R1) ने $\alpha_o \approx 0.85$ प्राप्त किया, जो मानव-स्तर की सहमति के करीब है।
- एन्सेम्बल्स बनाम व्यक्तिगत मॉडल: एन्सेम्बल्स ने रैंकिंग को अस्पष्ट क्षेत्रों में स्थिर करके पूरे डेटासेट पर व्यक्तिगत मॉडल्स से बेहतर प्रदर्शन किया। हालांकि, उच्च-विश्वास उपसमुच्चयों पर, शीर्ष व्यक्तिगत मॉडल्स ने एन्सेबल प्रदर्शन की बराबरी की या उससे अधिक प्रदर्शन किया।
डिकपलिंग (Decoupling): पॉइंटवाइज सटीकता (F1) और ऑर्डिनल रैंकिंग सहमति के बीच एक आंशिक डिकपलिंग है। मॉडल्स उच्च रैंकिंग स्थिरता प्राप्त कर सकते हैं भले ही उनके पूर्ण पॉइंटवाइज स्कोर भिन्न हों, जो बताता है कि पूर्ण परिशुद्धता कम होने पर भी ऑर्डिनल संरचना को पुनः प्राप्त किया जा सकता है।

4. मुख्य योगदान (Key Contributions)

दोहरे-पैमाने वाला सत्यापन ढांचा: एक कार्यप्रणाली जो विषयगत निरंतर चरों को मान्य करने के लिए स्केलेबिलिटी (पॉइंटवाइज) और विश्वसनीयता (पेयरवाइज) को संतुलित करती है। यह प्रदर्शित करता है कि आत्मविश्वास के लिए फ़िल्टर किए जाने पर पॉइंटवाइज LLM भविष्यवाणियां मानव तुलनात्मक निर्णयों के साथ सार्थक रूप से संरेखित हो सकती हैं।
संरचित तर्क ज्ञान आधार: 23,228 ADUs के साथ एक बड़े पैमाने पर, मान्य किए गए ग्राफ के रिलीज का योगदान, जिसमें राजनीतिक स्थिति की भविष्यवाणियाँ शामिल हैं। यह ग्राफ-आधारित तर्क (graph-based reasoning) और राजनीतिक व्यक्तित्वों और वैचारिक संरेखण के लिए अनुकूलित रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) को सक्षम बनाता है।
ऑर्डिनल संरचना का अनुभवजन्य प्रमाण: यह अध्ययन सिद्ध करता है कि LLMs स्वाभाविक रूप से व्यक्तिपरक विमर्श से सार्थक ऑर्डिनल राजनीतिक संरचनाएं निकाल सकते हैं। यह रेखांकित करता है कि असहमति अक्सर व्यवस्थित मॉडल पूर्वाग्रह के बजाय डेटा में अंतर्निहित अस्पष्टता से उत्पन्न होती है।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

सैद्धांतिक प्रभाव: यह धारणा को चुनौती देता है कि विषयगत कार्यों के लिए पॉइंटवाइज मूल्यांकन अपर्याप्त है। यह सुझाव देता है कि जबकि पूर्ण स्कोर शोर वाले होते हैं, उनसे प्राप्त सापेक्ष क्रम (relative ordering) मजबूत होता है और मानव तुलनात्मक तर्क के अनुरूप होता है।
व्यावहारिक अनुप्रयोग: ज्ञान आधार उन्नत अनुप्रयोगों का समर्थन करता है जैसे:
- तर्क संरचनाओं के माध्यम से वैचारिक स्थितियां कैसे प्रसारित होती हैं, इसका विश्लेषण करना।
- सिमुलेशन के लिए राजनीतिक रूप से संरेखित AI व्यक्तित्व बनाना।
- रिट्रीवल-ऑगमेंटेड जनरेशन जो संरचनात्मक रूप से सुसंगत और वैचारिक रूप से सुसंगत तर्कों को प्राप्त करता है।
सीमाएँ: दृष्टिकोण पेयरवाइज मॉडलिंग के लिए विवक्तीकरण (discretization) पर निर्भर करता है और एन्सेबल कॉन्फिडेंस एस्टीमेशन के लिए कई मॉडल इनवोकेशन की आवश्यकता होती है, जो कम-विलंबता (low-latency) अनुप्रयोगों के लिए महंगा हो सकता है। डेटा वर्तमान में यूके राजनीति (बाएं-दाएं स्पेक्ट्रम) तक सीमित है।

निष्कर्ष: यह शोध पत्र सफलतापूर्वक स्केलेबल LLM भविष्यवाणी और कठोर मानव सत्यापन के बीच के अंतर को पाटता है, जो कम्प्यूटेशनल सोशल साइंस और राजनीतिक तर्क खनन के लिए एक मजबूत संसाधन प्रदान करता है। यह स्थापित करता है कि उचित कॉन्फिडेंस फ़िल्टरिंग के साथ, LLMs राजनीतिक विमर्श में मानव तुलनात्मक निर्णय के विश्वसनीय प्रतिनिधि के रूप में कार्य कर सकते हैं।