💬 NLP

POLAR:A Per-User Association Test in Embedding Space

POLAR एक नवीन प्रति-उपयोगकर्ता लेक्सिकल एसोसिएशन टेस्ट है जो एम्बेडिंग स्पेस में कार्य करता है ताकि लेखक-स्तरीय पूर्वाग्रहों और व्यवहारिक परिवर्तनों का पता लगाया जा सके, जो प्रभावी रूप से LLM-संचालित बॉट्स को ऑर्गेनिक अकाउंट्स से अलग करता है और ऑनलाइन समुदायों में चरमपंथी संरेखण को परिमाणित करता है।

मूल लेखक: Pedro Bento, Arthur Buzelin, Arthur Chagas, Yan Aquino, Victoria Estanislau, Samira Malaquias, Pedro Robles Dutenhefner, Gisele L. Pappa, Virgilio Almeida, Wagner MeiraJr

प्रकाशित 2026-03-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pedro Bento, Arthur Buzelin, Arthur Chagas, Yan Aquino, Victoria Estanislau, Samira Malaquias, Pedro Robles Dutenhefner, Gisele L. Pappa, Virgilio Almeida, Wagner MeiraJr

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, शोर-शराबे वाली पार्टी में हैं जहाँ हज़ारों लोग आपस में बातें कर रहे हैं। कुछ असली इंसान हैं, कुछ परिष्कृत (sophisticated) रोबोट हैं, और कुछ ऐसे लोग हैं जिनकी बहुत मज़बूत और विशिष्ट राय है।

पारंपरिक रूप से, यदि आप इस पार्टी के "वाइब" (vibe) को समझना चाहते, तो आप एक माइक्रोफ़ोन लेते, सभी की आवाज़ें रिकॉर्ड करते, उन्हें एक विशाल स्मूदी (smoothie) में मिला देते और फिर उसका स्वाद चखते। आप कह सकते थे, "इस स्मूदी का स्वाद थोड़ा रोबोटिक है," या "इसमें गुस्से की हल्की सी झलक है।" लेकिन इसमें आप व्यक्तिगत स्वादों को खो देते। आप यह नहीं बता पाते कि कौन रोबोटिक हो रहा है या किस विशेष व्यक्ति का व्यवहार समय के साथ कितना अधिक क्रोधित होता जा रहा है।

POLAR एक नया टूल है जो खेल बदल देता है। सबको एक स्मूदी में मिलाने के बजाय, यह हर एक मेहमान को एक व्यक्तिगत, अदृश्य आईडी बैज (ID badge) देता है जो उनके अद्वितीय "भाषाई फिंगरप्रिंट" को कैप्चर करता है।

यह कैसे काम करता है, इसे सरल चरणों में यहाँ दिया गया है:

1. अदृश्य आईडी बैज (द "यूज़र टोकन")

कल्पना कीजिए कि पार्टी में मौजूद हर व्यक्ति को एक गुप्त, अपरिवर्तनीय नाम टैग (जैसे usr3af12b9cde) मिलता है जिसे केवल कंप्यूटर ही देख सकता है।

शोधकर्ताओं ने एक स्मार्ट कंप्यूटर (एक लैंग्वेज मॉडल) को इन नाम टैग्स पर विशेष ध्यान देने के लिए प्रशिक्षित किया है।
जैसे-जैसे कंप्यूटर यह पढ़ता है कि एक व्यक्ति क्या लिख रहा है, यह उनकी पूरी पर्सनैलिटी, लिखने की शैली और आदतों को एक विशाल 3D स्पेस में एक संक्षिप्त, सघन गणितीय बिंदु (mathematical point) के रूप में संक्षेपित करना सीख जाता है।
इस बिंदु को उस व्यक्ति के मन का "जीपीएस कोऑर्डिनेट" (GPS coordinate) मान लें।

2. सिमेंटिक कंपास (द "एक्सिस")

अब, कल्पना कीजिए कि हमने इस 3D स्पेस में विशिष्ट चीजों को मापने के लिए अदृश्य रेखाएं (axes) खींची हैं।

एक्सिस A: "रोबोट बनाम मानव" (क्या यह व्यक्ति एक AI की तरह लगता है या एक वास्तविक इंसान की तरह?)
एक्सिस B: "विनम्र बनाम असभ्य"
एक्सिस C: "आप्रवासन अधिकार बनाम सख्त सीमाएं"

ये रेखाएं शब्दों की सूचियों से बनी हैं। उदाहरण के लिए, "असभ्य" वाले हिस्से में अपशब्द या अपमानजनक शब्द हो सकते हैं, जबकि "विनम्र" वाले हिस्से में "कृपया" और "धन्यवाद" जैसे शब्द हो सकते हैं।

3. प्रोजेक्शन (द "टेस्ट")

POLAR उस व्यक्ति के जीपीएस कोऑर्डिनेट (यूज़र वेक्टर) को लेता है और उसे इन कंपास लाइनों पर एक छाया (shadow) के रूप में प्रोजेक्ट करता है।

परिणाम: यह आपको बताता है कि वह व्यक्ति लाइन पर कहाँ स्थित है।
- क्या वे "असभ्य" की ओर थोड़े झुके हुए हैं?
- क्या वे "रोबोट" की ओर बहुत अधिक बढ़ गए हैं?
महत्वपूर्ण बात यह है कि यह केवल अनुमान नहीं लगाता; यह सुनिश्चित करने के लिए कि परिणाम केवल भाग्य या संयोग नहीं है, हजारों बार एक सांख्यिकीय "सिक्का उछालने" (coin flip) वाला परीक्षण चलाता है। यह एक कॉन्फिडेंस रेटिंग के साथ एक स्कोर देता है।

यह एक बड़ी बात क्यों है? (द "अहा!" मोमेंट्स)

शोधकर्ताओं ने इस टूल का परीक्षण दो बहुत अलग परिदृश्यों में किया:

परिदृश्य A: रोबोट पार्टी (ट्विटर)
शोधकर्ताओं ने वास्तविक मनुष्यों और AI बॉट्स के मिश्रण पर POLAR का उपयोग किया।

पुराना तरीका: आपको यह अनुमान लगाने के लिए एक जटिल क्लासिफायर (classifier) को प्रशिक्षित करना पड़ता कि कौन बॉट है।
POLAR का तरीका: इसने "रोबोट बनाम मानव" लाइन को देखा और तुरंत देख लिया कि बॉट्स एक तरफ बहुत सघन रूप से क्लस्टर (cluster) होकर खड़े थे, और इंसान दूसरी तरफ। इसे यह बताने की ज़रूरत नहीं थी कि कौन कौन है; गणित ने स्पष्ट रूप से दिखाया कि अंतर क्या था। यह बिल्कुल वैसा ही था जैसे लोगों के एक समूह को एक जैसे, चमकदार मुखौटे पहने हुए देखना बनाम लोगों को उनके अद्वितीय चेहरों के साथ देखना।

परिदृश्य B: गुस्से वाला कमरा (चरमपंथी मंच/Extremist Forum)
उन्होंने एक ऐसे फोरम को देखा जो नफरत भरे भाषण (hate speech) के लिए जाना जाता है।

खोज: POLAR ने केवल यह नहीं कहा कि "यह समूह बुरा है।" इसने दिखाया कि व्यक्तिगत उपयोगकर्ता बदल रहे थे।
ड्रिफ्ट (Drift): कल्पना कीजिए कि एक उपयोगकर्ता पोस्ट करना शुरू करता है। शुरुआत में, वे कमरे के बीच में होते हैं। लेकिन जैसे-जैसे वे पोस्ट करना जारी रखते हैं, POLAR उनके जीपीएस कोऑर्डिनेट को लगातार "अपशब्द और नफरत" वाले कंपास की ओर बढ़ते हुए ट्रैक करता है।
अंतर्दृष्टि: यह वास्तविक समय में कट्टरपंथ (radicalization) को प्रकट करता है। आप देख सकते हैं कि एक व्यक्ति धीरे-धीरे एक तटस्थ प्रतिभागी से बदलकर नफरत भरे भाषण के प्रति गहराई से संरेखित (aligned) व्यक्ति में कैसे बदल रहा है, बस उनके गणितीय कोऑर्डिनेट को कमरे में घूमते हुए देखकर।

निचोड़ (The Bottom Line)

POLAR भीड़ में व्यक्तिगत आवाजों के लिए एक आवर्धक लेंस (magnifying glass) की तरह है।

यह कहने के बजाय कि, "औसत व्यक्ति यहाँ गुस्से में है," यह हमें यह कहने की अनुमति देता है कि, "व्यक्ति X, नफरत भरे भाषण के साथ 80% संरेखित है, और वे हर दिन और अधिक क्रोधित होते जा रहे हैं," जबकि "व्यक्ति Y तटस्थ है।"

यह ऑनलाइन भाषा की अव्यवस्थित, अदृश्य दुनिया को एक स्पष्ट मानचित्र में बदल देता है जहाँ हम व्यक्तिगत व्यवहार देख सकते हैं, बॉट्स का पता लगा सकते हैं, और संकट बनने से पहले खतरनाक रुझानों को पहचान सकते हैं—और यह सब बिना हर एक पोस्ट को मैन्युअल रूप से पढ़े किया जा सकता है।

यहाँ शोध पत्र "POLAR: A Per-User Association Test in Embedding Space" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान अंतर्निहित एसोसिएशन प्रोब्स (जैसे WEAT, SEAT), जिनका उपयोग भाषा मॉडलों में पूर्वाग्रह (bias), रूढ़िवादिता (stereotypes), या अर्थ संबंधी जुड़ाव (semantic associations) का पता लगाने के लिए किया जाता है, शब्द, वाक्य या कॉर्पस स्तर पर कार्य करते हैं। ये संचयी (aggregate) विधियाँ कम्प्यूटेशनल सोशल साइंस में दो गंभीर सीमाओं से ग्रस्त हैं:

विषमता की हानि (Loss of Heterogeneity): डेटा को एक एकल कॉर्पस-स्तरीय स्कोर में एकत्रित करने से व्यक्तिगत लेखक-स्तरीय विविधताओं की अनदेखी होती है। यह उस समुदाय के बीच अंतर नहीं कर सकता जहाँ हर कोई हल्का पूर्वाग्रह रखता है, बनाम वह समुदाय जहाँ एक छोटा अल्पसंख्यक अत्यधिक पूर्वाग्रह रखता है।
पारिस्थितिक भ्रम (Ecological Fallacy): संचयी स्कोर उन प्रभावों को उलट या रद्द कर सकते हैं जो व्यक्तिगत स्तर पर लगातार मौजूद होते हैं। उदाहरण के लिए, एक कॉर्पस "प्रवासियों" और "अपराध" के बीच एक तटस्थ औसत जुड़ाव दिखा सकता है क्योंकि इसमें उन उपयोगकर्ताओं का मिश्रण है जो मानवीय भाषा का उपयोग करते हैं और वे भी जो अपशब्दों (slurs) का उपयोग करते हैं, जिससे दोनों समूहों के विशिष्ट प्रक्षेपवक्र (trajectories) छिप जाते हैं।

एक ऐसी कार्यप्रणाली का अभाव है जो व्यक्तिगत उपयोगकर्ता वेक्टरों (individual user vectors) को कैलिब्रेटेड एसोसिएशन टेस्टिंग के लिए प्रथम-श्रेणी की वस्तुओं के रूप में मानती हो, जिससे शोधकर्ता सुपरवाइज्ड क्लासिफायर पर निर्भर रहे बिना प्रति-लेखक रुख (stance), पूर्वाग्रह, या शैलीगत संरेखण (stylistic alignment) को परिमाणित कर सकें।

2. कार्यप्रणाली: POLAR (Methodology: POLAR)

POLAR (Per-user On-axis Lexical Association Report) एक ऐसा ढांचा है जो एक हल्के से अनुकूलित मास्कड लैंग्वेज मॉडल (MLM) के एम्बेडिंग स्पेस के भीतर सीधे एसोसिएशन टेस्टिंग करता है। यह पाइपलाइन दो चरणों में विभाजित है:

चरण 1: उपयोगकर्ता वेक्टर लर्निंग (प्रशिक्षण) (Phase 1: User Vector Learning - Training)

उपयोगकर्ता टोकनाइज़ेशन (User Tokenization): प्रत्येक लेखक $u$ को एक अद्वितीय, नियत (deterministic) निजी टोकन $t_u$ (जैसे, usr + SHA1 hash) से मैप किया जाता है। इस टोकन को टोकनाइज़र शब्दावली में जोड़ा जाता है।
डेटा तैयारी (Data Preparation): उपयोगकर्ता $u$ द्वारा की गई प्रत्येक पोस्ट $x_i$ के आगे उनका टोकन लगाया जाता है ( $\tilde{x}_i = t_u \parallel x_i$ )।
मॉडल अनुकूलन (Model Adaptation): एक प्री-ट्रेंड मॉडल (जैसे, BERT-base-uncased) से शुरू करते हुए, इनपुट एम्बेडिंग मैट्रिक्स को उपयोगकर्ता टोकन को शामिल करने के लिए रीसाइज किया जाता है।
प्रशिक्षण उद्देश्य (Training Objective): मॉडल को एक मानक मास्कड लैंग्वेज मॉडलिंग (MLM) लॉस के साथ विशिष्ट संशोधनों का उपयोग करके फाइन-ट्यून किया जाता है:
- उपयोगकर्ता-जागरूक मास्किंग (User-Aware Masking): उपयोगकर्ता टोकन को मानक टोकन की तुलना में उच्च संभावना के साथ मास्क किया जाता है ताकि मॉडल को उपयोगकर्ता के भाषाई संदर्भ को सीखने के लिए मजबूर किया जा सके।
- संरेखण पद (Alignment Term): एक छोटा लॉस टर्म उपयोगकर्ता टोकन के एम्बेडिंग वेक्टर को पोस्ट में गैर-उपयोगकर्ता टोकन के औसत प्रतिनिधित्व की ओर धकेलता है, यह सुनिश्चित करता है कि वेक्टर उपयोगकर्ता की विशिष्ट शैली का सारांश प्रस्तुत करे।
- फ्रीज-अनफ्रीज शेड्यूलिंग (Freeze-Unfreeze Schedule): एक संक्षिप्त प्रशिक्षण शेड्यूलिंग इन नए टोकन वेक्टर्स के सीखने को स्थिर करती है।
आउटपुट: प्रत्येक उपयोगकर्ता $u$ को एक सामान्यीकृत (normalized) एम्बेडिंग वेक्टर $\hat{e}_u$ द्वारा दर्शाया जाता है।

चरण 2: एसोसिएशन टेस्टिंग (अनुमान) (Phase 2: Association Testing - Inference)

विशेषता सेट (Attribute Sets): शोधकर्ता अर्थ संबंधी अक्षों (semantic axes) को विशेषता सेटों के जोड़े $(A, B)$ (जैसे, "अपशब्द" बनाम "तटस्थ शब्द") के रूप में परिभाषित करते हैं। इन्हें सबवर्ड एवरेजिंग के माध्यम से एम्बेडिंग्स के माध्यम से मैप किया जाता है।
सांख्यिकी गणना (Statistic Calculation): उपयोगकर्ता $u$ $u$ और विशेषता सेटों $A$ $A$ और $B$ $B$ के लिए, POLAR उपयोगकर्ता वेक्टर और विशेषता वेक्टर्स के बीच कोसाइन समानता (cosine similarities) की गणना करता है।
- मानकीकृत प्रभाव आकार $s(u; A, B)$ को इस प्रकार गणना की जाती है:
  $s(u; A, B) = \frac{\text{mean}(d_A) - \text{mean}(d_B)}{\text{sd}(d_{all})}$
  जहाँ $d_A$ और $d_B$ सेट $A$ और $B$ के प्रति समानता स्कोर हैं, और $d_{all}$ सभी समानताओं का संयुक्त सेट है। यह मानकीकरण स्केल स्थिरता सुनिश्चित करता है।
महत्व परीक्षण (Significance Testing):
- परम्यूटेशन टेस्ट (Permutation Test): एक मोंटे कार्लो परम्यूटेशन टेस्ट (डिफ़ॉल्ट $M=2000$ ) विशेषता सेटों के लेबल को शफल करता है ताकि एक नल डिस्ट्रीब्यूशन (null distribution) बनाया जा सके।
- P-वैल्यू (P-value): एड-वन स्मूथिंग के साथ एक टू-साइडेड P-वैल्यू अनुमानित की जाती है।
- मल्टीपल टेस्टिंग कंट्रोल (Multiple Testing Control): बेन्जामिनी-होचबर्ग (BH) प्रक्रिया सभी परीक्षण किए गए उपयोगकर्ताओं और अक्षों में फॉल्स डिस्कवरी रेट (FDR) को नियंत्रित करती है।

3. मुख्य योगदान (Key Contributions)

प्रति-उपयोगकर्ता एसोसिएशन टेस्टिंग (Per-User Association Testing): POLAR पहला तरीका है जो सीधे व्यक्तिगत उपयोगकर्ता एम्बेडिंग्स पर कैलिब्रेटेड एसोसिएशन टेस्टिंग लागू करता है, जो एग्रीगेट कॉर्पस-स्तरीय विश्लेषण से आगे बढ़ता है।
लेबल-मुक्त डायग्नोस्टिक्स (Label-Free Diagnostics): इस पद्धति के लिए एसोसिएशन टेस्टिंग चरण के दौरान किसी भी क्लास लेबल (जैसे, "बॉट" या "ह्यूमन") की आवश्यकता नहीं होती है। यह एम्बेडिंग स्पेस की ज्यामिति के आधार पर व्याख्या योग्य प्रभाव आकार और P-ववेल प्रदान करता है।
मॉड्यूलरिटी (Modularity): यह ढांचा मॉड्यूलर है; मूल भाषा मॉडल को पुन: प्रशिक्षित किए बिना नए विशेषता सेट जोड़े या संशोधित किए जा सकते हैं।
व्याख्यात्मकता (Interpretability): स्कोर का चिह्न संरेखण की दिशा (जैसे, "अपशब्दों" की ओर बनाम "तटस्थ शब्दों" की ओर) को इंगित करता है, और इसका परिमाण उस संरेखण की शक्ति को दर्शाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो अलग-अलग डेटासेट पर POLAR का मूल्यांकन किया:

A. बॉट-ह्यूमन ट्विटर बेंचमार्क (fox8-23)

डेटासेट: 1,140 AI-संचालित बॉट खाते और 1,140 मानव खाते।
कार्य: "स्कैम/फाइनेंस बनाम डेली लाइफ" और "न्यूज़वायर बनाम पर्सनल एक्सपीरियंस" जैसे अक्षों पर प्रति-उपयोगकर्ता एसोसिएशन स्कोर का उपयोग करके बॉट्स को मनुष्यों से अलग करना।
निष्कर्ष:
- POLAR ने प्रशिक्षण के दौरान लेबल का उपयोग किए बिना बॉट्स को मनुष्यों से स्पष्ट रूप से अलग किया।
- प्रदर्शन: एक सिंगल-एक्सिस लॉजिस्टिक रिग्रेशन ने स्कैम/फाइनेंस अक्ष के लिए AUROC 0.961 प्राप्त किया। अक्षों को मिलाने से प्रदर्शन में महत्वपूर्ण सुधार नहीं हुआ, जो सुझाव देता है कि व्यक्तिगत अक्ष मजबूत शैलीगत संकेतों को कैप्चर करते हैं।
- विज़ुअलाइज़ेशन: PCA प्रोजेक्शन ने बॉट्स और मनुष्यों के स्पष्ट क्लस्टरिंग को दिखाया, जहाँ बॉट्स "बॉट-स्पीक" विशेषताओं (डिस्क्लेमर, इंस्ट्रक्शनल स्कैफोल्डिंग) के साथ और मनुष्य बोलचाल के निशानों (colloquial markers) के साथ मजबूती से संरेखित थे।

B. स्टॉर्मफ्रंट व्हाइट-सुप्रीमेसिस्ट फोरम (Stormfront White-Supremacist Forum)

डेटासेट: प्रति-वाक्य उपयोगकर्ता आईडी के साथ एक व्हाइट-सुप्रमेसिस्ट फोरम (2002–2017) से 10,568 वाक्य।
कार्य: नस्लीय/लैंगिक अपशब्दों (racial/gender slurs) और न्यूट्रल समकक्षों के साथ व्यक्तिगत उपयोगकर्ता के संरेखण को मापना और समय के साथ कट्टरपंथ (radicalization) को ट्रैक करना।
निष्कर्ष:
- मजबूत संरेखण: उपयोगकर्ताओं ने नस्लीय और लैंगिक अपशब्दों के लिए बड़े सकारात्मक प्रभाव आकार ( $s \approx 1.3$ ) दिखाए, जो BH सुधार के बाद लगभग सार्वभौमिक सांख्यिकीय महत्व रखते हैं।
- रेडिकलाइजेशन ड्रिफ्ट (Radicalization Drift): उपयोगकर्ता के पोस्टिंग इतिहास पर संचयी एसोसिएशन स्कोर को ट्रैक करके, POLAR ने व्यक्तिगत उपयोगकर्ताओं के लिए समय के साथ एक दाहिनी ओर के ड्रिफ्ट (अपशब्द लेक्सिकॉन के साथ बढ़ता संरेखण) को प्रकट किया। यह प्रगतिशील कट्टरपंथ के लिए एक व्याख्या योग्य, लेबल-मुक्त संकेतक के रूप में कार्य करता है।
- विशिष्टता (Specificity): सिग्नल डोमेन-विशिष्ट लेक्सिकॉन (अपशब्दों) द्वारा संचालित था, न कि जेनेरिक टॉक्सिसिटी द्वारा, क्योंकि सामान्य "टॉक्सिसिटी बनाम सिविलिटी" अक्षों ने नगण्य बदलाव दिखाया।

5. महत्व और निहितार्थ (Significance and Implications)

कम्प्यूटेशनल सोशल साइंस: POLAR एनएलपी एम्बेडिंग तकनीकों और सामाजिक विज्ञान की जांच के बीच के अंतर को पाटता है। यह शोधकर्ताओं को संभावित रूप से भ्रामक एग्रीगेट सांख्यिकी पर निर्भर रहने के बजाय व्यक्तिगत अंतर और समूह-भितरी विषमता (within-group heterogeneity) का अध्ययन करने की अनुमति देता है।
अर्ली वार्निंग सिस्टम (Early Warning Systems): हानिकारक लेक्सिकॉन के साथ उपयोगकर्ता के संरेखण में "ड्रिफ्ट" का पता लगाने की क्षमता, सुपरवाइजഡ് ट्रेनिंग डेटा की आवश्यकता के बिना वास्तविक समय में कट्टरपंथ या बॉट व्यवहार की पहचान करने के लिए एक संभावित तंत्र प्रदान करती है।
मेथोडोलॉजिकल रिगर (Methodological Rigor): परम्यूटेशन P-वैल्यू और FDR नियंत्रण प्रदान करके, POLAR ह्यूरिस्टिक स्कोरिंग से हटकर सांख्यिकीय रूप से ठोस निष्कर्ष की ओर बढ़ता है, जिससे इसके परिणाम मजबूत और पुनरुत्पादनीय बनते हैं।
नैतिक अनुप्रयोग (Ethical Application): लेखक छद्म नाम वाले टोकन (pseudonymous tokens) और सार्वजनिक डेटासेट के उपयोग पर जोर देते हैं, यह सुनिश्चित करते हुए कि पद्धति को विशिष्ट व्यक्तियों की निगरानी या प्रोफाइलिंग के बजाय अनुसंधान और निदान के लिए डिज़ाइन किया गया है।

संक्षेप में, POLAR यह विश्लेषण करने के लिए एक मजबूत, सांख्यिकीय रूप से सुदृढ़ और व्याख्यात्मक उपकरण प्रदान करता है कि व्यक्तिगत लेखक विशिष्ट अर्थ संबंधी ढांचों (semantic frames) के साथ कैसे संरेखित होते हैं, जो डिजिटल विमर्श में पूर्वाग्रह, बॉट गतिविधि और कट्टरपंथ का पता लगाने के लिए एक नया प्रतिमान पेश करता है।