💬 NLP

How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles

यह शोध पत्र सूचना-सैद्धांतिक मेट्रिक्स का उपयोग करके बड़े भाषा मॉडलों के बीच व्यवहारिक उलझाव (behavioral entanglement) का ऑडिट और परिमाणीकरण करने के लिए एक सांख्यिकीय ढांचे को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि साझा विफलता मोड स्वतंत्र सत्यापन प्रणालियों को कमजोर करते हैं और एक पुन: भारण रणनीति (reweighting strategy) का प्रस्ताव करता है जो सहसंबंधित पूर्वाग्रहों को कम करके एन्सेम्बल सटीकता में महत्वपूर्ण सुधार करती है।

मूल लेखक: Chenchen Kuai, Jiwan Jiang, Zihao Zhu, Hao Wang, Keshu Wu, Zihao Li, Yunlong Zhang, Chenxi Liu, Zhengzhong Tu, Zhiwen Fan, Yang Zhou

प्रकाशित 2026-04-10

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chenchen Kuai, Jiwan Jiang, Zihao Zhu, Hao Wang, Keshu Wu, Zihao Li, Yunlong Zhang, Chenxi Liu, Zhengzhong Tu, Zhiwen Fan, Yang Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य प्रश्न: क्या ये AI मॉडल वास्तव में स्वतंत्र हैं?

कल्पना कीजिए कि आप निबंधों के एक ढेर को ग्रेड दे रहे एक शिक्षक हैं। यह सुनिश्चित करने के लिए कि आपकी ग्रेडिंग निष्पक्ष है, आप तीन अन्य शिक्षकों से उन्हीं निबंधों की समीक्षा करने के लिए कहते हैं। यदि तीनों कहते हैं, "यह निबंध उत्तम है," तो आप आश्वस्त महसूस करते हैं कि यह वास्तव में उत्तम है। आप मानते हैं कि क्योंकि तीन अलग-अलग लोगों ने इसे देखा है, इसलिए उनकी सहमति गुणवत्ता का एक मजबूत प्रमाण है।

लेकिन क्या होगा यदि वे तीनों शिक्षक एक ही स्कूल में गए हों, एक ही पाठ्यपुस्तकें पढ़ी हों, और एक ही सख्त प्रिंसिपल द्वारा शिक्षित किए गए हों?

यदि वे सभी सहमत होते हैं, तो यह इसलिए नहीं हो सकता कि उन्होंने निबंध को स्वतंत्र रूप से सत्यापित किया है। यह इसलिए हो सकता है क्योंकि उन सभी ने एक ही तरह की गलतियाँ करना सीखा है, या उन सभी की कमियाँ (blind spots) एक जैसी हैं। वे तीन स्वतंत्र आवाजें नहीं हैं; वे एक ही आवाज की तीन गूँज (echoes) हैं।

यही वह समस्या है जिसे यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ हल करता है। हम मानते हैं कि जब हम एक-दूसरे के काम की जांच करने के लिए विभिन्न AI मॉडल्स (जैसे GPT-4, Llama, या Claude) का उपयोग करते हैं, तो वे स्वतंत्र होते हैं। लेकिन लेखकों को संदेह है कि वे गुप्त रूप से "उलझे हुए" (entangled) हैं—जैसे जुड़वा बच्चे जो एक-दूसरे के वाक्य पूरे करते हैं क्योंकि वे एक ही घर में पले-बढ़े हैं, न कि इसलिए कि वे स्वतंत्र रूप से एक ही विचार सोच रहे हैं।

समस्या: "इको चैंबर" (गूँज का कमरा) प्रभाव

AI मॉडल भारी मात्रा में डेटा पर प्रशिक्षित होते हैं। अक्सर, वे साझा करते हैं:

वही प्रशिक्षण पुस्तकें: उन्होंने इंटरनेट का वही डेटा पढ़ा है।
वही शिक्षक: एक मॉडल दूसरे द्वारा "डिस्टिल्ड" (सिखाया गया) हो सकता है, जैसे एक छात्र अपने शिक्षक के नोट्स की नकल करता है।
वही अलाइनमेंट: वे सभी समान तरीकों से विनम्र और सुरक्षित व्यवहार करने के लिए ट्यून किए गए हैं।

इस कारण से, जब दो अलग-अलग AI मॉडल गलती करते हैं, तो वे अक्सर ठीक वही गलती ठीक उसी तरीके से करते हैं।

AI सुरक्षा की दुनिया में, हम यह जांचने के लिए कि "उत्तर" (Answer) मॉडल सही है या नहीं, एक "जज" (Judge) मॉडल का उपयोग करते हैं। यदि जज और उत्तर मॉडल गुप्त रूप से "उलझे हुए" (जैसे चचेरे भाई-बहन) हैं, तो जज कह सकता है, "हाँ, यह उत्तर शानदार है!" इसलिए नहीं कि यह सच है, बल्कि इसलिए क्योंकि यह जज के अपने प्रशिक्षण के अनुकूल लगता है। इससे गलत उत्तरों के प्रति अति-आत्मविश्वास पैदा होता है।

समाधान: AI के लिए एक नया "झूठ पकड़ने वाला यंत्र"

लेखकों ने इस छिपे हुए संबंध को पकड़ने के लिए एक सांख्यिकीय ढांचा (statistical framework) बनाया है। केवल यह पूछने के बजाय कि "क्या वे सहमत हैं?" (जिसे धोखा देना आसान है), वे पूछते हैं, "क्या वे अजीब तरीकों से एक साथ विफल होते हैं?"

वे दो मुख्य उपकरणों का उपयोग करते हैं, जिन्हें हम एक मल्टी-रेज़ोल्यूशन ऑडिट के रूप में देख सकते हैं:

1. "आसान कार्य" का जाल (डिफीकल्टी-वेटेड एंटैंगलमेंट)

एक ऐसी परीक्षा की कल्पना करें जिसमें बहुत आसान प्रश्न हों, जैसे "आकाश का रंग क्या है?"

यदि दो छात्र इसमें गलत होते हैं, तो यह एक बहुत बड़ा रेड फ्लैग है। इसका मतलब है कि वे केवल अनुमान नहीं लगा रहे हैं; वे एक मौलिक गलतफहमी साझा करते हैं।
लेखकों का पहला उपकरण आसान कार्यों पर ध्यान केंद्रित करता है। यदि दो AI मॉडल एक आसान प्रश्न में विफल होते हैं, तो यह इस बात का पुख्ता सबूत है कि वे "उलझे हुए" हैं। यदि वे कठिन प्रश्न में विफल होते हैं, तो शायद वह बहुत कठिन था। लेकिन एक साथ एक आसान प्रश्न में विफल होना? यह संदिग्ध है।

2. "गलत मोड़" डिटेक्टर (क्युमुलेटिव इंफॉर्मेशन गेन)

कल्पना कीजिए कि दो ड्राइवर गलत मोड़ ले लेते हैं।

परिदृश्य A: ड्राइवर A बाईं ओर एक गड्ढे में गिर जाता है। ड्राइवर B दाईं ओर एक पेड़ से टकरा जाता है। वे दोनों दुर्घटनाग्रस्त हुए, लेकिन अलग-अलग कारणों से। यह अच्छा है! इसका मतलब है कि वे स्वतंत्र हैं।
परिदृश्य B: ड्राइवर A बाईं ओर एक गड्ढे में गिर जाता है। ड्राइवर B भी बाईं ओर उसी गड्ढे में गिर जाता है।
लेखकों का दूसरा उपकरण दिशा को देखता है। यदि दो मॉडल एक बहुविकल्पीय प्रश्न (multiple-choice question) में गलत होते हैं, तो क्या उन्होंने वही गलत उत्तर चुना? यदि उत्तर 'A' होने पर भी दोनों ने 'C' विकल्प चुना, तो यह संकेत देता है कि वे एक ही दोषपूर्ण तर्क पथ (logic path) का पालन कर रहे हैं। यह उलझाव (entanglement) का एक गहरा संकेत है।

उन्होंने क्या पाया

शोधकर्ताओं ने 18 अलग-अलग AI मॉडल्स का परीक्षण किया। यहाँ उनकी खोजें दी गई हैं:

"पारिवारिक समानता": एक ही परिवार के मॉडल (जैसे Llama के विभिन्न संस्करण) अत्यधिक उलझे हुए हैं। वे एक ही तरह की गलतियाँ करते हैं।
"छिपे हुए चचेरे भाई": यहाँ तक कि अलग-अलग कंपनियों के मॉडल (जैसे GPT और Claude) भी उलझाव के संकेत दिखाते हैं। वे संभवतः समान प्रशिक्षण डेटा या समान "अलाइनमेंट" तकनीकों को साझा करते हैं, जिससे वे एक जैसा सोचते हैं।
खतरा: जब एक जज मॉडल उस मॉडल के साथ उलझा हुआ होता है जिसका वह न्याय कर रहा है, तो वह एक "हाँ में हाँ मिलाने वाला" (yes-man) बन जाता है। वह उत्तर मॉडल के साथ सहमत होता है, भले ही उत्तर गलत हो। वे जितने अधिक उलझे हुए हैं, जज उतना ही अधिक झूठ बोलता है (या यूँ कहें कि गलतियों का आत्मविश्वास से समर्थन करता है)।

समाधान: जूरी का पुनर्मूल्यांकन (Reweighting the Jury)

तो, हम इसे कैसे ठीक करें? लेखक AI मतों को संयोजित करने का एक नया तरीका प्रस्तावित करते हैं, जिसे डी-एंटैंगल्ड वेरिफायर रीवेटिंग (De-entangled Verifier Reweighting) कहा जाता है।

कल्पना कीजिए कि आप एक जूरी के फोरमैन हैं। आपके पास 10 जूरी सदस्य हैं।

पुराना तरीका: आप सभी से वोट मांगते हैं। यदि 6 कहते हैं "दोषी," तो आप दोषी करार देते हैं।
समस्या: आपको एहसास होता है कि जूरी सदस्य 1, 2 और 3 आपस में भाई हैं जो एक साथ रहते हैं। उनका वोट 3 गुना मूल्य का नहीं है; यह केवल 1 गुना है क्योंकि वे एक-दूसरे की गूँज मात्र हैं।
नया तरीका: आप देखते हैं कि कौन किससे संबंधित है। आप भाइयों को कम महत्व देते हैं और उन जूरी सदस्यों को अधिक महत्व देते हैं जो स्वतंत्र प्रतीत होते हैं।

लेखकों ने AI के साथ ऐसा ही किया। उन्होंने गणना की कि प्रत्येक AI दूसरों के साथ कितना "उलझा हुआ" था।

यदि कोई AI अन्य के साथ अत्यधिक उलझा हुआ है, तो वे उसका भार (weight) कम कर देते हैं (उस पर कम भरोसा करते हैं)।
यदि कोई AI स्वतंत्र है, तो वे उसका भार बढ़ाते हैं।

परिणाम: ऐसा करने से, उन्होंने मानक "बहुमत मत" (majority vote) की तुलना में AI सत्यापन प्रणाली की सटीकता में 4.5% का सुधार किया। उन्होंने "इको चैंबर" को सच्चाई को दबाने से रोक दिया।

निष्कर्ष

हम अब यह मानकर नहीं चल सकते कि हमारे पास कई अलग-अलग AI मॉडल होने का अर्थ है कि हमारे पास कई स्वतंत्र विचार हैं। वे अक्सर गुप्त रूप से जुड़े होते हैं, और एक ही तरह की कमियों को साझा करते हैं।

AI पर भरोसा करने के लिए, हमें केवल यह देखना बंद करना होगा कि वे कितना सहमत हैं और यह देखना शुरू करना होगा कि वे एक साथ कैसे विफल होते हैं। यदि वे आसान कार्यों पर एक साथ विफल होते हैं या एक ही गलत उत्तर चुनते हैं, तो वे स्वतंत्र नहीं हैं। इन छिपे हुए संबंधों का पता लगाकर और उसके अनुसार अपने भरोसे को समायोजित करके, हम अधिक सुरक्षित और विश्वसनीय AI सिस्टम बना सकते हैं।

यहाँ शोध पत्र "How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) के तीव्र प्रसार ने मल्टी-मॉडल सिस्टम (जैसे, LLM-as-a-judge पाइपलाइन्स, एन्सेम्बल वेरीफायर) पर निर्भरता बढ़ा दी है, जो अंतर्निहित रूप से यह मान लेते हैं कि मॉडल स्वतंत्र संकेत (independent signals) प्रदान करते हैं। हालाँकि, साझा प्रीट्रेनिंग डेटा, नॉलेज डिस्टिलेशन और सामान्य अलाइनमेंट पाइपलाइन्स अव्यक्त व्यवहार संबंधी उलझाव (latent behavioral entanglement) पैदा करते हैं।

मुख्य मुद्दा: मॉडल्स के बीच स्पष्ट सहमति अक्सर स्वतंत्र सत्यापन के बजाय सह-संबद्ध त्रुटियों (correlated errors) (साझा ब्लाइंड स्पॉट्स) को दर्शाती है।
वर्तमान विधियों की सीमाएँ: मौजूदा डायग्नोस्टिक्स (जैसे, आउटपुट ओवरलैप, एम्बेडिंग समानता, पियर्सन कोरिलेशन) अपर्याप्त हैं क्योंकि वे स्वतंत्र तर्क के एक ही उत्तर पर अभिसरण (convergence) और साझा वंश (lineage) के कारण एक ही तरह से विफल होने वाले मॉडल्स के बीच अंतर नहीं कर सकते हैं। वे कार्य की कठिनाई (task difficulty) को भी ध्यान में रखने में विफल रहते हैं, जहाँ आसान कार्य स्वाभाविक रूप से स्वतंत्र मॉडल्स के बीच भी सहमति प्रेरित करते हैं।

2. कार्यप्रणाली: एक मल्टी-रेज़ोल्यूशन सांख्यिकीय ढांचा (Methodology: A Multi-Resolution Statistical Framework)

लेखक ब्लैक-बॉक्स LLMs में व्यवहार संबंधी उलझाव का ऑडिट करने के लिए केवल सफल आउटपुट के बजाय जॉइंट फेलियर मैनिफोल्ड (joint failure manifold) का विश्लेषण करने हेतु एक पदानुक्रमित सांख्यिकीय ढांचे का प्रस्ताव करते हैं। यह ढांचा तीन स्तरों से बना है:

स्तर 1: कठिनाई-भारित व्यवहार संबंधी उलझाव सूचकांक (BEI $_w$ )

लक्ष्य: सिंक्रोनाइज्ड विफलताओं (synchronized failures) का पता लगाना, विशेष रूप से आसान कार्यों पर, जहाँ सहवर्ती त्रुटियाँ स्वतंत्रता के तहत सांख्यिकीय रूप से असंary (unlikely) होती हैं।
तंत्र:
1. कार्य कठिनाई का परिमाणीकरण: कार्य की सुगमता ( $a_t = 1 - d_t$ ) को परिभाषित करने के लिए एम्पिरिकल फेलियर रेट्स ( $d_t$ ) का उपयोग करता है।
2. कंडीशनल इंडिपेंडेंस नल (Conditional Independence Null): फर्स्ट-ऑर्डर डिफिकल्टी प्रभावों को हटाने के लिए लॉजिस्टिक रिग्रेशन का उपयोग करके कठिनाई के आधार पर विफलता की संभावना ( $p_m(d)$ ) को मॉडल करता है।
3. रेसिड्यूअल इंटरेक्शन (Residual Interaction): अपेक्षित विफलताओं से वास्तविक विफलताओं के विचलन की गणना करता है ( $R_{m,t}$ )।
4. मेट्रिक: रेसिड्यूअल उत्पादों के युग्मवार (pairwise) योग की गणना करता है, जो उच्च सुगमता ( $a_t$ ) वाले कार्यों पर जोर देता है।
5. महत्व: यह निर्धारित करने के लिए कि क्या देखे गए सह-विफलताएं (co-failures) नल अपेक्षा से अधिक हैं, साइन-फ्लिप रैंडमाइजेशन टेस्ट का उपयोग करता है।

स्तर 2: संचयी सूचना लाभ (Cumulative Information Gain - CIG)

लक्ष्य: त्रुटियों की दिशात्मकता (directionality) को पकड़ना (उदाहरण के लिए, मल्टीपल-चॉइस प्रश्नों में, क्या मॉडल्स एक ही गलत विकल्प चुनते हैं?)।
तंत्र:
1. डायरेक्शनल कोलिजन (Directional Collision): उन कार्यों की पहचान करता है जहाँ दो मॉडल विफल होते हैं और एक ही गलत विकल्प चुनते हैं।

नल बेसलाइन: डिस्ट्रैक्टर्स की एम्पिरिकल आकर्षण क्षमता ( $p_{k,t}$ $p_{k, t}$ ) के आधार पर कोलिजन की अपेक्षित संभावना की गणना करता है।
1. सरप्राइज़ल वेटिंग (Surprisal Weighting): कार्यों को $-\log(c^{null}_t)$ द्वारा भारित करता है, जिससे असंary सहवर्ती त्रुटियों को अधिक महत्व मिलता है।
2. मेट्रिक: देखे गए दिशात्मक समझौते (directional agreement) को नल अपेक्षा से विचलन को एकत्रित करता है। सकारात्मक CIG गलत तर्क पथों में व्यवस्थित संरेखण का संकेत देता है।

स्तर 3: डी-एंटैंगल्ड वेरीफायर रीवेटिंग (De-entangled Verifier Reweighting)

लक्ष्य: अनुमानित स्वतंत्रता के आधार पर मॉडल वेट्स को समायोजित करके एन्सेम्बल वेरिफिकेशन में पूर्वाग्रह (bias) को कम करना।
तंत्र:
- एक युग्मवार एंटैंगलमेंट स्कोर $E(i, j)$ को परिभाषित करता है जो BEI और CIG को जोड़ता है।
- इंटरनल डिपेंडेंस ( $\Delta^{in}$ ): एन्सेम्बल के सापेक्ष एक वेरीफायर की रेडंडेंसी (redundancy) को मापता है।
- टारगेट डिपेंडेंस ( $\Delta^{tar}$ ): लक्षित मॉडल (target model) के साथ वेरीफायर का संरेखण मापता है।
- रीवेटिंग फॉर्मूला: कंपीटेंस स्कोर ( $q_m$ ) को उनके एंटैंगलमेंट स्कोर ( $\eta_1 \Delta^{in} + \eta_2 \Delta^{tar}$ ) द्वारा दंडित (penalize) करके वेरीफायर को वेट असाइन करता है। यह उन वेरीफायर को कम वेट देता है जो टारगेट या अन्य वेरीफायर के साथ अत्यधिक सह-संबद्ध हैं।

3. मुख्य योगदान (Key Contributions)

सांख्यिकीय ढांचा: सतह-स्तर की आउटपुट समानता से आगे बढ़कर, संरचनात्मक त्रुटि विश्लेषण के माध्यम से व्यवहार संबंधी उलझाव का ऑडिट करने के लिए एक कठोर, मल्टी-रेज़ोल्यूशन पदानुक्रम (BEI $_w$ और CIG) पेश किया।
अनुभवजन्य खोज (Empirical Discovery): 18 LLMs और 6 परिवारों (GPT, Llama, Qwen, Claude, Gemini, DeepSeek सहित) पर व्यापक प्रयोग किए।
- व्यापक इंट्रा-फैमिली (intra-family) और क्रॉस-फैमिली (cross-family) एंटैंगलमेंट पाया।
- क्रॉस-जेनरेशन एंटैंगलमेंट (जैसे, GPT-5 और Claude 4.6 जैसे फ्रंटियर मॉडल्स के बीच) की पहचान की, जो बताता है कि साझा सिग्नल सीधे वंश से परे भी फैले हुए हैं।
बायस क्वांटिफिकेशन (Bias Quantification): एंटैंगलमेंट मेट्रिक्स और जज प्रिसिजन डिग्रेडेशन के बीच सांख्यिकीय रूप से महत्वपूर्ण संबंध प्रदर्शित किया।
- CIG ने ओवर-एंडोर्समेंट बायस (over-endorsement bias) के साथ मजबूत सहसंबंध दिखाया (GPT-4o-mini के लिए स्पीयरमैन $\rho = 0.64$ , Llama3-आधारित जजों के लिए $\rho = 0.71$ , $p < 0.01$ )।
व्यावहारिक शमन (Practical Mitigation): निर्भरता को दंडित करके वेरिफिकेशन सटीकता में सुधार करने के लिए एक डी-एंटैंगल्ड वेरीफायर एन्सेम्बल विधि को प्रस्तावित और मान्य किया।

4. प्रयोगात्मक परिणाम (Experimental Results)

एंटैंगलमेंट डिटेक्शन: ढांचे ने सफलतापूर्वक उन छिपे हुए डिपेंडेंसीज की पहचान की जिन्हें मानक पियर्सन कोरिलेशन मिस कर गया था। BEI ने आसान कार्यों पर साझा ब्लाइंड स्पॉट्स को उजागर किया, जबकि CIG ने त्रुटिपूर्ण तर्क पथों में विशिष्ट संरेखण को प्रकट किया।
मूल्यांकन पर प्रभाव:
- मानक पियर्सन कोरिलेशन मूल्यांकन पूर्वाग्रह (evaluation bias) की भविष्यवाणी करने में विफल रहा।
- एंटैंगलमेंट-अवेयर मेट्रिक्स (BEI/CIG) ने ओवर-एंडोर्समेंट बायस (Type I errors) की सटीक भविष्यवाणी की, जहाँ जज एंटैंगल्ड मॉडल्स के उत्तरों को गलत तरीके से मान्य करते हैं।
एन्सेम्बल प्रदर्शन:
- LLM-as-a-judge वेरिफिकेशन कार्यों में, प्रस्तावित एंटैंगलमेंट-आधारित रीवेटिंग ने 0.896 सटीकता और 0.906 प्रिसिजन प्राप्त किया।
- यह स्टैंडर्ड मेजॉरिटी वोटिंग (0.847) की तुलना में 4.5% सटीकता लाभ है और यह एक्यूरेसी-आधारित रीवेटिंग (0.881) से बेहतर प्रदर्शन करता है।
- विधि ने अनुकूल रूप से उन वेरीफायर के वेट को कम किया जिनमें उच्च टारगेट डिपेंडेंस था (जैसे, यदि GPT-5 जज द्वारा मूल्यांकन किया जा रहा हो, तो Gemini 3.1 Pro को कम वेट देना)।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र मल्टी-LLM सिस्टम में स्वतंत्रता की धारणा को मौलिक रूप से चुनौती देता है। यह प्रदान करता है:

एक डायग्नोस्टिक टूल: LLM इकोसिस्टम में डिस्टिलेशन और साझा डेटा के कारण होने वाले छिपे हुए डिपेंडेंसी के लिए एक सांख्यिकीय ऑडिट पद्धति।
एक चेतावनी: LLMs के बीच स्पष्ट आम सहमति (consensus) सही होने का प्रमाण नहीं है; यह सह-संबद्ध त्रुटियों का एक कंसेंसस हो सकता है।
एक समाधान: वेरीफायर एन्सेम्बल को रीवेट करने के लिए एक व्यावहारिक एल्गोरिदम, जो स्वचालित मूल्यांकन और सुरक्षा तंत्र की विश्वसनीयता में काफी सुधार करता है।

यह कार्य सुझाव देता है कि भविष्य के मल्टी-मॉडल सिस्टम को "इको चैंबर" प्रभाव से बचने के लिए डिपेंडेंसी स्ट्रक्चर को स्पष्ट रूप से ध्यान में रखना चाहिए, जहाँ एंटैंगल्ड मॉडल्स एक-दूसरे की त्रुटियों को पुख्ता करते हैं।