Most LLM Conformity Needs No Speaker: Measuring the Speaker-Free Floor in Peer-Pressure Benchmarks
यह शोध पत्र प्रकट करता है कि पीयर-प्रेशर बेंचमार्क में दिखने वाली एलएलएम (LLM) अनुरूपता का अधिकांश हिस्सा वास्तव में किसी वक्ता की उपस्थिति के बजाय स्वयं बार-बार आने वाले गलत उत्तर द्वारा संचालित होता है, जो एक महत्वपूर्ण "स्पीकर-फ्री फ्लोर" (वक्ता-रहित आधार) स्थापित करता है जिसे वर्तमान मूल्यांकन विधियाँ ध्यान में रखने में विफल रहती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: "गूँज" बनाम "आवाज़"
कल्पना कीजिए कि आप एक बहुविकल्पीय प्रश्नोत्तरी (multiple-choice quiz) दे रहे हैं। आप 100% सुनिश्चित हैं कि उत्तर A है।
तभी, कोई आपके कान में फुसफुसाता है, "दरअसल, बाकी सब सोचते हैं कि उत्तर B है।" आप अपना उत्तर बदलकर B कर सकते हैं क्योंकि आप घुलने-मिलने के दबाव को महसूस करते हैं। इसे शोधकर्ता "अनुरूपता" (conformity) कहते हैं।
लेकिन यह शोध एक पेचीदा सवाल पूछता है: क्या आपने अपना उत्तर इसलिए बदला क्योंकि वह व्यक्ति फुसफुसा रहा था, या सिर्फ इसलिए क्योंकि आपने "B" शब्द को बार-बार दोहराते हुए सुना?
लेखकों ने पाया कि AI मॉडल्स (LLMs) के लिए यह मायने नहीं रखता कि कौन बोल रहा है। यदि आप व्यक्ति को पूरी तरह से हटा भी दें और केवल गलत उत्तर को छह बार दोहराकर दिखा दें, तो भी मॉडल अपना मन बदल लेता है।
प्रयोग: "शांत कमरे" का परीक्षण (The "Silent Room" Test)
शोधकर्ताओं ने इस परीक्षण के लिए एक खेल तैयार किया। उन्होंने छह अलग-अलग AI मॉडल्स का उपयोग किया और उनसे ऐसे प्रश्न पूछे जहाँ वे शुरू में सही थे। फिर, उन्होंने मॉडल्स को एक "संकेत" दिखाया जिसमें कहा गया था कि गलत उत्तर ही सही है। उन्होंने इस संकेत को प्रस्तुत करने के चार अलग-अलग तरीकों का परीक्षण किया:
- शांत कमरा (कोई स्रोत नहीं/No-Source): टेक्स्ट बस इतना कहता है, "उत्तर B है।" (किसी का नाम नहीं लिया गया)।
- एक रैंडम व्यक्ति: "व्यक्ति 1 कहता है: उत्तर B है।"
- बातूनी भीड़: "एलिस कहती है कि उसे यकीन है कि यह B है। बॉब भी सोचता है कि यह B है..."
- विशेषज्ञ पैनल: "प्रसिद्ध प्रोफेसरों का एक समूह कहता है: उत्तर B है।"
चौंका देने वाला परिणाम:
जब AI "शांत कमरे" में था (यानी केवल टेक्स्ट "उत्तर B है" देख रहा था जिसमें कोई वक्ता नहीं था), तो उसने अपना सही उत्तर बदलकर गलत उत्तर 66.5% बार चुना।
इसकी तुलना "साधारण पुन: पूछने" (plain re-ask) से करें (जहाँ AI को बिना किसी नए टेक्स्ट के केवल दोबारा जाँच करने के लिए कहा जाता है), जहाँ उसने केवल 10.3% बार अपना मन बदला।
रूपक (Metaphor):
AI को एक कक्षा में छात्र की तरह समझें।
- पुरानी थ्योरी: छात्र अपना उत्तर इसलिए बदलता है क्योंकि वह शिक्षक से डरता है या लोकप्रिय बच्चों को प्रभावित करना चाहता है (वक्ता/Speaker)।
- नया निष्कर्ष: छात्र अपना उत्तर सिर्फ इसलिए बदलता है क्योंकि वह "B" शब्द को बार-बार सुनते जा रहा है। भले ही शिक्षक कमरे से चला जाए और ब्लैकबोर्ड पर "B" छह बार लिखा हो, छात्र फिर भी सोचता है, "ओह, यह तो ज़रूर B ही होगा।"
वास्तव में AI को क्या प्रभावित करता है?
शोध से पता चला कि "वक्ता" (Speaker) मुख्य चालक नहीं है। टेक्स्ट का दोहराव (repetition of the text) ही असली कारण है।
- फ्लोर (The Floor): शोधकर्ता 66.भ% परिवर्तन दर को "स्पीकर-फ्री फ्लोर" (speaker-free floor) कहते हैं। यह केवल गलत उत्तर को बार-बार देखने से होने वाली भ्रम की आधार रेखा (baseline) है।
- सीलिंग (The Ceiling): एक "वक्ता" (जैसे विशेषज्ञ पैनल) जोड़ने से त्रुटि दर केवल थोड़ी सी बढ़कर लगभग 79% हुई।
- निष्कर्ष: जिसे हम "सामाजिक दबाव" समझ रहे थे, वह वास्तव में अधिकांशतः AI का बार-बार दोहराए गए टेक्स्ट से भ्रमित होना है। "वक्ता" तो बस एक बड़ी समस्या के ऊपर एक छोटा सा अतिरिक्त प्रभाव मात्र है।
अन्य दिलचस्प निष्कर्ष
यह केवल लोगों के बारे में नहीं है: इससे कोई फर्क नहीं पड़ता कि टेक्स्ट किसी "व्यक्ति" से आया, किसी "डेटाबेस" से, या किसी "संदर्भ" (retrieved reference) से। जब तक टेक्स्ट साक्ष्य (evidence) जैसा दिखता था (कुछ ऐसा जो दावा करता है कि वह एक तथ्य है), AI अपना मन बदल लेता था। यदि टेक्स्ट बेमतलब के शब्दों का एक रैंडम समूह दिखता, तो AI अपना मन नहीं बदलता।
- रूपक: यह एक अफवाह सुनने जैसा है। यदि आप सुनते हैं "अफवाह X है," तो आप उस पर विश्वास कर सकते हैं। यदि आप सुनते हैं "एक रैंडм शोर X है," तो आप उसे अनदेखा कर देते हैं। AI दावे पर ध्यान देता है, संदेशवाहक पर नहीं।
एक आवाज़ ही काफी है: AI को मूर्ख बनाने के लिए आपको भीड़ की ज़रूरत नहीं है। गलत उत्तर को एक बार दोहरा हुआ सुनना, पाँच अलग-अलग लोगों से सुनने के लगभग समान रूप से शक्तिशाली है।
- रूपक: यदि एक खराब घड़ी पाँच बार कहती है "3:00 बजे हैं," तो आप सोचने लग सकते हैं कि 3:00 बज रहे हैं। आपको भ्रमित होने के लिए पाँच अलग-अलग घड़ियों की आवश्यकता नहीं है।
आत्मविश्वास के साथ गलत होना: जब AI अपना उत्तर बदलता है, तो वह हिचकिचाता नहीं है। वह गलत उत्तर के प्रति और अधिक आश्वस्त हो जाता है।
- रूपक: कल्पना कीजिए कि आप पक्का जानते हैं कि आपने सामने का दरवाज़ा लॉक कर दिया है। फिर आप एक नोट देखते हैं जिसमें लिखा है "दरवाज़ा खुला है।" आप तुरंत चिंता करना छोड़ देते हैं और 100% निश्चित हो जाते हैं कि दरवाज़ा खुला है, भले ही आपने कभी जाँच न की हो। AI भी ऐसा ही करता है; वह गलत उत्तर की ओर मुड़ता है और बहुत आत्मविश्वास महसूस करता है।
भविष्य के लिए सबक
यह शोध निष्कर्ष निकालता है कि जब हम AI के "सामाजिक अनुरूपता" (social conformity) के लिए परीक्षण करते हैं, तो हमें सावधान रहने की आवश्यकता है। हम केवल यह नहीं कह सकते कि "AI ने समूह की बात सुनी इसलिए उसने अपना उत्तर बदल दिया।"
हमें यह भी पूछना होगा: "क्या उसने समूह के कारण बदला, या सिर्फ इसलिए क्योंकि उसने गलत उत्तर को बार-बार देखा?"
लेखक सुझाव देते हैं कि "पीयर प्रेशर" (साथियों का दबाव) को दोष देने से पहले, हमें "स्पीकर-फ्री फ्लोर" को मापना चाहिए। यदि AI केवल टेक्स्ट देखकर अपना मन बदल लेता है, तो वह सामाजिक प्रभाव नहीं है; वह केवल दोहराव से होने वाला भ्रम है।
संक्षेप में: AI अनिवार्य रूप से घुलने-मिलने वाला कोई सामाजिक छलावरण (social chameleon) नहीं है; यह एक ऐसे तोते की तरह है जो भ्रमित हो जाता है जब वह एक ही गलत वाक्यांश को बार-बार सुनता है, चाहे उसे कहने वाला कोई भी (या जो भी) हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।