Decomposing Wrong-Consensus Agreement in LLM Self-Consistency: A GPT-4.1 Case Study
यह शोध पत्र एक "बहुलतावादी सहमति सूचकांक" (pluralistic agreement index) को पेश करके LLM स्व-संगति मतदान (self-consistency voting) के अनियमित प्रदर्शन का मात्रात्मक विश्लेषण करता है जो सहमति को यांत्रिक प्राथमिकता-संचालित और अवशिष्ट घटकों में विभाजित करता है, यह प्रकट करते हुए कि जबकि बहुविकल्पीय कार्यों पर साझा पूर्वाग्रह हावी रहते हैं, ओपन-डोमेन समस्याओं पर अस्पय स्पष्टीकृत विषमता बनी रहती है और उच्च सहमति शुद्धता की गारंटी नहीं देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स को अक्सर ओरेकल (oracle) जैसी मशीनों के रूप में माना जाता है जो जटिल समस्याओं पर विचार करके उन्हें हल कर सकती हैं। इन प्रणालियों को अधिक विश्वसनीय बनाने के लिए, शोधकर्ताओं ने 'सेल्फ-कंसिस्टेंसी' (self-consistency) नामक एक तकनीक विकसित की। इसका विचार सरल है: मॉडल से एक उत्तर मांगने के बजाय, आप उससे एक ही प्रश्न कई बार पूछते हैं और उत्तरों को वोट करने देते हैं। यदि मॉडल अधिकांश समय एक ही उत्तर देता है, तो यह माना जाता है कि यह सहमति संभवतः सही है। यह विधि सटीकता में सुधार करने के लिए एक मानक उपकरण बन गई है, जो इस सहज विश्वास पर आधारित है कि कई प्रयासों के बीच सहमति सत्य का संकेत देती है। हालाँकि, यह विश्वास एक जिद्दी वास्तविकता का सामना करता है: कभी-कभी, एक मॉडल खुद से बहुत मजबूती से सहमत हो सकता है और फिर भी पूरी तरह से गलत हो सकता है। ऐसा अक्सर कठिन प्रश्नों के साथ होता है, जहाँ मॉडल आत्मविश्वास के साथ एक प्रशंसनीय लेकिन गलत उत्तर पर टिक सकता है, जिससे सुरक्षा का एक झूठा अहसास पैदा होता है। यह समझना महत्वपूर्ण है कि ऐसा क्यों होता है, क्योंकि यदि हम एक आत्मविश्वासी सही उत्तर और एक आत्मविश्वासी गलत उत्तर के बीच अंतर नहीं कर सकते, तो हम इन प्रणालियों पर उच्च-दांव वाली स्थितियों में भरोसा नहीं कर सकते।
हुनान एग्रीकल्चरल यूनिवर्सिटी और युएलुशान लैबोरेटरी के शोधकर्ताओं द्वारा किया गया एक हालिया अध्ययन GPT-4.1 जैसे एक शक्तिशाली नए मॉडल का उपयोग करके इस विशिष्ट विफलता मोड की जांच करता है। केवल यह देखने के बजाय कि त्रुटियां होती हैं, टीम ने यह मापने का एक तरीका डिजाइन किया कि गलत सहमति का कितना हिस्सा स्वयं प्रश्न की प्रकृति से आता है और कितना मॉडल की सोच में किसी गहरे, साझा दोष से आता है। उन्होंने इस समस्या को मॉडल की वोटिंग प्रक्रिया के एक फोरेंसिक ऑडिट की तरह माना, जिसमें पिछले रिलीज के सार्वजनिक प्रति-रन (per-run) डेटा का उपयोग किया गया। जब मॉडल किसी प्रश्न पर गलत होता है, तो उन्होंने पूछा: क्या गलत उत्तरों का समूह केवल इसलिए एक साथ आ रहा है क्योंकि एक बहुत ही आकर्षक गलत विकल्प मौजूद है जिसे हर कोई चुनता है, या कुछ और है जो उन्हें गलत रास्ते पर सहमत होने के लिए प्रेरित कर रहा है? इसका उत्तर देने के लिए, उन्होंने एक सिमुलेशन बनाया जहाँ वे मॉडल की कुछ विशेष उत्तरों के प्रति प्राथमिकताओं को हटा सकते थे और देख सकते थे कि कितनी सहमति शेष रहती है।
शोधकर्ताओं ने पाया कि उत्तर इस बात पर बहुत अधिक निर्भर करता है कि किस प्रकार का प्रश्न पूछा जा रहा है। जब मॉडल निश्चित विकल्पों वाले बहुविकल्पीय प्रश्नों का सामना करता है, तो कहानी अपेक्षाकृत सीधी थी। इन मामलों में, एक गलत उत्तर पर मजबूत सहमति लगभग पूरी तरह से इस तथ्य से स्पष्ट थी कि मॉडल का एक विशिष्ट, आकर्षक 'डिस्ट्रैक्टर' (distractor) के प्रति यांत्रिक झुकाव था। मॉडल अनिवार्य रूप से हर बार एक ही गलत दरवाजे की ओर आकर्षित हो रहा था, और वोटिंग प्रणाली केवल उस एकल आकर्षण को दर्शा रही थी। इन परिदृश्यों में, वह "साझा पूर्वाग्रह" (shared bias) जो त्रुटि का कारण बनता है, मॉडल की उस विशिष्ट गलत विकल्प के प्रति व्यक्तिगत प्राथमिकता द्वारा पकड़ा गया था। अध्ययन ने दिखाया कि इन बहुविकल्पीय कार्यों के लिए, मॉडल की आंतरिक प्राथमिकता ने गलत सहमति के बीच 81% से 93% तक का स्पष्टीकरण दिया। यह सुझाव देता है कि इन सीमित कार्यों के लिए, त्रुटि पूरे समूह की एक रहस्यमय, सहसंबद्ध विफलता नहीं है, बल्कि एक विशिष्ट जाल के प्रति एक अनुमानित आकर्षण है।
हालाँकि, जब शोधकर्ताओं ने ओपन-एंडेड (open-ended) प्रश्नों को देखा, जैसे कि गणित प्रतियोगिताओं में पाए जाते हैं जहाँ चुनने के लिए विकल्पों की कोई सूची नहीं होती, तो तस्वीर नाटकीय रूप से बदल गई। यहाँ, एक विशिष्ट उत्तर के लिए मॉडल की आंतरिक प्राथमिकता ने सहमति के केवल 59% से 78% हिस्से की व्याख्या की। मॉडल की प्राथमिकताओं को ध्यान में रखने के बाद भी एक महत्वपूर्ण हिस्सा अस्पष्ट सहमति के रूप में शेष रह गया। यह बिना स्पष्ट किए गए सहमति का हिस्सा यह सुझाव देता है कि जब मॉडल शून्य से अपने उत्तर स्वयं उत्पन्न करता है, तो वह केवल एक लोकप्रिय गलत विकल्प नहीं चुन रहा होता है; विभिन्न प्रयास किसी तरह से एक ही त्रुटि पर लैंड करने के लिए समन्वय कर रहे होते हैं जो साधारण पसंद से कहीं आगे जाता है। शोधकर्ताओं ने नोट किया कि यह अस्पष्ट सहमति इस विचार के अनुरूप थी कि मॉडल अपने प्रशिक्षण से एक साझा, व्यवस्थित पूर्वाग्रह लेकर चलता है जो इसे बार-बार एक ही गलती करने के लिए मजबूर करता है, भले ही वह अलग तरह से सोचने की कोशिश करे।
अध्ययन ने यह भी पुष्टि की कि उच्च सहमति शुद्धता की गारंटी नहीं है। शोधकर्ताओं ने सबसे आत्मविश्वासी समूहों का अध्ययन किया—वे जहाँ मॉडल लगभग पूरी तरह से खुद से सहमत था—और पाया कि इन मामलों में भी, सटीकता पूर्ण नहीं थी। सबसे कठिन प्रश्नों पर, सबसे अधिक सहमति वाले उत्तर केवल 42% से 83% बार ही सही थे। इसका अर्थ है कि भले ही मॉडल अत्यधिक सुसंगत हो, फिर भी वह एक महत्वपूर्ण हिस्से में गलत होता है। इसके अलावा, अध्ययन ने दिखाया कि कठिन प्रश्नों पर, वोटिंग पद्धति का उपयोग करने से प्रदर्शन वास्तव में एक एकल अनुमान की तुलना में खराब हो सकता है। यह "बैकफायर" (backfire) प्रभाव सबसे कठिन समस्याओं पर सबसे अधिक स्पष्ट था, जहाँ मॉडल का गलत उत्तर पर सहमत होने का रुझान कभी-कभी सही अनुमान को ओवरराइड करने के लिए पर्याप्त मजबूत था।
अंततः, यह शोध हमें एआई के आत्मविश्वास को देखने के तरीके को पुनर्गठित करता है। अध्ययन दर्शाता है कि सहमति सत्य का प्रमाण नहीं है, बल्कि एक क्रमिक संकेत है जिसे सावधानी के साथ व्याख्या किया जाना चाहिए। बहुविकल्पीय परीक्षणों पर, एक गलत सहमति अक्सर केवल मॉडल का एक आकर्षक गलत उत्तर की ओर खिंचना मात्र है। लेकिन ओपन-एंडेड कार्यों पर, एक गलत सहमति एक गहरे, अस्पष्ट सहसंबंध को छिपा सकती है जहाँ मॉडल के विभिन्न प्रयास एक-दूसरे की त्रुटियों को सुदृढ़ करते हैं। शोधकर्ता निष्कर्ष निकालते हैं कि जबकि सेल्फ-कंसिस्टेंसी एक उपयोगी उपकरण है, इसकी एक सीमा है: यह एक एकल अनुमान की तुलना में सटीकता को काफी बढ़ा सकता है, लेकिन यह पूर्णता तक नहीं पहुँच सकता, विशेष रूप से जब प्रश्न कठिन हों। निष्कर्ष यह है कि हमें उच्च सहमति को शुद्धता के लिए 'ग्रीन लाइट' के रूप में देखना बंद करना चाहिए और इसे साक्ष्य के एक सूक्ष्म टुकड़े के रूप में मानना चाहिए जिसे आगे की जांच की आवश्यकता है, विशेष रूप से जब मॉडल बिना किसी निश्चित सेट के अपने स्वयं के उत्तर उत्पन्न कर रहा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।