When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs
यह शोध पत्र यह प्रदर्शित करता है कि कठिन विज्ञान संबंधी समस्याओं पर छोटे इंस्ट्रक्शन-ट्यून्ड (instruction-tuned) LLMs के लिए, मेजॉरिटी वोटिंग (majority voting) के माध्यम से सेल्फ-कंसिस्टेंसी (self-consistency) अक्सर सिंगल-सैंपल इन्फरेंस (single-sample inference) की तुलना में सटीकता को कम कर देती है क्योंकि जनरेट किए गए उत्तरों के बीच उच्च सहमति (high agreement) विश्वसनीयता से सही होने के साथ सह-संबंधित नहीं होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही कठिन पहेली सुलझाने की कोशिश कर रहे हैं। आप अपने दोस्त से उसका उत्तर पूछते हैं, लेकिन वह अनिश्चित लग रहा है। इसलिए, आप उससे वही पहेली दस बार पूछते हैं। यदि वह आपको आठ बार एक ही उत्तर देता है, तो आप शायद सोचेंगे, "ठीक है, वे सही ही होगा!" यह कुछ वैसा ही है जैसे आधुनिक कंप्यूटर मस्तिष्क, जिन्हें 'लार्ज लैंग्वेज मॉडल्स' (LLMs) कहा जाता है, स्मार्ट बनने की कोशिश करते हैं। केवल एक बार अनुमान लगाने के बजाय, उन्हें अक्सर एक समस्या के बारे में कई बार "सोचने", अलग-अलग विचार श्रृंखलाएं (chains of thoughts) बनाने, और फिर उस उत्तर को चुनने के लिए कहा जाता है जो सबसे अधिक बार दिखाई देता है। इस तकनीक को सेल्फ-कंसिस्टेंसी (Self-Consistency) कहा जाता है। यह एक भीड़ से वोट मांगने जैसा है; विचार यह है कि "बहुमत का वोट" लगभग हमेशा सही होता है।
यह क्यों मायने रखता है? क्योंकि ये कंप्यूटर मस्तिष्क जीव विज्ञान से लेकर भौतिकी तक, कठिन विज्ञान संबंधी समस्याओं को हल करने के लिए उपयोग किए जा रहे हैं। यदि "भीड़ मतदान" वाला तरीका काम करता है, तो हम बस कंप्यूटर को बेहतर परिणाम पाने के लिए लंबे समय तक और अधिक गहराई से सोचने के लिए छोड़ सकते हैं। लेकिन क्या होगा अगर भीड़ वास्तव में गलत हो? क्या होगा अगर कंप्यूटर एक गलत उत्तर को लेकर इतना आश्वस्त हो कि उसे अधिक बार पूछने से वह अपनी बात पर और भी मजबूती से अड़ जाए? यही वह डरावना सवाल है जो यह शोध पत्र पूछता है। शोधकर्ता जानना चाहते थे कि: कठिन विज्ञान के सवालों पर, कंप्यूटर को अपने ही उत्तरों पर वोट देने के लिए कहना वास्तव में मदद करता है, या यह अनजाने में चीजों को और खराब कर देता है?
द ग्रेट वोटिंग बैकफायर (The Great Voting Backfire)
इस अध्ययन में, शोधकर्ताओं ने दो लोकप्रिय, छोटे कंप्यूटर मस्तिष्क (एक जिसे Qwen2.5-7B कहा जाता है और दूसरा Llama-3-8B) का एक बहुत कठिन परीक्षण जिसे GPQA डायमंड (GPQA Diamond) कहा जाता है, पर परीक्षण किया। इस परीक्षण में जीव विज्ञान, रसायन विज्ञान और भौतिकी के 198 स्नातक स्तर (graduate-level) के विज्ञान प्रश्न हैं। यह उस तरह की चीज़ है जो एक कॉलेज सीनियर को भी पसीने छुड़ा दे।
टीम ने यह देखने के लिए एक चतुर, पूर्व-नियोजित विधि का उपयोग किया कि क्या होता है जब वे इन मॉडल्स को अपने ही उत्तरों पर "वोट" देने देते हैं। उन्होंने मॉडल्स को प्रत्येक समस्या को हल करने के लिए 64 अलग-अलग प्रयास करने के लिए कहा और फिर सबसे सामान्य उत्तर (बहुमत का वोट) लिया।
यहाँ एक मोड़ है: बहुमत का वोट उल्टा पड़ गया (The majority vote backfired)।
स्मार्ट बनने के बजाय, कंप्यूटर मस्तिष्क वास्तव में अधिकांश समस्याओं पर बदतर हो गए।
- Qwen मॉडल के लिए, वोटिंग पद्धति ने 56.6% समस्याओं पर सटीकता को नुकसान पहुँचाया।
- Llama मॉडल के लिए, इसने 65.7% समस्याओं को नुकसान पहुँचाया।
इसे ऐसे सोचिए: कल्पना कीजिए कि एक छात्र गणित का एक कठिन टेस्ट दे रहा है। वह एक प्रश्न को लेकर अनिश्चित है, इसलिए वह खुद से पूछता है, "इसका उत्तर क्या है?" दस बार। यदि वह अपने दिमाग में गलती से आठ बार एक ही गलत उत्तर देता है, तो "बहुमत का वोट" उसे उस गलत उत्तर को उच्च आत्मविश्वास के साथ चुनने के लिए कहता है। वह जितना अधिक खुद से पूछता है, उतना ही वह गलत उत्तर के प्रति आश्वस्त होता जाता है। शोध पत्र इसे "बैकफायर" कहता है। यह पता चला कि इन कठिन विज्ञान प्रश्नों पर, कंप्यूटर का आत्मविश्वास एक झूठ बोलने वाला होता है।
"ओरेकल" का सपना बनाम वास्तविकता
शोधकर्ताओं ने फिर एक व्यावहारिक प्रश्न पूछा: "क्या हम एक सस्ता, स्मार्ट फिल्टर बना सकते हैं जो हमें बता सके कि कब वोट देना है और कब केवल एक बार अनुमान लगाना है?"
उन्होंने एक आदर्श "ओरेकल" (एक जादुई मार्गदर्शक जो सही उत्तर जानता है) की कल्पना की। यदि यह ओरेकल प्रत्येक समस्या को देख सकता और कह सकता, "इसके लिए, 64 बार वोट दें," या "उसके लिए, केवल एक बार अनुमान लगाएं," तो मॉडल्स अपने स्कोर में 14 से 17 प्रतिशत अंक सुधार सकते थे। यह एक बहुत बड़ी छलांग है!
लेकिन शोधकर्ताओं ने एक वास्तविक दुनिया के, "वेरिफायर-फ्री" (verifier-free) संकेतों का परीक्षण किया ताकि यह देखा जा सके कि क्या वे इस जादुई ओरेकल के सस्ते विकल्प के रूप में कार्य कर सकते हैं:
- द एग्रीमेंट गेट (The Agreement Gate): "यदि उत्तर एक-दूसरे के साथ पर्याप्त रूप से सहमत हैं, तो वोट पर भरोसा करें।"
- द एंट्रॉपी गेट (The Entropy Gate): "यदि कंप्यूटर 'अनिश्चित' (उच्च एंट्रॉपी) लगता है, तो वोट न दें; यदि वह 'निश्चित' (कम एंट्रॉपी) लगता है, तो वोट दें।"
परिणाम? दोनों गेट विफल रहे।
कोई भी तरीका जादुई ओरेकल की क्षमता के करीब नहीं पहुँच सका। वास्तव में, इन गेट्स का उपयोग करने से स्कोर में कोई सुधार नहीं हुआ, यहाँ तक कि अंधाधुंध 64 बार वोट देने की तुलना में भी। "एग्रीमेंट गेट" इतना बेकार था कि उसने बहुत कम अंतर (0.002 से कम) दिखाया। "एंट्रॉपी गेट" भी एक मृत अंत साबित हुआ।
ऐसा क्यों हुआ?
शोध पत्र समझाता है कि समस्या सरल लेकिन निराशाजनक है: आत्मविश्वास का अर्थ शुद्धता नहीं है (Confidence does not equal correctness)।
इन कठिन विज्ञान समस्याओं पर, कंप्यूटर मॉडल अक्सर एक गलत उत्तर पर अटक जाते हैं। जब वे 64 उत्तर उत्पन्न करते हैं, तो वे उसी गलत उत्तर को 50 बार उत्पन्न कर सकते हैं। "बहुमत का वोट" उस गलत उत्तर के लिए 50 वोट देखता है और कहता है, "यही सही होना चाहिए!" कंप्यूटर आत्मविश्वास के साथ गलत होता है।
शोधकर्ताओं ने डेटा देखा और पाया कि Llama मॉडल के बारे में कुछ अजीब था: वे समस्याएँ जहाँ उत्तर एक-दूसरे के साथ सबसे अधिक सहमत थे, वास्तव में सबसे कम सटीक थीं। कंप्यूटर जितना अधिक खुद से सहमत होता था, उसके गलत होने की संभावना उतनी ही अधिक थी। यह एक समूह के दोस्तों के बीच एक खराब फिल्म की कहानी पर सहमति जताने जैसा है; वे जितना अधिक सहमत होते हैं, आपको उतना ही पता चलता है कि वह कहानी बकवास है।
इसका क्या अर्थ है
शोध पत्र निष्कर्ष निकालता है कि इन विशिष्ट, कठिन विज्ञान समस्याओं के लिए, आप केवल यह मानकर नहीं चल सकते कि "अधिक सोचना" या "वोटिंग" मदद करेगा।
- बुरी खबर: यदि आप यह तय करने के लिए कंप्यूटर की अपनी सहमति पर भरोसा करते हैं कि वह सही है या नहीं, तो आपको धोखा दिया जा सकता है। "बहुमत" अक्सर गलत होता है।
- अच्छी खबर: हम जानते हैं कि यह क्यों विफल होता है (आत्मविश्वास शुद्धता का पता नहीं लगाता है), और हम जानते हैं कि सहमति या अनिश्चितता की जाँच करने जैसे सरल तरीके इसे ठीक नहीं कर पाएंगे।
- खुला प्रश्न: शोधकर्ताओं ने नवीनतम, "रीजनिंग-नेटिव" (reasoning-native) मॉडल्स (वे सुपर-स्मार्ट मॉडल जिन्हें विशेष रूप से तर्क के लिए डिज़ाइन किया गया है) का परीक्षण नहीं किया है। वे इसे भविष्य के लिए एक रहस्य छोड़ देते हैं। शायद वे नए मॉडल बैकफायर नहीं करेंगे? हमें अभी तक नहीं पता है।
संक्षेप में, कठिन विज्ञान के सवालों पर, कंप्यूटर को अपने ही उत्तरों पर वोट देने के लिए कहना अक्सर उसकी गलतियों को पक्का कर देता है। वास्तविक लाभ प्राप्त करने के लिए, हमें काम की जाँच करने के एक स्मार्ट तरीके की आवश्यकता हो सकती है, न कि केवल एक तेज़ आवाज़ वाले वोट की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।