Self-Consistency from Only Two Samples: CoT-PoT Ensembling for Efficient LLM Reasoning
यह शोध पत्र एक हाइब्रिड CoT-PoT एनसेम्बलिंग फ्रेमवर्क पेश करता है जो तर्क सटीकता में महत्वपूर्ण सुधार करता है और सेल्फ-कंसिस्टेंसी की कम्प्यूटेशनल लागत को 9.3 गुना कम करता है, जिससे 78.6% कार्यों को केवल दो नमूनों के साथ हल किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही कठिन गणितीय पहेली को हल करने की कोशिश कर रहे हैं। आप एक सुपर-स्मार्ट AI असिस्टेंट से उसका उत्तर पूछते हैं।
कभी-कभी, AI सही उत्तर देता है। कभी-कभी, वह भ्रमित हो जाता है और एक मूर्खतापूर्ण गणितीय गलती कर देता है, या वह पूरे प्रश्न को ही गलत समझ लेता है।
पुराना तरीका: "एक ही सवाल 40 बार पूछें"
यह सुनिश्चित करने के लिए कि AI सही है, शोधकर्ता सेल्फ-कंसिस्टेंसी (Self-Consistency) नामक तकनीक का उपयोग करते थे। यह एक ही सवाल को AI से लगातार 40 बार पूछने जैसा है।
- यदि AI बीस बार "12" कहता है और बीस बार "13" कहता है, तो आप "12" चुनते हैं क्योंकि वह सबसे लोकप्रिय उत्तर है।
- समस्या: यह महंगा और धीमा है। यह एक पहेली को हल करने के लिए 40 अलग-अलग लोगों को काम पर रखने जैसा है ताकि सुरक्षित रहा जा सके। इसमें बहुत समय और पैसा लगता है।
नया विचार: "जासूस और मुनीम"
इस पेपर के लेखकों ने महसूस किया कि AI से एक ही सवाल 40 बार पूछना अक्षम है क्योंकि AI अक्सर आपको एक ही गलती के 40 थोड़े अलग संस्करण दे देता है। यह एक ही स्कूल में पढ़ने वाले 40 लोगों से पहेली सुलझाने के लिए पूछने जैसा है; वे सभी एक ही तार्किक त्रुटि कर सकते हैं।
इसके बजाय, उन्होंने तय किया कि वे AI को एक ही समय में दो पूरी तरह से अलग तरीकों से समस्या को हल करने के लिए कहेंगे:
जासूस (चेन-ऑफ-थॉट / CoT): यह मोड साधारण अंग्रेजी में सोचता है। यह एक इंसान की तरह कदम-दर-कदम समस्या के बारे में बात करता है। "खैर, अगर मेरे पास 5 सेब हैं और मैंने 2 दे दिए, तो मेरे पास 3 बचे..."
- ताकत: कहानी और तर्क को समझने में बेहतरीन है।
- कमजोरी: गणित में खराब है। यह "5 में से 2 घटाने पर 4 होता है" कह सकता है क्योंकि यह बहुत तेजी से बोल रहा है।
मुनीम (प्रोग्राम-ऑफ-थॉट / PoT): यह मोड बात नहीं करता; यह कोड लिखता है। यह समस्या को एक कंप्यूटर प्रोग्राम में बदल देता है। "let apples = 5, let given_away = 2, calculate apples - given_away."
- ताकत: गणित में सटीक। कंप्यूटर गणितीय गलतियाँ नहीं करते।
- कमजोरी: कहानी समझने में खराब है। यह गलत कोड लिख सकता है क्योंकि इसने प्रश्न को गलत समझा है।
जादू का मंत्र: "दो-नमूना स्टॉप" (The Two-Sample Stop)
यही वह शानदार खोज है: यदि जासूस और मुनीम एक ही उत्तर पर सहमत होते हैं, तो वे लगभग निश्चित रूप से सही हैं।
क्यों?
- जासूस तर्क संबंधी गलतियाँ करता है लेकिन गणित को सही रखता है (आमतौर पर)।
- मुनीम तर्क संबंधी गलतियाँ करता है लेकिन गणित को सही रखता है (हमेशा)।
- यह बहुत दुर्लभ है कि दोनों एक ही तरह से एक ही गलती करें।
इसलिए, 40 बार पूछने के बजाय, नया तरीका इस प्रकार काम करता है:
- जासूस से एक बार पूछें।
- मुनीम से एक बार पूछें।
- जांचें: क्या उन्होंने एक ही उत्तर दिया?
- हाँ? रुकिए! आपके पास आपका उत्तर है। आपने केवल 2 नमूने (samples) का उपयोग किया।
- नहीं? उन्हें फिर से पूछें (शायद तीसरी बार) जब तक कि वे सहमत न हो जाएं।
परिणाम: एक बड़ी जीत
यह पेपर दिखाता है कि यह "जासूस + मुनीम" टीम एक गेम-चेंजर है:
- गति: उन्होंने केवल 2 नमूनों के साथ (एक प्रत्येक मोड से) सभी समस्याओं के 78% को हल किया। पिछले तरीकों को कम से कम 4 या 5 नमूनों की आवश्यकता थी, और पुराने तरीके को 40 की!
- सटीकता: क्योंकि दोनों मोड एक-दूसरे की कमजोरियों को ढक लेते हैं, इसलिए अंतिम उत्तर वास्तव में पुराने तरीके की तुलना में अधिक सटीक है, भले ही उन्होंने कम सवाल पूछे हों।
- लागत: उन्होंने कंप्यूटिंग लागत को 9.3 गुना कम कर दिया। यह एक भव्य भोज के बजाय एक कॉफी की कीमत में बेहतर परिणाम पाने जैसा है।
वास्तविक दुनिया का उदाहरण
कल्पना कीजिए कि आप एक तरबूज का वजन अनुमान लगाने की कोशिश कर रहे हैं।
- पुराना तरीका: आप 40 लोगों से अनुमान लगाने के लिए कहते हैं। यदि वे सभी "10 पाउंड" कहते हैं क्योंकि उन्होंने पहले एक छोटा तरबूज देखा था, तो आप गलत हो सकते हैं।
- नया तरीका: आप एक व्यक्ति से उसे देखकर अनुमान लगाने के लिए कहते हैं (जासूस) और एक व्यक्ति से उसे तराजू पर रखकर वजन करने के लिए कहते हैं (मुनीम)।
- यदि देखने वाला व्यक्ति "10 पाउंड" कहता है और तराजू भी "10 पाउंड" बताता है, तो आप 99% आश्वस्त हो सकते हैं कि यह 10 पाउंड ही है। आपको 38 और लोगों से पूछने की जरूरत नहीं है।
सारांश
यह पेपर हमें सिखाता है कि विविधता (diversity), मात्रा (quantity) से बेहतर है। AI से एक ही सवाल 40 बार पूछने के बजाय, उससे दो अलग-अलग प्रकार के सवाल पूछें (तर्क बनाम गणित)। यदि वे सहमत हैं, तो आप तुरंत रुक सकते हैं। यह कम समय और पैसे खर्च करके वास्तव में बेहतर उत्तर प्राप्त करने का एक तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।