← नवीनतम पेपर
🤖 AI

VecCISC: Improving Confidence-Informed Self-Consistency with Reasoning Trace Clustering and Candidate Answer Selection

यह शोध पत्र VecCISC को प्रस्तुत करता है, जो एक हल्का ढांचा (framework) है जो मूल्यांकन से पहले अनावश्यक या भ्रामक रीजनिंग ट्रेसेस (reasoning traces) को फ़िल्टर करने के लिए सिमेंटिक समानता (semantic similarity) का उपयोग करके कॉन्फिडेंस-इन्फॉर्म्ड सेल्फ-कंसिस्टेंसी (Confidence-Informed Self-Consistency) की गणना लागत को कम करता है, जिससे विविध रीजनिंग बेंचमार्क पर सटीकता बनाए रखते हुए या उसमें सुधार करते हुए 47% तक टोकन की बचत हासिल होती है।

मूल लेखक: James Petullo, Sonny George, Dylan Cashman, Nianwen Xue

प्रकाशित 2026-05-11
📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें
CC BY 4.0

मूल लेखक: James Petullo, Sonny George, Dylan Cashman, Nianwen Xue

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही कठिन पहेली सुलझाने की कोशिश कर रहे हैं। आप एक सुपर-स्मार्ट लेकिन कभी-कभी बहुत बातें करने वाले रोबोट (एक AI) से उस पहेली को हल करने के लिए कहते हैं। यह सुनिश्चित करने के लिए कि रोबोट इसे सही ढंग से हल करे, आप उससे पहेली को 20 बार हल करने के लिए कहते हैं।

पुराना तरीका (Self-Consistency):
आप उन सभी 20 उत्तरों को लेते हैं और बस उस उत्तर को चुनते हैं जो सबसे अधिक बार आता है। यदि 15 रोबोट कहते हैं "उत्तर बॉलिंग है," और 5 रोबोट कहते हैं "उत्तर चेस है," तो आप बॉलिंग को चुनते हैं। यह काम करता है, लेकिन यह धीमा है क्योंकि आपको 20 पूर्ण उत्तरों का इंतज़ार करना पड़ता है।

"दो बार सोचें" अपग्रेड (CISC):
शोधकर्ताओं ने महसूस किया कि केवल वोटों की गिनती करना ही काफी नहीं है। कभी-कभी रोबोट एक बहुत ही आत्मविश्वासी दिखने वाले स्पष्टीकरण के साथ गलत उत्तर देता है, या एक कमजोर स्पष्टीकरण के साथ सही उत्तर देता है। इसलिए, उन्होंने एक "जज" (Judge) रोबोट जोड़ा।

  1. पहला रोबोट अपने तर्क के साथ 20 उत्तर देता है।
  2. जज रोबोट उन सभी 20 तर्क कहानियों को पढ़ता है और उन्हें एक "कॉन्फिडेंस स्कोर" (जैसे 0 से 100 तक का ग्रेड) देता है।
  3. आप उच्चतम कुल स्कोर वाला उत्तर चुनते हैं।

समस्या:
यह सटीकता के लिए बहुत अच्छा है, लेकिन यह अविश्वसनीय रूप से महंगा है। हर सवाल के लिए 20 लंबी कहानियाँ पढ़ने के लिए जज को कहना, एक पत्र के 20 ड्राफ्टों की समीक्षा करने के लिए 20 संपादकों की एक टीम को काम पर रखने जैसा है। इसमें बहुत समय और पैसा (कंप्यूटिंग पावर) लगता है। इसके अलावा, पहला रोबोट कभी-कभी भ्रमित हो जाता है और बकवास लिख देता है (hallucinations) या एक ही वाक्य को बार-बार दोहराता है (degenerate traces)। जज उन कचरा ड्राफ्टों को पढ़ने में समय बर्बाद करता है।

नया समाधान (VecCISC):
लेखक जेम्स पेटुलो और उनकी टीम ने VecCISC नामक एक चतुर शॉर्टकट बनाया है। इसे समझने के लिए एक सरल उपमा का उपयोग करें, यह पहले रोबोट और जज के बीच एक "स्मार्ट सॉर्टर" (Smart Sorter) की तरह है।

यह इस प्रकार काम करता है:

  1. समूहीकरण (The Grouping): पहला रोबलेट अभी भी 20 कहानियाँ लिखता है।
  2. "वाइब चेक" (Clustering): जज को सभी 20 कहानियाँ भेजने के बजाय, स्मार्ट सॉर्टर कहानियों को उनके "वाइब" या अर्थ के आधार पर समूहों में बांट देता है।
    • कल्पना कीजिए कि रोबोट ने 15 कहानियाँ लिखीं जो कहती हैं, "फिल्म बॉलिंग के बारे में है," भले ही उन्होंने थोड़े अलग शब्दों का उपयोग किया हो। सॉर्टर देखता है कि ये अनिवार्य रूप से एक ही कहानी हैं।
    • वह उन 15 को एक ढेर में डाल देता है।
    • वह उन 3 कहानियों को दूसरे ढेर में डालता है जो कहती हैं "यह चेस के बारे में है।"
    • वह उन 2 कहानियों को ढूंढता है जो केवल बकवास या टूटा हुआ कोड हैं और उन्हें "कचरे" (trash) के ढेर में डाल देता है।
  3. प्रतिनिधि (The Representative): "बॉलिंग" ढेर से, सॉर्टर उस एक कहानी को चुनता है जो उस समूह का सबसे "औसत" या आदर्श उदाहरण है। वह बाकी 14 को इसलिए अनदेखा कर देता है क्योंकि वे केवल प्रतियां हैं। वह बकवास ढेर को पूरी तरह से अनदेखा कर देता है क्योंकि वह स्पष्ट रूप से टूटा हुआ है।
  4. जज का काम: अब, जज को 20 कहानियाँ पढ़ने के बजाय, उसे "बॉलिंग" ढेर से केवल एक कहानी और "चेस" ढेर से केवल एक कहानी पढ़नी होगी।

परिणाम:
ऐसा करके, टीम ने पाया कि:

  • उन्होंने बहुत सारा पैसा और समय बचाया: उन्होंने कुल काम (टोकन) को 47% कम कर दिया। यह बिल को आधा करने जैसा है।
  • उन्होंने सटीकता नहीं खोई: वास्तव में, क्योंकि जज का ध्यान कचरे या दोहराव वाली कहानियों से भटक नहीं रहा था, इसलिए अंतिम उत्तर अक्सर पहले की तुलना में अधिक सटीक था।
  • यह हर जगह काम करता है: उन्होंने गणित, विज्ञान, जीव विज्ञान और सामान्य ज्ञान के प्रश्नों पर इसका परीक्षण किया, और यह सभी के लिए अच्छी तरह से काम किया।

संक्षेप में:
VecCISC एक स्मार्ट लाइब्रेरियन की तरह है जिसे एहसास होता है कि यदि आपके पास एक ही किताब की 20 प्रतियां हैं, तो आपको यह जानने के लिए केवल एक ही पढ़नी होगी कि वह किस बारे में है। जज द्वारा पढ़ने से पहले डुप्लिकेट और कचरे को फ़िल्टर करके, यह पूरी प्रक्रिया बहुत सस्ती और तेज़ हो जाती है, बिना अंतिम उत्तर की गुणवत्ता से समझौता किए।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →