The Detection--Extraction Gap: Models Know the Answer Before They Can Say It
यह शोध पत्र आधुनिक रीजनिंग मॉडल्स में एक "डिटेक्शन-एक्सट्रैक्शन गैप" (पहचान-निष्कर्षण अंतराल) की पहचान करता है जहाँ सही उत्तर को स्पष्ट रूप से उत्पन्न होने से बहुत पहले ही आंतरिक अवस्था (इंटरनल स्टेट) से पुनः प्राप्त किया जा सकता है, और एक ब्लैक-बॉक्स अडैप्टिव अर्ली एग्जिट विधि का प्रस्ताव करता है जो इस विषमता का लाभ उठाकर जनरेशन लागत को काफी कम करने के साथ-साथ सटीकता में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: मॉडल उत्तर जानता है, लेकिन अभी तक बता नहीं सकता
कल्पना कीजिए कि आप एक कठिन गणित की परीक्षा दे रहे हैं। आप एक रफ पेपर पर चरण-दर-चरण समस्या को हल कर रहे हैं। अचानक, 10 में से तीसरे चरण पर ही, आपको एहसास होता है, "ओह! मुझे पता है कि उत्तर 42 है।" आपके मस्तिष्क ने इसे हल कर लिया है।
लेकिन, क्योंकि आप "अपना काम दिखाएं" (show your work) के सख्त निर्देशों का पालन कर रहे हैं, आप लिखना जारी रखते हैं। आप चरण 4, 5, 6, 7, 8, 9 और 10 लिखते रहते हैं। वास्तव में, आप इतनी देर तक लिखते रहते हैं कि अंततः आप अनजाने में अपना मन बदल लेते हैं, भ्रमित हो जाते हैं, या गलत नंबर (43) लिख देते हैं क्योंकि आपने बहुत अधिक सोच-विचार (overthink) कर लिया।
आधुनिक AI रीजनिंग मॉडल बिल्कुल यही करते हैं।
शोधकर्ताओं ने पाया है कि AI मॉडल अक्सर अपनी सोचने की प्रक्रिया के बहुत शुरुआती चरण में (कभी-कभी उनके द्वारा उत्पन्न किए गए टेक्स्ट के केवल 10% के बाद ही) सही उत्तर जान लेते हैं। हालांकि, वे उसके बाद लंबे समय तक "सोचते" (टेक्स्ट जेनरेट करते) रहते हैं, जिससे अक्सर वे उत्तर में गलती कर देते हैं या कंप्यूटिंग पावर की भारी बर्बादी करते हैं।
मूल समस्या: "डिटेक्शन-एक्सट्रैक्शन गैप" (पहचान-निकालने का अंतर)
शोधकर्ताओं ने पाया कि AI मॉडल जो जानते हैं और जो वे कह सकते हैं, उसके बीच एक अजीब सा अंतर है।
- डिटेक्शन (जानना): यदि आप AI को स्वतंत्र रूप से बात करने देते हैं, तो वह अंततः सही उत्तर कह देगा। भले ही आप उसे जल्दी रोक दें, "बीज" (seed) पहले से ही वहां मौजूद है।
- एक्सट्रैक्शन (कहना): यदि आप AI को जल्दी बाधित करते हैं और उसे रुकने और अभी के अभी अंतिम उत्तर देने के लिए मजबूर करते हैं (उदाहरण के लिए, "इसलिए, उत्तर है..." टाइप करके), तो वह अक्सर विफल हो जाता है। वह आपको गलत नंबर, आंशिक गणना, या निरर्थक बात दे सकता है।
उपमा (Analogy):
AI को एक जटिल स्टू (stew) पकाते हुए शेफ के रूप में सोचें।
- डिटेक्शन: यदि आप शेफ को हिलाते (stirring) रहने देते हैं, तो वे अंततः स्टू को चखेंगे और कहेंगे, "यह तैयार है!"
- एक्सट्रैक्शन: यदि आप 10 मिनट के निशान पर रसोई में घुसते हैं और चिल्लाते हैं, "रुक जाओ! मुझे रेसिपी बताओ!" तो शेफ घबरा सकता है। उन्होंने अभी तक मसाला डालना पूरा नहीं किया है। वे अंतिम व्यंजन का नाम बताने के बजाय चिल्लाकर "नमक!" या "मैदा!" (मध्यवर्ती चरण) बोल सकते हैं। वे जानते हैं कि व्यंजन लगभग तैयार है, लेकिन वे अभी उस उत्तर को स्पष्ट रूप से व्यक्त नहीं कर सकते क्योंकि "मजबूर करने" की क्रिया ने उनके प्रवाह को बाधित कर दिया है।
इस शोध पत्र में इसे डिटेक्शन-एक्सट्रैक्शन गैप कहा गया है। AI "जानता" है कि उत्तर उसके दिमाग में है, लेकिन उसे रुकने और बोलने के लिए मजबूर करने की क्रिया उसके उस उत्तर को सही ढंग से निकालने की क्षमता को बिगाड़ देती है।
समाधान: BAEE ("स्मार्ट पॉज़")
शोधकर्ताओं ने केवल एक समस्या ही नहीं ढूंढी; उन्होंने BAEE (ब्लैक-बॉक्स एडेप्टिव अर्ली एग्जिट) नामक एक सुधार बनाया है।
AI को रोकने और अंतिम उत्तर देने के लिए मजबूर करने के बजाय (जिससे ऊपर वर्णित "घबराहट" होती है), BAEE कुछ चालाकी करता है:
- यह AI को जल्दी रोकता है।
- AI से "उत्तर क्या है?" पूछने के बजाय, यह AI से समानांतर (parallel) में कुछ और बार सोचने के लिए कहता है (जैसे शेफ को जल्दी से तीन बार और स्टू चखने के लिए कहना)।
- यह उन कुछ अतिरिक्त विचारों को देखता है। यदि वे सभी उत्तर पर सहमत हैं, तो यह मुख्य प्रक्रिया को रोकता है और घोषित करता है, "हमारे पास उत्तर है!"
परिणाम:
- गति: उन्होंने AI के सोचने के समय को 70–78% तक कम कर दिया। यह 10 घंटे की फिल्म को पहले 2 घंटे देखकर और फिर अंत तक फास्ट-फॉरवर्ड करके खत्म करने जैसा है क्योंकि आपने कथानक समझ लिया है।
- सटीकता: आश्चर्यजनक रूप से, AI उत्तर देने में बेहतर हो गया। क्यों? क्योंकि इसने AI को बहुत अधिक सोचने और गलतियाँ करने से पहले ही रोक दिया। इसने AI को अपने ही तर्क में "गड्ढा खोदने" (digging a hole) से रोका।
यह क्यों महत्वपूर्ण है
- यह एक संरचनात्मक दोष है, कोई बग नहीं: यह केवल किसी एक विशिष्ट AI की गलती नहीं है। यह विभिन्न मॉडलों (जैसे Qwen और GPT) और विभिन्न कार्यों (गणित, विज्ञान, कोडिंग) में होता है। यह उनके निर्माण के तरीके का एक मौलिक गुण लगता है: वे अपने "मुंह" के तैयार होने से बहुत पहले ही उत्तर को अपने "दिमाग" में एनकोड कर लेते हैं।
- कोडिंग सबसे बड़ा अपराधी है: गैप कोडिंग कार्यों में सबसे अधिक था। AI एक प्रोग्राम के लिए लॉजिक बहुत जल्दी समझ लेता है, लेकिन फिर वह कोष्ठक (brackets), फॉर्मेटिंग, कमेंट्स जैसे उबाऊ विवरण लिखने में अपना 85% समय बिता देता है। यदि आप इसे जल्दी रोक देते हैं, तो आप बहुत सारा समय बचाते हैं और वास्तव में बेहतर कोड प्राप्त करते हैं क्योंकि AI को बहुत अधिक सोचने के दौरान बग पेश करने का समय नहीं मिलता।
- ब्लैक-बॉक्स फ्रेंडली: आपको इस समस्या को ठीक करने के लिए AI के आंतरिक कोड को खोलने की आवश्यकता नहीं है। आप इसे केवल AI से बात करके (इसके सार्वजनिक API का उपयोग करके) कर सकते हैं, जिसका अर्थ है कि यह OpenAI या Google जैसे क्लोज्ड-सोर्स मॉडल्स पर भी काम करता है।
एक वाक्य में सारांश
AI मॉडल अक्सर समस्याओं को हल करने में अपनी घोषणा से कहीं अधिक तेज़ होते हैं; उन्हें अंतिम निष्कर्ष देने से पहले संक्षिप्त रूप से "बोलकर सोचने" (think out loud) देकर, हम उन्हें तेज़, सस्ता और अधिक सटीक बना सकते हैं, जिससे हम उन्हें बहुत अधिक सोचने और गलती करने से पहले ही रोक सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।