How Language Models Fail: Token-Level Signatures of Committed and Persistent Reasoning Failures
यह शोध पत्र भाषा मॉडलों में दो विशिष्ट टोकन-स्तरीय तर्क विफलता मोड की पहचान और लक्षण वर्णन करता है—कमिटेड फेलियर (committed failure), जो प्रारंभिक पथ-लॉकिंग (path-locking) द्वारा चिह्नित है, और पर्सिस्टेंट अनसर्टेन्टी (persistent uncertainty), जो संचित संदेह द्वारा लक्षित है—यह प्रदर्शित करते हुए कि ये हस्ताक्षर विविध कॉन्फ़िगरेशनों में पुनरुत्पादित किए जा सकते हैं और सेल्फ-कंसिस्टेंसी (self-consistency) जैसी विफलता पहचान रणनीतियों के अनुकूलन में मार्गदर्शन कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस को रहस्य सुलझाते हुए देख रहे हैं। कभी-कभी, जासूस शुरुआत में ही एक गलती कर देता है, गलत संदिग्ध पर ध्यान केंद्रित कर लेता है, और फिर पूरी फिल्म में आत्मविश्वास के साथ यह तर्क देता रहता है कि वह संदिग्ध दोषी है, भले ही वह निर्दोष हो। दूसरी ओर, कभी-कभी जासूस पूरी अवधि में वास्तव में भ्रमित रहता है, सुरागों को पलटता रहता है, और अंतिम सेकंड तक अनिश्चित रहता है।
यह शोध पत्र इस बारे में है कि कैसे केवल उसके "सोचने के तरीके" (चेन ऑफ थॉट) को देखकर यह पता लगाया जाए कि एक लार्ज लैंग्वेज मॉडल (LLM) किस तरह की गलती कर रहा है। शोधकर्ताओं ने पाया कि मॉडल केवल एक तरीके से विफल नहीं होते; वे दो अलग-अलग पैटर्न में विफल होते हैं, और इस पैटर्न को पहचानना यह तय करता है कि हमें उस त्रुटि को पकड़ने के लिए क्या करना चाहिए।
यहाँ उनके निष्कर्षों का सरल उपमाओं का उपयोग करके विवरण दिया गया है:
1. गलतियों के दो प्रकार
शोधकर्ताओं ने पाया कि जब कोई मॉडल गलत उत्तर देता है, तो यह आमतौर पर दो तरीकों में से एक होता है:
प्रकार A: "जल्द प्रतिबद्धता" (एक जिद्दी जासूस)
- क्या होता है: मॉडल अपने तर्क के बहुत शुरुआती चरण में ही एक गलत रास्ता चुन लेता है। एक बार जब वह वह रास्ता चुन लेता है, तो वह उसमें "लॉक" हो जाता है। वह अन्य संभावनाओं को तलाशना बंद कर देता है और बस उस गलत विचार का समर्थन करने के लिए और अधिक वाक्य लिखता रहता है।
- पहचान: यदि आप मॉडल की "अनिश्चितता" (वह कितना अनिश्चित महसूस करता है) को देखते हैं, तो आप देखेंगे कि यह शुरुआत में बढ़ती है और फिर गिर जाती है। मॉडल बहुत जल्दी बहुत अधिक आत्मविश्वासी हो जाता है।
- सबक: आपको यह जानने के लिए पूरी कहानी खत्म होने का इंतजार करने की आवश्यकता नहीं है कि वह गलत है। वास्तव में, कहानी के अंत को पढ़ने से आपको भ्रम हो सकता है क्योंकि मॉडल अपने गलत उत्तर में इतना आश्वस्त होता है कि वह एक सही उत्तर जैसा दिखने लगता है। इस त्रुटि को पहचानने का सबसे अच्छा समय वह है जब मॉडल अपनी पहली बड़ी गलती करता है।
प्रकार B: "निरंतर अनिश्चितता" (एक भ्रमित जासूस)
- क्या क्या होता है: मॉडल वास्तव में किसी एक पक्ष को नहीं चुन पाता। वह पूरे समय अनिश्चित होकर तर्क के बीच भटकता रहता है। वह आखिरी शब्द तक अपना मन बदलता रहता है या हिचकिचाता रहता है।
- पहचान: मॉडल की अनिश्चितता अंत तक उच्च बनी रहती है या धीरे-धीरे बढ़ती रहती है। वह कभी भी एक निश्चित रास्ते पर नहीं टिक पाता।
- सबक: आपको यह जानने के लिए पूरी कहानी पढ़नी ही होगी कि वह विफल हुआ है। यदि आप बीच में ही रुक जाते हैं, तो आपको लग सकता है कि वह बस सावधानी बरत रहा है। त्रुटि तभी स्पष्ट होती है जब आप पूरे बिखरे हुए विचार के मार्ग को देखते हैं।
2. उन्होंने यह कैसे पाया (द "अनसर्टेनिटी मीटर")
शोधकर्ताओं को मॉडल के मस्तिष्क के अंदर देखने की आवश्यकता नहीं थी (जो कई लोकप्रिय AI मॉडलों के लिए असंभव है)। इसके बजाय, उन्होंने लॉग प्रोबेबिलिटीज़ (log probabilities) को देखा—जो तकनीकी रूप से यह बताने का एक तरीका है कि "मॉडल अपने द्वारा लिखे गए प्रत्येक शब्द के बारे में कितना आश्वस्त था।"
उन्होंने मॉडल के तर्क को एक फिल्म की तरह माना। उन्होंने मॉडल द्वारा शब्द-दर-शब्द टाइप किए जाने के दौरान "अनिश्चितता मीटर" (uncertainty meter) को ऊपर-नीचे होते हुए देखा।
- प्रकार A के लिए, मीटर शुरुआत में स्पष्ट रूप से बढ़ा और फिर स्थिर हो गया।
- प्रकार B के लिए, मीटर अंत तक बढ़ता रहा या उच्च बना रहा।
उन्होंने इसका परीक्षण 23 अलग-अलग AI मॉडलों और कार्यों (जैसे गणित, कोडिंग और विज्ञान) के संयोजनों पर किया। 23 में से 20 मामलों में, उनका सिद्धांत पूरी तरह से सही साबित हुआ। वे केवल इन पैटर्न को देखकर एक "जिद्दी" गलती और एक "भ्रमित" गलती के बीच अंतर कर सके।
3. यह क्यों महत्वपूर्ण है: "सेकंड ओपिनियन" रणनीति
शोध पत्र ने एक सामान्य तकनीक का भी अध्ययन किया जिसे सेल्फ-कंसिस्टेंसी (Self-Consistency) कहा जाता है। यह तब होता है जब आप एक ही प्रश्न को 10 बार पूछते हैं और उस उत्तर को चुनते हैं जो सबसे अधिक बार आता है।
- "जिद्दी" मॉडल (प्रकार A) के लिए: एक ही प्रश्न को 10 बार पूछना बेकार है। यदि मॉडल जिद्दी है, तो वह 10 बार लगातार एक ही गलत उत्तर देगा। "बहुमत का वोट" केवल गलत उत्तर की पुष्टि ही करेगा। इस मामले में, एक एकल उत्तर की अनिश्चितता को देखना वास्तव में कई बार पूछने से बेहतर है।
- "भ्रमित" मॉडल (प्रकार B) के लिए: प्रश्न को 10 बार पूछना बहुत मददगार है। चूंकि मॉडल वास्तव में अनिश्चित है, इसलिए वह हर बार अलग उत्तर देगा। तथ्य यह है कि वह खुद से सहमत नहीं हो पा रहा है, यह एक बड़ा रेड फ्लैग (चेतावनी का संकेत) है।
मुख्य निष्कर्ष
यह शोध पत्र तर्क देता है कि हमें AI त्रुटियों को पकड़ने के लिए "एक ही नियम सबके लिए" (one-size-fits-all) वाला दृष्टिकोण नहीं अपनाना चाहिए।
- यदि AI शुरुआत में ही गलत विचार पर टिक जाता है, तो हमें उसके शुरुआती आत्मविश्वास स्तरों को देखकर उसे जल्दी पकड़ लेना चाहिए, और हमें दूसरा विचार (second opinion) मांगने की कोशिश नहीं करनी चाहिए (क्योंकि वह वही गलती दोहराएगा)।
- यदि AI वास्तव में भ्रमित है, तो हमें उसे अपना विचार प्रक्रिया पूरी करने देनी चाहिए और फिर यह देखने के लिए कि क्या वह खुद से सहमत हो सकता है, उससे कई राय लेनी चाहिए।
यह समझने से कि AI कैसे विफल हो रहा है, हम सही उपकरण चुन सकते हैं ताकि गलती पकड़ी जा सके, जिससे समय बचता है और विश्वसनीयता में सुधार होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।