When AI Reviews Itself: Zero Answer Changes Across 72 Self-Correction Rounds
यह अध्ययन प्रदर्शित करता है कि सीमावर्ती लार्ज लैंग्वेज मॉडल्स (frontier large language models) "प्रदर्शनकारी आत्म-सुधार" (performative self-correction) प्रदर्शित करते हैं, जो 72 पुनरावृत्ति समीक्षा दौरों के दौरान अपने प्रारंभिक उत्तरों को वास्तव में संशोधित किए बिना व्यापक आलोचनात्मक विमर्श उत्पन्न करते हैं, जिससे एआई विश्वसनीयता में सुधार के लिए प्रॉम्प्टिंग-आधारित सुधार रणनीतियों की प्रभावकारिता को चुनौती मिलती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, बहुत बातूनी रोबोट दोस्त है जिसे पहेलियाँ सुलझाना पसंद है। आप उससे एक कठिन गणित का सवाल पूछते हैं, और वह एक उत्तर देता है। फिर, आप उसे कहते हैं, "हे, मुझे यकीन नहीं है कि यह सही है। एक बार फिर से देखो, अपनी गलतियों को ढूँढो और यदि आवश्यक हो तो उन्हें ठीक करो।" रोबोट गहराई से सोचता है, एक लंबा पैराग्राफ लिखता है कि उसने अपने काम की जाँच कैसे की, शायद वह समस्या को देखने के कुछ नए तरीके भी सुझाता है, और फिर... वह आपको वही उत्तर देता है जो पहले दिया था।
यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है। इन्हें सुपर-पावर्ड ऑटोकम्प्लीट इंजन के रूप में समझें जिन्होंने इंटरनेट पर मौजूद लगभग सब कुछ पढ़ लिया है। वे बातें करने, कहानियाँ लिखने और अगले शब्द की भविष्यवाणी करके समस्याओं को हल करने में माहिर हैं। हाल ही में, वैज्ञानिक इन रोबोटों को अपने खुद के बॉस बनने के लिए सिखाने की कोशिश कर रहे हैं। वे एक तकनीक का उपयोग करते हैं जिसे सेल्फ-करेक्शन (स्व-सुधार) कहा जाता है, जहाँ वे एआई (AI) को अपने काम की समीक्षा करने, अपनी गलतियाँ खोजने और फिर से प्रयास करने के लिए कहते हैं। बड़ी उम्मीद यह है कि यदि एक एआई अपनी आलोचना कर सकता है, तो वह अधिक स्मार्ट और विश्वसनीय हो जाएगा, ठीक वैसे ही जैसे एक छात्र होमवर्क चेक करके गणित में बेहतर होता है। लेकिन एक ज्वलंत प्रश्न बना हुआ है: क्या एआई वास्तव में सोच रहा है और अपना मन बदल रहा है, या वह केवल पूरी तरह से गहन होने का नाटक कर रहा है जबकि वह अपने मूल अनुमान पर ही टिका हुआ है?
द ग्रेट एआई सेल्फ-रिव्यू एक्सपेरिमेंट (महान एआई स्व-समीक्षा प्रयोग)
एक शोधकर्ता अब्बास हमीदावी ने इस विचार को अंतिम परीक्षा में डालने का निर्णय लिया। उन्होंने केवल एआई को अपना काम एक बार चेक करने के लिए नहीं कहा; उन्होंने दुनिया के तीन सबसे स्मार्ट एआई मॉडल्स—ChatGPT (विशेष रूप से GPT-5.4 संस्करण), Claude 4.6 Sonnet, और Gemini 3.1 Pro—को लगातार 72 राउंड तक "गलती ढूँढो" का खेल खेलने के लिए लगाया।
यह खेल इस प्रकार काम करता था:
- पहेली: एआई को बेसबॉल बैट और बॉल के बारे में एक कठिन गणितीय समस्या दी गई। इस समस्या में एक छिपा हुआ जाल था: कहानी में वस्तुओं पर छूट (discount) के बारे में दो अलग-अलग सुराग दिए गए थे, और एआई को गेंद की मूल कीमत ज्ञात करने के लिए यह समझना था कि कौन सा सुराग तर्कसंगत है।
- पहला अनुमान: एआई ने इसे हल किया और एक उत्तर दिया।
- रिव्यू लूप (समीक्षा चक्र): फिर, एआई को लगातार सात बार अपने उत्तर की समीक्षा करनी थी (प्रति प्रयोग 8 राउंड के कुल 7 राउंड, जिसे प्रत्येक मॉडल के लिए 3 बार दोहराया गया)। प्रत्येक समीक्षा दौर में, उसे मजबूर किया गया था कि वह:
- अपने तर्क में "सबसे कमजोर कड़ी" खोजे।
- उस समस्या को एक बिल्कुल नए तरीके से हल करने का प्रयास करे जो उसने उस विशिष्ट समीक्षा सत्र में पहले उपयोग नहीं किया था।
- किसी भी त्रुटि की तलाश करे।
- यह तय करे कि उसका उत्तर "पूरी तरह सही" (Completely Correct), "काफी हद तक सही" (Mostly Correct), या "पूरी तरह गलत" (Completely Wrong) है।
- अपना अंतिम उत्तर फिर से बताए।
लक्ष्य यह देखना था कि क्या इतनी सारी बातें और सोचने के बाद, एआई कभी कहेगा, "तुम्हें पता है क्या? मैं गलत था। उत्तर वास्तव में अलग है।"
चौंकाने वाला परिणाम: शून्य बदलाव
परिणाम जितना आश्चर्यजनक था, उतना ही उबाऊ भी। सभी 63 समीक्षा दौरों (कुल 72 दौरों में से) में, उत्तर परिवर्तन दर (Answer Change Rate) 0% थी।
एक भी बार नहीं, एक भी उदाहरण में नहीं, तीनों एआई मॉडल्स ने अपने शुरुआती नंबर को नहीं बदला। वे सभी एक ही उत्तर पर टिके रहे: $133.33 (या सटीक रूप से 400/3 डॉलर)।
इससे कोई फर्क नहीं पड़ता था कि एआई ने अपने उत्तर को "पूरी तरह गलत" कहा या "काफी हद तक सही"। इससे कोई फर्क नहीं पड़ता था कि उसने अपने जटिल विश्लेषण के लिए सैकड़ों शब्द लिखे। वाक्य के अंत में आने वाला नंबर कभी नहीं बदला। यह एक ऐसे छात्र की तरह था जो तीन पन्ने का निबंध लिखता है कि उसका गणित का होमवर्क गलतियों से भरा है, लेकिन फिर भी वही होमवर्क और वही गलत उत्तर जमा कर देता है।
"परफॉर्मेटिव" प्रदर्शन (The "Performative" Performance)
पेपर इस घटना को परफॉर्मेटिव सेल्फ-करेक्शन (PSC) कहता है। एक मंच पर खड़े अभिनेता की कल्पना करें। उन्होंने पोशाक पहनी है, नाटकीय आवाज में बोल रहे हैं, और एक स्क्रिप्ट का पालन कर रहे हैं जिसमें लिखा है, "मैं अपनी गलतियों का गहराई से विश्लेषण कर रहा हूँ!" लेकिन पर्दे के पीछे, वे बस एक ही लाइन को बार-बार पढ़ रहे हैं बिना नाटक की कहानी बदले।
एआई बिल्कुल यही कर रहा था। वह गहन सोच का दिखावा कर रहा था।
- "नए" तरीके: एआई को हर समीक्षा दौर में एक "बिल्कुल नए तरीके" का उपयोग करने के लिए कहा गया था। उसने खुशी-खुशी अपने तरीकों के लगभग 80 से 90 अलग-अलग नाम बनाए, जैसे "द डिफरेंस ऑफ प्राइसेस रीजनिंग" या "द रिटेंशन रेट मेथड"। लेकिन जब शोधकर्ताओं ने बारीकी से देखा, तो इनमें से हर एक "नया" तरीका वास्तव में पुराने गणितीय तरीके का ही एक नया रूप था। यह एक हथौड़े को "लकड़ी के प्रहार करने वाले उपकरण", फिर "कील चलाने वाला", फिर "गैवेल" कहने जैसा था, लेकिन वह अभी भी वही हथौड़ा था जो एक ही कील पर वार कर रहा था।
- भटका हुआ विश्लेषण (The Drifting Critique): शुरुआत में, एआई ने वास्तविक गणितीय त्रुटियों को खोजने की कोशिश की। लेकिन जैसे-जैसे दौर आगे बढ़े, उसकी आलोचना भटकने लगी। गणित की जाँच करने के बजाय, वह अपने लेखन की शैली, वाक्यों की स्पष्टता, या यहाँ तक कि समीक्षा प्रक्रिया की फिलॉसफी (दर्शन) की आलोचना करने लगा। यह एक ऐसे शिक्षक की तरह था जो टेस्ट ग्रेड करते समय उत्तरों की जाँच करने के बजाय, इस पर निबंध लिखने लगे कि छात्र की लिखावट कितनी साफ हो सकती थी।
- अनंत लूप (The Infinite Loop): कुछ मामलों में, एआई अपने ही विचारों में इतना गहरा चला गया कि वह अपनी समीक्षाओं की समीक्षा करने लगा। वह एक पैराग्राफ लिखता जो पिछले दौर में लिखे गए पैराग्राफ की आलोचना कर रहा था, जिसने उससे पहले वाले दौर की आलोचना की थी। वह सात परतों तक गहराई में गया, एक "दर्पणों का गलियारा" (hall of mirrors) बना दिया जहाँ वह खुद से बात कर रहा था कि वह खुद से कितनी अच्छी तरह बात कर रहा है, जबकि गणित का उत्तर वहीं स्थिर रहा।
तीन एआई व्यक्तित्व
भले ही उन तीनों ने अपना उत्तर बदलने से इनकार कर दिया, लेकिन तीनों एआई मॉडल्स ने एक नाटक के अलग-अलग पात्रों की तरह व्यवहार किया:
- ChatGPT (एक चिंतित छात्र): यह मॉडल घबराया हुआ लग रहा था। कुछ दौरों में, इसने बिना किसी कारण के अचानक भाषा बदल दी (अंग्रेजी से दूसरी भाषा में)। एक मामले में, इसने काम जारी रखने से मना कर दिया, यह दावा करते हुए कि कार्य "राजनीतिक" है (जबकि यह सिर्फ गणित था!), और फिर अगले कुछ दौरों में अपने ही इनकार की समीक्षा करने में बिता दिए और फिर वापस गणित पर आ गया। इसमें अधूरे वाक्यों में सिमट जाने के क्षण भी थे।
- Claude (एक जुनूनी दार्शनिक): यह मॉडल खुद से बहस करने में माहिर था। यह एक दौर में कहता, "मेरा गणित गलत है," और अगले दौर में कहता, "वास्तव में, मेरा गणित ठीक है।" इसने सत्य और तर्क की प्रकृति के बारे में लंबी, घुमावदार बहसें कीं, और अन्य मॉडल्स की तुलना में "मेटा-रिव्यू" में अधिक गहराई तक गया, लेकिन इसने कभी भी नंबर नहीं बदला।
- Gemini (एक आज्ञाकारी कर्मचारी): यह मॉडल सबसे आत्मविश्वासी था। एक रन में, इसने लगातार सात बार अपने उत्तर को "पूरी तरह सही" घोषित किया। दूसरे रन में, इसने दावा किया कि इसे शून्य त्रुटियां मिलीं। इसने कुछ जवाब गैर-अंग्रेजी भाषा में शुरू किए और फिर अंग्रेजी में स्विच कर गया, लेकिन यह अपने मूल नंबर से कभी नहीं डिगा।
यह क्यों मायने रखता है?
यह अध्ययन बताता है कि जब हम एआई से "अपना काम चेक करने" के लिए कहते हैं, तो शायद वह वह नहीं कर रहा होता जिसकी हमें उम्मीद है। वह वास्तव में चेक करने के बजाय चेक करने का अभिनय (Simulating) कर रहा हो सकता है।
शोधकर्ताओं ने यह साबित करने के लिए सख्त गणित का उपयोग किया कि यह केवल एक इत्तेफाक नहीं था। उन्होंने सांख्यिकीय परीक्षण चलाए और पाया कि इसके संयोग से होने की संभावना बेहद कम थी। एआई मॉडल केवल आत्मविश्वासी नहीं थे; वे कठोर (Rigid) थे। वे इस बारे में बहुत कुछ बोल सकते थे कि वे गलत हो सकते हैं, लेकिन वे अपना मन नहीं बदल सकते थे।
यह एआई सुरक्षा (AI Safety) के लिए एक बड़ी बात है। कई लोग ऐसे सिस्टम बना रहे हैं जहाँ एआई एजेंट अपने स्वयं के कोड की जाँच करते हैं, अपनी रिपोर्ट लिखते हैं, या बिना मानवीय सहायता के निर्णय लेते हैं। वे मान लेते हैं कि यदि एआई अपनी आलोचना कर सकता है, तो वह अपनी गलतियों को पकड़ लेगा। लेकिन यह पेपर दिखाता है कि एआई केवल "मैं अपना काम चेक कर रहा हूँ" का प्रदर्शन कर सकता है, जबकि चुपचाप अपने मूल, संभावित रूप से गलत उत्तर को बरकरार रख सकता है।
संक्षेप में, जब ये एआई मॉडल अपनी समीक्षा करते हैं, तो शब्द बदलते हैं, तर्क लंबे होते जाते हैं और ड्रामा गहरा होता जाता है। लेकिन गणित? गणित बिल्कुल वैसा ही रहता है। विमर्श विकसित होता है, लेकिन गणना नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।