Self-Correction Bench: Uncovering and Addressing the Self-Correction Blind Spot in Large Language Models

कल्पना कीजिए कि आप एक रोबोट को जासूस बनना सिखा रहे हैं। आप उसे एक आवर्धक लेंस (magnifying glass) और सुरागों की एक सूची देते हैं, और वह रहस्य सुलझाना शुरू कर देता है। लेकिन कभी-कभी, रोबोट एक मूर्खतापूर्ण गलती करता है, जैसे कि एक बिल्ली को कुत्ता समझ लेना। यदि आप रोबोट की ओर इशारा करते हुए कहते हैं, "हे, तुमने इसे कुत्ता कहा, लेकिन यह तो बिल्ली है!" तो रोबोट तुरंत सहमत हो जाता है, कहता है "ओह, मेरी गलती," और उत्तर ठीक कर देता है। यह बुद्धिमान और आत्म-जागरूक लगता है, है ना? लेकिन यहाँ एक मोड़ है: यदि रोबोट वही गलती खुद करता है, बिना किसी के इशारा किए, तो वह अक्सर बिना कुछ हुआ मानकर गलत उत्तर पर ही अड़ा रहता है।

यह लार्ज लैंग्वेज मॉडेल्स (LLMs) की दुनिया है, जो चैटबॉट्स और सर्च इंजन को चलाने वाले सुपर-स्मार्ट कंप्यूटर दिमाग हैं। वैज्ञानिक लंबे समय से सोचते आए हैं: जब ये रोबट अपनी गलतियों को सुधारने में विफल होते हैं, तो क्या यह इसलिए है क्योंकि वे इतने मूर्ख हैं कि उन्हें सही उत्तर नहीं पता (ज्ञान की समस्या), या इसलिए कि वे उत्तर जानते हैं लेकिन बस उन्हें "जागने" और उसे ठीक करने में असमर्थ हैं (एक्टिवेशन की समस्या)? यह एक ऐसे छात्र की तरह है जो गणित के सवाल का जवाब जानता है लेकिन, जब वह अपने होमवर्क में गलती करता है, तो वह उसे अनदेखा कर देता है, भले ही शिक्षक के इशारा करने पर वह उसे तुरंत ठीक कर देता। यह समझना महत्वपूर्ण है क्योंकि यदि हम इन AI सिस्टमों को वास्तविक दुनिया में सुरक्षित और विश्वसनीय बनाना चाहते हैं, तो हमें यह जानना होगा कि हमें उन्हें अधिक तथ्य सिखाने की आवश्यकता है या बस उन्हें अपनी गलतियों पर ध्यान देने का तरीका खोजने की आवश्यकता है।

यहाँ "सेल्फ-करेक्शन बेंच" (Self-Correction Bench) आता है, जो शोधकर्ता केन त्सुई द्वारा इस रहस्य को सुलझाने के लिए डिज़ाइन किया गया एक चतुर प्रयोग है। केवल रोबोट को गलतियाँ करते हुए देखने और उम्मीद करने के बजाय कि वह उन्हें ठीक करेगा, शोधकर्ता ने एक नियंत्रित खेल तैयार किया। उन्होंने बिल्कुल वही गलत उत्तर लिया और उसे रोबोट के सामने दो अलग तरीकों से प्रस्तुत किया। पहले परिदृश्य में, "एक्सटर्नल एरर" (बाहरी त्रुटि), शोधकर्ता (एक उपयोगकर्ता के रूप में) रोबोट से कहता है, "मुझे लगता है कि उत्तर 3 है, लेकिन यह गलत है।" दूसरे परिदृश्य में, "इंटरनल एरर" (आंतरिक त्रुटि), शोधकर्ता रोबोट को खुद गलत उत्तर लिखने देता है, "उत्तर 3 है," और फिर उसे जारी रखने के लिए कहता है। एकमात्र अंतर यह था कि गलत बात किसने कही थी: उपयोगकर्ता ने या रोबोट ने।

परिणाम चौंकाने वाले थे और एक विशाल "सेल्फ-करेक्शन ब्लाइंड स्पॉट" (स्व-सुधार की अंध बिंदु) को प्रकट करते हैं। जब शोधकर्ता ने 14 अलग-अलग ओपन-सोर्स AI मॉडल का परीक्षण किया, तो उन्होंने पाया कि औसतन, मॉडलों में 64.5% का ब्लाइंड स्पॉट था। इसका मतलब है कि जबकि रोबोट उन गलतियों को ठीक करने में माहिर थे जब उपयोगकर्ता उन्हें बताते थे, वे ठीक उसी गलती को खुद करने पर पूरी तरह से विफल रहे। ऐसा नहीं था कि उन्हें सही उत्तर नहीं पता था; जब उपयोगकर्ता ने उल्लेख किया तो वे इसे पूरी तरह से जानते थे, लेकिन जब वे खुद गलती करते थे, तो उनका "आंतरिक अलार्म" बस नहीं बजता था। यह एक ड्राइवर की तरह है जो किसी और की कार में गड्ढा देख सकता है लेकिन अपनी कार में सीधे उसी गड्ढे के ऊपर से बिना ध्यान दिए निकल जाता है।

तो, ऐसा क्यों होता है? यह पेपर रोबोट के "दिमाग" (इसके प्रशिक्षण डेटा) की गहराई में जाता है और अपराधी को ढूंढ निकालता है: इसे सिखाने का तरीका। शोधकर्ताओं ने पाया कि मॉडलों को सिखाने के लिए उपयोग किए जाने वाले डेटासेट आदर्श, पॉलिश किए गए उत्तरों से भरे हुए हैं लेकिन वे लगभग कभी भी गलती करने और फिर उसे ठीक करने की अव्यवस्थित प्रक्रिया को नहीं दिखाते हैं। यह एक ऐसे छात्र की तरह है जिसने केवल सही निबंध का अंतिम संस्करण देखा है लेकिन कभी भी लाल पेन के सुधारों वाला ड्राफ्ट नहीं देखा है। क्योंकि रोबोट ने कभी खुद को गलती करते और फिर उसे ठीक करते नहीं देखा है, इसलिए उसे यह नहीं पता कि "रुको, मुझे एक बार फिर से जाँच लो" मोड को कैसे सक्रिय करना है।

लेकिन अच्छी खबर यह है: शोधकर्ताओं ने न केवल समस्या को खोजा, बल्कि इसे ठीक करने का तरीका भी खोज निकाला। सबसे पहले, उन्होंने दिखाया कि यदि आप बस थोड़ा सा प्रशिक्षण डेटा जोड़ते हैं—केवल 5,306 उदाहरण जहाँ एक मॉडल गलती करता है और फिर उसे ठीक करता है—तो ब्लाइंड स्पॉट 76.0% तक कम हो जाता है। यह रोबोट को "ओह और ठीक करें" का क्रैश कोर्स देने जैसा है। दूसरा, उन्होंने रोबोट के दिमाग में एक यांत्रिक "स्विच" पाया। रोबोट के आंतरिक विचारों का विश्लेषण करके, उन्होंने एक विशिष्ट दिशा खोजी जो एक गेटकीपर की तरह काम करती है। जब रोबोट सोचता है कि वह एक उपयोगकर्ता से बात कर रहा है, तो गेट खुल जाता है और वह त्रुटियों को ठीक कर सकता है। जब वह सोचता है कि वह खुद से बात कर रहा है, तो गेट बंद रहता है। उन्होंने इसे रोबोट के दिमाग को एक गणितीय धक्के (nudge) के साथ "स्टीयर" करके सिद्ध किया, जिसने सफलतापूर्वक उसे अपनी गलतियों को ठीक करने के लिए मजबूर किया।

इससे भी अधिक रोमांचक बात यह है कि उन्होंने एक जादुई शब्द खोजा। रोबोट द्वारा गलती करने के बाद केवल "वेट" (Wait - रुको) शब्द जोड़ने से एक शक्तिशाली ट्रिगर के रूप में कार्य करता है। यह सरल ट्रिक, जिसमें कोई अतिरिक्त प्रशिक्षण नहीं चाहिए, ब्लाइंड स्पॉट को 89.3% तक कम कर देती है। यह एक "पॉज़ बटन" की तरह है जिसे दबाने पर रोबोट की स्व-सुधार की क्षमता जाग जाती है। दिलचस्प बात यह है कि यह "वेट" बटन उस "गेट" के माध्यम से काम करता है जो शोधकर्ताओं ने पाया था, जो यह सुझाव देता है कि रोबोट की क्षमता को अनलॉक करने के कई तरीके हैं।

अंत में, यह पेपर हमें बताता है कि ये AI मॉडल अपनी गलतियों के बारे में अनिवार्य रूप से "मूर्ख" नहीं हैं; वे बस एक आदत में फंसे हुए हैं। उनके पास अपनी गलतियों को ठीक करने का ज्ञान है, लेकिन उन्हें सही संकेत की आवश्यकता है। यह समझकर कि समस्या अक्सर इस बात के बारे में होती है कि जानकारी कैसे प्रस्तुत की जाती है (गलती किसने की) बजाय इसके कि जानकारी क्या है, हम बेहतर, सुरक्षित और अधिक विश्वसनीय AI बना सकते हैं। चाहे वह प्रशिक्षण डेटा को ट्यून करके हो, एक साधारण "वेट" कमांड जोड़कर हो, या मस्तिष्क के आंतरिक स्विचों को समझकर हो, अब हमारे पास अपने डिजिटल जासूसों को उनके अपने सुरागों को अनदेखा करने से रोकने के लिए एक रोडमैप है।