The Calibration Floor: Format Repair Can Masquerade as Self-Correction at Small-to-Mid Scale
यह शोध पत्र प्रदर्शित करता है कि भाषा मॉडल के स्व-संशोधन (self-revision) से प्राप्त देखी गई सटीकता में वृद्धि अक्सर वास्तविक तर्क सुधारों के बजाय उत्तर-निष्कर्षण सीमा (answer-extraction boundary) पर प्रारूप पुनर्प्राप्ति (format recovery) द्वारा संचालित होती है, एक ऐसी घटना जो मॉडल के पैमाने के साथ तीव्र होती है और अधिकांश स्व-सुधार दावों को पार्सिंग आर्टिफैक्ट्स (parsing artifacts) से कारण रूप से अलग करने पर नगण्य बना देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द ग्रेट एआई सेल्फ-करेक्शन मिस्ट्री (The Great AI Self-Correction Mystery)
कल्पना कीजिए कि आप एक कठिन गणित की परीक्षा दे रहे हैं। आप अपना उत्तर लिखते हैं, लेकिन फिर आपको अपने काम को दोबारा देखने का दूसरा मौका मिलता है। आप एक गलती पकड़ते हैं, उसे ठीक करते हैं, और एक नया उत्तर लिखते हैं। यदि आपका नया उत्तर बेहतर है, तो आपने सफलतापूर्वक "सेल्फ-करेक्ट" (स्वयं सुधार) किया है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक बहुत बड़ी बात है। वैज्ञानिक एआई मॉडल्स को उस छात्र की तरह व्यवहार करना सिखा रहे हैं: वे एक उत्तर उत्पन्न करते हैं, अपने तर्क की आलोचना करते हैं, और बिना किसी मानव शिक्षक के देखे अपनी गलतियों को सुधारने का प्रयास करते हैं। बड़ा सवाल जो हर कोई पूछ रहा है वह यह है: क्या इससे वास्तव में एआई स्मार्ट होता है, या यह केवल अपनी गलतियों में अधिक आत्मविश्वासी हो जाता है?
पेपर की खोज को समझने के लिए, हमें यह देखना होगा कि हम इन एआई टेस्ट्स को कैसे ग्रेड करते हैं। आमतौर पर, एक कंप्यूटर प्रोग्राम एआई के बिखरे हुए, मुक्त रूप से बहते टेक्स्ट को पढ़ता है और अंतिम उत्तर खोजने की कोशिश करता है, जैसे कि कोई संख्या या अक्षर का विकल्प। यदि प्रोग्राम उत्तर नहीं ढूंढ पाता क्योंकि एआई ने उसे स्पष्ट रूप से नहीं लिखा या जगह कम पड़ गई, तो कंप्यूटर उसे गलत मार्क कर देता है। यह पेपर एक चालाकी भरी समस्या की जांच करता है: कभी-कभी, जब एक एआई अपना उत्तर "सुधारता" है, तो वह वास्तव में अपने गणित या तथ्यों के बारे में अपना विचार नहीं बदलता है। इसके बजाय, वह केवल इस बात को बदल देता है कि वह अपना उत्तर कैसे लिखता है ताकि ग्रेडिंग प्रोग्राम अंततः उसे पढ़ सके। यह एक ऐसे छात्र की तरह है जिसे पता था कि उत्तर क्या है लेकिन उसने अदृश्य स्याही में लिखा था; जब वह खुद को "सुधारता" है, तो वह बस नीली स्याही का उपयोग करने लगता है। ग्रेड बढ़ जाता है, लेकिन छात्र ने वास्तव में कुछ भी नया नहीं सीखा। यह पेपर पूछता है: क्या हम वास्तविक बुद्धिमत्ता को माप रहे हैं, या हम केवल बेहतर लिखावट को माप रहे हैं?
पेपर की बड़ी खोज: यह अक्सर केवल एक फॉर्मेटिंग फिक्स है
यह पेपर, जिसका शीर्षक "द कैलिब्रेशन फ्लोर" (The Calibration Floor) है, विभिन्न आकारों के एआई मॉडल्स (0.8 बिलियन पैरामीटर्स से लेकर 55 बिलियन सक्रिय पैरामीटर्स तक) से जुड़े 29 अलग-अलग टेस्ट्स की गहराई से जांच करता है। शोधकर्ताओं ने पाया कि जो एआई रीजनिंग में भारी सुधार के रूप में दिखता है, वह अक्सर एक "फॉर्मेटिंग ग्लिच" (फॉर्मेटिंग की त्रुटि) के कारण होने वाला भ्रम है।
एआई के उत्तर को एक खजाने के संदूक के रूप में सोचें। "कंटेंट" (सामग्री) संदूक के अंदर का सोना (वास्तविक सही उत्तर) है, और "फॉर्मेट" (प्रारूप) संदूक का ताला है। कई मामलों में, एआई ने अधिक सोना नहीं पाया; उसने बस ताले को बेहतर तरीके से खोलना सीख लिया। जब शोधकर्ताओं ने "सोने" (वास्तविक तर्क परिवर्तन) को "ताले" (क्या उत्तर पढ़ा जा सकता है) से अलग किया, तो उन्होंने कुछ आश्चर्यजनक पाया: अधिकांश स्पष्ट सफलता केवल ताला खोलने के बारे में थी।
उन्होंने इसे सरल शब्दों में यहाँ बताया है:
- "जादू" ज्यादातर नकली था: जब उन्होंने कुल स्कोर परिवर्तनों को देखा, तो कुछ मॉडल्स स्वयं सुधार (self-correcting) के बाद बहुत बेहतर दिखाई दिए। लेकिन एक बार जब उन्होंने फॉर्मेटिंग सुधारों को हटा दिया, तो वास्तविक "सोना" (वास्तविक तर्क परिवर्तन) स्मार्ट मॉडल्स के लिए लगभग शून्य था। वास्तव में, बड़े, सक्षम मॉडल्स (जैसे 4B से 12B आकार के रेंज और यहाँ तक कि विशाल फ्रंटियर मॉडल्स) के लिए, वास्तविक कंटेंट परिवर्तन कई मामलों में बिल्कुल 0.000 था। "सुधार" पूरी तरह से इसलिए था क्योंकि एआई आखिरकार उत्तर को ऐसे लिखने में सफल रहा जिसे कंप्यूटर पढ़ सके।
- छोटे मॉडल्स वास्तव में चीजें बिगाड़ रहे हैं: छोटे मॉडल्स (0.8B और 2B) अलग थे। उन्होंने वास्तव में अपने उत्तर बदले, लेकिन आमतौर पर बदतर स्थिति में। वे एक ऐसे छात्र की तरह थे जो उत्तर जानता था, समीक्षा के दौरान भ्रमित हो गया, और एक सही उत्तर को गलत उत्तर में बदल दिया। शोधकर्ताओं ने पाया कि इन छोटे मॉडल्स में बड़े मॉडल्स की तुलना में अपने वास्तविक तर्क को हानिकारक रूप से बदलने की संभावना 16 से 21 गुना अधिक थी।
- "स्क्वीज़" (Squeeze) की समस्या: पेपर एक "स्क्वीज़" का वर्णन करता है जहाँ कोई भी आकार का मॉडल 'स्वीट स्पॉट' में नहीं है। छोटे मॉडल्स के पास सुधार की गुंजाइश है लेकिन उनके पास यह संकेत देने की कमी है कि कब रुकना है और चीजों को ठीक करना है (वे बहुत अधिक और अक्सर गलत बदलाव करते हैं)। बड़े मॉडल्स के पास यह जानने का संकेत है कि वे कब गलत हैं, लेकिन वे शायद ही कभी अपने वास्तविक उत्तर बदलते हैं, इसलिए एक "गेटकीपर" के शोषण के लिए कुछ भी नहीं बचता। एकमात्र अपवाद एक विशिष्ट टेस्ट (9B TriviaQA) था, जिसने एक मामूली लाभ दिखाया, लेकिन यह गेम-चेंजर नहीं था।
उन्होंने इसे साबित करने के लिए क्या किया
शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने यह साबित करने के लिए एक चतुर प्रयोग बनाया कि "सुधार" केवल फॉर्मेटिंग था।
- "लॉक-पिकिंग" टेस्ट: उन्होंने एआई के मूल, बिखरे हुए तर्क वाले टेक्स्ट को लिया और उसे सख्त नियमों (जैसे व्याकरण संबंधी बाधाओं) का उपयोग करके उत्तर को फिर से निकालने के लिए मजबूर किया जो गारंटी देता कि उत्तर पठनीय होगा। जब उन्होंने ऐसा किया, तो "जादुई" सुधार गायब हो गए। उदाहरण के लिए, एक टेस्ट में जहाँ एआई को +0.145 की सटीकता प्राप्त हुई, सख्त पठनीय फॉर्मेट लागू करने पर वह लाभ घटकर +0.053 रह गया। एक अन्य मामले में, +0.020 का लाभ वास्तव में -0.017 के नुकसान में बदल गया जब फॉर्मेटिंग शोर को हटा दिया गया। इसने साबित कर दिया कि "फिक्स" मुख्य रूप से उत्तर को पठनीय बनाने के बारे में था, न कि अधिक स्मार्ट होने के बारे में।
- "साइन फ्लिप" (Sign Flip) ट्रिक: उन्होंने दो अलग-अलग प्रॉम्प्ट्स के साथ समान टेस्ट चलाए: एक जो एआई के टेक्स्ट के कट जाने (truncation) के प्रति संवेदनशील था और एक जो फिक्स्ड था। जब प्रॉम्प्ट खराब था, तो एआई का संशोधित उत्तर अक्सर कट जाता था, जिससे ऐसा लगता था कि एआई बदतर हो गया है। जब उन्होंने प्रॉम्प्ट को ठीक किया, तो प्रारंभिक उत्तर कट गया, जिससे संशोधन एक बड़ी सफलता के रूप में दिखने लगा। वास्तविक तर्क नहीं बदला; केवल "पठनीयता" बदली।
- "कॉपी-पेस्ट" चेक: उन्होंने एक प्रसिद्ध पिछले अध्ययन को दोहराने की कोशिश की जिसमें दावा किया गया था कि एआई सेल्फ-करेक्शन बहुत अच्छा काम करता है। जब उन्होंने उसी सटीक टेस्ट को एक अलग एआई मॉडल पर चलाया, तो यह बिल्कुल भी काम नहीं आया। इसके बजाय, इसने वही पैटर्न दिखाया जो इस पेपर ने पाया: एआई स्मार्ट नहीं हो रहा था; वह केवल अपने उत्तरों को बेहतर ढंग से फॉर्मेट कर रहा था।
निष्कर्ष (The Bottom Line)
पेपर निष्कर्ष निकालता है कि लंबे समय से, एआई समुदाय "सेल्फ-करेक्शन" को तर्क (reasoning) में एक बड़ी सफलता के रूप में मनाता रहा है। लेकिन यह अध्ययन सुझाव देता है कि परीक्षण किए गए मॉडल्स (छोटे से लेकर बहुत बड़े तक) के लिए, कंटेंट (सामग्री) का हिस्सा बहुत कम है जिसे हम माप रहे हैं।
यदि किसी एआई का स्कोर खुद को "ठीक" करने के बाद बढ़ता है, तो इसका मतलब यह हो सकता है कि एआई ने आखिरकार उत्तर को ऐसे लिखा जिसे कंप्यूटर समझ सके, न कि उसने एक कठिन समस्या को हल कर लिया है। लेखक चेतावनी देते हैं कि जब तक हम "सोने" को "ताले" से अलग नहीं कर लेते, हम निश्चित नहीं हो सकते कि एआई वास्तव में स्मार्ट हो रहा है या केवल फॉर्मेटिंग नियमों का पालन करने में बेहतर हो रहा है। एकमात्र वास्तविक "फिक्स" जो उन्होंने पाया वह यह था कि सबसे छोटे मॉडल्स वास्तव में अपने उत्तरों को बदतर बनाने के प्रति प्रवृत्त हैं, जबकि सबसे बड़े मॉडल्स इतने स्थिर हैं कि वे शायद ही कभी अपना विचार बदलते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।