Code Correctness Signals in LLM Hidden States: Pre-Generation Probing and Repair Geometry
यह शोध पत्र प्रदर्शित करता है कि कोड की शुद्धता (correctness) को जनरेशन से पहले एक Qwen3-4B मॉडल के हिडन स्टेट्स (hidden states) से रैखिक रूप से डिकोड किया जा सकता है, जबकि कठोर रेसिडुअलाइजेशन नियंत्रणों (residualization controls) के माध्यम से यह प्रकट होता है कि स्पष्ट "सुधार" (repair) संकेत वास्तव में संदर्भ द्वारा भ्रमित (confounded) हैं, न कि पृथक समझ संबंधी विशेषताओं का प्रतिनिधित्व करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़े लैंग्वेज मॉडल (LLM) की कल्पना एक बेहद प्रतिभाशाली, लेकिन थोड़ी रहस्यमयी छात्र के रूप में करें जो कोडिंग परीक्षा दे रहा है। यह पेपर एक जासूसी कहानी की तरह है जहाँ शोधकर्ता छात्र के "मस्तिष्क" (इसके हिडन स्टेट्स) में झाँकने की कोशिश करते हैं ताकि यह देख सकें कि कोड का एक भी शब्द लिखने से पहले वह क्या जानता है, और यह भी कि क्या उसका मस्तिष्क किसी गलती को सुधारने की कोशिश करते समय एक विशिष्ट तरीके से बदलता है।
शोधकर्ताओं ने एक विशिष्ट छात्र (Qwen3-4B नामक मॉडल) का उपयोग किया और उसे 444 कोडिंग समस्याएँ दीं। यहाँ उन्होंने जो पाया है, उसे सरल उपमाओं के माध्यम से समझाया गया है।
1. "प्री-गेम" क्रिस्टल बॉल (खेल शुरू होने से पहले की भविष्यवाणी)
प्रश्न: इससे पहले कि छात्र उत्तर लिखना शुरू भी करे, क्या उसका मस्तिष्क पहले से ही "जानता" है कि वह सवाल को सही हल करेगा या गलत?
उपमा: कल्पना कीजिए कि आप गणित की परीक्षा देने जा रहे हैं। आपने अभी तक एक भी संख्या नहीं लिखी है। शोधकर्ताओं ने ठीक उस क्षण छात्र की मस्तिष्क गतिविधि (brain activity) को देखा जब उसने प्रश्न पढ़ना समाप्त किया था। उन्होंने पूछा: "क्या हम केवल यह देखकर भविष्यवाणी कर सकते हैं कि छात्र पास होगा या फेल होगा?"
निष्कर्ष: हाँ।
उन्होंने एक सरल "डिटेक्टर" (एक लीनियर प्रोब) बनाया जो प्रॉम्प्ट पढ़ने के बाद मस्तिष्क की अंतिम अवस्था को देखता था। यह भविष्यवाणी करने में अविश्वसनीय रूप से सटीक (लगभग 93% सटीकता) था कि कोड टेस्ट पास करेगा या नहीं।
- ट्विस्ट: उन्हें डर था कि डिटेक्टर केवल "चीटिंग" कर रहा है क्योंकि कठिन समस्याओं के प्रश्न लंबे होते हैं। इसलिए, उन्होंने प्रश्न की लंबाई के प्रभाव को डेटा से "घटा" (subtract) दिया। प्रश्न की "लंबाई" वाले सुराग को हटाने के बाद भी, डिटेक्टर अच्छी तरह से काम करता रहा (सटीकता घटकर 91% रह गई, लेकिन फिर भी यह रैंडम अनुमान से कहीं बेहतर था)।
- सीख: समाधान उत्पन्न करने का प्रयास करने से पहले ही, मॉडल के मस्तिष्क में एक स्पष्ट संकेत मौजूद होता है कि वह समस्या को हल कर सकता है या नहीं।
2. "फिक्स-इट" दिशा (सुधार की दिशा)
प्रश्न: जब छात्र किसी समस्या में विफल रहता है और उसे सुधारने की कोशिश करता है, तो क्या उसका मस्तिष्क एक विशिष्ट, सुसंगत दिशा में बदलता है जो संकेत देता है कि "मैं अब सफल होने वाला हूँ"?
उपमा: कल्पना कीजिए कि छात्र एक प्रश्न का गलत उत्तर देता है। उसे एक संकेत (एरर मैसेज) मिलता है और वह फिर से प्रयास करता है। शोधकर्ताओं ने विफल प्रयास के मस्तिष्क की स्थिति और सुधार के प्रयास के मस्तिष्क की स्थिति के बीच के अंतर को देखा। उन्होंने पूछा: "क्या मस्तिष्क की गतिविधि में कोई विशिष्ट 'तीर' (arrow) या दिशा है जो एक सफल सुधार की ओर इशारा करती है?"
निष्कर्ष: यह जटिल है।
- पहली नज़र: पहली नज़र में, हाँ! मस्तिष्क के डेटा में एक स्पष्ट "तीर" था। जब मॉडल ने सफलतापूर्वक एक बग को ठीक किया, तो मस्तिष्क एक विशिष्ट दिशा में चला। जब वह सुधार करने में विफल रहा, तो मस्तिष्क अलग तरह से व्यवहार किया। यह एक "सफलता के हस्ताक्षर" (success signature) जैसा लग रहा था।
- दूसरी नज़र (रियलिटी चेक): शोधकर्ताओं ने फिर पूछा, "रुकिए जरा। क्या यह 'तीर' वास्तव में मॉडल द्वारा सुधार को समझने के बारे में है, या यह केवल सुधार की परिस्थितियों के प्रति प्रतिक्रिया कर रहा है?"
- उन्होंने देखा कि सफल सुधार अक्सर तब होते थे जब मूल गलती एक विशिष्ट प्रकार की त्रुटि (जैसे रनटाइम एरर) थी या जब कोड छोटा था।
- जब उन्होंने इन बाहरी परिस्थितियों (कॉन्टेक्स्ट) को मस्तिष्क के डेटा से गणितीय रूप से "घटाया", तो वह "सफलता का तीर" गायब हो गया।
- सीख: मस्तिष्क में "मैं सुधार समझ गया हूँ" का कोई विशेष संकेत नहीं था। इसके बजाय, मस्तिष्क केवल सुधार के संदर्भ (जैसे, "ओह, यह एक छोटा कोड है जिसमें रनटाइम एरर है, मैं इसे संभाल सकता हूँ") के प्रति प्रतिक्रिया दे रहा था। "सफलता की दिशा" केवल स्थिति का एक दुष्प्रभाव थी, न कि कोई गहरी आंतरिक समझ।
3. "मैजिक इरेज़र" टूल (जादुई मिटाने वाला उपकरण)
यह पेपर रेसिडुअलाइजेशन (Residualization) नामक एक विधि पेश करता है। इसे डेटा के लिए "मैजिक इरेज़र" (जादुई मिटाने वाला यंत्र) समझें।
- यह कैसे काम करता है: यदि आपको लगता है कि एक संकेत (जैसे "मैं उत्तर जानता हूँ") वास्तविक है, लेकिन आपको संदेह है कि यह वास्तव में किसी और चीज़ (जैसे "प्रश्न छोटा था") के कारण है, तो आप "छोटा प्रश्न" वाले हिस्से को मिटाने के लिए मैजिक इरेज़र का उपयोग करते हैं।
- परिणाम:
- जब उन्होंने "प्री-गेम" सिग्नल पर इरेज़र का उपयोग किया, तो सिग्नल मजबूत बना रहा। (यह वास्तविक था)।
- जब उन्होंने "फिक्स-इट" सिग्नल पर इरेज़र का उपयोग किया, तो सिग्नल गायब हो गया। (यह संदर्भ के कारण पैदा हुआ एक भ्रम था)।
सारांश
यह पेपर हमें सिखाता है कि ये AI मॉडल कैसे सोचते हैं, इसके बारे में दो मुख्य सबक:
- वे बोलने से पहले जानते हैं: निर्देश पढ़ने के तुरंत बाद, मॉडल का मस्तिष्क इस बात का एक स्पष्ट मानचित्र रखता है कि वह सफल होगा या विफल।
- "फिक्स" सिग्नल पर आँख मूंदकर भरोसा न करें: जब एक मॉडल अपने स्वयं के कोड को सुधारने की कोशिश करता है, तो उसके मस्तिष्क में होने वाले परिवर्तन अनिवार्य रूप से "सीखने" या "समझने" का संकेत नहीं होते हैं। अक्सर, वे केवल त्रुटि संदेश और कोड की लंबाई जैसे विवरणों के प्रति मॉडल की प्रतिक्रिया मात्र होते हैं।
लेखक इस बात पर जोर देते हैं कि उनका सबसे महत्वपूर्ण योगदान केवल परिणाम नहीं है, बल्कि उनके तरीके की ईमानदारी है। उन्होंने एक चीज़ को वास्तविक और दूसरी को भ्रम सिद्ध करने के लिए एक ही "मैजिक इरेज़र" टूल का उपयोग किया, जो यह दर्शाता है कि हमें समस्या के संदर्भ को मॉडल की आंतरिक समझ समझने की गलती करने से बचना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।