CodeCircuit: Toward Inferring LLM-Generated Code Correctness via Attribution Graphs
यह शोध पत्र "CodeCircuit" का प्रस्ताव करता है, जो बाहरी निष्पादन (execution) या सहायक जजों पर निर्भर रहने के बजाय मॉडल की आंतरिक तंत्रिका गतिशीलता (neural dynamics) और एट्रिब्यूशन ग्राफों का विश्लेषण करके LLM-जनित कोड की शुद्धता को सत्यापित करने की एक विधि है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कोड का "ब्रेन स्कैन": CodeCircuit की व्याख्या
कल्पना कीजिए कि आप एक छात्र की गणित की परीक्षा जांच रहे हैं। आमतौर पर, आप केवल पन्ने के नीचे दिए गए अंतिम उत्तर को देखते हैं। यदि उत्तर "42" है, तो आप देखते हैं कि वह सही है या नहीं। यदि वह "43" है, तो आप उसे गलत मार्क कर देते हैं। आज के अधिकांश AI कोड चेकर इसी तरह काम करते हैं: वे कोड चलाते हैं, देखते हैं कि वह काम करता है या नहीं, और यदि वह क्रैश हो जाता है, तो वे कहते हैं, "खराब कोड!"
लेकिन एक समस्या है: कभी-कभी एक छात्र शुद्ध भाग्य से सही उत्तर प्राप्त कर लेता है, भले ही उसका तर्क (logic) बहुत खराब रहा हो। या, वे एक बहुत छोटी सी गलती कर सकते हैं जो तुरंत प्रोग्राम को क्रैश नहीं करती है, लेकिन बाद में एक बड़ी आपदा का कारण बनेगी।
"CodeCircuit" के पीछे के शोधकर्ताओं ने अंतिम उत्तर देखना बंद करने और समस्या हल करते समय छात्र की ब्रेन वेव्स (मस्तिष्क की तरंगों) को देखना शुरू करने का निर्णय लिया।
मुख्य विचार: तर्क का "मानसिक मानचित्र" (Mental Map)
जब कोई AI (जैसे ChatGPT) कोड लिखता है, तो वह केवल अक्षर टाइप नहीं कर रहा होता है; वह अपने "मस्तिष्क" (न्यूरल नेटवर्क) के भीतर गणितीय गणनाओं का एक विशाल, अदृश्य नृत्य कर रहा होता है।
शोधकर्ताओं ने पाया कि जब एक AI सही कोड लिख रहा होता है, तो उसकी आंतरिक "मस्तिष्क गतिविधि" एक बहुत ही विशिष्ट, व्यवस्थित और सुंदर पैटर्न का पालन करती है—जैसे एक अच्छी तरह से नियोजित राजमार्ग प्रणाली जिसमें स्पष्ट निकास और सुचारू यातायात प्रवाह हो।
हालाँकि, जब AI कोई गलती करने वाला होता है, तो वह आंतरिक राजमार्ग प्रणाली एक अराजक निर्माण क्षेत्र (construction zone) जैसी दिखने लगती है। लेन बेतरतीब ढंग से मिल जाती हैं, अचानक डेड एंड (बंद रास्ते) आ जाते हैं, और "ट्रैफिक" (सूचना) टूटे हुए पुलों के माध्यम से बहने लगता है।
CodeCircuit अनिवार्य रूप से AI के लिए एक हाई-टेक एमआरआई (MRI) मशीन है। कोड पूरा होने और चलने का इंतज़ार करने के बजाय, CodeCircuit टाइप करते समय ही AI के आंतरिक विचारों को "स्कैन" करता है ताकि यह देखा जा सके कि तर्क संरचनात्मक रूप से सुदृढ़ है या नहीं।
यह कैसे काम करता है (तीन चरण)
इसे काम करने के योग्य बनाने के लिए, शोधकर्ताओं ने तीन-चरणीय प्रक्रिया का उपयोग किया:
- एक्स-रे (Attribution Graphs): वे AI के अव्यवस्थित, भारी विद्युत संकेतों को लेते हैं और उन्हें एक "मानचित्र" (ग्राफ) में बदल देते हैं। यह मानचित्र दिखाता है कि कोड की एक विशिष्ट पंक्ति बनाने के लिए कौन से "न्यूरॉन्स" दूसरे "न्यूरॉन्स" से बात कर रहे हैं।
- पैटर्न मिलानकर्ता (Topological Features): वे उस मानचित्र के आकार को देखते हैं। क्या यह एक मजबूत, आपस में जुड़ा हुआ जाल है (अच्छा!) या एक खंडित, असंबद्ध बिखराव (बुरा!)? उन्होंने पाया कि "सही" कोड का एक विशिष्ट "फिंगरप्रिंट" होता है जो "गलत" कोड से अलग दिखता है।
- नैदानिक उपकरण (Diagnostic Tool): क्योंकि वे देख सकते हैं कि मानचित्र कहाँ टूट रहा है, वे केवल यह नहीं कहते कि "यह कोड गलत है।" वे कह सकते हैं, "AI इस लूप के बीच में अपने वेरिएबल्स (variables) का ट्रैक खो रहा है!"
"जादुई ट्रिक": मस्तिष्क को ठीक करना
इस पेपर का सबसे आश्चर्यजनक हिस्सा केवल त्रुटियों का पता लगाना नहीं है—बल्कि उन्हें ठीक करना है।
कल्पना कीजिए कि एक शेफ सूप बना रहा है, लेकिन वे गलती से चीनी के बजाय नमक का जार उठा लेते हैं। उन्हें सूप पूरा करने देने और फिर उसे फेंक देने के बजाय, आप उनके मस्तिष्क में पहुँचते हैं और चीनी उठाने के लिए उनके हाथ को "धक्का" (nudge) देते हैं।
शोधकर्ताओं ने बिल्कुल यही किया। उन्होंने AI के मस्तिष्क में एक विशिष्ट "ग्लिच वाला" संकेत पाया जो एक ऐसा लूप लिख रहा था जो अनंत काल तक चलता रहेगा। उस विशिष्ट खराब संकेत को "क्लैंप" (दबाने) करके, उन्होंने AI को सही ढंग से "सोचने" के लिए मजबूर किया, और AI ने अचानक एकदम सटीक, काम करने वाला कोड लिखा।
यह क्यों महत्वपूर्ण है?
जैसे-जैसे हम AI को हवाई जहाजों, चिकित्सा उपकरणों और बैंकिंग प्रणालियों के लिए कोड लिखने की अनुमति देने लगे हैं, हम केवल "उत्तर की जाँच" करने पर निर्भर नहीं रह सकते। हमें यह जानने की आवश्यकता है कि AI वास्तव में उस तर्क को समझता है जिसका वह उपयोग कर रहा है।
CodeCircuit हमें "ग्रेडर" (जिन्हें केवल परिणाम की परवाह होती है) से बदलकर "मैकेनिक" (जो समझते हैं कि इंजन वास्तव में कैसे काम करता है) बनाने की ओर ले जाता है। यह हमें AI के नीचे झाँकने का एक तरीका देता है ताकि यह सुनिश्चित किया जा सके कि हम जो डिजिटल दुनिया बना रहे हैं वह ठोस तर्क पर आधारित है, न कि केवल भाग्यशाली अनुमानों पर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।