Do Machines Struggle Where Humans Do? LLM and Human Comprehension of Obfuscated Code
यह शोध पत्र इस बात का मूल्यांकन करता है कि क्या बड़े भाषा मॉडल (large language models) अस्पष्ट कोड (obfuscated code) को समझने के दौरान मानवीय विफलता मोड (human failure modes) साझा करते हैं, जिसमें यह पाया गया है कि तर्क-अनुकूलित मॉडल (reasoning-tuned models) विभिन्न अस्पष्टीकरण स्तरों (obfuscation tiers) में मानव कठिनाई पैटर्न के साथ महत्वपूर्ण रूप से संरेखित होते हैं, जबकि निर्देश-अनुकूलित मॉडल (instruction-tuned models) नहीं होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पहेली सुलझाने की कोशिश कर रहे हैं। अब, कल्पना कीजिए कि कोई उस पहेली को लेता है और उसके साथ दो चीजें करता है:
- टुकड़ों के नाम बदल देता है: "राजा," "रानी," और "प्यादा" के बजाय, शतरंज के मोहरों को "X," "Y," और "Z" लेबल किया जाता है। या इससे भी बुरा, आपको धोखा देने के लिए "राजा" को "प्यादा" लेबल कर दिया जाता है।
- निर्देशों को अस्त-व्यस्त कर देता है: "आगे बढ़ें, फिर बाएं मुड़ें" जैसे स्पष्ट मार्ग के बजाय, निर्देशों को छोटे, बिखरे हुए चरणों में तोड़ दिया जाता है जिन्हें क्रम समझने के लिए एक जटिल मानचित्र की आवश्यकता होती है।
यही वह काम है जो कंप्यूटर प्रोग्राम के साथ कोड ऑबफस्केशन (code obfuscation) करता है। यह प्रोग्राम को बिल्कुल समान रूप से काम करने देता है, लेकिन इसे इंसानों के लिए पढ़ना और समझना अविश्वसनीय रूप से कठिन बना देता है।
यह शोध पत्र एक सरल लेकिन गहन प्रश्न पूछता है: क्या AI मॉडल (लार्ज लैंग्वेज मॉडल्स) इन अस्त-व्यस्त पहेलियों के साथ उसी तरह संघर्ष करते हैं जैसे इंसान करते हैं? या वे पूरी तरह से अलग, रहस्यमय तरीके से विफल होते हैं?
यहाँ उनके निष्कर्षों का विवरण दिया गया है, रोजमर्रा के उपमाओं का उपयोग करते हुए:
1. "स्मार्ट" AI बनाम "प्रशिक्षित" AI
शोधकर्ताओं ने विभिन्न प्रकार के AI मॉडलों का परीक्षण किया। इन्हें अलग-अलग प्रकार के छात्रों की तरह समझें:
- "कोडर/इंस्ट्रक्ट" मॉडल: ये उन छात्रों की तरह हैं जिन्होंने कोड के उदाहरणों की एक विशाल पाठ्यपुस्तक रट ली है। वे पैटर्न पहचानने में माहिर हैं (जैसे "print" शब्द को देखकर जान लेना कि क्या करना है)। लेकिन जब आप पहेली को अस्त-व्यस्त कर देते हैं, तो वे भ्रमित हो जाते हैं क्योंकि उनका "पैटर्न मैचिंग" टूट जाता है। वे वास्तव में यह नहीं समझते कि कोड क्यों काम करता है; वे बस इतना जानते हैं कि वह आमतौर पर कैसा दिखता है।
- "रीज़निंग" (तर्क करने वाले) मॉडल: ये उन छात्रों की तरह हैं जिन्हें सोचना सिखाया गया है। वे केवल रटते नहीं हैं; वे तर्क को चरण-दर-चरण समझने की कोशिश करते हैं।
बड़ी खोज: "रीज़निंग" मॉडल अस्त-व्यस्त पहेलियों के साथ ठीक उसी तरह संघर्ष करते थे जैसे इंसान करते हैं। जब पहेली कठिन (अधिक ऑबफस्केटेड) हुई, तो इंसान और रीज़निंग AI दोनों धीमे हो गए और अधिक गलतियाँ करने लगे। हालाँकि, "कोडर" मॉडल को कठिनाई की ज्यादा परवाह नहीं थी; वे या तो बेतरतीब ढंग से विफल हो गए या उनकी कठिनाई बढ़ी नहीं, जिससे पता चलता है कि वे वास्तव में इंसान की तरह समस्या के बारे में "सोच" नहीं रहे थे।
2. "आत्मविश्वासी गलती" का जाल
अध्ययन का एक सबसे दिलचस्प हिस्सा एक विशिष्ट ट्रिक से संबंधित है जिसे एडवर्सरियल रीनेमिंग (Adversarial Renaming) कहा जाता है।
- परिदृश्य: मान लीजिए कि टैक्स रेट की गणना करने वाले एक फंक्शन का नाम
calculate_taxहै। ऑबफस्केटर ने नाम बदलकरcalculate_bonusकर दिया। - मानवीय प्रतिक्रिया: एक मानव प्रोग्रामर "बोनस" देखेगा और सोचेगा, "रुको, यह टैक्स के लिए सही नहीं लगता," लेकिन यदि कोड का लॉजिक उलझा हुआ है तो वे अभी भी भ्रमित हो सकते हैं।
- AI की प्रतिक्रिया: रीज़निंग AI इस जाल में फंस गए। उन्होंने "बोनस" शब्द देखा, यह मान लिया कि कोड पैसे देने के बारे में है, और पूरे आत्मविश्वास के साथ गलत उत्तर दिया।
शोध पत्र ने पाया कि यह "आत्मविश्वासी गलती" तभी होती है जब दो चीजें एक साथ होती हैं: नाम भ्रामक हो और कोड की संरचना भ्रमित करने वाली हो। यह बिल्कुल वैसा ही है जैसे कोई आपको शहर का नक्शा दे लेकिन "अस्पताल" को "पिज्जा प्लेस" लेबल कर दे, और सड़कें सभी वन-वे लूप हों। आप पूरे आत्मविश्वास के साथ "पिज्जा प्लेस" (अस्पताल) की ओर जाएंगे और रास्ता भटक जाएंगे।
3. "सोचने का समय" मीटर
शोधकर्ताओं ने यह देखा कि जवाब देने से पहले AI ने कितना "सोचा"। उन्होंने इसे AI द्वारा अपने "चेन ऑफ थॉट" (उसका आंतरिक संवाद) में उत्पन्न किए गए शब्दों की संख्या गिनकर मापा।
- मानव समानता: जब इंसान किसी कठिन पहेली का सामना करते हैं, तो उन्हें सुलझाने में अधिक समय लगता है।
- AI समानता: जब पहेली कठिन हुई, तो AI ने लंबे और लंबे आंतरिक संवाद उत्पन्न किए।
- पेंच: दिलचस्प बात यह है कि AI ने लंबे समय तक सोचने से कठिन पहेलियों को हल करने में बेहतर नहीं किया। वास्तव में, AI ने जितना अधिक सोचा, उसके गलत होने की संभावना उतनी ही अधिक थी। यह एक छात्र की तरह था जो गणित की समस्या पर एक घंटे तक घूरता रहता है, पन्नों भर नोट्स लिखता है, लेकिन फिर भी गलत उत्तर देता है क्योंकि समस्या ही बहुत कठिन थी। सोचने की लंबाई कठिनाई का संकेत थी, न कि सफलता का।
4. "विशेषज्ञ" का अंतर
अध्ययन ने मानव विशेषज्ञों बनाम शुरुआती लोगों को भी देखा।
- शुरुआती लोग: जब कोड को अस्त-व्यस्त किया गया, तो शुरुआती लोग इसे हल करने में बहुत खराब प्रदर्शन करने लगे।
- विशेषज्ञ: आश्चर्यजनक रूप से, विशेषज्ञ कभी-कभी थोड़े अस्त-व्यस्त कोड को हल करने में बेहतर हो गए। क्यों? क्योंकि उन्होंने वेरिएबल्स के नामों (जैसे "राजा" या "प्यादा" लेबल) पर निर्भर करना छोड़ दिया और पूरी तरह से लॉजिक और संरचना पर ध्यान केंद्रित करना शुरू कर दिया।
- AI गैप: किसी भी AI मॉडल ने, यहाँ तक कि सबसे स्मार्ट वाले ने भी, इस "विशेषज्ञ" व्यवहार की नकल नहीं की। वे थोड़े अस्त-व्यस्त कोड को हल करने में बेहतर नहीं हुए; वे बस और खराब हो गए। यह सुझाव देता है कि भले ही AI तर्क करने में अच्छा हो रहा है, लेकिन उसने अभी तक उस मानवीय अंतर्ज्ञान (intuition) के स्तर को प्राप्त नहीं किया है जहाँ वह भ्रामक लेबल को अनदेखा कर सके और पूरी तरह से अंतर्निहित संरचना पर ध्यान केंद्रित कर सके।
सारांश: इसका क्या अर्थ है?
- क्या AI कोड को इंसानों की तरह समझता है? "रीज़निंग" AI ऐसा करने लगे हैं। वे उन्हीं कठिन पहेलियों में फंस जाते हैं जिनमें इंसान फंसते हैं। "कोडर" AI केवल पैटर्न-मैचिंग मशीनें हैं जो अलग तरह से विफल होती हैं।
- क्या हम भ्रमित कोड के साथ AI पर भरोसा कर सकते हैं? आँख बंद करके नहीं। यदि कोड में अजीब नाम या भ्रमित करने वाली संरचनाएं हैं, तो AI आपको बहुत ही आत्मविश्वास के साथ, बहुत गलत उत्तर दे सकता है।
- "सोचने" का संकेत: यदि कोई AI किसी सरल समस्या को हल करने के लिए बहुत लंबा, इधर-उधर भटकता हुआ स्पष्टीकरण लिखना शुरू कर देता है, तो यह प्रतिभा का संकेत नहीं है; यह इस बात का संकेत है कि AI संघर्ष कर रहा है और गलत उत्तर देने वाला हो सकता है।
संक्षेप में, यह शोध पत्र दिखाता है कि हम ऐसे AI बना रहे हैं जो मनुष्यों की तरह "सोचना" शुरू कर रहे हैं, लेकिन वास्तविक दुनिया के डेवलपर्स जिस उलझे हुए, भ्रमित करने वाले और ट्रिकी कोड का सामना करते हैं, उसे संभालने के लिए उन्हें अभी एक लंबा रास्ता तय करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।