Benchmarking Mythos-Linked Bug Rediscovery
यह शोध पत्र एक नियंत्रित प्रयोग की रिपोर्ट करता है जहाँ तीन एआई मॉडलों ने एंथ्रोपिक के "मिथोस" (Mythos) सामग्रियों से जुड़े छह विशिष्ट बग्स को बिना किसी पूर्व ज्ञान के पुनः खोजने का प्रयास किया, जिससे यह पता चला कि अनुकूल परिस्थितियों में भी, मॉडलों की सफलता दर कम (54 प्रयासों में से 6) रही, जिसका मुख्य कारण वास्तविक पैच द्वारा सुधारा गया विशिष्ट इनवेरिएंट (invariant) को पहचानने के बजाय प्रशंसनीय लेकिन गलत परिकल्पनाओं के प्रति प्रतिबद्ध होने की प्रवृत्ति थी।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि हाई-टेक जासूसों (AI मॉडल्स) का एक समूह है जिन्होंने हाल ही में दावा किया था कि वे दुनिया के सबसे महत्वपूर्ण सॉफ्टवेयर सिस्टम—जैसे आपके फोन के ऑपरेटिंग सिस्टम या आपकी फिल्में स्ट्रीम करने वाले इंजनों—में छिपी हुई दरारें ढूंढ सकते हैं। उन्होंने Linux, FreeBSD और FFmpeg जैसे सिस्टम के कोड में विशिष्ट, खतरनाक बग्स खोजने की कहानियाँ प्रकाशित कीं।
कुछ लोग चकित थे, उन्हें लगा कि ये AI सुपर-इंटेलिजेंट हैकर्स हैं। अन्य संशयवादी थे, उन्हें लगा कि ये कहानियाँ केवल मार्केटिंग का दिखावा हैं।
यह पेपर एक नियंत्रित प्रयोग (controlled experiment) है जिसे इस बहस को सुलझाने के लिए डिज़ाइन किया गया है। AI को कोड की एक विशाल लाइब्रेरी में सुई खोजने के लिए छोड़ने के बजाय, शोधकर्ताओं ने AI को वही सटीक किताब दी जहाँ सुई छिपी हुई थी। उन्होंने पूछा: "यदि हम आपको उस फ़ाइल को सौंप दें जिसमें बग मौजूद है, तो क्या आप अभी भी सटीक समस्या ढूंढ पाएंगे?"
यहाँ प्रयोग का विवरण और जो हुआ उसका विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:
सेटअप: "टारगेट फ़ाइल" टेस्ट
सॉफ्टवेयर कोड को एक जटिल मशीन के विशाल, 4,000 पन्नों के निर्देश मैनुअल के रूप में सोचें।
- दावा: AI (Mythos) ने कहा कि वह इस मैनुअल में एक विशिष्ट टाइपो (लिखने की गलती) को ढूंढ सकता है जिसके कारण मशीन फट सकती है।
- प्रयोग: शोधकर्ताओं ने मैनुअल लिया, उस पेज को ढूँढा जहाँ टाइपो था, और केवल वही पेज तीन अलग-अलग AI जासूसों को दिया:
- GPT-5.5 xhigh (एक "रीज़निंग" मॉडल)
- Claude Opus 4.7 (एक "एंथ्रोपिक" मॉडल)
- Kimi K2 (एक चीनी मॉडल)
उन्होंने उन्हें एक ही नियम दिए: इंटरनेट का उपयोग नहीं, बग के बारे में कोई संकेत नहीं, और उन्हें वह सटीक गलती ढूंढनी थी जिसे एक इंसान ने पहले ही एक सार्वजनिक पैच में ठीक कर दिया था। उन्होंने छह अलग-अलग "बग्स" के लिए इसे तीन बार आजमाया।
परिणाम: सुई को किसने ढूँढा?
कुल 54 प्रयासों (3 मॉडल्स × 6 बग्स × प्रत्येक के लिए 3 प्रयास) में से:
- GPT-5.5 xhigh: इसने सटीक बग 5 बार पाया। इसने 6 में से 2 अलग-अलग बग्स को पूरी तरह से हल किया, और एक बार इसने उसी फ़ाइल में एक अलग बग ढूँढा (एक "गलत लक्ष्य" लेकिन फिर भी एक वास्तविक खोज)।
- Claude Opus 4.7: इसने सटीक बग 1 बार पाया। इसने 6 में से 1 बग को हल किया।
- Kimi K2: इसने सटीक बग 0 बार पाया। इसने कुछ भी नहीं ढूँढा।
"क्यों": विश्वसनीय भटकावों का जाल
सबसे दिलचस्प बात यह नहीं है कि कौन जीता, बल्कि यह है कि वे कैसे विफल हुए।
कल्पना कीजिए कि आप एक कार के इंजन को देख रहे हैं। आप जानते हैं कि कहीं न कहीं एक ढीला बोल्ट है।
- AI की गलती: AI ने इंजन को देखा और उसे एक ढीला तार, एक गंदा फिल्टर और एक थोड़ा घिसा हुआ गैस्केट दिखा। उसने कहा, "मुझे समस्या मिल गई! यह ढीला तार है!"
- वास्तविकता: ढीला तार एक विश्वसनीय समस्या थी, लेकिन वह वह विशिष्ट टूटा हुआ बोल्ट नहीं था जिसे शोधकर्ता ढूंढ रहे थे।
इस पेपर में इसे "विश्वसनीय वैकल्पिक उम्मीदवारों के प्रति शीघ्र प्रतिबद्धता" (early commitment to plausible alternate candidates) कहा गया है।
AI मॉडल कोड को देखकर यह कहने में अच्छे थे कि, "हे, यह संदिग्ध लग रहा है!" उन्होंने ऐसी कई चीजें ढूँढ लीं जो बग हो सकती थीं। लेकिन वे उस एक विशिष्ट चीज़ को चुनने में संघर्ष कर गए जो वास्तविक दुनिया के फिक्स (सुधार) से मेल खाती थी। वे "रेड हेरिंग्स" (भटकाने वाली चीजों) से विचलित हो गए—ऐसी चीजें जो बग जैसी दिखती थीं लेकिन वे वह विशिष्ट चीज़ नहीं थीं जिसकी वे तलाश कर रहे थे।
शिकार की लागत
प्रयोग ने यह भी ट्रैक किया कि इसमें कितना "ईंधन" (पैसा और कंप्यूटिंग पावर) लगा।
- GPT-5.5 की लागत लगभग $61 थी।
- Claude की लागत लगभग $88 थी (यह सबसे महंगा था)।
- Kimi सबसे सस्ता $3.50 पर था, लेकिन उसने कुछ नहीं पाया।
भले ही शोधकर्ताओं ने AI को सही फ़ाइल दे दी थी (जिससे काम का सबसे कठिन हिस्सा: फ़ाइल ढूँढना समाप्त हो गया), फिर भी AI सटीक त्रुटि को पहचानने में संघर्ष करता रहा।
मुख्य निष्कर्ष
यह पेपर यह नहीं कहता कि AI बेकार है, न ही यह कहता है कि मूल "Mythos" कहानियाँ झूठी थीं। यह केवल यह कहता है:
"AI को सही फ़ाइल देना ही काफी नहीं है।"
भले ही AI जानता हो कि कहाँ देखना है, वह अक्सर गलत विवरणों पर अटक जाता है। वह कई "शायद-बग्स" उत्पन्न कर सकता है, लेकिन उसे उस एक सच्चे बग को चुनने में कठिनाई होती है जो विशिष्ट साक्ष्य से मेल खाता हो। पेपर निष्कर्ष निकालता है कि इन AI बग-हंटर्स की सफलता संभवतः मॉडल की कच्ची बुद्धिमत्ता के बजाय प्रक्रिया (उन्हें कितने प्रयास मिलते हैं, उन्हें कैसे रैंक किया जाता है, और उन्हें कैसे निर्देशित किया जाता है) पर अधिक निर्भर करती है।
संक्षेप में: AI एक स्मार्ट जासूस है जो मैनुअल पढ़ सकता है, लेकिन उसे अभी भी उस सटीक टाइपो को खोजने के लिए निर्देशों का एक बहुत ही विशिष्ट सेट चाहिए, अन्यथा वह केवल पन्ने पर मौजूद निकटतम धब्बे की ओर इशारा करेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।