The Range Shrinks, the Threat Remains: Re-evaluating LLM Package Hallucinations on the 2026 Frontier-Model Cohort
यह शोध पत्र स्प्रैकलन एट अल. के 2025 के एलएलएम (LLM) पैकेज मतिभ्रम (hallucinations) पर आधारित अध्ययन को पांच 2026 के फ्रंटियर मॉडल्स का उपयोग करके दोहराता और विस्तारित करता है, जिससे यह पता चलता है कि हालांकि मतिभ्रम की दर में काफी कमी आई है और मॉडल्स के बीच का अंतर कम हुआ है, फिर भी एक निरंतर खतरा बना हुआ है जो 127 मॉडल-अज्ञेय (model-agnostic) मतिभ्रम वाले पैकेज नामों के एक नए पहचाने गए सेट और विशिष्ट क्रॉस-इकोसिस्टम एवं क्रॉस-मॉडल व्यवहार संबंधी पैटर्न द्वारा अभिलक्षित है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नया व्यंजन बनाने की कोशिश कर रहे हैं एक शेफ के रूप में। आप मदद के लिए एक सुपर-स्मार्ट, AI-संचालित सु-शेफ (sous-chef) से पूछते हैं। वह सु-शेफ आत्मविश्वास से कहता है, "आपको किराने की दुकान से SuperSpice-9000 खरीदने की ज़रूरत है!" आप दुकान पर जाते हैं, लेकिन SuperSpice-9000 का कोई अस्तित्व नहीं है।
कंप्यूटर कोडिंग की दुनिया में, यह "किराने की दुकान" कोड के "सामग्री" (पैकेज) के लाखों पहले से बने हुए भंडार वाला एक डिजिटल गोदाम है (पायथन के लिए PyPI या जावास्क्रिप्ट के लिए npm)। ये भंडार प्रोग्रामर्स के लिए हैं जिन्हें वे एक सिंगल कमांड के साथ डाउनलोड कर सकते हैं।
यह पेपर पिछले साल सुनाई गई एक डरावनी कहानी का अगला भाग है। उस समय, शोधकर्ताओं ने पाया था कि AI शेफ सामग्री के नाम रखने में बहुत खराब थे। वे लगभग 5% से 22% बार "SuperSpice-9000" जैसे नकली नाम गढ़ देते थे। एक चालाक चोर उस नकली नाम के साथ एक दुर्भावनापूर्ण (malicious) पैकेज रजिस्टर कर सकता था, फिर एक प्रोग्रामर के उस नाम को मांगने का इंतज़ार कर सकता था, और फिर प्रोग्रामर को वायरस इंस्टॉल करने के लिए धोखा दे सकता था। इसे "स्लॉपस्क्वैटिंग" (slopsquatting) कहा जाता है।
इस पेपर के लेखक, एक स्वतंत्र शोधकर्ता ने पूछा: "क्या दो साल बाद AI इसमें बेहतर हुआ है?"
यहाँ उन्होंने जो पाया, उसे सरल भाषा में समझाया गया है:
1. "नकली सामग्री" की समस्या छोटी हुई, लेकिन खत्म नहीं हुई
शोधकर्ताओं ने 2026 की शुरुआत में उपलब्ध पाँच सबसे स्मार्ट AI कोडिंग मॉडल्स का परीक्षण किया (Anthropic, OpenAI, Google और DeepSeek जैसी कंपनियों के)।
- अच्छी खबर: "सबसे अच्छे" AI और "सबसे खराब" AI के बीच का अंतर नाटकीय रूप से कम हो गया है। 2024 में, कुछ AI बहुत खराब थे (22% नकली नाम) जबकि अन्य ठीक थे (5%)। 2026 में, वे सभी लगभग एक जैसे हैं: वे सभी लगभग 4.6% से 6.1% बार नकली नाम बनाते हैं। बुराई का "फैलाव" सिमट गया है।
- बुरी खबर: खतरा अभी भी बहुत वास्तविक है। भले ही दर कम हो गई है, लेकिन 4-6% इतना अधिक है कि एक चोर इससे मुनाफा कमा सके। यदि एक AI 20 में से 1 बार नकली नाम बनाता है, तो एक चोर उस नकली नाम को रजिस्टर कर सकता है और हजारों प्रोग्रामर्स द्वारा गलती से उसे डाउनलोड करने का इंतज़ार कर सकता है।
2. "यूनिवर्सल फेक" (सार्वभौमिक नकली) की खोज
यह इस पेपर का सबसे बड़ा आश्चर्य है। शोधकर्ताओं ने 127 विशिष्ट नकली नाम पाए जिन्हें सभी पांचों शीर्ष AI मॉडल्स ने बनाया था।
- उपमा (Analogy): कल्पना कीजिए कि आप पांच अलग-अलग विशेषज्ञ शेफ से पूछते हैं, "इस सूप में गुप्त सामग्री क्या है?" और वे सभी स्वतंत्र रूप से कहते हैं, "यह BlueFlavor-7 है," भले ही वह सामग्री मौजूद ही नहीं है।
- खतरा: यदि कोई चोर "BlueFlavor-7" को एक बार रजिस्टर कर लेता है, तो वह एक साथ पाँचों AI कंपनियों के उपयोगकर्ताओं पर हमला कर सकता है। यह एक "यूनिवर्सल ट्रैप" (सार्वभौमिक जाल) है जो इस बात पर निर्भर नहीं करता कि आप कौन सा AI उपयोग कर रहे हैं।
3. कुछ अजीब मोड़
पेपर में कुछ ऐसे पैटर्न मिले जो हमारी उम्मीद के विपरीत थे:
- Python बनाम JavaScript: 2024 में, AI जावास्क्रिप्ट की सामग्री के नाम रखने में खराब था। 2026 में, यह वास्तव में Python की सामग्री के नाम रखने में खराब है। ऐसा लगता है कि AI पायथन के जटिल नामकरण नियमों से भ्रमित हो रहा है।
- "छोटा" बनाम "बड़ा" भाई: आमतौर पर, छोटे, सस्ते AI मॉडल बड़े और महंगे मॉडल्स की तुलना में अधिक गलतियाँ करते हैं। लेकिन यहाँ, "छोटा" मॉडल (Claude Haiku) ने अपने "बड़े भाई" (Claude Sonnet) की तुलना में कम नकली नाम बनाए। ऐसा लगता है कि छोटे मॉडल को निर्देशों के साथ अतिरिक्त सावधानी बरतने के लिए प्रशिक्षित किया गया था।
4. समस्या क्यों कम हुई?
लेखक तीन कारणों का सुझाव देते हैं कि AI अब थोड़ा बेहतर क्यों है:
- मैदान को बराबर करना: "ओपन-सोर्स" मॉडल्स (मुफ्त उपयोग के लिए) इतने अच्छे हो गए हैं कि वे अब "कमर्शियल" मॉडल्स (पेड) जितने ही स्मार्ट हैं, इसलिए उनके बीच का अंतर समाप्त हो गया।
- बेहतर प्रशिक्षण: जो कंपनियाँ AI को डेटा खिला रही हैं, वे अपनी "कुकबुक्स" (प्रशिक्षण डेटा) को साफ करने और उसमें से अधिक नकली सामग्री के नामों को हटाने में बेहतर रही हैं।
- मानकीकृत प्रशिक्षण: अब सभी बड़ी AI कंपनियाँ समान शिक्षण विधियों का उपयोग कर रही हैं, इसलिए वे सभी समान, (थोड़ी बेहतर) गलतियाँ करती हैं।
मुख्य निष्कर्ष (The Bottom Line)
AI शेफों ने अपने व्यवहार में थोड़ा सुधार किया है, लेकिन वे अभी भी इतनी बार नकली सामग्री बना रहे हैं कि यह खतरनाक है। सबसे चिंताजनक बात यह है कि वे सभी एक ही तरह की नकली सामग्री बना रहे हैं।
यह पेपर क्या नहीं कहता:
- यह नहीं कहता कि यह एक हल हो चुकी समस्या है।
- यह नहीं कहता कि आप AI का उपयोग करना बंद कर दें।
- यह दावा नहीं करता कि सभी AI मॉडल बुरे हैं (उन्होंने केवल शीर्ष 5 "फ्रंटियर" मॉडल्स का परीक्षण किया है; छोटे, पुराने मॉडल अभी भी बहुत खराब हो सकते हैं)।
लेखक का मुख्य संदेश है: त्रुटियों की सीमा कम हुई है, लेकिन खतरा बना हुआ है। प्रोग्रामर्स और सुरक्षा टीमों को यह ध्यान रखना चाहिए कि आज के सबसे स्मार्ट AI भी आपको एक नकली, खतरनाक डाउनलोड की ओर ले जा सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।