The Range Shrinks, the Threat Remains: Re-evaluating LLM Package Hallucinations on the 2026 Frontier-Model Cohort
تُعيد هذه الورقة إنتاج وتوسيع دراسة "سبراتكلن وآخرون" لعام 2025 حول هلوسة حزم البرمجيات في النماذج اللغوية الكبيرة باستخدام خمسة نماذج رائدة لعام 2026، كاشفةً أنه بينما انخفضت معدلات الهلوسة بشكل ملحوفت وضاق التباين بين النماذج، لا يزال هناك تهديد مستمر يتميز بمجموعة محددة حديثاً من 127 اسماً لِحزم برمجية مهلوسة ومستقلة عن النماذج، وأنماط سلوكية متميزة عبر الأنظمة البيئية والنماذج المختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طاهٍ يحاول طهي وصفة جديدة. تطلب المساعدة من مساعد طاهٍ ذكي للغاية ومدعوم بالذكاء الاصطناعي، فيجيبك المساعد بثقة: "عليك شراء SuperSpice-9000 من متجر البقالة!" تذهب إلى المتجر، لكن SuperSpice-9000 غير موجود.
في عالم برمجة الكمبيوتر، هذا "المتجر" هو مستودع رقمي يسمى PyPI (لـ Python) أو npm (لـ JavaScript). تضم هذه المستودعات الملايين من "مكونات" الكود الجاهزة (الحزم) التي يمكن للمبرمجين تنزيلها بأمر واحد فقط.
هذه الورقة هي متابعة لقصة مخيفة رُويت العام الماضي. في ذلك الوقت، وجد الباحثون أن طهاة الذكاء الاصطناعي كانوا سيئين للغاية في تسمية المكونات؛ حيث كانوا يخترعون أسماءً وهمية مثل "SuperSpice-9000" بنسبة تتراوح بين 5% إلى 22% من الوقت. يمكن للصّ de (لص) ماكر أن يسجل حزمة خبيثة بهذا الاسم الوهمي، وينتظر حتى يطلب مبرمجٌ ما هذا الاسم من الذكاء الاصطناعي، ثم يخدع المبرمج ويجعله يثبّت فيروساً. يُطلق على هذا الأمر اسم "slopsquatting".
سأل مؤلف هذه الورقة، وهو باحث مستقل: "هل تحسن الذكاء الاصطناعي في هذا الأمر بعد مرور عامين؟"
إليك ما وجده، مشروحاً ببساة:
1. مشكلة "المكون الوهمي" صغرت، لكنها لم تختفِ
اختبر الباحثون أذكى خمسة نماذج ذكاء اصطناعي برمجية متاحة في أوائل عام 2026 (من شركات مثل Anthropic وOpenAI وGoogle وDeepSeek).
- الأخبار الجيدة: الفجوة بين "أفضل" ذكاء اصطناعي و"أسوأ" ذكاء اصطناعي تقلصت بشكل كبير. في عام 2024، كانت بعض نماذج الذكاء الاصطناعي سيئة للغاية (2ها 22% أسماء وهمية) بينما كانت أخرى جيدة (5%). في عام 2026، أصبحت جميعها متشابهة تقريباً: جميعها تخترع أسماءً وهمية بنسبة تتراوح بين 4.6% و6.1% من الوقت. "تشتت" السوء قد انهار.
- الأخبار السيئة: التهديد لا يزال حقيقياً جداً. على الرغم من انخفاض المعدل، إلا أن 4-6% لا تزال نسبة عالية بما يكفي ليحقق اللص ربحاً. إذا اخترع الذكاء الاصطناعي اسماً وهمياً مرة واحدة من بين كل 20 مرة، يمكن للص thief تسجيل هذا الاسم الوهمي والانتظار حتى يقوم آلاف المبرمجين بتنزيله عن طريق الخطأ.
2. اكتشاف "الوهمي الشامل"
هذا هو أكبر مفاجآت الورقة. وجد الباحثون 127 اسماً وهمياً محدداً اخترعتها جميع نماذج الذكاء الاصطناعي الخمسة الرائدة.
- القياس التشبيهي: تخيل أنك تسأل خمسة طهاة خبراء مختلفين: "ما هو المكون السري في هذا الحساء؟" فجميعهم يقولون بشكل مستقل: "إنه BlueFlavor-7"، رغم أن هذا المكون غير موجود.
- الخطر: إذا سجل لص ما اسم "BlueFlavor-7" لمرة واحدة، فيمكنه مهاجمة مستخدمي الشركات الخمس الكبرى في آن واحد. إنه "فخ شامل" لا يعتمد على أي ذكاء اصطناعي تستخدمه.
3. بعض التحولات الغريبة
وجدت الورقة بعض الأنماط التي جاءت عكس توقعاتنا:
- Python مقابل JavaScript: في عام 2024، كان الذكاء الاصطناعي أسوأ في تسمية مكونات JavaScript. في عام هم 2026، أصبح في الواقع أسوأ في تسمية مكونات Python. يبدو أن الذكاء الاصطناعي يرتبك بسبب قواعد التسمية الفوضوية في Python.
- "الأخ الصغير" مقابل "الأخ الكبير": عادةً، ترتكب نماذج الذكاء الاصطناعي الأصغر والأرخص أخطاءً أكثر من النماذج الأكبر والأغلى. ولكن هنا، نموذج "الصغير" (Claude Haiku) ارتكب في الواقع أسماءً وهمية أقل من "أخيه الأكبر" (Claude Sonnet). يبدو أن النموذج الصغير قد تم تدريبه ليكون حذراً للغاية في اتباع التعليمات.
4. لماذا تقلصت المشكلة؟
يقترح المؤلف ثلاثة أسباب تجعل الذكاء الاصطناعي أفضل قليلاً الآن:
- تساوي الفرص: أصبحت النماذج "مفتوحة المصدر" (المجانية) جيدة جداً لدرجة أنها أصبحت الآن بذكاء النماذج "التجارية" (المدفوعة)، لذا انغلق الفارق بينهما.
- تدريب أفضل: يبدو أن الشركات التي تغذي الذكاء الاصطناً بالبيانات قد قامت بتنقية "كتب الطبخ" الخاصة بها (بيانات التدريب) لإزالة المزيد من أسماء المكونات الوهمية.
- التدريب الموحد: جميع شركات الذكاء الاصطراي الكبرى تستخدم الآن طرق تعليم متشابهة، لذا فإنها جميعاً ترتكب أخطاءً متشابهة (وإن كانت أفضل قليلاً).
الخلاصة
لقد حسن طهاة الذكاء الاصطناعي سلوكهم قليلاً، لكنهم لا يزالون يخترعون مكونات وهمية بمعدل كافٍ ليكون خطيراً. الجزء الأكثر إثارة للقلق هو أنهم جميعاً يخترعون نفس المكونات الوهمية.
ما لا تقوله الورقة:
- هي لا تقول إن هذه المشكلة قد حُلّت.
- هي لا تقول لك أن تتوقف عن استخدام الذكاء الاصطناعي.
- هي لا تدعي أن كل نماذج الذكاء الاصطناعي سيئة (لقد اختبروا فقط أفضل 5 نماذج "رائدة"؛ النماذج الأصغر والأقدم قد تظل أسوأ بكثير).
الرسالة الرئيسية للمؤلف هي: نطاق الأخطاء قد تقلص، لكن التهديد لا يزال قائماً. يحتاج المبرمجون وفرق الأمن إلى الوعي بأن حتى أذكى نماذج الذكاء الاصطناعي اليوم يمكن أن تقودك إلى تنزيل وهمي خطير.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.