Benchmarking Mythos-Linked Bug Rediscovery
تُبلغ هذه الورقة عن تجربة منضبطة حاولت فيها ثلاثة نماذج للذكاء الاصطناعي إعادة اكتشاف ستة أخطاء برمجية محددة مرتبطة بمواد "Mythos" الخاصة بشركة Anthropic دون معرفة مسبقة بالإصلاحات، مما كشف أنه حتى في ظل الظروف المواتية، حققت النماذج معدل نجاح منخفضًا فقط (6 من أصل 54 محاولة) بسبب ميلها إلى الالتزام بفرضيات تبدو منطقية ولكنها غير صحيحة بدلاً من تحديد الثابت المحدد الذي تم تصحيحه بواسطة الرقع البرمجية الفعلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مجموعة من المحققين فائقي التقنية (نماذج الذكاء الاصطناعي) الذين ادعوا مؤخرًا قدرتهم على إيجال الشقوق المخفية في أهم الأنظمة البرمجية في العالم — مثل أنظمة التشغيل على هاتفك أو المحركات التي تبث أفلامك. لقد نشروا قصصًا عن اكتشاف أخطاء برمجية (bugs) محددة وخطيرة في أكواد أنظمة مثل Linux و FreeBSD و FFmpeg.
كان البعض مبهورًا، معتقدين أن هذه النماذج هي "هكرز" فائقو الذكاء. بينما شكك آخرون في أن هذه القصص ليست سوى مجرد دعاية تسويقية فارغة.
هذه الورقة البحثية هي تجربة منضبطة صُممت لحسم الجدل. فبدلاً من ترك الذكاء الاصطناعي يتجول في مكتبة ضخمة من الأكواد للبحث عن إبرة في كومة قش، أعطى الباحثون الذكاء الاصطناعي الكتاب المحدد الذي اختبأت فيه الإبرة. سألوه: "إذا سلمناك الملف الذي يحتوي على الخطأ تحديدًا، فهل لا تزال قادرًا على إيجاد المشكلة بدقة؟"
إليك تفاصيل التجربة وما حدث، باستخدام تشبيهات بسيطة:
الإعداد: اختبار "الملف المستهدف"
تخيل كود البرمجيات كأنه دليل تعليمات ضخم مكون من 4,000 صفحة لآلة معقدة.
- الادعاء: قال الذكاء الاصطناعي (Mythos) إنه يستطيع إيجاد خطأ مطبعي محدد في هذا الدليل قد يؤدي إلى انفجار الآلة.
- التجربة: أخذ الباحثون الدليل، ووجدوا الصفحة المحددة التي تحتوي على الخطأ المطبعي، وسلموا تلك الصفحة فقط لثلاثة محققين من الذكاء الاصطناعي:
- GPT-5.5 xhigh (نموذج "الاستنتاج")
- Claude Opus 4.7 (نموذج "Anthropic")
- Kimi K2 (نموذج صيني)
أعطوهم نفس القواعد: لا اتصال بالإنترنت، لا تلميحات حول الخطأ، ويجب عليهم إيجاد الخطأ الدقيق الذي قام بشرٌ بإصلاحه بالفعل في تحديث عام. جربوا ذلك ثلاث مرات لستة أخطاء برمجية مختلفة.
النتائج: من وجد الإبرة؟
من بين 54 محاولة إجمالية (3 نماذج × 6 أخطاء × 3 محاولات لكل منها):
- GPT-5.5 xhigh: وجد الخطأ الدقيق 5 مرات. لقد حلَّ مشكلتين من أصل 6 مشاكل بشكل مثالي، ومرة واحدة وجد خطأً مختلفًا في نفس الملف (كان "هدفًا خاطئًا" لكنه كان اكتشافًا حقيقيًا أيضًا).
- Claude Opus 4.7: وجد الخطأ الدقيق مرة واحدة. لقد حلَّ خطأً واحدًا من أصل 6 أخطاء.
- Kimi K2: لم يجد الخطأ الدقيق صفر مرة. لم يجد أي شيء.
"لماذا": فخ المشتتات المقنعة
الجزء الأكثر إثارة للاهتمام في الورقة ليس فقط من الفائز، بل كيف فشلوا.
تخيل أنك تنظر إلى محرك سيارة. أنت تعلم أن هناك مسمارًا مكسورًا في مكان ما.
- خطأ الذكاء الاصطناعي: نظر الذكاء الاصطناعي إلى المحرك ورأى سلكًا مرتخيًا، وفلترًا متسخًا، وقطعة مطاطية متآكلة قليلاً. فقال: "لقد وجدت المشكلة! إنها السلك المرتخي!"
- الواقع: كان السلك المرتخي مشكلة تبدو منطقية، لكنه لم يكن الخطأ المحدد الذي كان الباحثون يبحثون عنه.
تسمي الورقة هذا "الالتزام المبكر بمرشحات بديلة مقنعة".
كانت نماذج الذكاء الاصطناي جيدة في النظر إلى الكود والقول: "مهلًا، هذا يبدو مريبًا!" لقد وجدت العديد من الأشياء التي يمكن أن تكون أخطاءً. لكنها واجهت صعوبة في اختيار الشيء المحدد الذي يطابق الإصلاح الحقيقي في الواقع. لقد تشتت انتباهها بـ "المغالطات" (Red Herrings) — أشياء بدت وكأنها أخطاء لكنها لم تكن الخطأ المحدد الذي كانوا يطاردونه.
تكلفة المطاردة
تتبعت التجربة أيضًا مقدار "الوقود" (المال وقوة الحوسبة) الذي استُهلك.
- GPT-5.5 كلف حوالي 61 دولارًا.
- Claude كلف حوالي 88 دولارًا (كان الأكثر تكلفة).
- Kimi كان الأرخص بتكلفة 3.50 دولار، لكنه لم يجد شيئًا.
على الرغم من أن الباحثين أعطوا الذكاء الاصطناعي الملف الصحيح (مما أزال الجزء الأصعب من المهمة: إيجاد الملف)، إلا أن الذكاء الاصطنا still واجه صعوبة في تحديد الخطأ بدقة.
الخلاصة
هذه الورقة لا تقول إن الذكاء الاصطناعي عديم الفائدة، ولا تقول إن قصص "Mythos" الأصلية كانت مزيفة. هي ببساطة تقول:
"إعطاء الذكاء الاصطناعي الملف الصحيح ليس كافيًا."
حتى عندما يعرف الذكاء الاصطناعي تمامًا أين يبحث، فإنه غالبًا ما يعلق في التفاصيل الخاطئة. يمكنه توليد العديد من "الأخطاء المحتملة"، لكنه يواجه صعوبة في اختيار الخطأ الحقيقي الوحيد الذي يطابق الدليل المحدد. وتخلص الورقة إلى أن نجاح صيادي الأخطاء من الذكاء الاصطناعي يعتمد بشكل كبير على العملية (عدد المحاولات التي يحصلون عليها، وكيفية ترتيبهم، وكيفية توجيههم) بدلاً من مجرد الذكاء الخام للنموذج نفسه.
باخت مختصر: الذكاء الاصطناعي هو محقق ذكي يستطيع قراءة الدليل، لكنه لا يزال بحاجة إلى مجموعة محددة جدًا من التعليمات ليجد الخطأ المطبعي بالضبط، وإلا فإنه سيشير فقط إلى أقرب بقعة على الصفحة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.