Delulu: A Verified Multi-Lingual Benchmark for Code Hallucination Detection in Fill-in-the-Middle Tasks
تقدم هذه الورقة "ديلولو" (Delulu)، وهو معيار مرجعي متعدد اللغات تم التحقق منه بدقة، ويتكون من 1,951 عينة تم اختيارها بأسلوب خصمي، والتي تكشف عن الضعف المستمر لنماذج توليد الكود المتطورة في إنتاج هلوسات تبدو منطقية ولكنها غير صحيحة في مهام "إكمال الفراغ من المنتصف" (Fill-in-the-Middle).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مبرمجاً مبتدئاً ذكياً جداً، ولكنه واثق بنفسه بشكل مبالغ فيه، لمساعدتك في كتابة الأكواد. هذا المبرمج بارع في تخمين الكلمة التالية في الجملة، لكنه أحياناً، عندما لا يعرف الإجابة، يقوم بتأليف شيء يبدو مثالياً.
تقدم هذه الورقة البحثية اختباراً جديداً يسمى DELULU صُمم لكشف هذه الإجابات المؤلفة، والمعروفة باسم الهلوسة (hallucinations)، وتحديداً عندما يقوم المبرمج بملء منتصف قطعة برمجية (وهي مهمة تسمى "الملء من المنتصف" أو Fill-in-the-Middle).
إليك تفصيل الورقة البحثية باستخدام تشبيهات بسيطة:
1. المشكلة: "الكاذب الواثق"
في عالم ذكاء البرمجة الاصطناعي، غالباً ما يتم اختبار النماذج بناءً على قدرتها على كتابة دالة (function) كاملة من الصفر. لكن في العالم الحقيقي، تعمل مساعدات الذكاء الاصطناعي (مثل GitHub Copilot) في الغالب عن طريق النظر إلى الكود الموجود قبل وبعد الفجوة وملء المنتصف.
المشكلة هي أن هذه الأنواع من الذكاء الاصطناعي تشبه الكاذبين الواثقين. فقد يخترعون مكتبة برمجية غير موجودة، أو يستدعون دالة ليست حقيقية، أو يستخدمون اسماً لمتغير لم يتم تعريفه.
- الفخ: يبدو الكود مثالياً للعين البشرية (فهو صحيح من الناحية القواعدية)، ويبدو كأنه جملة طبيعية. ولكن عند محاولة تشغيله، يتوقف عن العمل لأن الذكاء الاصطناعي اخترع حقيقة ما.
- الهدف: أراد المؤلفون معرفة: هل تستطيع نماذج الذكاء الاصطناعي الحالية تجنب هذه الأكاذيب بشكل موثوق؟ وإذا كذبت، فهل تستطيع نماذج الذكاء الاصطناعي الأخرى اكتشاف الكذبة؟
2. الحل: امتحان "DELULU"
قام المؤلفون ببناء معيار اختبار (مجموعة اختبار) يسمى DELULU. الاسم هو تلاعب بالمصطلح العامي للإنترنت "delusional" (متوهم)، لأن هذه الهلوسات في الذكاء الاصطناعي غالباً ما تكون مقنعة للغاية.
فكر في DELULU كـ فخ آلي ضخم نُصب لنماذج الذكاء الاصطناعي.
- الإعداد: أخذوا أكواداً حقيقية من الإنترنت وصنعوا 1,951 "فخاً".
- الأفخاخ: لكل قطعة كود صحيحة (الإجابة "الذهبية")، استخدموا ذكاءً اصطناعياً فائق الذكاء لإنشاء نسخة "مهلوسة". هذه النسخة المزيفة تغير شيئاً واحداً صغيراً جداً لجعلها خاطئة، لكنها تحافظ على مظهرها المقنع.
- مثال: تغيير استدعاء حقيقي
from pandas import read_csvإلى استدعاء مزيفfrom pandas import read_csvs.
- مثال: تغيير استدعاء حقيقي
- أنواع الأكاذيب الأربعة: يركز الامتحان على أربع طرق محددة يخطئ بها الذكاء الاصطناعي:
- الدالة (Method): اختراع اسم دالة (مثل
df.remove_nulls()بينما هذه الدالة غير موجودة). - المعامل (Parameter): إضافة إعداد غير موجود (مثل
print(text, color="blue")بينما الدالة لا تقبل الألوان). - المتغير غير المعرف (Undefined Variable): استخدام اسم لم يتم إنشاؤه أبداً.
- الاستيراد (Import): محاولة تحميل حزمة برمجية غير موجودة.
- الدالة (Method): اختراع اسم دالة (مثل
3. كيف بنوا الامتحان (المنهج التنافسي - Adversarial Pipeline)
لم يكتفوا بمجرد تخمين الأسئلة؛ بل بنوا مصنعاً صارماً لضمان أن تكون الأسئلة صعبة وأن الإجابات حقيقية.
- التوليد (Generation): قام ذكاء اصطناعي بإنشاء الكود المزيف والكاذب.
- لجنة "القضاة" (The Judge Panel): عملت أربعة نماذج ذكاء اصطناعي فائقة كمعلمين لتقييم الكود المزيف. إذا لم يستطع "المعلم" تمييز الكذبة عن الحقيقة، يتم الإبقاء على السؤال. أما إذا اكتشف المعلم الكذبة بسهولة، فيتم استبعاد السؤال.
- "فحص الواقع" (Docker): هذا هو الجزء الأهم. لم يكتفوا بالثقة في "المعلمين"، بل وضعوا كل قطعة كود في بيئة افتراضية معزولة (حاوية Docker) وحاولوا تشغيلها.
- إذا عمل الكود "الذهبي" بنجاح، فإنه يبقى.
- إذا تسبب الكود "المهلوس" في توقف البرنامج بسبب الخطأ الذي يبحث عنه الامتحان بالضبط (مثل "الملف غير موجود" أو "المتغير غير معرف")، فإنه يبقى.
- إذا لم يتسبب الكود المزيف في أي خطأ أو توقف، فإنه يُستبعد.
- المراجعة البشرية: أخيراً، قام خبراء بشريون بمراجعة الأسئلة المتبقية للتأكد من أنها ليست سهلة للغاية أو متحيزة.
4. النتائج: الذكاء الاصطناعي لا يزال يعاني
اختبر المؤلفون 11 نموذجاً مختلفاً من الذكاء الاصطناعي (تتراوح بين الصغيرة جداً والكبيرة جداً) في هذا الامتحان.
- الدرجة: حتى أفضل نموذج ذكاء اصطناعي حصل فقط على حوالي 84.5% من الإجابات الصحيحة. وهذا يعني أنه لا يزال يقع في الفخ في حوالي حالة واحدة من كل 6 حالات.
- أصعب فخ: كانت أكاذيب "الاستيراد" (اختراع حزم برمجية مزيفة) هي الأصعب على الذكها الاصطناعي لتجنبها. الأمر يشبه مطالبتهم بحفظ دليل هاتف لكل المكتبات البرمجية الموجودة؛ فهم يستمرون في تخمين أسماء تبدو حقيقية ولكنها ليست كذلك.
- مشكلة الاكتشاف: سألوا أيضاً: "هل يمكن للذكاء الاصطناعي أن يعمل كمراجع للكود ويكتشف هذه الأكاذيب؟" حتى المراجعين من الذكاء الاصطناعي الأكثر ذكاءً لم يكتشفوا الأكاذب إلا في 92% من الحالات. وهذا يعني أنه لا تزال هناك فجوة يمكن أن تتسلل منها الأكاذب.
5. لماذا يهم هذا؟
تخلص الورقة البحثية إلى أن هذه مشكلة جوهرية، وليست مجرد خطأ في نموذج واحد معين.
- الأمر لا يتعلق بالحجم فقط: جعل الذكاء الاصطناعي أكبر يساعد، لكنه لا يحل المشكلة تماماً.
- الأمر لا يتعلق بالتدريب فقط: عانت عائلات مختلفة من نماذج الذكاء الاصطناعي من نفس أنواع الأكاذيب.
- الخلاصة: لا يمكننا الاعتماد على الذكاء الاصطناعي لكتابة الكود دون التحقق منه، لأن أفضل نماذج الذكاء الاصطناعي لا تزال "متوهمة" بما يكفي لاختراع حقائق تؤدي إلى تعطل برامجك.
باختصار: DELULU هو اختبار صارم متعدد اللغات يثبت أن مساعدات الكود التي تعمل بالذكاء الاصطناعي لا تزال عرضة لتأليف حقائق تبدو حقيقية ولكنها تكسر برنامجك عند محاولة تشغيله. توفر الورقة البحثية الأدوات (الاختبار وحاويات "البيئة المعزولة") للمطورين لقياس وتحسين هذا الضعف المحدد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.