Refute-or-Promote: An Adversarial Stage-Gated Multi-Agent Review Methodology for High-Precision LLM-Assisted Defect Discovery
تقدم هذه الورقة البحثية إطار عمل "Refute-or-Promote" (التفنيد أو الترويج)، وهو إطار عمل تنافسي متعدد الوكلاء يستخدم صيد السياق الطبقي، والنقد عبر النماذج، والتحقق التجريبي الإلزامي لتصفية النتائج الإيجابية الكاذبة في اكتشاف العيوب بمساعدة النماذج اللغوية الكبيرة، محققاً دقة عالية وتأثيراً واقعياً يشمل العديد من ثغرات CVE وقبولات معيارية عبر المكتبات الأمنية والمترجمات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك رئيس تحرير لصحيفة ضخمة. كل يوم، يرسل آلاف الأشخاص بلاغات عن جرائم يعتقدون أنهم رصدوا وقوعها في مدينتهم. معظم هذه البلاغات هي في الواقع مجرد سوء فهم، أو مقالب، أو أشخاص يتخيلون أشياء ليست موجودة. إذا حاولت التحقيق في كل بلاغ، سينهار قسم الأخبار لديك وتتوقف عن تصديق الجرائم الحقيقية القليلة التي يتم الإبلاغ عنها بالفعل.
هذه هي بالضبط المشكلة التي تواجهها النماذج اللغوية الكبيرة (LLMs) عندما تحاول العثور على أخطاء برمجية (عيوب). فهي بارعة للغاية في التحدث بثقة وجعل الأمور تبصد منطقية، لكنها سيئة جداً في معرفة ما إذا كان الشيء حقيقياً بالفعل. فهي غالباً ما "تهلوس" بأخطاء وهمية، مما يغرق الخبراء البشر في ضجيج من المعلومات غير الصحيحة.
تقترح ورقة بحثية بعنوان "الدحض أو الترويج" (Refute-or-Promote) طريقة جديدة لإصلاح ذلك. فبدلاً من مطالبة الذكاء الاصطناعي بـ "إيجاد الأخطاء" فحسب، فإنها تضع نظاماً يشبه دراما المحاكمات عالية المخاطر لتصفية الأوهام.
إليك كيف يعمل النظام، مقسماً إلى خطوات بسيطة:
1. الإعداد: "فريق التحري"
أولاً، يرسل النظام فريقاً من "الصيادين" (وكلاء ذكاء اصطناعي) للبحث عن أخطاء محتملة في برنامج ما.
- الخدعة: هؤلاء الصيادون لا ينظرون جميعاً إلى الشيء نفسه بنفس الطريقة. فبعضهم يبحث في التغيات الأخيرة، وبعضهم في الأخطاء القديمة، وبعضهم في أجزاء محددة من الكود. وهذا ما يسمى "الصيد السياقي الطبقي" (Stratified Context Hunting). الأمر يشبه إرسال ثلاثة محققين مختلفين إلى مسرح الجريمة نفسه: أحدهم يبحث عن آثار الأقدام، والآخر عن بصمات الأصابع، والثالث عن تقرير الطقس.
2. الآلية الجوهرية: "محكمة محامي الشيطان"
بمجرد أن يجد أحد الصيادين "مشتبهاً به" (خطأ برمجياً محتملاً)، لا يتم نشره فوراً. بل يدخل إلى "قاعة محكمة ذات مراحل متتابعة" (Stage-Gated Courtroom).
- الادعاء (الوكلاء الخصوم): يتم تعيين فريق من وكلاء الذكاء الاصطناعي لمهمة واحدة وحيدة وصارمة: إثبات براءة المشتبه به. لا يُسمح لهم بقول "ربما". يجب عليهم إيجاد سبب يجعل الخطأ غير موجود. إنهم فريق "تفويض القتل" (Kill Mandate).
- الدفاع (الوكلاء المبدعون): يحاول فريق آخر إثبات أن الخطأ حقيقي.
- القاعدة: إذا استطاع فريق الادعاء إيجاد سبب واحد قوي يجعل الخطأ وهمياً، يتم إلغاء القضية فوراً. يُطرح الخطأ خارج الحسابات. لا يتحرك النظام للأمام إلا إذا فشل الادعاء في دحض الخطأ.
3. اختبار "الأعين الجديدة" (الناقد عبر النماذج)
حتى لو اتفقت المحكمة الأولى على أن الخطأ حقيقي، فهناك خطر: قد يكون جميع وكلاء الذكاء الاصطناعي قد تعلموا نفس الحقائق الخاطئة من بيانات تدريبهم. قد يتفقون جميعاً على كذبة لأنهم قرأوا جميعاً نفس الكتاب المدرسي السيئ.
لحل هذه المشكلة، يستدعي النظام "ناقداً عبر النماذج" (Cross-Model Critic). وهو ذكاء اصطناعي من "عائلة" مختلفة تماماً (نموذج من شركة أخرى) لم يطلع على الحجج السابقة. ينظر إلى القضية بـ "أعين باردة". إذا قال هذا الطرف الخارجي: "مهلاً، هذا لا يبدو منطقياً"، يتم إلغاء الخطأ. هذا يكشف الأخطاء التي فاتت الفريق الأول بالكامل لأنهم كانوا يفكرون جميعاً بنفس الطريقة.
4. البوابة النهائية: "اختبار المختبر"
هذا هو الجزء الأهم. تصف الورقة البحثية فشلاً هائلاً حيث اتفق أكثر من 80 وكيل ذكاء اصطناعي بالإجماع على وجود ثغرة أمنية محددة. كانوا جميعاً واثقين جداً لدرجة أنهم كتبوا تقارير عنها.
- الواقع: الثغرة لم تكن موجودة.
- الحل: أدرك النظام أن "إجماع الذكاء الاصطناعي" ليس دليلاً. تتطلب البوابة النهائية "التحقق التجريبي" (Empirical Validation). يجب عليك فعلياً إجراء اختبار في مختبر حاسوبي لترى ما إذا كان الخطأ سيحدث أم لا. إذا لم تتمكن من جعل الخطأ يحدث في الواقع، فلا يهم مدى ذكاء الذكاء الاصطناعي. تُغلق القضية.
النتائج: لماذا هذا مهم؟
قام المؤلفون بتشغيل هذا النظام لمدة شهر على برمجيات حقيقية (مثل الكود الذي يشغل متصفحك أو التشفير الآمن).
- الفلتر: بدأ النظام بنحو 171 خطأً محتملاً.
- التنقية: قام "الادعاء" و"اختبارات المختبر" بإلغاء حوالي 79% منها لأنها كانت وهمية أو غير قابلة للإثبات.
- النجاح: الـ 21% المتبقية كانت حقيقية. وقد أسفرت عن:
- 4 ثغرات أمنية جديدة تم الإبلاغ عنها رسمياً (CVEs).
- إصلاحات لمعيار لغة البرمجة C++.
- دمج إصلاحات برمجية لمكتبات برمجية كبرى.
الدرس الكبير
تعلمنا هذه الورقة درساً عميقاً حول الذكاء الاصطناعي: الاتفاق لا يعني الحقيقة.
إذا قال 80 وكيل ذكاء اصطناعي إن "السماء خضراء"، فمن المرجح أنهم جميعاً مخطئون لأنهم جميعاً تدربوا على نفس البيانات. ولكن إذا كان لديك وكيل واحد يحاول إثبات خطئهم، وأجبرتهم على إجراء اختبار في العالم الحقيقي، فستجد الحقيقة.
إن نظام "الدحض أو التروج" (Refute-or-Promote) لا يتعلق بجعل الذكاء الاصطناعي أكثر ذكاءً؛ بل يتعلق ببناء نظام متشكك بطبعه. إنه يجبر الذكاء الاصطناعي على محاولة تفنيد أفكاره الخاصة قبل أن يُسمح له بمشاركتها مع البشر. إنه يحول الذكاء الاصطناعي من "مخمن واثق" إلى "عالم دقيق".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.