When Policies Change Probabilities: Modular Decision-Making for LLM Code Review
تُثبت هذه الورقة أن مراجعي الأكواد الحاليين القائمين على النماذج اللغوية الكبيرة يخلطون بين تقدير المخاطر وسياسات اتخاذ القرار، مما يتسبب في تغير الاحتمالات المُبلغ عنها مع تغير افتراضات التكلفة، وتقترح خط إنتاج معياريًا يفصل بين استقاء الأدلة القائم على المخاطر وبين الإجراءات المدفوعة بالتكلفة لتحسين الدقة بشكل كبير وتقليل خسارة القرار.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف فريقًا من المحققين الخبراء لحل الألغاز. تعطيهم دليلًا، فيقولون لك: "هناك احتمال بنسبة 20% أن يكون هذا المشتبه به مذنبًا". الآن، تخيل أن قواعد اللعبة تغيرت. فجأة، إذا اتهمت شخصًا بريئًا بالخطأ، سيكلف ذلك المدينة عشرة أضعاف ما لو تركت شخصًا مذنبًا يذهب حرًا. يجب على المحقق الذكي أن يبقي تقديره بنسبة 20% كما هو — فالمشتبه به والدليل لم يتغيرا — ولكن يجب عليه تغيير إجراءه. يجب أن يكون أكثر حذرًا بشأن اعتقال أي شخص الآن.
هذا هو عالم النماذج اللغوية الكبيرة (LLMs) التي تعمل كمراجعين للأكواد البرمجية. هؤلاء "المحققون" من الذكاء الاصطناعي ينظرون إلى أكواد برمجية جديدة (رقعات برمجية) ويحاولون التخمين ما إذا كانت ستتسبب في تعطل الأشياء. لفترة طويلة، كنا نأمل أن يعمل هذا الذكاء الاصطناعي كعلماء مثاليين: يقدم احتمالية ثابتة للفشل بناءً فقط على الأدلة، ويترك قرار القيام بما يجب فعله لإنسان (أو كمبيوتر) منفصل بناءً على مدى تكلفة الخطأ. ولكن ماذا لو لم يكن "احتمال" الذكاء الاصطناعي حقيقة مستقرة على الإطلاق؟ ماذا لو غير الذكاء الاصطناعي رأيه بشأن الأرقام لمجرد أنك أخبرته أن قواعد اللعبة قد تغيرت؟ هذا هو السؤال الكبير الذي تطرحه هذه الورقة البحثية.
تقلب المزاج العظيم للذكاء الاصطناعي
وضع الباحثون تجربة ضخمة لمعرفة ما إذا كان مراجعو الأكواد من الذكاء الاصطناعي هم علماء موثوقون حقًا أم مجرد ممثلين متقلبي المزاج. جمعوا 720 قطعة من الكود — نصفها معروف بأنها تعمل بشكل مثالي والنصف الآخر معروف بأنه يفشل. ثم طلبوا من أربعة مراجعين مختلفين من طراز رفيع من الذكاء الاصطناعي النظر في هذه القطع نفسها تحت سيناريوهات "تكلفة" مختلفة.
في أحد السيناريوهات، قيل للذكاء الاصطناعي: "من السيئ بالتساوي الموافقة على رقعة معطلة أو رفض رقعة جيدة". وفي سيناريو آخر، قيل له: "أوه لا! إذا وافقت على رقعة معطلة، فسيكلفنا ذلك 10 أضعاف ما لو رفضنا رقعة جيدة!"
إليكم الجزء الصادم: لقد غير الذكاء الاصطناعي أرقام احتمالاته. عندما تغيرت القواعد لتجعل الأخطاء باهظة الثمن للغاية، لم يغير الذكاء الاصطناعي قراره فحسب؛ بل غير بالفعل تقديره لاحتمالية فشل الكود. في المتوسط، تحول احتمال الفشل المُبلغ عنه بنحو 13.6% إلى 16.9% لمجرد أن قواعد التكلفة تغيرت. الأمر كما لو أن المحقق نظر إلى نفس الدليل وقال فجأة: "مهلاً، أعتقد أن المشتبه به أكثر عرضة ليكون مذنباً بنسبة 15% الآن"، رغم أن المشتبه به لم يتحرك إنشًا واحدًا.
مشكلة "الفاعل السيئ"
وجدت الورقة البحثية أنه عندما طُلب من نماذج الذكاء الاصطناعي هذه اتخاذ قرارات بموجب قواعد "التكلفة العالية"، كان أداؤها سيئًا للغاية. في الواقع، بالنسبة لكل نموذج ذكاء اصطناعي تم اختباره، كانت القرارات التي اتخذتها أسوأ مما لو كنت قد رفضت كل الرقع البرمجية تلقائيًا. إنه يشبه حارس أمن، عندما يُقال له "لا تسمح لأحد بالدخول ما لم تكن متأكدًا بنسبة 100%"، يبدأ في إغلاق المبنى بالكامل، بما في ذلك المدير التنفيذي.
والأسوأ من ذلك، اكتشف الباحثون أن "احتمالية" الذكاء الاصطناعي كانت هي الجاني. فعندما أخذوا أرقام الاحتمالات التي قدمها الذكاء الاصطناعي تحت قواعد "الأمان"، وطبقوا عليها منطق القرار الخاص بـ "التكلفة العالية" الصارم، كان النظام يعمل بشكل أفضل. وهذا يثبت أن المشكلة لم تكن في عدم قدرة الذكاء الاصطناعي على اتخاذ قرار جيد؛ بل كانت المشكلة في أن الذكاء الاصطناعي كان يكذب بشأن الأرقام عندما علم أن المخاطر عالية. لقد ترك ضغط القواعد يشوه إدراكه للواقع.
الحل المجزأ: فريق من المتخصصين
إذًا، كيف نصلح محققًا يغير رأيه بناءً على القواعد؟ جرب الباحثون نهجًا جديدًا: صنع القرار المجزأ (Modular Decision-Making). بدلاً من مطالبة ذكاء اصطناعي واحد بالقيام بكل شيء (النظر في الكود، وتخمين المخاطر، واتخاذ القرار)، قاموا بتقسيم المهمة.
- مُبلغ المخاطر: ينظر ذكاء اصطناعي واحد إلى الكود ويقول: "إليك مستوى الخطر"، دون معرفة أي شيء عن التكاليف أو القواعد.
- المراقب: يعطي ذكاء اصطناعي ثانٍ مستقل درجة منفصلة حول مدى خطورة الكود.
- المتحكم: برنامج حاسوبي بسيط (كود) يأخذ هاتين الدرجتين ويطبق قواعد التكلفة لاتخاذ القرار النهائي.
هذا "الفريق من المتخصصين" حقق نتائج أفضل بكثير. فعندما كانت التكاليف متساوية، كان هذا النظام المجزأ أكثر دقة وأقل ارتكابًا للأخطاء من الذكاء الاصطناعي المنفرد الذي يحاول القيام بكل شيء. ومع ذلك، وجدت الورقة أيضًا حدًا لهذا النظام: عندما أصبحت تكلفة الخطأ مرتفعة للغاية (10 أضعاف)، قرر حتى هذا النظام المجزأ الذكي رفض كل شيء. تبين أن الأدوات المتاحة لم تكن جيدة بما يكفي للموافقة بأمان على أي شيء عندما تكون العقوبة على الفشل شديدة إلى هذا الحد.
الخلاصة
الدرس الرئيسي هنا هو أننا لا نستطيع الوثوق في "احتمالية" الذكاء الاصطناعي إذا كان هذا الذكاء يعرف عواقب إجابته. إذا كنت تريد رقمًا موثوقًا، فعليك أن تطلبه في حالة معزولة، دون إخبار الذكاء الاصطناعي بتكلفة الخطأ. ثم تأخذ ذلك الرقم وتطبق القواعد بنفسك.
تظهر الورقة البحثية أنه عندما نسمح للذكاء الاصطناعي بخلط "تقدير المخاطر" مع "سياسة القرار"، تصبح الأرقام فوضوية وتصبح القرارات أسوأ. من خلال فصل الأدوار — بجعل جزء من النظام يكتفي بالإبلاغ عن الحقائق وجزء آخر يتعامل مع القواعد — يمكننا بناء أنظمة مراجعة أكواد أكثر أمانًا وموثوقية. ولكن، كما وجد الباحثون، حتى أفضل الأنظمة لها حدودها، وعندما تكون المخاطر مرتفعة للغاية، يكون الخيار الأكثر أمانًا أحيانًا هو مجرد قول "لا" لكل شيء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.