Position, not importance: what a likelihood threshold actually defers on

في عالم تطوير البرمجيات، تطور الذكاء الاصطناعي من مجرد أداة تجيب على الأسئلة إلى شريك يكتب الكود بجانب البشر. هذه المساعدات الرقمية، التي تُسمى غالباً "وكلاء البرمجة" (coding agents)، تراقب ما يكتبه المبرمج ثم تقترح الأسطر القليلة التالية من الكود لتسريع العمل. التحدي المركزي لهذه الأنظمة هو معرفة متى تتوقف. فإذا كتب المساعد الكثير، فقد يتخذ قراراً حاسماً نيابة عن المبرمج، مثل اختيار إعداد أمني أو أمر لقاعدة بيانات، مما يعني فعلياً سحب لوحة المفاتيح منه قبل أن تتاح له فرصة مراجعة الخيار. وإذا توقف مبكراً جداً، فإنه لا يقدم مساعدة تذكر. لفترة طويلة، أمل الباحثون أن يتمكن الكمبيوتر من تعلم كيفية التعرف على اللحظة الدقيقة التي يحتاج فيها الإنسان للتدخل من خلال قياس مدى "الدهشة" التي يشعر بها الكمبيوتر تجاه توقعاته الخاصة. كانت النظرية هي أنه عندما يصبح النموذج غير متأكد بشأن ما سيأتي بعد ذلك، فمن المرجح أن ذلك بسبب اتخاذ قرار صعب أو مهم، وهذا هو الوقت المثالي للتوقف وطلب المساعدة.

وضعت دراسة حديثة هدفاً لاختبار هذه النظرية في بيئة برمجة عالية المخاطر. قام الباحثون ببناء بيئة اختبار محددة تحتوي على مئات من مقاطع الكود القصيرة، بعضها يحتوي على خيارات خطيرة — مثل ترك باب أمني مفتوحاً أو استخدام طريقة كلمة مرور ضعيفة — والبعض الآخر عبارة عن كود روتيني غير ضار. طبقوا قاعدة تخبر الكمبيوتر بالاستمرار في الكتابة طالما شعر بالثقة، والتوقف فقط عندما تنخفض الثقة التراكمية دون خط معين. كان الأمل هو أن هذه القاعدة ستتوقف بشكل طبيعي قبل الخيارات الخطيرة، مما يسمح للبشر بمراجعتها. ومع ذلك، كشفت النتائج عن انفصال مذهل؛ فالكمبيوتر لم يتوقف لأن الخيار كان خطيراً، بل توقف لأن النص أصبح صعب التنبؤ به. في عالم الكود، غالباً ما تكون الخيارات الأكثر خطورة هي الأكثر شيوعاً وقابلية للتنبؤ، بينما النصوص المفاجئة حقاً هي مجرد ضوضاء عشوائية. وبناءً على ذلك، استمر النظام في كتابة الكود الخطير بالكامل، بينما توقف فجأة في منتصف نص ممل وغير ضار.

قام الباحثون، بقيادة "شوباناندان تي واي" (Shubhanandan T Y) وزملائه في جامعة "داياناندا ساغار" (Dayananda Sagar University)، بإنشاء معيار مرجعي مفصل يسمى "CEDE-Bench" لقياس عدد المرات التي يحدث فيها هذا بالضبط. تضمنت الاختبارات 112 سيناريو محددًا حيث يجب على المبرمج الاختيار بين مسار آمن وآخر محفوف بالمخاطر، مثل تقرير ما إذا كان سيتم تعطيل فحص أمني أو كيفية التعامل مع كلمة مرور. كما تضمنت 12 مادة تحكم غير ضارة لا تحتوي على قرارات حقيقية، بل مجرد كود نمطي قياسي. وعندما قاموا بتشغيل قاعدة التوقف الخاصة بالكمبيوتر على هذه العناصر، كانت النتائج صارخة. في الإعداد المستخدم في دراسة مستخدم سابقة، كتب النظام المسار الخطير في 33 بالمائة من الحالات. وفي بعض الحالات، أكمل استعلام قاعدة بيانات SQL كاملاً تقريباً كان عرضة للاختراق، حيث كتب ثمانية عشر رمزاً من أصل تسعة عشر قبل أن يتوقف. لم يحدث هذا لأن الكمبيوتر فشل في رؤية الخطر، بل لأن الكود الخطير كان بالضبط ما يتوقعه الكمبيوتر بناءً على بيانات التدريب الخاصة به.

وجدت الدراسة أن سلوك النظام كان مدفوعاً بالكامل تقريباً بمكان ظهور القرار في النص، وليس بما إذا كان القرار خطيراً أم لا. إذا ظهر خيار محفوف بالمخاطر ضمن الكلمات القليلة الأولى من الاقتراح، فإن الكمبيوتر يكتبه دائماً تقريباً. أما إذا ظهر نفس الخيار الخطير لاحقاً، بعد أن يكون الكمبيوتر قد استهلك بالفعل "ميزانية" الكلمات الواثقة، فإنه يتوقف قبل الوصول إليه. اكتشف الباحثون أن القاعدة تعمل كعدّاد بسيط للرموز (tokens) أكثر من كونها قاضياً يزن أهمية القرار. فهي تسمح للكمبيوتر بكتابة عدد معين من الكلمات بناءً على مدى قابلية النص المحيط للتنبؤ، ثم تتوقف. ولأن الخيارات الخطيرة في الكود غالباً ما تكون قابلة للتنبؤ للغاية — مثل استخدام دالة قياسية ولكن غير آمنة — فإنها تقع ضمن هذه النافذة المبكرة ويتم كتابتها. وعلى العكس من ذلك، فإن النصوص غير الضارة التي تحتوي على سلاسل نصية تبدو عشوائية، مثل مفتاح API وهمي، هي نصوص غير متوقعة وتتسبب في توقف الكمبيوتر مبكراً، رغم عدم وجود خطر فيها.

يتحدى هذا الاكتشاف فكرة أن الكمبيوتر يمكنه تعلم التراجع لصالح البشر ببساء قياس عدم اليقين الخاص به. أظهرت الدراسة أن نقطة توقف النظام كانت غير متمايزة إحصائياً بين العناصر الخطيرة وغير الضارة. لقد توقف في منتصف كود نمطي حميد بنفس قدر توقفه قبل الكود الخطير. وخلص الباحثون إلى أن القاعدة عمياء تجاه الأهمية؛ فهي لا تعرف أن سطراً معيناً من الكود يمكن أن يحذف قاعدة بيانات أو يسرب كلمة مرور، بل تعرف فقط عدد الكلمات التي كتبتها ومدى غرابة الكلمة التالية. في الواقع، كان النظام أكثر عرضة للتوقف عند عنصر غير ضار يحتوي على سلسلة تبدو عشوائية منه عند عنصر خطير يتبع نمطاً شائعاً ومتوقعاً. وهذا يعني أن ضبط حساسية القاعدة لا يمكن أن يحل المشكلة؛ فجعلها تتوقف في وقت أبكر يعني أنها ستتوقف عن كتابة الكود المفيد في وقت أقرب، بينما جعلها تتوقف في وقت متأخر يعني أنها ستكتب المزيد من الكود الخطير.

إن تداعيات هذا الاكتشاف كبيرة على كيفية بناء وتطوير مساعدات الذكاء الاصطناعي والوثوق بها. تشير الدراسة إلى أن الاعتماد على ثقة النموذج الخاصة لتقرير متى يعيد التحكم إلى الإنسان هو استراتيجية معيبة في البرمجة. النظام لا يتراجع لأن تدخل الإنسان مطلوب لاتخاذ قرار حاسم، بل يتراجع لأن النص أصبح صعب التنبؤ به رياضياً. وأشار الباحثون في اختباراتهم إلى أن النظام أكمل حوالي ثلث الكود النمطي غير الضار فقط قبل التوقف، مما يعني أنه كان يقاطع المبرمج لأسباب غير وجيهة في كثير من الأحيان. وفي الوقت نفسه، فشل في التوقف عند القرارات الأكثر خطورة، والتي كانت غالباً هي الأكثر روتينية وتوقعاً. وهذا يخلق وضعاً يكون فيه المساعد إما مزعجاً للغاية أو خطيراً للغاية، دون وجود منطقة وسطى تحقق السلامة والمنفعة معاً.

في نهاية المطاف، تجادل الورقة البحثية بأن الآلية التي تعمل بها مساعدات الذكاء الاصطنا هذه تحتاج إلى إعادة تفكير جوهرية. النهج الحالي، الذي يفترض أن عدم اليقين يساوي الأهمية، لا يصمد في الواقع العملي لتطوير البرمجيات. يقترح الباحثون أنه بدلاً من محاولة تعليم النموذج التعرف على الأهمية من خلال عدم اليقين، يجب استخدام طرق أبسط وأكثر مباشرة لاكتشاف الأنماط الخطيرة، مثل أدوات فحص الكود الساكن (static code checkers) التي تبحث عن الثغرات الأمنية المعروفة. هذه الأدوات لا تحتاج إلى تخمين متى تتوقف، بل يمكنها ببساطة تحديد الأنماط الخطيرة بغض النظر عن مدى ثقة الذكاء الاصطناعي. وتعمل الدراسة كتحذير واضح من أنه بينما يمكن لمساعدات الذكاء الاصطناعي أن تكون مفيدة، فإن قدرتها على معرفة متى تتوقف ليست علامة على الحكمة أو السلامة، بل هي مجرد انعكاس لمدى قابلية النص للتنبؤ. وإلى أن تتمكن التكنولوجيا من التمييز بين الروتين الممل والقرار الحاسم، فإن الاعتماد عليها للقيام بهذه التمايزات بمفردها يظل مقامرة.