Protocol-Governed Human–AI Software Engineering: Autonomy Without Authority
تقدم هذه الورقة تقييماً تجريبياً لبنية حوسبة محكومة بالبروتوكول تفصل بين استقلالية النشاط وسلطة التفويض، وتوضح كيف يمكن للإشراف البشري أن يحكم هندسة البرمجيات المدفوعة بالذكاء الاصطناعي من خلال بروتوكولات صريحة للقبول والترقية والختم، مع تحديد مجالات محددة تتطلب فيها آليات الحماية المزيد من الصقل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم إنشاء البرمجيات الحديث، وصل نوع جديد من العمال: ذكاء اصطناعي قادر على كتابة الكود، وتصميم الأنظمة، وإصلاح الأخطاء دون الحاجة إلى النوم أبداً. لقد غير هذا التحول طريقة بناء البرامج، ولكنه خلق أيضاً ارتباكاً هادئاً وخطيراً حول من هو المسيطر فعلياً. لعقود من الزمن، كان الشخص الذي يكتب الكود هو نفسه الشخص الذي يقرر ما يُسمح لهذا الكود بفعله. عندما كان المبرمج البشري يدمج تغييراً ما، كان يقول ضمنياً: "لقد فحصت هذا، وهو آمن للتشغيل". ولكن عندما يكتب الذكاء الاصطناعي الكود، غالباً ما يكتفي الإنسان بمراجعة المنتج النهائي فقط. وهذا يخلق فجوة: فالذكاء الاصطناعي يمتلك القدرة على البناء، لكن الإنسان لا يزال يمتلك القدرة على التفويض. والسؤال هو ما إذا كان يمكن فصل هاتين القدرتين. هل يمكن السماح للآلة بالقيام بكل العمل الشاق للهندسة، بينما يظل الإنسان، أو مجموعة صارمة من القواعد، هو الوحيد الذي يمكنه تقرير ما يُسمح للبرمجيات النهائية بفعله؟
هذا هو اللغز المركزي الذي تناولته دراسة حديثة من باحث مستقل، باش غانتي (Bhash Ganti). يستكشف هذا العمل فكرة معمارية محددة تسمى "الحوسبة المحكومة بالبروتوكول" (Protocol-Governed Computing). وببسا way بسيط، هذا نظام تكون فيه قواعد ما يمكن للبرنامج فعله مغلقة ومحددة قبل بناء البرنامج حتى. فبدلاً من فحص الكود بعد كتابته لمعرفة ما إذا كان يتبع القواعد، يجبر النظام الباني على بناء الكود داخل قفص من الأذونات المعتمدة مسبقاً. يمكن للباني تصميم وتجميع الأجزاء، لكن لا يمكنه تغيير القفص نفسه، ولا يمكنه أن يقرر السماح للآلة المكتملة بالعمل إذا لم تمر عبر فحص منفصل ومحدد. كان الهدف هو معرفة ما إذا كان بإمكان الذكاء الاصطناعي أداء وظيفة هندسة البرمجيات بأكملها — تحليل الاحتياجات، وتصميم الحلول، وكتابة الكود — دون أن يكتسب أبداً سلطة تغيير القواعد أو فرض تشغيل البرمجيات.
ولاختبار ذلك، أقام الباحث بيئة محكومة حيث أُعطي وكيل ذكاء اصطناعي مهمة محددة: إضافة ميزة جديدة إلى نظام برمجيات قائم. لم يكن الوكيل مجرد مساعد بسيط يكتب اقتراحات؛ بل كان عاملاً مستقلاً يتعين عليه التنقل عبر عملية معقدة مكونة من تسع خطوات. بدأت هذه العملية بتحديد الإنسان لنطاق المشروع والقواعد التي ستحكمه. ثم توجب على الذكاء الاصطناعي تحليل النظام الحالي، وتصميم ميزة جديدة، وكتابة الكود اللازم. ومن الأهمية بمكان أن الذكاء الاصطناعي لم يستطع ببساطة كتابة الكود وحفظه؛ فكل خطوة اتخذها كانت مسجلة، وكل قطعة عمل أنتجها كان يجب أن تمر عبر سلسلة من نقاط التفتيش الآلية. كانت نقاط التفتيش هذه تعمل كحارس بوابة، تتحقق من أن العمل الجديد يطابق القواعد الأصلية ولا يحاول تمرير تغييرات غير مصرح بها. إذا حاول الذكاء الاصطناعي كسر القواعد، فإن النظام سيوقفه. وإذا اتبع القواعد، يتم ختم العمل في حالة جديدة غير قابلة للتغيير (immutable) يمكن تشغيلها بواسطة البرمجيات.
نجحت التجربة في إظهار أن الذكاء الاصطناعي يمكنه بالفعل القيام بالعمل. فقد نجح الوكيل في تحليل النظام الحالي، وتصميم ميزة إقراض جديدة لمكتبة رقمية، وإنتاج كل الكود والوثائق اللازمة. وقد فعل ذلك من خلال الاستعلام عن النظام الحالي لفهم حالته الراهنة، بدلاً من التخمين أو تذكر التفاصيل من بيانات تدريبه. لقد أنتج نسخة مرشحة للإصدار الجديد من البرمجيات كانت متوافقة تماماً مع القواعد المحددة مسبقاً. ومع ذلك، لم تكن النتيجة الأكثر أهمية هي أن الذكاء الاصطناعي يمكنه البناء، بل أنه لا يمكنه التفويض. فقد صُمم النظام بحيث لم يكن لدى الذكاء الاصطناعي أي وسيلة لترقية عمله ليصبح النسخة الرسمية الجارية للبرمجيات. فرغم أن الذكاء الاصطناعي بنى النسخة المرشحة، إلا أن مشغلاً بشرياً منفصلاً كان لزاماً عليه الموافقة عليها صراحةً لكي تصبح هي الأساس الجديد. امتلك الذكاء الاصطناعي الاستقلالية للبناء، لكنه لم يمتلك أي سلطة لتقرير ما ستفعله المنظومة تالياً.
كما نظرت الدراسة عن كثب في الأدلة للتأكد من أن النظام يعمل بالفعل كما هو مقصود. حاول الباحثون خداع النظام عبر إزالة بعض ضوابط السلامة لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي التسلل. وفي أربعة من أصل ستة اختبارات محددة، نجح النظام في رصد الانتهاكات ورفض المضي قدماً. ومع ذلك، في اختبارين آخرين، فشل النظام في اكتشاف أن أحد ضوابط السلامة قد تمت إزالته، رغم أن الضابط كان من المفترض أن يكون موجوداً. كان هذا اكتشافاً هاماً: فقد أظهر أن البنية المعمارية كانت سليمة، لكن الاختبارات المحددة المستخدمة لإثبات ذلك كانت ضعيفة أحياناً. فلم يكن اجتياز الاختبار يعني دائماً أن حارس السلامة يقوم بعمله فعلياً. وقد سلط هذا الضوء على درس حاسم للمستقبل: وجود قاعدة في مكان ما ليس هو نفسه امتلاك دليل على أن القاعدة يتم إنفاذها.
في نهاية المطاف، تثبت هذه الدراسة أنه من الممكن منح الذكاء الاصطناعي حرية هندسة برمجيات معقدة دون منحه القدرة على إملاء قواعد تلك البرمجيات. إن الفصل بين "القيام بالعمل" و"تقرير ما هو مسموح به" هو سمة هيكلية في النظام، وليس مجرد سياسة. يمكن للذكاء الاصطناعي أن يكون الباني، لكن السلطة تظل بيد القواعد المختومة والمشغل البشري الذي يوافق على الخطوة النهائية. هذا لا يعني أن الذكاء الاصطناعي آمن لأن هناك بشراً يراقبه؛ بل يعني أن النظام مصمم بحيث يكون دور الإنسان هو وضع الحدود والموافقة على النتيجة، بينما يعمل الذكاء الاصطناعي بالكامل داخل تلك الحدود. وتخلص الدراسة إلى أنه يمكننا زيادة استقلالية عمالنا الرقميين دون نقل السلطة على أنظمتنا الرقمية إليهم، بشرما نتمكن من بناء النوع الصحيح من "القفص" حول العمل. ويظل التحدي القائم هو ضمان أن الاختبارات التي نستخدمها للتحقق من هذه الأقفاص قوية بما يكفي للإمساك بكل محاولة لكسرها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.