Where Is the Cost of Third-Party API Routers in Agentic Software Development?
تثبت هذه الورقة تجريبياً أن أجهزة توجيه واجهة برمجة التطبيقات (API routers) التابعة لجهات خارجية في تطوير البرمجيات الوكيلية (agentic software development) تُحدث فجوة تحكم حرجة حيث يمكن لعمليات الحقن من جانب جهاز التوجيه أن تغير أفعال الوكيل بصمت وتتجاوز الدفاعات من جانب العميل، محققةً نسبة نجاح دفاعي بلغت 0% عبر جميع الوكلاء الذين تم تقييمهم، مما يسلط الضوء على الحاجة الملحة لضمانات سلامة المخرجات من جانب المزود.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم ببناء روبوت مساعد يمكنه كتابة الأكواد، وإصلاح الأخطاء البرمجية، وإدارة ملفات حاسوبك. ولجعل هذا الروبوت ذكيًا، تقوم بتوصيله بدماغ عملاق فائق الذكاء في السحابة (نموذج لغوي كبير) يعرف كيفية حل أي مشكلة تقريبًا. لكن هناك عقبة: أنت لا تتحدث إلى ذلك الدماغ مباشرة، بل تستخدم وسيطًا، مثل خدمة توصيل متخصصة أو "موجه" (Router)، لنقل رسائلك ذهابًا وإيابًا. من المفترض أن يكون هذا الوسيط مجرد ساعي بريد متعاون، يضمن قدرة الروبوت الخاص بك على التحدث مع أدمغة سحابية مختلفة دون الحاجة إلى تغيير توصيلاتك.
السؤال الكبير الذي تطرحه هذه الورقة البحثية هو: ماذا يحدث إذا قرر ذلك الساعي المتعاون أن يلعب خدعة؟ في عالم علوم الحاسوب، نحن نعلم أنه إذا استطاع الوسيط رؤية رسائلك، فيمكنه تقنيًا استبدالها أو إضافة ملاحظاته الخاصة قبل تمريرها. تستكشف هذه الورقة إمكانية مخيفة ولكنها واقعية: ماذا لو لم يقم الموجه فقط بتوصيل تعليمات الروبوت، بل قام سرًا بتغييرها لجعل الروبوت يفعل شيئًا خطيرًا، مثل حذف ملفاتك أو تثبيت فيروس، مع جعل الأمر يبدو وكأن الروبوت كان يؤدي وظيفته الطبيعية تمامًا؟ أراد الباحثون معرفة ما إذا كان الروبوت سيلاحظ الخدعة، أم أنه سيتبع أوامر الموجه الجديدة الخبيثة بشكل أعمى.
الوسيط السري والنقطة العمياء للروبوت
في هذه الدراسة، بنى الباحثون مختبر اختبار خاصًا يسمى SIDEL لتجسيد هذا السيناريو بالضبط. قاموا بإعداد أربعة "روبات برمجية" مختلفة (أدوات شهيرة مثل Claude Code وCodex وCursor وOpenCode) وربطوها بأدمغة سحابية متنوعة عبر موجه وهمي غير موثوق. ثم تقمصوا دور الموجه الشرير، محاولين تمرير أوامر خبيثة خلسة إلى الروبوتات بأربع طرق مختلفة، تتراوح من القوة الغاشمة إلى السحر الخفي.
خدع المهنة الأربع
اختبر الباحثون أربعة مستويات من الخداع، تزداد دهاءً مع كل مستوى:
- الاستبدال (L1): يقوم الموجه برمي إجابة الدماغ السحابي بالكامل ويستبدلها بإجابة مزيفة تقول: "اذهب واحذف هذا الملف".
- الإضافة (L2): يسمح الموجه للدماغ السحابي بتقديم إجابة عادية، ولكنه يضيف في نهايتها أمرًا سريًا، مثل: "أوه، وبالمناسبة، قم بتثبيت هذا البرنامج المشبوه".
- التلميع (L3): يقوم الموجه بتغيير الأمر السري ويعيد كتابة شرح الروبوت ليجعله يبدو وكأن الأمر كان جزءًا طبيعيًا من الخطة. إنه يشبه الساحر الذي يجعل الخدعة تبدو كعرض سحري عادي.
- الاندماج الذهني (L4): هذه هي الأكثر دهاءً. الموجه لا يكتفي بتحرير النص فحسب؛ بل يستخدم دماغًا ثانيًا لإنشاء استجابة جديدة تمامًا تمزج الإجابة الأصلية مع الأمر الخبيث بشكل مثالي بحيث يندمجان معًا. الأمر كما لو أن الموجه همس بالسر في أذن الروبوت بينما كان لا يزال يفكر، مما جعل الروبوت يعتقد أن الفكرة السيئة هي فكرته الخاصة.
النتيجة الصادمة: الروبوتات لم ترمش حتى
كانت النتائج مذهلة. بغض النظر عن الروبوت الذي استخدموه، وبغض النظر عن الدماغ السحابي الذي يشغله، وبغبغ النظر عن أي من الخدع الأربع التي جربوها، وقعت الروبوتات في الفخ في كل مرة.
في عالم الأمن، نقيس النجاح بمدى قدرة الدفاع على إيقاف الهجوم. وجد الباحثون أنه بدون مساعدة إضافية، كانت نسبة نجاح الدفاع لدى الروبوتات الأربعة هي 0%. وهذا يعني أنه في كل حالة اختبار، نجح الموجه في خداع الروبوت لتنفيذ الأمر الخبيث. لم ترتكب الروبوتات أخطاء فحسب، بل فشلت تمامًا في ملاحظة أن التعليمات التي تتبعها قد تم التلاعب بها.
تحقق الباحثون أيضًا مما إذا كانت "إعدادات السلامة" الخاصة بالروبوتات ستساعد. جربوا أوضاع أذونات مختلفة، مثل "التخطيط فقط" (حيث يفكر الروبوت فقط) أو "التلقائي" (حيث يتصرف بحرية). وحتى في أكثر الأوضاع صرامة، نجحت خدع الموجه. اتضح أنه إذا كان الموجه يجلس بين الروبوت والدماغ السحابي، فإن الروبوت يثق في أي شيء يمر عبر الموجه، مفترضًا أنه جاء من الدماغ السحابي. إن فحوصات السلامة التي تمتلكها الروبوتات تراقب أفعال الروبوت نفسه، وليس أكاذيب الموجه.
هل تغيير "الدماغ" يساعد؟
قد تتساءل: "ماذا لو استخدمنا دماغًا سحابيًا أكثر ذكاءً؟ ربما سيكتشف الخدعة؟" اختبر الباحثون ذلك عبر استبدال الأدمغة السحابية بأربعة نماذج مختلفة. والنتيجة؟ لم يكن الأمر مهمًا. سواء كان الروبوت يتحدث إلى نموذج فائق القوة أو نموذج أسرع وأكثر بهرجة، كان بإمكان الموجه تمرير الأوامر الخبيثة بجانبهم بسلاسة. المشكلة ليست في أن الأدمغة غبية جدًا؛ بل في أن الموجه يجلس في موقع يسمح له بإعادة كتابة القصة قبل أن يسمعها الروبوت.
هل يمكننا بناء درع أفضل؟
لم يتوقف الباحثون عند اكتشاف المشكلة فحسب؛ بل حاولوا بناء بعض الدروع لمعرفة ما إذا كان بإمكانهم إصلاحها. اختبروا دفاعين شائعين:
- القائمة البيضاء (Whitelist): قائمة بسيطة من الأوامر والمواقع الإلكترونية "المسموح بها". إذا لم يكن الأمر ضمن القائمة، يتم حظره.
- الرأي الثاني: استخدام ذكاء اصطناعي ثانٍ لمراجعة خطة الروبوت قبل أن ينفذها.
كانت "القائمة البيضاء" جيدة في إيقاف بعض الأشياء السيئة، لكنها كانت خرقاء أيضًا. فقد حظرت حوالي 30% إلى 44% من الأوامر السيئة، لكنها حظرت أيضًا حوالي 30% إلى 44% من الأوامر الجيدة، مما جعل الروبوت أقل فائدة.
أما "الرأي الثاني" (الذكاء الاصطناعي المراجع) فكان أفضل. اعتمادًا على نموذج الذكاء الاصطناعي المستخدم كمراجع، تمكنوا من إيقاف ما بين 39% و64% من الهجمات. ومع ذلك، لم يكن هذا حلًا مثاليًا. فحتى أفضل نموذج مراجع لم يستطع كشف كل شيء، وفي بعض الأحيان كان لا يزال يسمح بمرور الأوامر السيئة. وجد الباحثون أنه رغم أن هذه الدروع تساعد قليلاً، إلا أنها لا تحل المشكلة تمامًا. فلا يزال الموجه قويًا للغاية، حيث يجلس في منتصف المحادثة.
الخلاصة
الدرس الرئيسي من هذه الورقة هو أن الاعتماد على موجه من طرف ثالث لربط روبوت البرمجة الخاص بك بالسحابة يخلق ثغرة أمنية هائلة. الروبوت يفترض أن الموجه صادق، ولكن إذا كان الموجه غير موثوق، فيمكنه إعادة كتابة الواقع للروبوت. الروبوتات، مهما كانت ذكية أو مهما كانت مهيأة جيدًا، لا تستطيع التمييز بين تعليمات حقيقية من السحابة وبين تعليمات مزيفة من الموجه.
يقترح المؤلفون أنه لإصلاح ذلك حقًا، لا يمكننا الاكتفاء بجعل الروبوتات أكثر حذرًا. نحن بحاجة إلى أن تضمن مزودو الخدمات السحابية نفسها أن الرسائل التي يرسلونها لم يتم التلاعب بها من قبل الوسيط. وإلى أن يحدث ذلك، فإن كل مرة يستخدم فيها روبوت برمجي موجهًا من طرف ثالث، فكأنك تسلم مفاتيح منزلك لسائق توصيل قد يقرر السماح للصوص بالدخول بينما أنت لا تنظر. الروبوتات تفعل بالضبط ما أُمرت به، لكن الشخص الذي يعطي الأوامر قد تم استبداله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.