💻 computer science

From obligation to enforcement: mapping EU AI Act and CRA cybersecurity requirements to technical controls for LLM-based autonomous agents

تجسّر هذه الورقة الفجوة بين الالتزامات المتعلقة بالأمن السيبراني الموجهة نحو النتائج في قانون الذكاء الاصطنايد التابع للاتحاد الأوروبي وقانون المرونة السيبرانية، وبين التنفيذ العملي، وذلك عبر ربط أحكامها بضوابط تقنية ملموسة وأدلة تحقق مصممة خصيصاً للوكلاء المستقلين القائمين على النماذج اللغوية الكبيرة.

المؤلفون الأصليون: Abayomi Ogayemi

نُشر 2026-08-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Abayomi Ogayemi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نوعاً جديداً من برامج الكمبيوتر التي لا تكتفي فقط بالإجابة على الأسئلة، بل تتخذ إجراءات فعلية. تُسمى هذه البرامج "الوكلاء المستقلين" (autonomous agents). وهي مبنية على النماذج اللغوية الكبيرة، وهي نفس التقنية التي تشغل برامج الدردشة الآلية، ولكن مع إضافة حاسمة: يمكنها الاتصال ببرمجيات أخرى، وقراءة رسائل البريد الإلكتروني، وتنفيذ الأكواد، واتخاذ القرارات للوصول إلى هدف ما بمساعدة بشرية ضئيلة جداً. فكر فيها كموظفين رقميين يمكنهم تخطيط عملهم بأنفسهم. هذه القدرة قوية، لكنها تقدم خطراً فريداً من نوعه؛ فبسبب معاملة هؤلاء الوكلاء للتعليمات والبيانات كشيء واحد، يمكن لحيلة ذكية في رسالة ما أن تقنع الوكيل بتجاهل قواعد السلامة الخاصة به والقيام بأفعال لا ينبغي له القيام بها أبداً، مثل حذف الملفات أو سرقة كلمات المرور. ومع انتقال هذه الأنظمة من مختبرات الأبحاث إلى الشركات الحقيقية، تتدخل الحكومات لضمان سلامتها. هناك قانونان رئيسيان في الاتحاد الأوروبي، وهما "قانون الذكاء الاصطناعي" و"قانون المرونة السيبرانية"، يتطلبان الآن أن تكون هذه الأنظمة آمنة. ومع ذلك، تصف هذه القوانين النتائج التي تريدونها — مثل "المرونة" أو "السلامة" — دون شرح كيفية بنائها بدقة. وهذا يترك المهندسين والمشرعين دون خريطة مشتركة لما يبدو عليه البرنامج الآمن حقاً.

لقد قام باحث يدعى أباومي أوغاييمي بملء هذه الفجوة من خلال إنشاء دليل مفصل يترجم المتطلبات القانونية إلى خطوات تقنية محددة. الورقة البحثية، التي تحمل عنوان "من الالتزام إلى الإنفاذ"، تعمل كجسر بين القواعد المجردة للقانون وبين الكود الملموس الذي يكتبه المطورون. قام المؤلف بتفكيك النص القانوني المعقد لكلا اللائحتين في الاتحاد الأوروبي إلى قطع صغيرة قابلة للإدارة من الواجبات. ولكل قطعة، حدد التهديدات المحددة التي يمكن أن تضر بالوكيل المستقل وربطها بضابط تقني مثبت لإيقاف ذلك التهديد. والنتيجة هي قائمة مرجعية واضحة تخبر الشركة بالضبط ما يجب بناؤه، وكيفية اختباره، وما هي الأدلة التي يجب الاحتفاظ بها لإثبات اتباعهم للقانون.

تركز الدراسة على عشر طرق محددة يمكن من خلالها مهاجمة هؤلاء الوكلاء. تتضمن بعض الهجمات خداع الوكيل لتجاهل تعليماته، بينما تتضمن هجمات أخرى تسم م البيانات التي يستخدمها الوكيل للتعلم أو الأدوات التي يعتمد عليها للعمل. وجد الباحث أن القوانين تغطي هذه المخاطر، ولكن فقط إذا عرفت الشركة كيفية تفسيرها. فعلى سبيل المثال، يتطلب القانون أن تكون الأنظمة "قوية"، وهو ما تترجمه الورقة إلى متطلب "تسلسل هرمي للتعليمات". وهذا يعني أن البرنامج يجب أن يمتلك مجموعة صارمة من القواعد تمنع الوكيل من اتباع أمر المستخدم إذا كان هذا الأمر يحاول تجاوز إعدادات السلامة الأساسية لديه. وبالمثل، فإن مطلب القانون بشأن "التسجيل" (logging) يصبح متطلباً للاحتفاظ بسجل غير قابل للتلاعب لكل قرار يتخذه الوكيل، بما في ذلك البيانات التي رآها والإجراءات التي اتخذها، بحيث إذا حدث خطأ ما، يمكن للمحققين معرفة ما حدث بالضبط.

أحد أهم النتائج هو كيفية عمل القانونين المختلفين معاً. يتعامل قانون المرونة السيبرانية مع البرنامج كمنتج يجب أن يكون آمناً بشكل افتراضي، بينما يركز قانون الذكاء الاصطناعي على المخاطر التي قد يسببها النظام للبشر. وتوضح الورقة أنه إذا قامت الشركة ببناء وكيلها ليلبي معايير الأمن الصارمة لقانون المرونة السيبرانية — مثل امتلاك قائمة بجميع أجزاء البرمجيات، وتحديد ما يمكن للوكيل الوصول إليه، وامتلاك وسيلة لإيقافه فوراً — فإنها تلبي تلقائياً متطلبات الأمن السيبراني لقانون الذكاء الاصطناعي أيضاً. وهذا يخلق مساراً واحداً موحداً يمكن للشركات اتباعه. كما لاحظ الباحث أن القوانين تضع مواعيد نهائية صارمة للإبلاغ عن المشكلات. فإذا تم اكتشاف ثغرة يتم استغلالها بنشاط من قبل المتسللين، يجب على الشركة إبلاغ السلطات في غضون 24 ساعة. ولتحقيق ذلك، تقترح الورقة بناء أنظمة يمكنها اكتشاف النشاط المشبوه فوراً وتنبيه الأشخاص المعنيين دون تأخير.

لا تدعي الورقة أنها حلت كل مشكلة. فهي تشير إلى أن القوانين لا تزال تنتظر كتابة معايير تقنية أكثر تفصيلاً، وهو ما سيحدث في السنوات القادمة. وحتى ذلك الحين، فإن الدليل الذي قدمه هذا البحث يعد أفضل طريقة متاحة للشركات لإثبات سلامتها. كما تسلط الورقة الضوء على واقع صعب: إذا أصدرت شركة ما "دماغ" وكيلها كبرنامج مفتوح المصق بحيث يمكن لأي شخص نسخه وتغييره، فلا يمكنها السيطرة الكاملة على كيفية استخدام هذا البرنامج لاحقاً، مما يجعل بعض الواجبات القانونية مستحيلة التنفيذ. ورغم هذه التحديات، يوفر العمل أساساً متيناً. فهو يحول الوعود القانونية الغامضة إلى خطة هندسية ملموسة، مما يضمن أنه مع دخول هؤلاء الوكلاء الرقميين الأقوياء عالمنا، سيتم بناؤهم بآليات السلامة اللازمة لحمايتنا من إخفاقاتهم المحتملة.

أبحاث مشابهة