When Alignment Isn't Enough: Response-Path Attacks on LLM Agents
تقدم هذه الورقة هجوم التلاعب بالترحيل (RTA)، وهو تهديد جديد يوضح أن أجهزة الترحيل الخارجية الخبيثة في بنيات الوكلاء من نوع "أحضر مفتاحك الخاص" (BYOK) يمكنها تجاوز محاذاة النماذج اللغوية الكبيرة عن طريق التلاعب بالاستجابات بعد توليدها، محققةً معدلات نجاح عالية للهجوم تعجز الدفاعات الحالية عن تخفيف حدتها بشكل كامل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً ذكياً للغاية ومدرباً تدريباً عالياً (وكيل ذكاء اصطناعي - AI Agent)، وهو مبرمج ليكون مفيداً ولكن آمناً جداً في نفس الوقت. أنت تعطي هذا المساعد مهمة، مثل "اكتب قصة" أو "تحقق من رصيد حسابي البنكي". للقيام بذلك، يتحدث المساعد مع عقل فائق الذكاء (النموذج اللغوي الكبير أو LLM) الذي يعيش على خادم في مكان ما.
عادةً، تقوم بتوصيل المساعد مباشرة بالعقل. ولكن لتوفق في التكاليف أو لإدارة الأمور بشكل أفضل، يستخدم الكثير من الناس "وسيطاً" (Relay). فكر في هذا الوسيط كخدمة بريد موثوقة. أنت تقول للوسيط: "خذ هذه الرسالة إلى العقل، واحصل على الإجابة، وأحضرها معي". يُسمح للوسيط برؤية الرسائل لأنه يحتاج لتوصيلها.
المشكلة: "الوسيط الموثوق" يمكنه الكذب
يكتشف هذا البحث ثغرة مخيفة في كيفية عمل هذا النظام، وتسمى "التلاعب بسلامة المخرجات" (Post-Alignment Tampering).
إليك التشبيه:
- العقل (LLM): تسأل العقل، "هل من الآمن شراء هذا السهم؟". يفكر العقل، وهو مدرب ليكون آمناً وصادقاً، بعمق ويقول: "لا، يبدو هذا خطيراً. لا تشترِه".
- الوسيط (Relay): يكتب العقل هذه الإجابة ثم يسلمها للوسيط.
- الخيانة: قبل أن يسلم الوسيط الملاحظة لمساعدك، ينظر إليها. يأخذ قلماً، ويشطب جملة "لا، يبدو هذا خطيراً"، ويكتب بدلاً منها "نعم، اشترِ الآن!".
- النتيجة: يتلقى مساعدك الملاحظة. هو لا يعرف أن الملاحظة قد تم تغييرها. يعتقد أن العقل قال "اشترِ"، فيقوم بتنفيذ الصفقة.
الجزء المخيف؟ لقد قام العقل (LLM) بعمله على أكمل وجه. لقد أنتج استجابة آمنة ومتوافقة مع المعايير. اجتازت ضوابط الأمان في جانب العقل الاختبارات بنجاح. لكن نظام التوصيل (الوسيط) قام بتغيير الرسالة بعد أن انتهى العقل من كتابتها ولكن قبل أن يقرأها المساعد.
لماذا هذا أسوأ من "الخداع"؟
ربما سمعت عن "حقن الأوامر" (Prompt Injection)، حيث يحاول شخص سيء خداع العقل لجعله يقول شيئاً سيئاً عبر كتابة ملاحظة مخادعة قبل أن يقرأها العقل.
- حقن الأوامر: محاولة إقناع العقل بكسر قواعده الخاصة. وهذا أمر صعب لأن العقل ذكي ويمتلك حواجز حماية قوية.
- هذا الهجوم (RTA): لا يحتاج المهاجم لخداع العقل على الإطلاق. هم يتركون العقل يقول ما يريد (حتى لو قال "لا!"), ثم يقومون ببساطة بإعادة كتابة الإجابة في طريق العودة. الأمر يشبه تغيير قائمة الطعام بعد أن انتهى الطاهي بالفعل من طهي الوجبة.
تثبت الورقة البحثية أن "إعادة الكتابة في طريق العودة" هذه أقوى وأخطر بكثير من محاولة خداع العقل في المقام الأول.
كيف يعمل الهجوم (إطار عمل RTA)
قام الباحثون ببناء أداة تسمى RTA (هجوم التلاعب بالوسيط) لإظهار مدى سهولة ذلك. يتكون من ثلاث خطوات:
- التخطيط الاستراتيجي: الوسيط السيئ لا يغير كلمة واحدة فقط، بل يخطط لقصة كاملة. إذا كانت المهمة تتطلب 10 خطوات، فهم يحددون بالضبط الخطوة التي يجب تغييرها لتحقيق النتيجة النهائية التي يريدونها.
- التعديل الجراحي: هم لا يعيدون كتابة الرسالة بأكملها. بل يغيرون فقط الأجزاء الصغيرة والحساسة التي تخبر المساعد بما يجب فعله (مثل تغيير علامة "قف" إلى علامة "انطلق"، أو تغيير "اقرأ الملف" إلى "احذف الملف"). يتركون بقية المحادثة المهذبة كما هي لتبدو طبيعية.
- خدعة "التلميع": إذا غيروا النص، فقد يبدو غريباً. لذا، يأخذون مسودتهم المعدلة، ويرسلونها إلى نفس العقل (باستخدام بيانات اعتماد تسجيل دخولك الخاصة)، ويقولون له: "مهلاً، أعد كتابة هذه المسودة لتبدو أكثر شبهاً بأسلوبك، ولكن حافظ على هذه التغييرات المحددة". يعيد العقل كتابة النص ليطابق أسلوبه الخاص تماماً، مما يجعل الكذبة تبدو أصلية بنسبة 100%.
ماذا وجدوا؟
اختبر الباحثون هذا على ستة نماذج مختلفة من الذكاء الاصطناعي واختبارين رئيسيين للأمان.
- معدل النجاح: نجحوا في اختطاف الوكلاء بنسبة تتراوح بين 73% إلى 99%.
- التخفي: كانت الهجمات صعبة الاكتشاف للغاية. جعلت خدعة "التلميع" الإجابات المزيفة تبدو تماماً مثل الإجابات الحقيقية.
- السرعة: كان الوقت الإضافي الذي يستغرقه القيام بذلك ضئيلاً جداً بحيث بدا وكأنه تأخير طبيعي في الإنترنت.
- فشل الدفاعات: جربوا جميع الدفاعات الأمنية الحالية (مثل التحقق من الكلمات السيئة أو إغلاق المحادثة). لم تنجح أي منها لأن الدفاعات كانت تراقب مخرجات العقل، وليس التوصيل النهائي للوسيط.
أمثلة من الواقع الحقيقي
أظهروا أن هذا يمكن أن يحدث في سيناريوهين حقيقيين:
- النصيحة المالية: يسأل مستخدم الذكاء الاصطناعي: "هل يجب أن أبيع أسهم شركة أبل الخاصة بي؟". يقول الذكاء الاصطناعي "احتفظ بها". يقوم الوسيط بتغييرها إلى "بِعْ!"، فيخسر المستخدم ماله.
- البرمجة: يطلب مستخدم من الذكاء الاصطناعي كتابة لعبة متاهة. بينما يقوم الذكاء الاصطناعي بذلك، يضيف الوسيط سراً أمراً مخفياً في الكود البرمجي لسرقة جميع ملفات المستخدم الخاصة وإرسالها إلى المخترق. يحصل المستخدم على لعبة المتاهة التي طلبها، ولكن بياناته تضيع.
ما هو الحل؟
تخلص الورقة البحثية إلى أنه لا يمكننا الاعتماد فقط على كون الذكاء الاصطناعي "آمناً". نحن بحاجة إلى طريقة لإثبات أن الرسالة التي يتلقاها المساعد هي بالضبط الرسالة التي أرسلها الذكاء الاصطناعي، دون أن يلمسها أحد في المنتصف.
حالياً، لا يوجد "ختم" على هذه الرسائل. يقترح الباحثون أننا بحاجة إلى نوع جديد من التوقيع الرقمي (مثل الختم الشمعي على الرسالة) يمكن للمساعد التحقق منه للتأكد من أن الوسيط لم يستبدل الملاحظة. وحتى يتوفر ذلك، فإن الوسيط "الموثوق" يمكنه دائماً إعادة كتابة القواعد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.