SkillBloat: Token Amplification Attacks via Skill Injection in LLM Coding Agents
تقدم هذه الورقة البحثية SkillBloat، وهو إطار عمل ثنائي المراحل يستغل قنوات حقن المهارات الموثوقة في وكلاء البرمجة القائمين على النماذج اللغوية الكبيرة لتحقيق تضخيم كبير في الرموز (5.4x–10.1x)، مما يكشف عن تهديد متميز يتمثل في إساءة استخدام الموارد الاقتصادية، وهو تهديد متعامد مع الهجمات الأمنية التقليدية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد المعاصر للذكاء الاصطناوي، تطورت النماذج اللغوية الكبيرة من مجرد مولدات نصوص بسيطة إلى وكلاء مستقلين قادرين على التفكير والعمل المعقد. يمكن لهؤلاء المساعدين الرقميين قراءة الأكواد، وتنفيذ الأوامر، وإدارة المشاريع البرمجية، وغالبًا ما يعتمدون على نظام من "المهارات" لتوسيع قدراتهم. فكر في هذه المهارات ككتيبات تعليمات نمطية أو مجموعات أدوات يمكن للوكيل تنزيلها والثقة بها لمساعدته في حل مشكلات محددة. تمامًا كما قد يستشير الإنسان دليلًا متخصصًا لإصلاح سيارة أو تحليل تقرير مالي، يقوم وكيل الذكاء الاصطناعي بتحميل هذه الأدلة الرقمية لفهم كيفية التعامل مع مهمة ما. لقد جعل هذا النظام البيئي للمهارات المشتركة الوكلاء أكثر قوة وتنوعًا، ولكنه خلق أيضًا نوعًا جديدًا من الضعف؛ فبما أن هؤلاء الوكلاء يتعاملون مع هذه الأدلة كتعليمات موثوقة، فقد يتمكن فاعل خبيث من إخفاء أوامر ضارة داخل دليل يبدو مفيدًا، مما يخدع الوكيل ليفعل شيئًا لم يكن من المفترض أن يفعله.
لطالما شعر الباحثون بالقلق من تعرض هؤلاء الوكلاء للخداع لسرقة البيانات أو اختراق الأنظمة، لكن دراسة جديدة تكشف عن تهديد مختلف وأكثر هدوءًا يستهدف المحفظة بدلاً من الخزنة الأمنية. فقد استقصى الباحثان، يوانجين تشن وجينجبانج تشين، ظاهرة أسمياها "تضخيم الرموز" (token amplification). في عالم الذكاء الاصطناعي، كل كلمة يقرأها النموذج أو يكتبها تكلف مالاً، وتُقاس بوحدات تسمى "الرموز" (tokens). واكتشف الفريق أنه يمكن صياغة مهارة خبيثة لإجبار الوكيل على القيام بعمل أكبر بكثير مما هو ضروري لإكمال مهمة بسيطة، مما يؤدي إلى تضخم تكلفة العملية دون تغيير النتيجة النهائية فعليًا. إنه شكل من أشكال الإساءة الاقتصادية حيث يتم استدراج الوكيل للركض في دوائر، أو مراجعة عمله بشكل متكرر، أو إنشاء تقارير مفرطة، كل ذلك بينما يبدو أنه يعمل بشكل طبيعي تمامًا.
ولفهم كيفية عمل ذلك، بنى الباحثون إطار عمل أطلقوا عليه اسم "SkillBloat". بدأوا بمكتبة تضم خمسة عشر طريقة مختلفة لخداع الوكيل في إهدار الموارد. شملت هذه الطرق تعليمات تجبر الوكيل على كتابة تقارير طويلة للغاية، أو إجراء فحوصات جودة غير ضرورية، أو محاكاة أخطاء تتطلب من الوكيل إعادة محاولة عمله. ثم اختبر الباحثون هذه الحيل ضد وكلاء برمجة حقيقيين، وتحديدًا أولئك الذين صممتهم شركات تكنولوجية كبرى. ووجدوا أن مجرد اختيار النوع المناسب من الحيل يمكن أن يزيد من حجم العمل الذي يقوم به الوكيل بمتوسط خمس إلى عشر مرات. وفي بعض الحالات القصوى، تم دفع مهمة واحدة كانت تكلفتها عادةً بضعة سنتات للتشغيل لتتجاوز خمسة دولارات، لمجرد أن الوكيل كان يتبع دليل تعليمات مسمومًا يخبره بأن يكون دقيقًا ومسهبًا بشكل مفرط.
لم تتوقف الدراسة عند اكتشاف حيلة فعالة واحدة، بل طور الباحثون عملية من خطوتين لصقل هجماتهم. أولاً، قاموا بفحص مكتبة الحيل الخاصة بهم لمعرفة أي منها يعمل بشكل أفضل مع وكيل ومهمة معينة. وبمجرد تحديد الطريقة الأكثر فعالية، استخدموا ذكاءً اصطناعيًا ثانيًا لإعادة كتابة وثيقة المهارة بالكامل، وصقل التعليمات لجعل السلوك المهدر أكثر إقناعًا. سمحت هذه الخطوة الثانية الثانية للهجوم بالتكيف مع الخصائص الفريدة للوكيل المستهدف، مما يضمن أن العمل الإضافي يبدو كجزء طبيعي من سير العمل. كانت النتائج مذهلة: تفوقت الهجمات المنقحة باستمرار على الحيل الأولية، مما دفع استهلاك الموارد إلى مستويات أعلى. وفي مثال مفصل، تم خداع وكيل يقوم بتحليل سجل تأمل للقيام بسلسلة من خطوات التحقق المعقدة وتعديلات الملفات التي زادت من استخدام الرموز لديه بأكثر من ستة وعشرين ضعفًا، بينما نجح في إكمال الطلب الأصلي لتصنيف مدخلات السجل.
إن ما يجعل هذا الاكتشاف مثيرًا للقلق بشكل خاص هو أن الوكلاء لم يفشلوا، بل نجحوا في مهامهم. فقد صُممت التعليمات الخبيثة للحفاظ على مظهر التشغيل الطبيعي مع زيادة التكلفة سرًا. اختبر الباحثون ما إذا كانت هذه المهارات المسمومة ستعمل عبر مهام مختلفة أم أنها ستكون فعالة فقط للمشكلة التي صُممت من أجلها. ووجدوا أن المهارات كانت قابلة للنقل بدرجة عالية؛ فالمهارة المصاغة لإهدار الموارد في نوع واحد من المشاريع غالبًا ما تعمل بنفس الكفاءة في مشاريع مختلفة تمامًا. يشير هذا إلى أن مهارة خبيثة واحدة يمكن توزيعها على نطاق واسع والتسبب في أضرار مالية كبيرة عبر العديد من المستخدمين والتطبيقات. كما لاحظت الدراسة أن النسخ الأخف والأسرع من نماذج الذكاء الاصطناعي كانت غالبًا أكثر عرضة لهذه الهجمات من نظيراتها الأكثر قوة، حيث بدا أن النماذج الأقوى أفضل في التعرف على التعليمات الزائدة وتجاهلها.
يؤكد الباحثون أن هذا التهديد يختلف عن الهجمات الأمنية التقليدية. فبينما ركزت الدراسات السابقة على كيفية خداع الوكلاء لتسريب الأسرار أو تنفيذ أكواد غير مصرح بها، يسلط هذا العمل الضوء على ثغرة في النموذج الاقتصادي لخدمات الذكاء الاصطناعي. لا يتطلب الهجوم من الوكيل كسر قواعده أو اختراق أمنه؛ بل يستغل ببساطة رغبة الوكيل في أن يكون دقيقًا ومفيدًا. ومن خلال تضمين تعليمات تشجع على التحقق المفرط، وإعادة المحاولات المتكررة، والتقارير المطولة، يمكن للمهاجم استنزاف الموارد دون إطلاق إنذارات السلامة التي تكتشف عادةً السلوك الخبيث. تشير النتائج إلى أنه مع ازدياد دمج وكلاء الذكاء الاصطناعي في حياتنا الرقمية، فإن حمايتهم ستتطلب أكثر من مجرد منع الفاعلين السيئين؛ بل ستتطلب أيضًا طرقًا جديدة للكشف عما إذا كان الوكيل يتعرض للتلاعب لدفعه للقيام بعمل غير ضروري. وتخلص الدراسة إلى أن نظام مهارات الوكلاء البيئي، رغم كونه أداة قوية للابتكار، يكشف حاليًا عن سطح هجوم عملي وخطير يسهل استغلاله ويصعب الدفاع ضده.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.