ChronosAttack: Adversarial Tool Scheduling Attacks on LLM Agents
تقدم هذه الورقة البحثية "ChronosAttack"، وهي تقنية هجومية مبتكرة تتلاعب بتوقيت استجابات الأدوات الأصلية في وكلاء النماذج اللغوية الكبيرة (LLM) غير المتزامنة لتغيير نتائج القرارات دون تعديل المحتوى، مما يثبت أن ترتيب الاستجابة في حد ذاته يشكل سطح هجوم جوهري عبر نماذج مختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لقد تطور الذكاء الاصطناዊ الحديث من أنظمة تكتفي بمجرد الإجابة على الأسئلة إلى وكلاء قادرين على اتخاذ الإجراءات. يعمل هؤلاء الوكلاء كمساعدين رقميين يمكنهم التواصل مع العالم الخارم، باستخدام أدوات برمجية للتحقق من توقعات الطقس، أو حجز رحلة طيران، أو استرجاع مدخل من قاعدة بيانات. إنهم لا يقرؤون مجرد وثيقة ثابتة؛ بل يتفاعلون مع بيئة ديناميكية، وينتظرون انتهاء الأدوات من عملها ثم يستخدمون تلك المعلومات الجديدة لتقرير ما سيفعلونه بعد ذلك. تعتمد هذه العملية على تسلسل من الأحداث: يطرح الوكيل سؤالاً، ثم تعمل الأداة، ثم ترسل الأداة إجابة، ويستخدم الوكيل تلك الإجابة للمضي قدماً. ولكي تكون هذه الأنظمة آمنة وموثوقة، يجب ألا نفهم فقط المعلومات التي يتلقونها، بل أيضاً كيف يشكل توقيت تلك المعلومات قراراتهم.
لطالما عرف الباحثون أن الترتيب الذي تُعرض به المعلومات يمكن أن يغير كيفية تفسير البشر أو الآلات للموقف. فإذا تم تغيير ترتيب قائمة من الخيارات، فإن الخيار الموجود في الأعلى غالباً ما يبدو أكثر أهمية من الخيار الموجود في الأسفل. تستكشف هذه الورقة طريقة جديدة وخفية يمكن من خلالها استغلال هذا المبدأ ضد وكلاء الذكاء الاصطناعي. تبحث الدراسة، التي تحمل اسم "ChronosAttack"، فيما إذا كان بإمكان المهاجم تغيير القرار النهائي للوكيل ببساطة عن طريق تأخير وصول استجابات الأدوات الصادقة وغير المعدلة. لا يحتاج المهاجم إلى اختراق الأداة، أو تغيير البيانات، أو حقن تعليمات كاذبة؛ بل يحتاج فقط إلى التحكم في الساعة، عبر حجز قطعة معينة من المعلومات لفترة كافية لتغيير الترتيب الذي يراها به الوكيل.
اختبر الباحثون هذه الفكرة على أربعة نماذج ذكاء اصطناعي مختلفة وقوية من شركات تقنية كبرى. وضعوا سيناريو يتعين فيه على الوكيل الاختيار بين ثلاثة خيارات بناءً على ثلاث قطع منفصلة من الأدلة المقدمة من الأدوات. في الحالة الطبيعية، ستعيد الأدوات إجاباتها بترتيب منطعي وطبيعي. أما في سيناريو الهجوم، فقد أدخل الباحثون تأخيرات طفيفة ومتحكم بها في استجابات محددة. كانت هذه التأخيرات صغيرة جداً لدرجة أنها قِيست بالملي ثانية — أجزاء من الثانية — لكنها كانت كافية لخلط الترتيب الذي تلقى به الوكيل الأدلة. ظل محتوى الأدلة كما هو تماماً؛ تغير التوقيت فقط.
أظهرت النتائج أن هذا التلاعب البسيط بالوقت يمكن أن يغير قرار الوكيل بشكل جذري. في بعض الحالات، تسبب التأخير في جعل الوكيل يغير قراره إلى خيار مستهدف معين بثقة عالية. على سبيل المثال، أحد النماذج الذي كان يختار خياراً ما بنسبة 10 بالمائة فقط في البداية، بدأ يختاره بنسبة 83 بالمائة عندما تغير ترتيب الأدلة. وأظهر نموذج آخر رد فعل أكثر دراماتيكية، ولكن في الاتجاه المعاكس: فعندما تغير الترتيب، تخلى عن خياره المعتاد تماماً. وظل نموذج ثالث مستقراً نسبياً، مما يوضح أن ليس كل الأنظمة معرضة بنفس القدر لهذا النوع من هجمات التوقيت. ووجدت الدراسة أن التأثير لم يقتصر على الوكلاء الذين يتذكرون التفاعلات السابقة؛ فحتى عندما عالج الوكيل جميع المعلومات دفعة واحدة، كان مجرد تغيير الترتيب الذي ظهر به النص كافياً لقلب القرار.
كما بحث الباحثون فيما إذا كانت التأخيرات الأكبر ستؤدي إلى هجمات أقوى. ووجدوا أن حجم التأخير كان أقل أهمية من الترتيب المحدد الذي أحدثه. فالتأخير الضئيل الذي تسبب في تبديل واحد فقط في ترتيب قطعتين من الأدلة كان فعالاً بقدر التأخير الأكبر الذي تسبب في عمليات تبديل متعددة. وهذا يشير إلى أن نقاط الضعف تكمن في كيفية وزن الوكيل لتسلسل المعلومات، وليس في حجم الاضطراب. ولمواجهة ذلك، اختبر الفريق استراتيجيتين دفاعيتين. تضمنت إحدى الاستراتيجيات الانتظار حتى تنتهي جميع الأدوات من عملها قبل تقديم النتائج إلى الوكيل، مما يضمن وصول المعلومات بترتيب ثابت وآمن. وتضمنت الاستراتيجية الأخرى مطالبة الوكيل باتخاذ القرار عدة مرات مع تغيير ترتيب المعلومات في كل مرة، وعدم قبول الإجابة إلا إذا كانت النتائج متسقة. قللت كلتا الطريقتين بشكل كبير من قدرة المهاجم على التحكم في النتيجة، وإن كانت فعاليتهما تختلف باختلاف نموذج الذكاء الاصطناعي المستخدم.
يكشف هذا العمل أن توقيت استجابة الأدوات هو حدود أمنية تم التغاضي عنها إلى حد كبير. إنه يثبت أن عملية اتخاذ القرار لدى الوكيل حساسة لإيقاع مدخلاتها، حتى عندما تكون تلك المدخلات أصلية تماماً. لا تدعي الدراسة أن هذه الثغرة موجودة في كل أنظمة العالم الحقيقي، ولا تشير إلى أن جميع وكلاء الذكاء الاصطناعي معرضون للخطر بنفس القدر. بدلاً من ذلك، فهي تقدم دليلاً واضحاً على أن تسلسل الأحداث هو متغير يمكن التلاعب به لتغيير النتائج. ومن خلال إظهار أن تأخيراً يقل عن ثانية واحدة يمكن أن ينقل القرار من خيار إلى آخر، تسلط هذه الدراسة الضوء على جبهة جديدة في سلامة الذكاء الاصطناعي. وهي تقترح أنه مع زيادة اندماج هؤلاء الوكلاء في حياتنا الرقمية، فإن ضمان كونهم متينين ضد التأثير الخفي للوقت سيكون بنفس أهمية حمايتهم من البيانات الكاذبة أو الأوامر الخبيثة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.