When State Becomes an Attack Surface: State-Semantic Injection in LLM-Driven Embodied Agents
تقدم هذه الورقة "حقن الحالة الدلالي" (State-Semantic Injection)، وهو سطح هجوم جديد حيث يقوم المهاجمون بالتلاعب بمعلومات حالة البيئة التي تدركها الوكلاء المجسدين المدفوعين بالنماذج اللغوية الكبيرة (LLM) لإفساد فهمهم للمهام، وتخطيطهم، وتنفيذهم، مما يؤدي إلى تقويض سلامة وموثوقية الأنظمة الروبوتية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل روبوتًا يمكنه فهم صوتك، والنظر حول الغرفة، واتخاذ قرار بشأن كيفية تحريك أذرعه لمساعدتك. هذه الآلات، التي تُسمى غالبًا "الوكلاء المتجسدين" (embodied agents)، بدأت تصبح أكثر شيوعًا. فهي لا تكتفي فقط باتباع قائمة جامدة من الأوامر؛ بل تستخدم نماذج لغوية قوية لتحديد ما يجب فعله تاليًا بناءً على ما تراه وما تطلبه منها. ولاتخاذ قرار، يبني الروبوت صورة ذهنية لمحيطه، ملاحظًا أين توجد الأشياء، وما هي أسماؤها، وكيف ترتبط ببعضها البعض. وهو يعامل هذه الصورة الذهنية كحقيقة موثوقة، كأساس متين يبني عليه خطته لالتقاط كوب، أو فتح باب، أو ترتيب رف. وإذا كانت المعلومات في تلك الصورة الذهنية خاطئة، فستكون خطة الروبوت خاطئة أيضًا. وهذا يخلق نوعًا جديدًا من المخاطر: ماذا يحدث إذا قام شخص ما بتغيير الحقائق في عقل الروبوت بهدوء دون تغيير الكلمات التي قلتها له؟
لقد عرف الباحثون منذ فترة طويلة أن الذكاء الاصطناعي يمكن خداعه عبر تعليمات مربكة مخبأة في النصوص أو الصور. لكن دراسة جديدة تطرح سؤالًا أعمق حول الروبوتات التي تتفاعل مع العالم المادي. فهي تستكشف سيناريو لا يقوم فيه المهاجم بالصراخ بأمر زائف للروبوت، بل يقوم بهدوء بتعديل وصف الغرفة الذي يستخدمه الروبوت للتفكير. أراد الباحثون معرفة ما يلي: إذا تم تزويد الروبوت بوصف كاذب لبيئته، فهل سيصدق تلك الكذبة، ويغير خطته، ثم يذهب بالفعل لفعل الشيء الخاطئ في العالم الحقيقي؟ وقد وجدوا أن الإجابة هي نعم، ويمكن دفع الروبوت لالتقاط الشيء الخطأ أو التحرك إلى المكان الخطأ، حتى عندما يظل الإنسان الذي أعطى الأمر غير مدرك تمامًا للحيلة.
قام الفريق، بقيادة علماء من جامعة ووهان وجامعة بوفالو، بتطوير طريقة أطلقوا عليها اسم "حقن حالة البيئة بالنصوص" (Environment State-Text Injection). لفهم كيفية عمل ذلك، تخيل روبوتًا مكلفًا بالعثور على كتاب معين على رف. عادةً، ينظر الروبوت إلى الرف، ويرى كتابًا، ويدون موقعه. في هذه التجربة، قام الباحثون باختراق جزء واحد من نظام الروبوت وهو المسؤول عن الإبلاغ عما يراه. لم يغيروا طلب الإنسان، ولم يخترقوا عقل الروبوت أو محركاته. بدلاً من ذلك، قاموا ببساطة بتغيير النص الذي يقرأه الروبوت عن الكتاب. لقد استبدلوا وصف الكتاب بوصف لجسم مختلف، مثل حبة طماطم، أو غيروا موقع الكتاب إلى مكان آخر على الرف. ومن الأهمية بمكان، أنهم حرصوا على أن يبدو هذا الوصف الزائف تمامًا مثل تقرير صادق وطبيعي من مستشعرات الروبوت. لم يكن أمرًا يخبر الروبوت بـ "التقط الطماطم"؛ بل كان كذبة حول ما يفترض أن الروبوت يراه.
اختبر الباحثون هذه الفكرة في ثلاثة عوالم محاكية مختلفة، كل منها مصمم ليحاكي بيئة منزل أو مكتب حقيقية. واستخدموا نماذج لغوية متقدمة لتعمل كعقل للروبوت. في أحد الاختبارات، طُلب من الروبوت نقل كتلة إلى منتصف الطاولة. قام الباحثون بتعديل تقرير الحالة ليقول إن الكتلة هي في الواقع كتلة أخرى. والروبوت، الذي وثق بالتقرير الزائف، خطط لنقل الكتلة الخاطئة. وفي اختبار آخر، قيل للروبوت أن يلتقط خبزًا. قام الباحثون بتغيير الحالة لتقول إن الخبز هو في الواقع طماطم. فخطط الروبوت بعد ذلك لالتقاط الطماطم بدلاً من ذلك. كانت النتائج مذهلة. فعندما تم تقديم المعلومات الزائفة إلى نظام التخطيط لدى الروبوت، تبنى الروبوت الهدف الجديد في كل حالة تقريبًا. وفي إعداد محدد، غير الروبوت خطته لتتطابق مع الكذبة بنسبة 100 بالمائة.
ومع ذلك، فإن القصة لا تنتهي بمجرد تغيير الروبوت لرأيه. فقد راقب الباحثون أيضًا ما إذا كان بإمكان الروبوت تنفيذ الخطة الجديدة فعليًا في العالم المادي. وهنا يصبح الاختبار أكثر صعوبة. فحتى لو قرر الروبوت التقاط طماطم بدلاً من الخبز، يجب أن يكون قادرًا أيضًا على الوصول إلى الطماطم، ويجب أن تكون الطماطم موجودة بالفعل ليتمكن الروبوت من التقاطها. وجدت الدراسة أنه بينما غير الروبوت خطته دائمًا تقريبًا، إلا أنه لم ينجح دائمًا في إكمال الإجراء. في عمليات المحاكاة، نجح الروبوت في تنفيذ الإجراء الخاطئ بنسبة تتراوح بين 43 إلى 48 بالمائة، اعتمادًا على البيئة. هذه الفجوة بين تغيير الخطة وإتمام الفعل هي أمر مهم؛ فهي توضح أنه بينما يمكن خداع الروبوت بسهولة ليعتقد هدفًا مختلفًا، فإن القوانين الفيزيائية للعالم لا تزال سارية. فالروبوت لا يمكنه التقاط جسم غير موجود، أو الوصول إلى مكان مسدود.
ولإثبات أن هذا لم يكن مجرد نتاج اصطناعي للمحاكاة، اختبر الباحثون هذه الطريقة أيضًا على روبوت حقيقي ومادي. أعطوا الروبوت تعليمات بسيطة لاتباع مسار والعودة إلى نقطة بدايته. ثم قدموا للروبوت تقريرًا زائفًا عن محيطه، يشير إلى أن جهاز كمبيوتر موجود في موقع مختلف عن موقعه الحقيقي. والروبوت، الذي صدق الكذبة، غير مساره. وبدلاً من إكمال الحلقة كما هو مطلوب، اتجه نحو الكمبيوتر وتحرك بعيدًا عن مساره المقصود. أكدت هذه التجربة أن كذبة حول البيئة، يتم تقديمها من خلال الحالة الداخلية للروبوت، يمكن أن تجعل آلة حقيقية تتحرك بطريقة غير مقصودة من قبل المشغل البشري.
قارنت الدراسة أيضًا هذه الطريقة بطرق أخرى معروفة لمهاجمة الروبوتات. غالبًا ما تضمنت الهجمات السابقة الصراخ بأمر مخفي أو استخدام "كسر الحماية" (jailbreak) لإجبار الروبوت على تجاهل قواعد السلامة. ووجد الباحثون أن هذه الطرق القديمة كانت أقل فعالية عندما يتعلق الأمر بجعل الروبوت يفعل شيئًا محددًا في العالم المادي. كانت الطريقة الجديدة تعمل بشكل أفضل لأنها لم تحاول محاربة برمجة الروبوت بأمر ما، بل استبدلت ببساطة الحقائق التي يعتمد عليها. كان الأمر يشبه تغيير المكونات في وصفة طعام بدلاً من الصراخ في وجه الطاهي. لقد اتبع الروبوت الوصفة بدقة، ولكن لأن المكونات كانت خاطئة، لم يكن الطب النهائي هو ما طلبه الزبون.
كان الباحثون حذرين في توضيح ما لم تثبته دراستهم. فهم لم يوضحوا كيف يمكن للمهاجم الوصول إلى نظام الروبوت في المقام الأول. لقد افترضوا أن المهاجم لديه بالفعل طريقة لتغيير جزء صغير من تقرير الروبوت الداخلي. كما لم يدّعوا أن هذا سيحدث لكل روبوت في كل موقف. ركز عملهم على نوع محدد من الربوتات التي تستخدم اللغة للتخطيط لأفعالها. ووجدوا أنه بالنسبة لهذه الآلات، فإن الخط الفاصل بين ما يعتقده الروبوت أنه حقيقي وما هو حقيقي بالفعل هو خط رفيع للغاية. وإذا تم تجاوز هذا الخط، فسوف يعمل الروبوت بناءً على الكذبة.
تسلط هذه الدراسة الضوء على ثغرة أساسية في الجيل القادم من الآلات المساعدة. ومع ازدياد دمج الروبوتات في منازلنا وأماكن عملنا، واعتمادها على فهم بيئتها، تصبح سلامة هذا الفهم قضية أمنية. فإذا لم يستطع الروبوت الوثوق بوصفه الخاص للعالم، فلا يمكن الوثوق به للعمل بأمان في هذا العالم. تشير الدراسة إلى أن حماية هذه الآلات ستتطلب أكثر من مجرد تأمين برامجها؛ بل ستتطلب ضمان أن الحقائق التي تستخدمها لاتخاذ القرارات هي حقائق حقيقية. يخطط الباحثون لمواصلة هذا العمل، من خلال البحث في كيفية حدوث هذه الهجمات على فترات زمنية أطول وفي بيئات أكثر تعقيدًا ومتغيرة. أما الآن، فالنتيجة واضحة: الروبوت الذي يصدق كذبة سيعمل بناءً عليها، وأحيانًا، سيحدث ذلك الفعل أمام أعيننا مباشرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.