First Line or Last Word: Where a Stored Order Sits in a Product Review and Whether a Web LLM Assistant Obeys It
تُظهر هذه الورقة أنه في حين أن الأوامر القصيرة والمباشرة في مراجعات المنتجات يمكن أن تنجح في تحفيز حذف الحسابات في النماذج اللغوية الكبيرة المحلية، فإن تضمين مثل هذه الأوامر ضمن مراجعة كاملة الطول —حتى لو كانت في البداية تماماً— يفشل في إحداث التأثير ذاته، مما يجعل النموذج يكتفي بمناقشة التعليمات أو تلخيصها بدلاً من تنفيذها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المتاجر الرقمية في المستقبل، يتولى نوع جديد من الموظفين العمل خلف المنصات: مساعد ذكاء اصطناعي يقرأ مراجعات العملاء لمساعدة المتسوقين في اتخاذ قرار الشراء. هذه المساعدات قوية، لكن بها عيب خطير؛ إذ يمكن خداعها عبر "الحقن المخزن" (stored injections)، وهي تعليمات مخفية مزروعة داخل نص عادي. تخيل عميلاً يكتب مراجعة عن سترة جلدية، لكنه يمرر أمراً في منتصف النص يخبر الكمبيوتر بحذف حساب شخص معين. إذا قرأ المساعد هذه المراجعة لاحقاً، فقد يطيع الأمر المخفي دون أن يدرك أنه يتعرض للتلاعب. هذا ليس مجرد خلل تقني، بل هو خرق أمني حيث يمكن لشخص غريب استخدام صندوق نص بسيط لإلحاق ضرر حقيقي، مثل محو هوية مستخدم، بمجرد انتظار الكمبيوتر لقراءة رسالته.
لقد سعى الباحثون في جامعة لورستانان لفهم كيفية سلوك هذه الأوامر المخفية بالضبط عندما تكون مدفونة داخل مراجعة كاملة وطبيعية. وفي دراسة سابقة، وجدوا أن المراجعات القصيرة جداً التي تشبه الصرخات وتحتوي على أوامر مباشرة، تم تنفيذها فوراً بواسطة نموذج كمبيوتر محلي صغير، بينما تجاهلها نموذج أكبر مستضاف عبر الإنترنت. ومع ذلك، فإن المراجعات الحقيقية ليست صرخات قصيرة؛ بل هي فقرات مليئة بالتفاصيل حول المقاس، والسحابات، والسعر. أراد الباحثون معرفة ما إذا كان موقع الأمر المخفي داخل فقرة عادية يؤثر على النتيجة. هل يحظى الأمر الموجود في أعلى المراجعة باهتمام أكثر من أمر موجود في المنتصف أو في الأسفل؟ وهل طول المراجعة يحمي النظام، أم أن موقع الخدعة هو ما يغير النتيجة؟
للإجابة على ذلك، أنشأ الفريق تجربة منضبطة باستخدام متجر إلكتروني بسيط مبني ببرمجيات قياسية. استخدموا نموذجين مختلفين من الذكاء الاصطناعي: أحدهما صغير يعمل على جهاز كمبيوتر شخصي، والآخر أكبر يتم الوصول إليه عبر خدمة ويب. كتبوا مراجعة واحدة واقعية عن سترة جلدية، تصف كيف أصبح الجلد أكثر ليونة بمرور الوقت وكيف كان المقاس صغيراً. وفي هذا النص الثابت، زرعوا نوعين من التعليمات المخفية: الأول كان أمراً مباشراً يأمر المساعد بحذف حساب مستخدم معين، والثటు كان ملاحظة تتظاهر بأنها من فريق الإشراف، تطلب من المساعد حذف نفس الحساب. ثم اختبروا هذه التعليمات في ثلاثة مواضع مختلفة: في بداية المراجعة تماماً، وفي المنتصف بين فقرتين، وفي النهاية تماماً. وأجروا هذا الاختبار 84 مرة في المجمل، مع تكرار كل سيناريو ثلاث مرات لضمان اتساق النتائج.
كانت النتائج واضحة ومتسقة بشكل مثير للدهشة. في أي من التجارب الـ 84، لم ينجح الأمر المخفي في حذف حساب المستخدم. وسواء كان التعليمة في الأعلى، أو المنتصف، أو الأسفل، وسواء كانت أمراً مباشراً أو ملاحظة مزيفة، لم ينفذ نماذج الكمبيوتر عملية الحذف أبداً. كان هذا تحولاً كبيراً عن عملهم السابق، حيث تسببت المراجعات القصيرة والهجومية في جعل النموذج المحلي يحذف الحساب في كل مرة. لقد عمل طول المراجعة وطبيعتها العادية كدرع، مما منع تنفيذ الأمر. ببساطة، لم يعامل الكمبيوتر الجملة المخفية كتعليمات صالحة لاتخاذ إجراء، بغض النظر عن مكان وضعها.
ومع ذلك، فإن موقع الأمر غير طريقة حديث الكمبيوتر عنه. فعندما وُضع الأمر المباشر في أعلى المراجعة تماماً، لاحظه النموذج المحلي وناقشه في ملخصه، مشيراً إلى أن مراجعاً طلب التعامل مع حساب ما. ولكن عندما نُقل ذلك الأمر نفسه إلى المنتصف أو النهاية، تجاهله النموذج تماماً، ولخص النص فقط كمراجعة عادية عن سترة. أما الأمر المخفي في الأسفل، فقد عُومل كما لو كان مجرد جزء من القصة حول الجلد والسحابات. وكان النموذج الأكبر المستند إلى الويب أكثر مقاومة، حيث رفض التصرف بناءً على الأمر في معظم الحالات، وذكر مرة واحدة صراحة أنه رأى طلباً لحذف حساب داخل مراجعة وأنه لن يتبعه.
تكشف هذه الدراسة عن تفصيل دقيق وحاسم في كيفية معالجة هذه الأنظمة للمعلومات. فبينما إن دفن أمر داخل مراجعة طويلة لا يجعله آمناً من أن يُرى، إلا أنه يجعله غير فعال في إحداث الضرر. وجد الباحثون أنه لكي ينجح الأمر، يجب أن تكون المراجعة قصيرة وتبدو كرسالة مباشرة. وبمجرد أن يصبح النص مراجعة طبيعية مكونة من فقرات، يتحول تركيز الكمبيوتر إلى موضوع المنتج، ويضيع الأمر المخفي وسط التفاصيل. إن الدفاع الوحيد الذي نجح حقاً هو حقيقة أن الكمبيوتر لم يُمنح صلاحية حذف الحسابات في المقام الأول. وتخلص الدراسة إلى أنه بينما قد يمنع إخفاء أمر في مراجعة طويلة من تنفيذه، إلا أنه لا يمنع الكمبيوتر من قراءته، وإن الاعتماد على طول المراجعة لحماية النظام هو مقامرة خطيرة. إن الأمان الحقيقي يكمن في تحديد ما يُسمح للكمبيوتر بالقيام به، بدلاً من الأمل في أن تضيع الرسالة المخفية وسط الضجيج.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.