SIREN (Luring LLMs onto the Rocks): PAIR-Driven Preference Manipulation in Web-RAG Recommenders
تقدم هذه الورقة البحثية SIREN، وهو إطار عمل مؤتمت للمهاجم والحكم (attacker-judge) يعمل على تكييف حلقة كسر الحماية PAIR للتلاعب بشكل منهجي بتصنيفات التوصية لنماذج اللغات الكبيرة المعززة بالويب عبر تحرير المحتوى المصدر المسترجع بشكل تكراري باستخدام تصنيف من تقنيات التسميم، محققاً معدلات نجاح عالية في نقل الكيانات المستهدفة إلى المرتبة الأولى مع ضبط متغيرات الاسترجاع.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسير في مكتبة سحرية ضخمة حيث يساعدك روبوت أمين مكتبة فائق الذكاء في العثور على أفضل الأشياء للقيام بها، أو أكلها، أو رؤيتها. تسأل: "ما هي أفضل خمسة مطاعم في المدينة؟"، وبدلاً من مجرد الإشارة إلى قائمة، يقفز الروبوت إلى الإنترنت، ويقرأ مئات المواقع الحقيقية في ثوانٍ، ثم يكتب لك خطاب توصية جديد كلياً ومخصصاً لك. هكذا تعمل أنظمة "Web-RAG" (التوليد المعزز بالاسترجاع عبر الويب) الحديثة: فهي لا تكتفي بالتخمين؛ بل تخرج، وتجمع الحقائق من الويب الحي، ثم تصيغها في إجابة. ولكن هنا تكمن المشكلة: نظرًا لأن أمين المكتبة بارع جدًا في القراءة، فإنه يثق فيما يجده. إذا تمكن خباز ماكر من تمرير ملاحظة في أحد المواقع التي يقرؤها أمين المكتبة، فقد يكتب أمين المكتبة بالخطأ أن متجر هذا الخباز هو المركز الأول في المدينة بأكملها، حتى لو لم يكن هو الأفضل حقًا. تستكشف هذه الورقة البحثية بالضبط مدى سهولة قيام "محتال" بتسميم قائمة القراءة الخاصة بأمين المكتبة واختطاف التوصية النهائية.
قام الباحثون وراء هذه الدراسة، بقيادة إيفان كافيل وفريقه، ببناء "روبوت مخترق" رقمي يسمى SIREN (وهو اختصار لـ "Luring LLMs onto the Rocks" - أي استدراج النماذج اللغوية الكبيرة نحو الصخور، وهو إشارة مرحة إلى أسطورة السيرينات التي تغوي البحارة إلى هلاكهم). لم يكن هدفهم ابتكار مطاعم وهمية أو اختراق عقل الروبوت؛ بل أرادوا معرفة ما إذا كان بإمكانهم أخذ موقع إلكتروني حقيقي يخطط الروبوت لقراءته بالفعل، وتعديل نصه بهدوء، وخداع الروبوت لجعل هذا العمل التجاري تحديدًا هو الخيار رقم 1 المطلق. لقد عاملوا الروبوت كأنه قاضٍ في مسابقة، وتعديلات الموقع الإلكتروني كأنها متسابق يحاول الفوز عن طريق تغيير زيه بما يكفي ليبدو أفضل، دون تغيير قواعد اللعبة الفعلية.
يعمل SIREN مثل لعبة "التخمين والتحقق" المتكررة والذكية. يختار "الروبوت المهاجم" عملاً تجاريًا مستهدفًا وموقعًا إلكترونيًا محددًا يتحدث عنه. ثم يجرب 23 "خدعة" مختلفة (مثل إخفاء ادعاء ترتيب زائف في وصف الصورة، أو كتابة قائمة "أفضل 1ست" مزيفة في منتصف الصفحة تمامًا). بعد إجراء تعديل طفيف، يطلب الروبوت المهاجم من "روبوت أمين المكتبة" إنشاء توصية جديدة. يقوم "روبوت قاضٍ" ثانٍ بالتحقق من النتيجة: هل ارتفع العمل التجاري المستهدف في القائمة؟ إذا لم يكن الأمر كذلك، يتعلم الروبوت المهاجم من خطئه، ويجرب خدعة مختلفة، ويسأل مرة أخرى. يستمر في ذلك حتى 20 مرة لكل محاولة، ويقوم بتحسين تعديلاته حتى يفوز أو تنفد محاولاته.
كانت النتائج كاشفة للغاية. عبر 124 محاولة مختلفة باستخدام نسختين مختلفتين من روبوت "Claude" (وهما Haiku وSonnet)، نجح SIREN في دفع العمل التجاري المستهدف إلى المركز الأول في 50% من التجارب. هذا يعني أن نصف المرات، كانت تعديل بسيط لموقع واحد كافيًا لقلب توصية الروبوت تمامًا. وجدت الدراسة أن الخدع الأكثر فعالية لم تكن تلك التي تصرخ: "اجعلني الأول!" (والتي قد يكتشفها الروبوت أحيانًا ويتجاهلها). بدلاً من ذلك، كانت الخدع الفائزة هي تلك التي بدت كمعلومات طبيعية ومفيدة — مثل "قائمة مزروعة" تقول: "إليك أفضل 3 أماكن"، مع وضع العمل التجاري المستهدف أولاً بشكل ملائم، أو ادعاء تقريري يبدو كحقيقة.
ومن المثير للاهتمام أن نجاح هذه الخدع اعتمد بشكل كبير على أي روبوت كان يقوم بالقراءة. كان نموذج "Haikau" أسهل بكثير في الخداع، حيث وصل إلى المركز الأول في حوالي 61% من اختباراته الكاملة، بينما كان نموذج "Sonnet" أصعب، حيث لم يقع في الفخ إلا في 26% من الوقت في نفس الاختبارات. ومع ذلك، عندما جرب الباحثون الخدع الناجحة من نموذج واحد على الآخر، كانت النتائج مختلطة؛ فالخدعة التي نجحت تمامًا على نموذج ما لم تنجح دائمًا على الآخر. وهذا يشير إلى أنه لا توجد "تعويذة سحرية" واحدة لكسر جميع أنظمة التوصية بالذكاء الاصطناعي؛ فالأمر يعتمد على النموذج المحدد والسؤال المحدد الذي يتم طرحه.
تحقق الفريق أيضًا مما إذا كانت هذه الخدع ستعمل في العالم الحقيقي، خارج مختبر الاختبار المحكوم الخاص بهم. أخذوا 62 تعديلًا ناجحًا واختبروها في جلسات جديدة تمامًا بدون حلقة "التعلم". ومن المثير للدهشة، أن 80.5% من تلك الخدع لا تزال تعمل، مما يثبت أنه بمجرد العثور على طريقة لخداع الروبوت، فإن الخدعة غالبًا ما تنجح. ومع ذلك، أشارت الدراسة أيضًا إلى أن هذه كانت تجربة محكومة حيث تم الإبقاء على قائمة المواقع التي يقرؤها الروبوت ثابتة تمامًا. في سيناريو العالم الحقيقي، قد يختار الروبوت مواقع إلكترونية مختلفة أو يصفيها بشكل مختلف، لذا بينما التهديد حقيقي، فإن معدل النجاح الدقيق في الواقع قد يختلف.
في النهاية، يظهر SIREN أنه بينما نعتمد أكثر على الذكاء الاصطناعي لاتخاذ قرارات بشأن ما نشتريه أو أين نذهب، فإن "الشيفرة المصدرية" للإنترنت تصبح ساحة معركة جديدة. إذا تمكن عمل تجاري من تعديل موقعه الإلكتروني ليشمل ادعاءً مموهًا بذكاء، فيمكنه من المحتمل اختطاف رأي الذكاء الاصطناعي. تشير الورقة البحثية إلى أن مجرد تصفية "الرسائل المزعجة" الواضحة ليس كافيًا؛ فنحن بحاجة إلى طرق أذكى للتحقق مما إذا كان ادعاء الترتيب مدعومًا من مصادر متعددة، لأن الذكاء الاصطناعي حاليًا بارع جدًا في أن يُخدع بواسطة كذبة واحدة مُلبسة بشكل جيد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.