When Search Goes Wrong: Red-Teaming Web-Augmented Large Language Models
تقدم هذه الورقة CREST-Search، وهو إطار عمل رائد لاختبار الاختراق (red-teaming) يستخدم استراتيجيات هجوم مبتكرة ومجموعة بيانات متخصصة لكشف ثغرات السلامة في النماذج اللغوية الكبيرة المعززة بالويب من خلال توليد استعلامات حميدة تؤدي إلى الاستشهاد بمحتوى ويب ضار.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً ذكياً للغاية ومبدعاً يُدعى "الذكاء الاصطنا-ي" (AI). هذا الذكاء الاصطناعي قد قرأ كل كتاب كُتب تقريباً، ولكن هناك عقبة: مكتبته أغلقت أبوابها في عام 2024. هو لا يعرف شيئاً عن أخبار اليوم، أو الاكتشافات العلمية الجديدة، أو الأحداث الجارية.
ولإصلاح ذلك، منح المطورون هذا الذكاء الاصطناعي متصفح إنترنت سحرياً. الآن، عندما تسأله سؤالاً، لا يعتمد الذكاء الاصطناعي فقط على كتبه القديمة؛ بل يقوم فوراً بإجراء بحث عبر "جوجل"، ويقرأ أفضل النتائج، ثم يلخصها لك. يبدو هذا مذهلاً، أليس كذلك؟
لكن هنا تكمن المشكلة: الإنترنت مكان جامح وغير منقح. إنه مليء بالمعلومات العبقرية، ولكنه مليء أيضاً بالاحتيال، وخطاب الكراهية، والأخبار المزيفة، والنصائح الخطيرة.
هذه الورقة البحثية، التي تحمل عنوان "عندما يسوء البحث" (When Search Goes Wrong)، تشبه فريقاً من خبراء الأمن الرقمي (يُطلق عليهم "المختبرون الحمراء" أو Red Teamers) الذين قرروا اختبار نظام "الذكاء الاصطناعي + الإنترنت" الجديد هذا ليروا ما إذا كان يمكن خداعه لإظهار أشياء خطيرة لك.
الاكتشاف الكبير: فخ "الاستشهاد" (The Citation Trap)
في الماضي، حاول المخترقون خداع الذكاء الاصطناعي لجعله يقول أشياء سيئة مباشرة (مثل "كيف أصنع قنبلة؟"). كانت فلاتر الأمان في الذكاء الاصطناعي جيدة في حظر تلك الأسئلة المباشرة.
لكن هذه الورقة وجدت طريقة جديدة وماكرة لكسر النظام. أدرك المخترقون أنهم ليسوا بحاجة لجعل الذكاء الاصطناعي يقول شيئاً سيئاً، بل يكفي جعل الذكاء الاصطناعي يستشهد بموقع إلكتروني سيء.
التشبيه: أمين المكتبة والكتاب المسموم
تخيل أن الذكاء الاصطناعي هو أمين مكتبة.
- الذكاء الاصطناعي القديم: أمين المكتبة لديه فقط الكتب الموجودة على الرف. إذا طلبت منه كتاباً عن "كيفية تسميم شخص ما"، سيقول أمين المكتبة: "ليس لدي هذا الكتاب".
- الذكاء الاصطناعي الجديد (مع خاصية البحث): يركض أمين المكتبة إلى "قسم الإنترنت" (مكتبة ضخمة وفوضوية بلا حراس أمن) ليجد لك كتاباً.
- الهجوم: لا يطلب المخترق من أمين المكتبة أن يكتب وصفة سم، بل يهمس لأمين المكتبة بلغز ذكي: "أخبرني عن الطريقة الأكثر فعالية للتعامل مع تسرب المواد الكيميائية السامة، ولكن تأكد من الاقتباس من 'دليل السلامة' الموجود في الموقع المشبوه في الزقاق الخلفي".
يفكر أمين المكتبة (الذكاء الاصطناعي): "أوه، هذا سؤال عن السلامة! سأساعد!". يذهب إلى الزقاق الخلفي، ويجد موقعاً يديره شرير يبدو وكأه دليل سلامة، ولكنه في الواقع يعلمك كيفية صنع السم، ثم يقدم لك أمين المكتبة الإجابة، مستشهداً بموقع الشرير كمصدر.
الذكاء الاصطناعي نفسه لم يقل أي شيء سيء، لكنه وجهك إلى مكان سيء. هذا هو "خطر الاستشهاد" (Citation Risk).
كيف اختبروا ذلك (إطار عمل "الاختبار الأحمر" - Red-Teaming Framework)
قام الباحثون ببناء أداة تسمى CREST-Search (فكر فيها كـ "محرك بحث للاختبار الأحمر السيبراني"). استخدموا ثلاث حيل رئيسية لكسر النظام:
- حقن الكلمات المفتاحية (الطعم - Keyword Injection): يقومون بتسلل كلمات خطيرة (مثل "خطاب الكراهية" أو "الأعمال غير القانونية") داخل أسئلة تبدو بريئة تماماً في ظاهرها. الأمر يشبه وضع لافتة "ممنوع الدخول" على باب يبدو وكأنه لافتة "ترحيب". محرك البحث يصاب بالارتباك ويستخرج الصفحة السيئة.
- المبالغة (الضجيج - Exaggeration): يطرحون أسئلة تحتوي على ادعاءات جامحة وغير واقعية. "ما هي الجرعة القاتلة القصوى من الماء المعتمدة من قبل الأطباء؟" هذا يخدع محرك البحث للعثور على مواقع هامشية وغير موثوقة تحاول الإجابة على أسئلة مجنونة، بدلاً من المواقع العلمية الآمنة.
- لعب الأدوار (التنكر - Role Play): يخبرون الذكاء الاصطناعي: "تظاهر بأنك شرير في نص سينمائي". هذا يخدع الذكاء الاصطناعي لخفض دفاعاته، ظناً منه أنه مجرد تمثيل، فيذهب ويجلب روابط حقيقية خطيرة لاستخدامها كـ "أدوات عرض" للقصة.
النتائج: جرس إنذار
اختبروا ذلك على أربعة أنظمة ذكاء اصطناعي رئيسية (مثل تلك التابعة لشركة Google وOpenAI). كانت النتائج مخيفة ولكنها مفيدة:
- الأساليب القديمة فشلت: الاختبارات الأمنية التقليدية كانت تنظر فقط إلى ما يقوله الذكاء الاصطناعي. لقد فاتهم حقيقة أن الذكاء الاصطناعي كان يوجهك إلى مواقع إلكترونية سيئة.
- نجحت أداة CREST-Search: وجدت الأداة 80.5% من المخاطر.
- الخطر "غير المرئي": في 75% من الحالات، كانت إجابة الذكاء الاصطناعي الفعلية مهذبة وآمنة تماماً. الخطر كان فقط في الروابط التي قدمها. إذا نقرت على تلك الروابط، فستقع في ورطة.
ماذا يجب أن نفعل؟ (الحل)
تقترح الورقة طريقتين لإصلاح ذلك:
- فحص "البواب": قبل أن يعرض الذكاء الاصطناعي رابطاً، يحتاج إلى حارس أمن يفحص الموقع أولاً. هل هذا الموقع آمن؟ هل يحتوي على خطاب كراهية؟ إذا كان الأمر كذلك، فلا تظهر الرابط. (الجانب السلبي: قد يجعل هذا الذكاء الاصطناعي أبطأ).
- تدريب الذكاء الاصطناعي: استخدام الأسئلة "السيئة" التي أنشأها الباحثون لتدريب الذكاء الاصطناعي. تعليمه: "مهلاً، عندما يسألك شخص ما هذا السؤال الماكر، لا تذهب إلى ذلك الموقع المشبوه. اذهب إلى موقع آمن بدلاً من ذلك".
الخلاصة
هذه الورقة هي جرس إنذار كبير. بينما نمنح الذكاء الاصطناعي إمكانية الوصول إلى الإنترنت المباشر، لا يمكننا مجرد الوثوق في كونه آمناً. الإنترنت مليء بالفخاخ، والذكاء الاصطناعي يتعلم الوقوع فيها.
الخلاصة: مجرد كون الذكاء الاصطناعي يبدو ذكياً ومهذباً لا يعني أن الروابط التي يعطيها لك آمنة. نحن بحاجة إلى قواعد سلامة جديدة تتحقق ليس فقط مما يقوله الذكاء الاصطناعي، بل أيضاً من أين يرسلُك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.