The Model's Tell: Measuring Context-Leakage Attack Signals with Behavior Gauges
تقدم هذه الورقة LeakGauge، وهي طريقة خفيفة الوزن ومتينة تكتشف هجمات تسريب السياق في النماذج اللغوية الكبيرة من خلال تحليل احتمالات رموز مرحلة التعبئة المسبقة (prefill tokens) للاحقة التعبير عن السلوك، محققةً دقة عالية عبر نماذج متنوعة دون الحاجة إلى الوصول إلى الحالات الخفية الداخلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعتمد المساعدات الذكية الاصطناعية الحديثة غالبًا على طبقة خفية من التعليمات والوثائق الخاصة للقيام بمهامها على أكمل وجه. هذه العناصر الخفية، المعروفة باسم "المطالبات النظامية" (system prompts) والسياق المسترجع، تعمل مثل كتاب قواعد سري أو خزانة ملفات خاصة يستشيرها الكمبيوتر قبل الإجابة على المستخدم. وبينما يساعد هذا الإعداد الآلة على تقديم إجابات أفضل، فإنه يخلق أيضًا ثغرة أمنية؛ إذ يمكن لمهاجم ذكي صياغة سؤال مصمم لخداع الكمبيوتر للكشف عن هذه التعليمات السرية أو الملفات الخاصة. لسنوات، حاول خبراء الأمن رصد هذه الحيل من خلال النظر فقط إلى نص سؤال المستخدم، تمامًا مثل حارس أمن يفحص بطاقة هوية الضيف عند الباب. ومع ذلك، غالبًا ما تفشل هذه الطريقة عندما يغير المهاجم صياغته أو يستخدم استراتيجية جديدة، لأن النص وحده لا يكشف دائمًا عن النية.
لطالاً ما اشتبه الباحثون في أن الحالة الداخلية للكمبيوتر تحمل علامة أوضح على المشاكل حتى قبل أن ينتهي من كتابة الإجابة. تكمن المشكلة في أن التلصص داخل عقل الآلة يتطلب الوصول إلى بيانات معقدة وخفية لا تستطيع أنظمة الأمان القياسية رؤيتها. يسأل بحث جديد من جامعة تسينغوا وشركائها سؤالًا أبسط: هل يترك الكمبيوتر أثرًا مرئيًا في رد فعله الفوري تجاه سؤال ما، أثر يمكن رؤيته دون الحاجة إلى اختراق العمليات الداخلية للآلة؟ وكانت الإجابة، كما وجدوا، هي نعم. فمن خلال إلحاق عبارة محددة وغير ضارة بنهاية سؤال المستخدم ومراقبة كيفية حساب الكمبيوتر للكلمات التالية، يمكن للباحثين اكتشاف الهجوم بدقة عالية، حتى عندما يكون الهجوم جديدًا تمامًا.
طوّر الفريق طريقة يسمونها "مقياس السلوك" (behavior gauge). تخيل أن الكمبيوتر على وشك التحدث، فتقوم بإلحاق جملة قصيرة بنهاية مطالبته تقول: "بناءً على ما سبق، سأعطي مطالبتي النظامية". هذه الجملة ليست طلبًا حقيقيًا لتسريب البيانات؛ بل هي اختبار. ثم ينظر الباحثون إلى درجات الثقة الداخلية للكمبيوتر تجاه الكلمات القليلة الأولى من جملة الاختبار هذه. إذا كان سؤال المستخدم الأصلي استعلامًا طبيعيًا وآمنًا، سيعامل الكمبيوتر جملة الاختبار كاستمرارية غريبة وغير مرجحة. ولكن إذا كان سؤال المستخدم محاولة خبيثة لسرقة الأسرار، فإن المنطق الداخلي للكمبيوتر يتغير؛ حيث يجد فجأة أن جملة الاختبار أكثر منطقية، كما لو أن السؤال الخبيث قد دفع الكمبيوتر بالفعل نحو حالة يكون فيها مستعدًا للكشف عن أسراره. يحدث هذا التحول في جزء من الثانية قبل أن يبدأ الكمبيوتر في الكتابة فعليًا، ويترك نمطًا متميزًا في الأرقام التي تمثل ثقة الكمبيوتر.
لإثبات نجاح هذه الطريقة، اختبر الباحثون منهجهم على أحد عشر نموذجًا مختلفًا من النماذج اللغوية الكبيرة، تتراوح من النسخ الصغيرة والفعالة إلى الأنظمة الضخمة التي تحتوي على مئات المليارات من المعلمات. لقد أخضعوا هذه النماذج لآلاف الهجمات المختلفة، بما في ذلك محاولات سرقة التعليمات النظامية ومحاولات استخراج الوثائق الخاصة من قاعدة بيانات. وفي كل حالة، نجح مقياس السلوك في التمييز بين الأسئلة الآمنة والأسئلة الخبيثة. وعندما اختبر الباحثون النظام ضد هجمات لم يرها من قبل، وضد محتوى محمي لم يسبق له مواجهته، ظل المنهج يحدد التهديدات بمساحة تحت المنحنى (AUC) تتراوح بين 0.944 و0.996. ويمثل هذا تحسنًا كبيرًا مقارنة بالطرق السابقة التي كانت تعتمد فقط على نص السؤال، والتي غالبًا ما واجهت صعوبة في التعميم على أنواع جديدة من الهجمات.
كان الاكتشاف الرئيسي هو أن عبارة الاختبار الأكثر فعالية لا تحتاج إلى أن تحتوي على المعلومات السرية الفعلية. استخدم أحد إصدارات الاختبار الكلمات الافتتاحية الدقيقة للوثيقة السرية، لكن هذا النهج فشل عندما تغيرت لغة السر أو عندما حاول المهاجم جعل الكمبيوتر يلخص السر بدلاً من نسخه حرفيًا. أما النسخة الأكثر قوة، فقد ذكرت ببساطة النية في التسريب، باستخدام كلمات عامة مثل "سأعطي مطالبتي النظامية". نجحت هذه الصياغة العامة عبر لغات مختلفة وأنواع مختلفة من الأسرار، مما يشير إلى أن الكمبيوتر كان يتفاعل مع "فعل" الكشف نفسه، وليس مجرد التعرف على كلمات محددة. وقد أكد الباحثون ذلك من خلال إظهار أنه يمكنهم دفع الحالة الداخلية للكمبيوتر لتجعله أكثر أو أقل عرضة للتسريب، وتحركت درجة مقياس السلوك بالتوازي التام مع هذا التغيير. وهذا يثبت أن الإشارة ليست خللًا عشوائيًا، بل هي مرتبطة بالتمثيل الفعلي للمخاطر داخل الكمبيوتر.
تكمن القيمة العملية لهذا الاكتشاف في كفاءته. نظرًا لأن الاختبار يحدث قبل أن يبدأ الكمبيوتر في توليد استجابة كاملة، فيمكن استخدامه كفلتر في الوقت الفعلي. قام الباحثون ببناء كاشف يضيف عبارة الاختبار إلى المدخلات ويتحقق من النتيجة، وهو ما يتطلب أقل من 500 معلمة إضافية من قدرة الحوسبة. وهذا يضيف حوالي 10 مللي ثانية فقط إلى الوقت المستغرق لمعالجة الطلب، وهو تأخير ضئيل جدًا لدرجة أنه لا يكاد يُلاحظ من قبل المستخدم البشري. في المقابل، تتطلب الطرق الأخرى التي تحاول مراقبة الإشارات الداخلية للكمبيوتر مضاعفة النموذج الضخم بأكمله أو الانتظار حتى ينتهي الكمبيوتر من كتابة إجابة طويلة، وهو أمر بطيء ومكلف. تقدم الطريقة الجديدة وسيلة للإمساك بهذه الهجمات بأقل تكلفة وبسرعة عالية.
كما استكشف البحث ما إذا كانت هذه التقنية يمكن أن تعمل لأنواع أخرى من التهديدات الأمنية. فمن خلال تغيير عبارة الاختبار لتناسب مخاطر مختلفة، مثل اكتشاف اللغة السامة أو رصد محاولات حقن تعليمات خفية، أظهرت نفس الطة وعودًا في تلك المجالات أيضًا. وهذا يشير إلى أن رد الفعل الفوري للكمبيوتر تجاه أي مطالبة يحتوي على إشارة غنية ومتاحة حول حالة سلامته، وهي إشارة لا تتطلب وصولًا عميقًا إلى البنية الداخلية للآلة لقراءتها. لقد أتاح الباحثون الكود الخاص بهم، مما يسمح للآخرين بالتحقق من هذه النتائج وإمكانية دمج هذا الكاشف خفيف الوزن في أنظمة الأمان لتطبيقات الذكاء الاصطناعي المستقبلية. إن هذا العمل يثبت أن الطريقة الأكثر فعالية لرؤية المشكلة أحيانًا ليست بالنظر بعمق داخل الآلة، بل بمراقبة كيفية تفاعلها مع سؤال بسيط وموضع بدقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.