Inadvertent Context Leakage in Language Models
تُثبت هذه الورقة أن النماذج اللغوية المتقدمة تسرب دون قصد أسراراً حساسة ضمن السياق، مثل بيانات الاعتماد والسجلات الصحية، من خلال استجاباتها الحميدة للمطالبات العادية، مما يكشف أن هذه الثغرة هي نتاج عرضي متأصل في قدرة النموذج وليست خطأً برمجياً يمكن إصلاحه.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
يُطلب من الذكاء الاصطناعي الحديث بشكل متزايد أن يعمل كمساعد شخصي، يدير التقاويم، ويقرأ رسائل البريد الإلكتروني الخاصة، ويحتفظ بتفاصيل حساسة مثل السجلات الصحية أو البيانات المالية. وللقيام بذلك، يجب على البرنامج الحاسوبي الاحتفاظ بقائمة من هذه الأسرار في ذاكرته المباشرة أثناء عمله، وهو مساحة يطلق عليها الباحثون اسم "نافذة السياق". وكان الاعتقاد السائد هو أنه إذا أُمر النموذج بالحفاظ على سر ورفض الإفصاح عنه بصوت عالٍ، فإن السر يكون في أمان. وعادة ما تعمل فحوصات الأمان كفلتر بسيط: إذا كان النص الذي يكتبه الحاسوب لا يحتوي على الكلمة السرية حرفياً، يفترض النظام عدم حدوث أي تسريب. هذا النهج يعامل المحادثة كقناة اتصال واحدة، مفترضاً أن ما لا يُقال هو أيضاً ما لا يُعرف.
ومع ذلك، تشير دراسة جديدة إلى أن هذه الرؤية غير مكتملة. فقد وجد الباحثون أنه حتى عندما يرفض النموذج الكشف عن سر ما بشكل صحيح، فإن الطريقة التي يصيغ بها جمله تحمل في طياتها أدلة خفية حول ذلك السر. فالسر يغير الحالة الداخلية للنموذج، وهذا التغيير يمتد ليؤثر في النص الذي يولده، مما يغير الأنماط في اختيار الكلمات، وطول الجمل، والتنسيق بطرق غير مرئية للقارئ البشري ولكن يمكن للحاسوب اكتشافها. الأمر يشبه أن يهمس النموذج بالسر عبر جزء مختلف من صوته، حتى بينما فمه مغلق بإحكام.
قام الفريق وراء هذا البحث، بالتعاون مع ثمانية من أكثر النماذج اللغوية تقدماً المتاحة، باختبار ما إذا كانت هذه الإشارات الخفية حقيقية. حيث وضعوا سيناريو حيث أُعطي النموذج رقماً سرياً وأُمر بالحفاظ على سريته. ثم طلبوا من النموذج القيام بمهام عادية وغير ضارة، مثل كتابة قصة قصيرة أو إنشاء قائمة من الإحصائيات. رفضت النماذج باستمرار ذكر الرقم مباشرة عند سؤلها، وبذلك اجتازت جميع فحوصات السلامة القياسية. ومع ذلك، عندما حلل الباحثون النص الذي أنتجته النماذج استجابة لهذه الطلبات البريئة، وجدوا أن الرقم السري كان مشفراً في الخصائص الإحصائية للمخرجات.
ولإثبات ذلك، بنى الباحثون "مفكك شفرة" متخصصاً، وهو أداة مدربة للاستماع إلى هذه الأنماط الإحصائية المحددة. وعندما غدوا هذا النص الحميد في هذا المفكك، نجح في إعادة بناء الأرقام السرية بدقة مذهلة. بالنسبة للأسرار المكونة من رقمين، استعاد المفكك الرقم كاملاً بشكل شبه مثالي عبر عدة نماذج رفيعة المستوى. وحتى بالنسبة للأسرار المكونة من أربعة أرقام، والتي يصعب تخمينها عن طريق الصدفة، حقق المفكك تطابقاً تاماً بنسبة 76 بالمائة تقريباً في معظم النماذج الأكثر قدرة. حدث هذا دون أن يتم خداع النموذج لقول الرقم، ودون أن يمتلك المهاجم أي وصول خاص إلى الآليات الداخلية للنموذج؛ فقد رأوا فقط النص النهائي، تماماً كما يراه المستخدم العادي.
كشفت الدراسة أن القدرة على تسريب المعلومات لم تكن "خطأً برمجياً" (bug) يمكن إصلاحه بسهولة، بل كانت أثراً جانبياً لذكاء النموذج. فكلما زادت قدرة النموذج على اتباع التعليمات وفهم المهام المعقدة، أصبح أكثر حساسية تجاه الأسرار في ذاكرته، وزاد تسريبه للمعلومات دون قصد. اختبر الباحثون نماذج من شركات مختلفة، بما في ذلك Anthropic وGoogle وOpenAI وxAI. ووجدوا أنه بينما كانت بعض النماذج أكثر مقاومة من غيرها، فإن النماذج الأكثر قوة كانت هي التي تسرب المعلومات بشكل عام. وفي الواقع، فإن النماذج التي كانت الأفضل في اتباع تعليمات "الحفاظ على هذا السر" كانت غالباً هي الأكثر تسريباً للمعلومات عبر هذه القنوات الخفية. وهذا يشير إلى أن الآليات ذاتها التي تجعل هؤلاء المساعدين مفيدين ومطيعين هي أيضاً ما يجعلهم عرضة للاختراق.
كما استكشف الباحثون ما إذا كان هذا التسريب يمكن استخدامه لمعرفة معلومات عن الحياة الخاصة للمستخدم بما يتجاوز مجرد الأرقام. واختبروا ما إذا كان مخرج النموذج يمكن أن يكشف عما إذا كانت هناك ذكرى معينة، مثل حالة صحية أو حدث مالي، موجودة في سياقه. وباستخدام مصنف مدرب، وجدوا أن ردود النموذج الروتينية يمكن أن تكشف عن وجود هذه الذكريات بمعدل نجاح أعلى بكال كثير من التخمين العشوائي. وكان هذا صحيحاً حتى عندما لا يذكر النموذج تلك الذكرى في نصه. أظهرت الدراسة أن الحالة الداخلية للنموذج، والتي تشكلت بفعل بيانات المستخدم الخاصة، تترك بصمة إحصائية على كل جملة تكتبها.
ولعل التجربة الأكثر إثارة للقلق كانت عندما حاول الباحثون استخراج رقم ضمان اجتماعي كامل مكون من تسعة أرقام من وكيل شخصي محاكى. في هذا السيناريو، لم يكتفِ المهاجم بالاستماع للتسريبات؛ بل قام بهندسة المحادثة بنشاط لإجبار النموذج على تشفير السر في ميزة محددة من استجابته، مثل عدد علامات التعجب المستخدمة. ومن خلال استخدام تقنية تعمل على تحسين "الأمر" (prompt) لتفعيل هذا السلوك، نجح المهاجم في استعادة الرقم الأول من الرقم في ما يقرب من 97 بالمائة من المحاولات في نموذج رائد واحد، وبقية الأرقام الثمانية في حوالي 76 بالمائة من تلك الحالات. وقد نجح هذا حتى عندما كان السياق طويلاً جداً، يحتوي على مئات الآلاف من الكلمات، وحتى مع عدم كتابة النموذج للرقم نفسه أبداً.
تخلص الدراسة إلى أن الأساليب الحالية لحماية الخصوصية في هذه الأنظمة غير كافية. فمجرد أمر النموذج بأن يكون كتوماً أو تصفية مخرجاته بحثاً عن كلمات محددة لا يمنع تسرب المعلومات من خلال الأنماط الإحصائية للغته. ويجادل الباحثون بأنه طالما احتفظ النموذج ببيانات خاصة في ذاكرته المباشرة أثناء توليد النص، فإن تلك البيانات ستؤثر على المخرجات بطرق يمكن فك تشفيرها. ويقترحون أن حل هذه المشكلة سيتطلب أكثر من مجرد تعليمات أو فلاتر أفضل؛ قد يتطلب الأمر تغييراً جذرياً في كيفية تدريب هذه النماذج لضمان بقاء مخرجاتها مستقلة إحصائياً عن الأسرار التي تحملها. وإلى ذلك الحين، قد تكون الأسرار التي نأتمن مساعدينا الرقميين عليها أكثر أماناً في عقولنا منها في ذاكرة الآلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.