Authorization Before Context: A Model-Neutral Audience Boundary Against Cross-Audience Memory Leakage in Agentic Systems
تقترح هذه الورقة "التفويض قبل السياق"، وهو ثابت أمني محايد للنماذج يمنع تسرب الذاكرة عبر الجمهور، وذلك من خلال فرض قاعدة صارمة لعضوية الجمهور عند الانتقال من الذاكرة إلى السياق، مما يضمن عدم تعرض الحقائق المسجلة لجماهير أضيق للجمهور الأوسع بغض النظر عن سلوك النموذج أو المدخلات المسمومة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مساعداً شخصياً لا ينسى شيئاً أبداً. هذا المساعد الرقمي يستمع إلى محادثاتك الخاصة، ويتذكر دردشاتك الجماعية مع الأصدقاء، ويخزن تفاصيل اجتماعات عملك. لقد صُمم ليكون مفيداً، حيث يستحضر المعلومات الصحيحة في الوقت المناسب لمساعدتك في صياغة رسالة أو الإجابة على سؤال. لكن هذه القوة ذاتها تخلق نقطة ضعف خطيرة. فإذا تعلم المساعد سراً بينما كنت بمفردك مع صديق، يجب ألا يهمس بهذا السر نفسه بالخطأ لمديرك لاحقاً، حتى لو طرح المدير سؤالاً يتطلب تلك المعلومة. تكمن الخطورة في كيفية بناء المساعد لأفكاره؛ فقبل أن يتحدث، يقوم بجمع مجموعة من الملاحظات والذكريات لتغذية عقله. وإذا التقط ملاحظة خاصة مخصصة لك ولصديقك فقط ووضعها في رسالة لمديرك، فإن السر سينكشف. الضرر يحدث في اللحظة التي تُدرج فيها الملاحظة، قبل وقت طويل من قيام المساعد حتى بتكوين جملة واحدة.
هذه هي المشكلة المحددة التي تعالجها دراسة جديدة: كيف نمنع المساعد الذكي من مشاركة الذكريات الخاصة مع الأشخاص الخطأ عن طريق الخطأ. يركز الباحثون على اللحظة الدقيقة التي يجمع فيها المساعد ملاحظاته. يقترحون قاعدة بسيطة وصارمة تعمل كحارس بوابة قبل السماح لأي معلومة بالدخول إلى ذاكرة المساعد العاملة. فبدلاً من السؤال: "هل هذه الملاحظة مفيدة؟" أو "هل تتوافق مع السؤال؟"، يطرح النظام سؤالاً واحداً حازماً: "هل كان كل من يستمع إلى هذه الرسالة حاضراً بالفعل عندما كُتبت هذه الملاحظة لأول مرة؟". إذا كانت الإجابة بنعم، يُسمح بدخول الملاحظة. أما إذا غاب شخص واحد فقط عن المحادثة الحالية عما كان موجوداً عند إنشاء الملاحظة، تُحجب الملاحظة فوراً. تعمل هذه القاعدة مثل حارس بوابة يتحقق من قائمة الضيوف، لكنها تفعل ذلك قبل أن تبدأ الحفلة، مما يضمن عدم عبور أي معلومة خاصة الخط إلى غرفة لا تنتمي إليها.
اختبر الباحثون هذه الفكرة باستخدام محاكاة حاسوبية صُممت لمحاكاة الارتباك والخداع في العالم الحقيقي. أنشأوا سيناريو يتضمن تسعة وسبعين موقفاً مختلفاً، تتراوح من الدردشات البسيطة بين شخصين إلى المحادثات الجماعية المعقدة حيث تكون قائمة المشاركين غير واضحة أو متغيرة. في كل حالة من الحالات، حاولوا خداع النظام لتسريب سر ما. قاموا بمحاكاة موقف كُتبت فيه ملاحظة في دردشة خاصة بين شخصين، ثم حاول المساعد استخدام تلك الملاحظة في دردشة جماعية تضم ثلاثة أشخاص. كما قاموا بمحاكاة سيناريو زرع فيه طرف خبيث ملاحظة مزيفة في محادثة خاصة، على أمل أن تظهر لاحقاً في إطار عام. وفي جميع المحاولات التسع والسبعين، صمدت القاعدة الصارمة؛ فلم تمر حقيقة واحدة محظورة إلى الملاحظات العاملة للمساعد. نجح النظام في حجب كل قطعة معلومات غير مصرح بها، مما أثبت أن القاعدة تعمل بحكم التصميم، وليس بمحض الصدفة.
ما يجعل هذا النهج مختلفاً هو أنه لا يعتمد على الذكاء الاصطناعي ليكون حذراً. تحاول العديد من الأنظمة الحالية معالجة المشكلة بعد وقوعها، آملةً أن يلاحظ الذكاء الاصطناعي خطأ ما ويرفض قول شيء خاص، أو تحاول تعديل الإجابة النهائية لإزالة الكلمات الحساسة. يرى الباحثون أن هذا متأخر جداً؛ فقد رأت "عقل" الذكاء الاصطناعي المعلومات الخاصة بالفعل. طريقتهم توقف التسريب قبل أن يرى الذكاء الاصطناعي الملاحظة المحظورة. إنهم يعاملون ذاكرة المساعد كمجموعة من الصناديق المغلقة، حيث يتم وضع ملصق على كل صندوق يحدد المجموعة المحددة من الأشخاص الذين كانوا حاضرين عند وضع المحتويات بداخله. لا يفتح النظام الصندوق إلا إذا تطابقت المجموعة الحالية من الأشخاص مع الملصق تماماً. إذا كانت المجموعة أكبر أو مختلفة، يظل الصندوق مغلقاً. وهذا يضمن أن السر الذي تمت مشاركته في دائرة صغيرة لن ينسكب بالخطأ إلى جمهور أكبر، وأن الملاحظة المزروعة في دردشة خاصة لا يمكن أن تنتشر إلى واحدة عامة.
نظرت الدراسة أيضاً فيما يحدث عندما يكون النظام غير متأكد ممن يستمع. في الحياة الواقعية، تفشل التكنولوجيا أحياناً في تحديد من هو موجود في المحادثة بدقة. برمج الباحثون قاعدتهم لتكون حذرة للغاية في هذه اللحظات. فإذا لم يتمكن النظام من تحديد المستمعين الحاليين بوضوح، فإنه يفترض السيناريو الأسوأ: وهو أن الجمهور هو الجميع. وهذا يعني أنه سيعرض فقط المعلومات التي تمت مشاركتها أصلاً مع العالم أجمع، مما يؤدي فعلياً إلى إخفاء جميع الملاحظات الخاصة. هذا السلوك "الآمن من الفشل" يضمن أن عدم اليقين لن يؤدي أبداً إلى تسريب. أكد الباحثون أن نظامهم يعمل عبر أنواع مختلفة من تخزين الذاكرة، سواء كانت الملاحظات مخزنة كقائمة بسيطة، أو ملخص، أو شبكة معقدة من الروابط. وفي كل حالة، عملت القاعدة كحاجز ثابت، مانعةً دخول أي معلومات غير مصرح بها إلى رؤية المساعد.
بينما تبدو النتائج واعدة، يوضح الباحثون بحذر أن نتائجهم مستمدة من بيئة اصطناعية محكومة. لم يختبروا هذا على مساعد حقيقي مع مستخدمين بشريين فعليين أو محادثات مباشرة. كانت الاختبارات محاكاة صارمة، ساحة اختبار رقمية حيث تُتبع القواعد بدقة. لم يثبتوا بعد أن هذا النظام يعمل بشكل مثالي في العالم الحقيقي الفوضوي وغير المتوقع، كما لم يثبتوا قدرته على التعامل مع كل الطرق الممكنة لخداع النظام. ومع ذلك، فإن الفكرة الجوهرية — وهي أن قاعدة التحقق المسبق البسيطة يمكن أن توقف تسريبات الذاكرة بحكم التصميم — قد تم إثبات نجاحها في كل سيناريو جربوه. يشير العمل إلى أنه من خلال تغيير كيفية التحقق من الأذونات قبل جمع المعلومات، بدلاً من محاولة إصلاح الأخطاء بعد حدوثها، يمكننا بناء مساعدين يحترمون الخصوصية افتراضياً، ويحافظون على الذكريات الخاصة في مكانها الصحيح تماماً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.