MIND: Lightweight and Effective Memory Injection Defense for LLM Agents via Intent-Aware Information Bottleneck
تقترح هذه الورقة MIND، وهو إطار دفاعي خفيف الوزن يستخدم "عنق زجاجة المعلومات" المدرك للقصد لاستخراج تمثيلات مدمجة للقصد والسلوك، مما يعمل بفعالية على تصفية الذكريات المسمومة في وكلاء النماذج اللغوية الكبيرة مع الحفاظ على دقة المهام وكفاءة الاستدلال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً للغاية يمكنه التحدث إليك، والبحث عن المعلومات، وحل المشكلات المعقدة عبر محادثات عديدة. لكي يكون بارعاً حقاً في ذلك، يحتاج الروبوت إلى "بنك ذاكرة" — مكان لتخزين ملاحظات من دردشاتك السابقة حتى لا ينسى ما كنت تتحدث عنه قبل خمس دقائق. هذا يشبه طالباً يحتفظ بدفتر ملاحظات لدروس الفصل لمساعدته في مشروع طويل الأمد. ومع ذلك، هناك خلل مخيف: يمكن لمخترق متسلل أن يضع ملاحظة مزيفة ومسمومة في ذلك الدفتر. إذا قرأ الروبوت تلك الملاحظة المزيفة لاحقاً، فقد يصاب بالارتباك، أو ينسى هدفه الأصلي، أو يفعل شيئاً سخيفاً أو خطيراً، مثل توزيع أموال مجانية أو الإجابة على مسألة رياضية بشكل خاطئ. يُطلق على هذا اسم "هجوم حقن الذاكرة".
التحدي الكبير أمام العلماء هو كيفية إيقاف هذه الملاحظات المزيفة دون إبطاء حركة الروبوت. الطرق القديمة للتحقق تشبه توظيف معلم بشري لقراءة كل ملاحظة يجدها الروبوت، واحدة تلو الأخرى، ليرى ما إذا كانت مزيفة أم لا. هذا يستغرق وقتاً طويلاً ويستهلك الكثير من الطاقة. تحاول طرق أخرى مجرد مسح الملاحظات بسرعة، لكنها ترتبك بسبب كل التفاصيل المملة والمتكررة في المحادثة، مما يجعلها تفقد علامات الخطر الحقيقية. لذا، السؤال هو: هل يمكننا بناء مرشح ذكي وسريع يتجاهل الضجيج الممل ويبحث فقط عن "الجو العام" الذي يقول: "مهلاً، هذه الملاحظة تحاول خداعنا"؟
هذا هو بالضبط ما سعى الباحثون وراء ورقة بحثية بعنوان "MIND" لحله. لقد ابتكروا نظام دفاع جديداً يسمى MIND (إزالة الضجيج العصبي المدرك للقصد في الذاكرة - Memory Intent-Aware Neural Denoising). فكر في MIND كأنه حارس ذكي عند مدخل ملهى ليلي؛ فبدلاً من أن يطلب من كل ضيف (كل ذكرى) سرد قصة حياته كاملة (وهو أمر بطيء)، يستخدم MIND خدعة خاصة تسمى "عنق زجاجة المعلومات" (Information Bottleneck). تخيل أن لديك كومة ضخمة وفوضوية من الغسيل (تاريخ المحادثة). معظمها مجرد جوارب وقمصان لا تهم الآن. يعمل MIND مثل مجفف سحري يقلص كل شيء، ويرمي الأشياء المنفوشة وغير المفيدة، ويحتفظ فقط بالجوهر الأساسي والمشدود الذي يخبرك من هو الشخص حقاً.
اكتشف الباحثون أنه عندما يتم خداع الروبوت من قبل مخترق، يبدأ سلوكه في الانحراف عما طلبه المستخدم في الأصل. الأمر يشبه صديقاً يبدأ في التصرف بغرابة واختلاف عن طبيعته المعتادة. يراقب MIND هذا الانحراف. يقوم بضغط محادثة الروبوت الطويلة إلى ملخص صغير ونظيف يسلط الضوء على العلاقة بين سؤال المستخدم الأول وإجابة الروبوت الحالية. إذا تعرضت الذاكرة للتسمم، تنكسر هذه العلاقة، ويكتشف MIND "المذكرة المزيفةة" على الفور.
تظهر الورقة البحثية أن هذه الطريقة تعمل بشكل جيد للغاية. في الاختبارات، تمكن MIND من تقليل معدل نجاح الهجوم بنسبة 55% (خفض معدل نجاح المخترقين من أرقام عالية إلى أرقام منخفضة جداً) مع الحفاظ على ذكاء وسرعة الروبوت كما كان من قبل. وعلى عكس الطرق القديمة التي كانت تجعل الروبوت يستغرق ضعف الوقت للتفكير، كان MIND في الواقع أسرع بنسبة 20.6% من المُدقق اللغوي للنماذج اللغوية الكبيرة (LLM Auditor). إنه يشبه وجود حارس أمن يمكنه رصد لص في جزء من الثانية دون جعلك تنتظر في الطابور. وجد المؤلفون أنه من خلال تجاهل "الضجيج" والتركيز فقط على "القصد"، استطاعوا الحفاظ على سلامة الروبوت وسرعته ومساره، مما يثبت أنك لا تحتاج إلى عقل ضخم وبطيء للإمساك بخدعة ذكية — أنت فقط بحاجة إلى نوع صحيح من التركيز.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.