ملخص تقني: MemLineage

بيان المشكلة

تعتمد وكلاء النماذج اللغوية الكبيرة (LLM agents) الحديثة على مخازن ذاكرة مستمرة لتجميع سجلات الدردشة، وعوائد الأدوات، والملاحظات المستنتجة عبر جلسات المستخدم. وبينما تمكن هذه الذاكرة من تنفيذ سير عمل متعدد الخطوات، إلا أنها أصبحت سطح هجوم حرج. تُظهر الأبحاث الحديثة (مثل AgentPoison و MINJA و MemoryGraft و Zombie Agents) أن الخصوم يمكنهم حقن محتوى خبيث في ذاكرة الوكيل، والذي قد يظل كامناً عبر الجلسات ليظهر لاحقاً كأمر لتفعيل إجراءات حساسة.

تتمثل الفجوة التنفيذية الجوهرية المحددة في أن الدفاعات الحالية تفشل في التعامل مع غسيل الذاكرة (memory laundering). إذ يمكن لخصم متطور زرع "مكونات" في مصادر غير موثوقة، مما يسمح لحلقة الاسترجاع والتلخيص الطبيعية للوكيل بتوليد مدخل جديد مشتق. ولأن هذا المدخل المشتق تمت صياغته بواسطة الوكيل نفسه، فإنه يحمل توقيعاً تشفيرياً صالحاً، مما يجعله غير قابل للتمييز عن المحتوى الحميد بالنسبة للدفاعات التي تعتمد على التوقيع فقط. وبناءً على ذلك، قد يسترجع الوكيل لاحقاً هذا المدخل "المغسول" وينفذ إجراءات حساسة (مثل التحويلات المالية) بناءً على أصل غير موثوق، مما يكسر سلسلة عهدة البيانات (chain of custody).

تعاني الحلول الحالية من قيود محددة:

• طبقات التوقيع فقط (Signature-only layers): تتحقق من الكاتب ولكنها لا تستطيع تتبع تاريخ الاشتقاق.
• المخططون القائمون على IFC (مثل Fides): يفرضون الملصقات أثناء التخطيط ولكنهم يفقدونها عبر خطوات الاشتقاق التي يقوم بها النموذج اللغوي الكبير.
• مرشحات الاسترجاع (مثل RAGPart): لا تستطيع التمييز بين ملخص حميد وحمولة مغسولة إذا وصل كلاهما عبر طرف موثق.
• الدفاعات الخشنة (مثل Memory Sandbox): غالباً ما تحظر جميع عمليات الاستدعاء بعد التعرض للخطر، مما يضحي بالمنفعة.

المنهجية: تصميم MemLineage

يعالج MemLineage هذه المشكلة من خلال التعامل مع أمن الذاكرة كـ مشكلة سلسلة عهدة بدلاً من كونها مشكلة تصفية. يقوم بربط إثبات المصدر (provenance) وتتبع اشتقاق موزون بكل مدخل في الذاكرة. يتكون النظام من ست وحدات:

1. بيانات المصدر الوصفية (M1): كل مدخل هو سجل ProvEntry يحتوي على الفاعل الكاتب، وهاش المصدر، وهاش السياق، وقائمة بمدخلات الأب مع أوزان الإسناد.
2. الربط التشفيري (M2): يتم توقيع المدخلات باستخدام مفاتيح Ed25519 لكل فاعل. يغطي التوقيع ترميز CBOR المعياري لجميع الحقول باستثناء التوقيع نفسه.
3. سجل الإضافة فقط (M3): يسجل سجل Merkle من طراز RFC 6962 هاشات المدخلات. تتم معالجة الحذف عبر علامات "توابيت" (tombstone) موقعة لمنع إعادة كتابة التاريخ.
4. رسم بياني موجه غير حلقي للنسب (Lineage DAG) (M4): حيث تمثل الحواف الاشتقاق الذي تم بوساطة النموذج اللغوي الكبير. كل حافة $(p, c)$ لها وزن $w(p, c) \in [0, 1]$ يتم تحديده بواسطة خوارزمية الإسناد.
   • قاعدة الانتشار: يتم نشر الثقة عبر قاعدة "الحد الأقصى للحواف القوية". يرث المدخل $c$ مستوى ثقة والده $p$ إذا كان $w(p, c) > \tau$ (عتبة إزالة التصنيف).
   • استمرار المسار غير الموثوق (النظرية 1): إذا وجد مسار من سلف "خارجي" (External) إلى مدخل حالي حيث يتجاوز وزن كل حافة العتبة $\tau$، يتم تصنيف المدخل الحالي كـ "مشتق-غير موثوق" (Derived-Untrusted).
5. الاسترجاع المدرك للمتحقق (M5): قبل دمج مدخل في مطالبة (prompt) النموذج اللغوي، يتحقق M5 من التوقيعات، وبراهين الاشتمال، ويقدم المدخل مع ملصق ثقة هيكلي (مثل [trust=DERIVED_UNTRUSTED]).
6. بوابة الإجراءات الحساسة (M6): قبل إرسال استدعاء أداة (خاصة إلى المصارف الحساسة مثل عمليات الكتابة في الملفات أو المدفوعات)، يفحص M6 المطالبة النشطة. إذا كان المبرر للمعامل (parameter) ينحدر من سلف "مشتق-غير موثوق" أو "خارجي"، يتم رفض الاستدعاء. يدعم M6 أيضاً إصلاح السلطة (Authority Repair)، حيث يمكنه استبدال المعاملات المستمدة من مصدر المهاجم بقيم من أصل موثوق بشكل جراحي.

يدعم النظام ثلاث خوارمازميات للإسناد:

• الخشنة (Coarse): وزن ثنائي (1.0) إذا كان الأب موجوداً في سياق الاسترجاع.
• LmSelfEval: يقوم نموذج لغوي ثانوي بتقييم التأثير الدلالي (محصن ضد حقن المطالبات عبر أغلفة JSON).
• AttnAttr: تحليل الانتباه "الصندوق الأبيض" (يتطلب نماذج مفتوحة الأوزان).

المساهمات الرئيسية

1. عبء عمل اختبار النسب (Lineage-Stress Workload): يقدم البحث نموذج هجوم "النائم عبر الاشتقاق". بخلاف الحقن المباشر، يقوم هذا العبء بزرع مكونات في مصادر غير موثوقة، مما يجبر النموذج اللغوي على اشتقاق حمولة خبيثة كمدخل جديد وموقع. وهذا يفصل بين الدفاعات المعتمدة على التوقيع فقط والدفاعات المدركة للنسب.
2. قاعدة الانتشار الرسمية: يصيغ التصميم نظرية استمرار المسار غير الموثوق، ويثبت أنه إذا كان كل وزن حافة في سلسلة الاشتقاق "قوياً" (فوق العتبة $\tau$)، فإن ملصق عدم الثقة ينتشر إلى نهاية السلسلة.
3. خوارزميات الإسناد والمقايضات: يقيم البحث ثلاث استراتيجيات للإسناد ويحدد التفاعل بين عتبة النسب ($\tau$) وطول السلسلة ($K$). ويوضح أن قياس $\tau$ لمرة واحدة غير كافٍ؛ إذ تتطلب السلاسل الأعمق عتبات أقل للحفاظ على السلامة تحت تأثير تضاؤل ثقة الإسناد.
4. إطار تقييم شامل من البداية للنهاية: يتم توفير إطار عمل حتمي وقابل للتكرار يثبت سلوك المهاجم ويتجنب استدعاءات واجهة برمجة تطبيقات النماذج اللغوية الحقيقية للقياسات الأساسية. وهو ينتج مخرجات متطابقة بايت بـ بايت للتحقق من CI فيما يخص معدل نجاح الهجوم (ASR)، وخطوط الأساس للمنفعة، واختبارات استبعاد النسب.

النتائج

يقارن التقييم بين ثلاثة تكوينات: no_defense (بدون دفاع)، و sig_only_baseline (التوقيعات + سجل Merkle، بدون نسب)، و MemLineage (الحزمة الكاملة).

• معدل نجاح الهجوم (ASR):

  • AgentPoison (المرتبط بالمحفز): يحقق كل من sig_only_baseline و MemLineage معدل ASR قدره 0.00 (التوقيعات تمنع الكتاب غير الموثوقين).
  • MemoryGraft (تسميم الاسترجاع): يفشل sig_only_baseline (ASR قدره 1.00) لأن المدخلات موقعة من قبل الوكيل. يحقق MemLineage معدل ASR قدره 0.00 عبر تتبع النسب إلى سلف خارجي.
  • Sleeper-via-Derivation (النائم عبر الاشتقاق): يفشل sig_only_baseline (ASR قدره 1.00) لأن المدخل المشتق موقع بشكل صحيح. يحقق MemLineage معدل ASR قدره 0.00 عبر نشر ملصق عدم الثقة عبر سلسلة الاشتقاق.
  • الخلاصة: MemLineage هو التكوين الوحيد الذي خفض ASR إلى الصفر عبر جميع عائلات الهجمات الثلاث.

• الأداء:

  • العبء الإضافي لكل عملية هو أقل من ميلي ثانية. يبلغ متوسط مسار الكتابة السريع (بما في ذلك التوقيع وتسجيل Merkle) حوالي 214 ميكروثانية، والتحقق حوالي 82 ميكروثانية. هذا أقل بكثير من ضوضاء استدعاءات API الخاصة بالنماذج اللغوية الكبيرة.

• المنفعة (النتائج الإيجابية الخاطئة):

  • في سير العمل الحميد، يحقق MemLineage معدل إرسال شرعي قدره 1.00 (صفر نتائج إيجابية خاطئة). لقد نجح في السماح بسلاسل الاشتقاق الموثوقة واسترجاع المحتوى الخارجي غير الحساس.
  • إصلاح السلطة (Authority Repair): في سيناريوهات AgentDojo المصرفية، يحظر MemLineage مع إصلاح السلطة 100% من الهجمات مع استعادة المنفعة في 5/6 من الأزواج، متفوقاً على استراتيجيات الرفض أو إعادة المحاولة البسيطة.

• حساسية العتبة:

  • يوضح اختبار $\tau \times K$ أنه بالنسبة لأوزان الإسناد المتضائلة (مثل $w_0=0.9, d=0.7$)، فإن النشر الذي يسمح بـ $K=5$ قفزات يتطلب $\tau \le 0.10$، بينما قد يشير قياس $K=1$ إلى $\tau \le 0.30$.

الأهمية والادعاءات

يزعم البحث أن MemLineage يوفر أداة تنفيذ دقيقة التفاصيل تحافظ على الذاكرة طويلة المدى المفيدة بينما تمنع الأصول غير الموثوقة من تفويض الإجراءات الحساسة.

• التميز: على عكس الدفاعات الخشنة التي تزيل الاسترجاع تماماً، يحافظ MemLineage على منفعة الذكريات المشتقة مع ضبط الإجراءات الحساسة بصرامة بناءً على المصدر.
• الاكتمال: إنه النظام الوحيد الذي تم تقييمه والذي يغطي أربعة أبعاد مجتمعة: النزاهة التشفيرية لملصق الثقة، إسناد النسب عبر اشتقاق النموذج اللغوي، الاستمرارية عبر الجلسات لملصق الثقة، وتغطية المدخلات المشتقة من الوكيل.
• التواضع: يقر المؤلفون بأن النظام يعتمد على موثوقية أوزان الاستدلال للنموذج اللغوي (لا يمكنه اكتشاف الأبواب الخلفية في النموذج نفسه)، وأن أقوى خوارزمية إسناد (AttnAttr) تتطلب نماذج مفتوحة الأوزان. إن حالة "عدم وجود أب قوي" (no-strong-parent) تعود افتراضياً إلى "موثوق" (Trusted)، وهو ما قد يُستغل إذا قام خصم بكبح جميع حواف الإسناد تحت العتبة $\tau$، رغم أن تقوية أغلفة JSON تخفف من مخاطر حقن المطالبات.

يخلص البحث إلى أن MemLineage ينقل نموذج الدفاع من "تصفية المحتوى" إلى "فرض سلسلة العهدة"، مما يوفر مساراً قابلاً للتطبيق لوكلاء النماذج اللغوية الكبيرة المستمرين والآمنين.