Aborted but Not Forgotten: KV-Cache Retention Breaks Rollback Consistency in Language Agents
تكشف هذه الورقة أن الاحتفاظ بحالات ذاكرة المفتاح-القيمة (KV cache) عبر عمليات الإلغاء المنطقي في الوكلاء اللغويين يخلق ثغرة "اتساق التراجع" (rollback consistency) حرجة حيث تستمر النماذج في الانتباه إلى محتوى تم التخلص منه، وهو خلل هيكلي تم إثباته عبر عائلات متعددة من النماذج يمكن التخفيف من حدته عن طريق استعادة حالات الذاكرة الموضعية للمعاملة بدلاً من الاعتماد فقط على تنظيف السجل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد وكلاء اللغة الحديثة (language agents) برامج حاسوبية مصممة لتعمل كمساعدين بشريين، قادرة على التخطيط، واستخدام الأدوات، واتخاذ القرارات لإتمام مهام معقدة. وللعمل بكفاءة، غالبًا ما تحتفظ هذه الوكلاء بذاكرة جارية لمحادثاتها، وهي عبارة عن سجل رقمي يسمح لها بتذكر ما قيل قبل لحظات. وثمة افتراض جوهري مبني في تصميم هذه الأنظمة وهو أنه إذا ارتكب الوكيل خطأً أو سلك مسارًا خطيرًا، يمكن للمطور ببساطة أن يأمره بـ "التراجع" عن ذلك الإجراء. والتوقع هو أن يقوم النظام بمسح المسار السيئ من ذاكرته والاستمرار كما لو لم يحدث قط، والعودة إلى حالة آمنة ونظيفة. إن مفهوم "التراجع المثالي" هذا ضروري للسلامة؛ فبدونه، قد يرسل الوكيل بالخطأ بريدًا إلكترونيًا حساسًا أو يحول أموالًا إلى الشخص الخطأ، ولن يجد النظام طريقة حقيقية للتراجع عن هذا الخطأ. ومع ذلك، فإن الآليات الداخلية لكيفية معالجة هؤلاء الوكلاء للمعلومات هي أكثر تعقيدًا بكثير من النص البسيط الذي يعرضونه للمستخدمين.
لقد اكتشف الباحثون خللاً خفيًا في كيفية تعامل هذه الأنظمة مع أمر "التراجع". فبينما قد يتم مسح سجل المحادثة المرئي عن فكرة مرفوضة، فإن المحرك الأساسي الذي يشغل الوكيل غالبًا ما يحتفظ بسجل تقني خفي لتلك الفكرة المستبعدة لتوفير الوقت. هذا السجل، المعروف باسم "ذاكرة التخزين المؤقت للمفاتيح والقيم" (key-value cache)، هو منطقة تخزين مؤقتة تسمح للحاسوب بتخطي الحسابات المتكررة والاستجابة بشكل أسرع. وتنشأ المشكلة عندما يُطلب من الوكيل إلغاء فرع محدد من التفكير: حيث يقوم البرنامج بحذف النص من عرض المستخدم، لكن المحرك يفشل في حذف البيانات المقابلة له من ذاكرة التخزين المؤقت الخفية. وبناءً على ذلك، يظل "عقل" الوكيل ينظر إلى المعلومات المستبعدة، حتى وإن كانت الشاشة التي يراها المستخدم تظهر صفحة نظيفة. ويطلق الباحثون على هذه الظاهرة فشل "اتساق التراجع" (rollback consistency)، حيث لا تتطابق الحالة المنطقية للتطبيق مع الحالة المادية لانتباه النموذج.
ولإثبات وجود هذه الفجوة غير المرئية، صمم الباحثون اختبارًا صارمًا فصل بين تأثير النص وتأثير ذاكرة التخزين المؤقت الخفية. فقد أنشأوا سيناريوهين متطابقين حيث طُلب من الوكيل اتخاذ قرار، مثل إرسال رسالة إلى مستلم معين. وفي كلا السيناريوهين، تم تغذية الوكيل أولاً بمعلومة تشير إلى مستلم آخر غير مصرح له. ثم وُضعت هذه المعلومة في فرع "مؤقت" من المحادثة، والذي صدرت تعليمات للنظام برفضه وحذفه. في السيناريو الأول، سمح الباحثون للمحرك بالاحتفاظ بذاكرة التخزين المؤقت الخفية سليمة، مما يعني بقاء المعلومة المرفوضة في الذاكرة الخلفية. أما في السيناريو الثاني، فقد أجبروا المحرك على إعادة بناء ذاكرته من الصفر، مما ضمن ذهاب المعلومة المرفوضة حقًا. ومن الأهمية بمكان أن النص الفعلي الذي غُذي به الوكيل في لحظة القرار كان متطابقًا في الحالتين ولم يحتوي على أي أثر للمستلم غير المصرح له.
كانت النتائج صارخة ومتسقة عبر مجموعة واسعة من نماذج الذكاء الاصطناعي المختلفة. ففي خمس وعشرين حالة من أصل ثلاث وستين حالة اختبار محددة، ارتكب الوكيل خطأً خطيرًا فقط عندما ظلت ذاكرة التخزين المؤقت الخفية سليمة. ورغم أن اسم المستلم غير المصرح له كان غائبًا تمامًا عن النص الذي كان يقرأه الوكيل في تلك اللحظة، إلا أن الوكيل اختار رغم ذلك إرسال الرسالة إلى الشخص الخطأ. حدث هذا لأن ذاكرة التخزين المؤقت الخفية، التي اعتقد التطبيق أنه تم مسحها، كانت لا تزال تؤثر على القرار. وقد أكد الباحثون أن هذا لم يكن خدعة من النص نفسه، حيث لم يتكرر الخطأ نفسه عندما تمت إعادة بناء ذاكرة التخزين المؤقت من السجل الملتزم به والنظيف. لقد كان الخطأ ناتجًا بحتًا عن البيانات القديمة التي بقيت عالقة في الخلفية.
ولم يقتقتصر هذا الضعف على نوع معين من النماذج أو خطأ برمجي نادر. فقد اختبر الباحثون سبع عائلات مختلفة من نماذج الذكاء الاصطناعي مفتوحة المصدر، تراوحت من النماذج الصغيرة ذات 3.8 مليار معلمة إلى النماذج الضخمة ذات 36 مليار معلمة. ووجدوا أنه بينما كانت بعض النماذج أكثر مقاومة للخطأ من غيرها، فإن الخلل الأساسي في نظام الذاكرة كان موجودًا في كل نموذج منها. وحتى عندما استخدم الوكيل ميزة "السفر عبر الزمن" المتطورة التي صممها المطورون للرجوع بالمحادثة بدقة، ظلت ذاكرة التخزين المؤقت الخفية قديمة (stale)، واستمر الوكيل في التصرف بناءً على المعلومات المستبعدة. وقد استمرت المشكلة حتى عندما كان المحتوى المرفوض مجرد بيان محايد عن شخص ما، دون أي أوامر عدوانية، مما أثبت أن مجرد وجود البيانات في ذاكرة التخزين المؤقت الخفية كان كافيًا للتأثير على النتيجة.
كما استبعدت الدراسة عدة تفسيرات شائعة لسبب فشل الوكيل. فلم يكن الأمر يتعلق بطول النص أو موقع الكلمات في الذاكرة، حيث قام الباحثون بمطابقة طول وموقع المدخلات بعناية في اختباراتهم. ولم يكن أيضًا حالة تجاهل فيها الوكيل لتعليمات السلامة، لأن الخطأ حدث حتى عندما طُلب من الوكيل صراحةً تجاهل المحتوى المرفوض. كانت المشكلة هيكلية: تعريف النظام لـ "الحذف" لم يمتد ليشمل الذاكرة الداخلية للمحرك. وقد أثبت الباحثون أن الطريقة الوحيدة لإصلاح ذلك حقًا هي إجبار المحرك على إعادة بناء ذاكرته من السجل المعتمد في كل مرة يحدث فيها تراجع، بدلًا من محاولة ترقيع الذاكرة الموجودة. وهذا الحل، رغم أنه أكثر تكلفة من الناحية الحسابية من مجرد الاحتفاظ بالذاكرة القديمة، إلا أنه ضروري لضمان توافق أفعال الوكيل مع نية المطور.
إن تداعيات هذا الاكتشاف تتجاوز مجرد خطأ واحد؛ فهي تكشف عن فجوة أساسية في كيفية ثقتنا بهذه الأنظمة. فالمطورون يفترضون غالبًا أنه إذا حذفوا رسالة من سجل المحادثة، فإن الوكيل قد نسيها. وتظهر هذه الورقة أن هذا الافتراض خطير. إذ يمكن للوكيل أن "يتذكر" مسارًا مرفوضًا بطريقة غير مرئية للمستخدم وللمنطق البرمجي للتطبيق، مما يؤدي إلى قرارات تبدو وكأنها جاءت من فراغ. ويؤكد الباحثون أن هذا ليس فشلًا في ذكاء الذكاء الاصطناعي أو توافقه، بل هو فشل في اتساق النظام بين ما يراه المستخدم وما يعالجه الجهاز. وإلى أن يضمن مهندسو البرمجيات أن التراجع المنطقي يمسح أيضًا الذاكرة التقنية، ستظل الوكلاء عرضة لهذا الشكل الصامت من التأثير، حيث يستمر الماضي الذي قيل لهم أن ينسوه في تشكيل أفعالهم المستقبلية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.