Break Later or Never: Prefix-Preserving Context Compaction for Coding Agents
تتناول هذه الورقة البحثية الصراع بين ضغط السياق وتخزين البادئات مؤقتًا في وكلاء البرمجة من خلال تقديم "قناع الملاحظات المجمعة" و"ObsDrop"، وهي تقنية على مستوى ذاكرة التخزين المؤقت لـ KV تعمل على تحرير بيانات الأدوات والملاحظات القديمة مع الحفاظ على البادئة المنطقية للرموز، مما يحسن الإنتاجية وزمن الاستجابة بشكل كبير دون المساس بجودة المهام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل برنامج حاسوب مصمم لكتابة الأكواد، أو إصلاح أخطاء البرمجيات، أو حل المشكلات الهندسية المعقدة. هذه "الوكلاء البرمجية" (coding agents) لا تعمل في دفعة واحدة؛ بل تعمل في حوار طويل ومتكرر مع نموذج لغوي كبير. في كل خطوة، يفكر الوكيل، ويصدر أمراً لأداة ما (مثل فتح ملف أو تشغيل اختبار)، ثم يقرأ النتيجة. بعد ذلك، يكرر العملية، مضيفاً النتيجة الجديدة إلى سجله. ومع مرور الوقت، يتحول هذا السجل إلى وثيقة ضخمة تحتوي على عشرات الآلاف من الكلمات. ولإبقاء النظام قيد التشغيل، يجب على الحاسوب تذكر كل كلمة في هذا الحوار لفهم الخطوة الحالية. وهذا المتطلب في الذاكرة يخلق عبئاً ثقيلاً، مما يؤدي إلى إبطاء النظام وجعل تشغيله مكلفاً.
ولإدارة هذا التراكم المتزايد من النصوص، طور المهندسون طرقاً لتقليص التاريخ، وهي عملية تسمى "ضغط السياق" (context compaction). الطريقة الأكثر شيوعاً هي ببساطة حذف أجزاء قديمة من الحوار أو استبدالها بملخص قصير. ومع ذلك، هناك فخ خفي في هذا النهج. فالحواسيب الحديثة فعالة للغاية في إعادة استخدام العمل الذي أنجزته بالفعل؛ فإذا بدأت طلب جديد بنفس الكلمات تماماً التي بدأت بها طلب سابق، يمكن للحاسوب تخطي العمل الشاق والقفز مباشرة إلى الجزء الجديد. ولكن إذا حذفت أو أعدت كتابة بداية الحوار، ولو بشكل طفيف، فإن الحاسوب يفقد ذاكرته للماضي ويضطر لبدء الحسابات الثقيلة من الصفر مجدداً. وقد اكتشف الباحثون وراء هذه الدراسة أن فعل محاولة توفير المساحة عبر تحرير النص غالباً ما يجبر الحاسوب على القيام بعمل أكبر بكثير، مما يلغي أي توفيرات، وفي بعض الأحيان يجعل النظام أبطأ وأكثر تكلفة.
سعى الفريق، الذي يتخذ من جامعة ولاية بنسلفانيا مقراً له، إلى فهم هذا الصراع بين توفير المساحة وتوفير الوقت. وقد لاحظوا أن الوكلاء البرمجية تكرر بشكل طبيعي تاريخ حوارها بالكامل تقريباً في كل خطوة. ولأن التاريخ يُضاف إليه فقط، مثل مذكرات لا تكتب فيها سوى مدخلات جديدة في الأسفل، يمكن للحاسوب إعادة استخدام حساباته السابقة بشكل مثالي تقريباً، محققاً معدل إعادة استخدام يتراوح بين 98 و99 بالمائة. إن الجزء الأكبر من تكلفة الذاكرة هذه لا يأتي من أفكار الوكيل، بل من البيانات الخام التي يتلقاها، مثل محتويات الملفات أو سجلات اختبارات البرامج. ووجد الباحثون أنه عندما استخدموا الطرق القياسية لحذف أو تلخيص هذه الملفات القديمة، فإنهم كسروا سلسلة إعادة الاستخدام؛ حيث يُجبر الحاسوب على إعادة قراءة وإعادة حساب كل ما جاء بعد عملية الحذف، محولاً مهمة سريعة إلى مهمة بطيئة ومكلفة.
ولحل هذه المشكلة، اختبر الباحثون أولاً تعديلاً بسيطاً على كيفية حدوث الحذف. فبدلاً من حذف المعلومات القديمة بعد كل خطوة، جربوا حذفها مرة واحدة كل بضع خطوات. هذا التغيير الصغير، الذي أطلقوا عليه اسم "القناع المجمع" (batched masking)، سمح للحاسوب بالحفاظ على ذاكرته سليمة لفترات أطول. لقد قلل من كمية النص الذي يتعين على الوكيل حمله بنسبة تصل إلى النصف، مع الحفاظ في الوقت نفسه على معدل إعادة استخدام ذاكرة الحاسوب مرتفعاً، بين 95 و98 بالمائة. أدى هذا النهج إلى خفض تكلفة تشغيل الوكيل بنسبة تصل إلى 18 بالمائة وجعل المهام تنتهي أسرع بنسبة تصل إلى 21 بالمائة. لقد كان حلاً عملياً لم يتطلب أي تغييرات في برمجيات الحاسوب الأساسية، بل كان مجرد طريقة أذكى لجدولة عمليات الحذف.
ومع ذلك، أدرك الفريق أن هذا التحسين لا يزال يتضمن إعادة كتابة النص، وهو ما يؤدي حتماً إلى كسر سلسلة الذاكرة في لحظة الحذف. ومن ثم طوروا حلاً أكثر تقدماً يسمى "أوبس دروب" (ObsDrop). فبدلاً من حذف الكلمات من النص الذي يراه الوكيل، يعمل "أوبس دروب" داخل ذاكرة الحاسوب نفسها. فهو يبقي النص كما هو تماماً، بحيث يمكن للحاسوب التعرف على النمط وإعادة استخدام حساباته السابقة. ولكن في الخلفية، يقوم بهدوء بتحرير مساحات الذاكرة التي تحتفظ بالبيانات القديمة غير ذات الصلة، مثل محتويات الملفات التي لم تعد مطلوبة. وهذا يسمح للحاسوب بالحفاظ على التاريخ المنطقي من أجل السرعة، بينما يحرر مادياً المساحة اللازمة لتشغيل المزيد من الوكلاء في آن واحد.
اختبر الباحثون هذا النظام الجديد على خوادم قوية تشغل وكلاء متعددين في وقت واحد. ووجدوا أنه مع زيادة عدد الوكلاء، بدأت الطرق القياسية تعاني، حيث يتباطأ النظام بشكل كبير مع نفاد الذاكرة أو الاضطرار لإعادة الحساب باستمرار. في المقابل، حافظ نظام "أوبس دروب" على سرعته وكفاءته. وتحت ضغط العمل الثقيل، سمح النظام بمعالجة ما بين 2.45 و2.85 ضعف العمل مقارنة بما سبق، وفي بعض الإعدادات المحددة، وصل التحسن إلى أكثر من خمسة أضعاف السرعة الأصلية. لقد تعامل النظام مع الضغط دون فقدان جودة العمل الذي أنتجه الوكلاء.
يسلط هذا العمل الضوء على درس حاسم لمستقبل الذكاء الاصطناعي: إدارة ذاكرة الوكيل الذكي لا تتعلق فقط بكمية النص الذي تحتفظ به، بل بكيفية الاحتفاظ به. ومن خلال فهم أن قدرة الحاسوب على إعادة استخدام العمل السابق هي قدرة هشة، أظهر الباحثون أن الإدارة الفعالة تتطلب الحفاظ على هيكل الحوار حتى مع التخلص من البيانات. إن طريقتهم الجديدة، "أوبس دروب"، تقدم وسيلة للحصول على كليهما: بصمة ذاكرة أصغر، ونظام أسرع وأكثر استجابة، مما يضمن أن هذه الأدوات البرمجية القوية يمكنها التوسع للتعامل مع مشكلات الغد المعقدة دون أن تثقل كاهلها ذاكرتها الخاصة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.