Developing Adaptive Context Compression Techniques for Large Language Models (LLMs) in Long-Running Interactions

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تطوير تقنيات ضغط السياق التكيفي للنماذج اللغوية الكبيرة (LLMs) في التفاعلات طويلة الأمد".

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) تدهوراً ملحوظاً في الأداء أثناء التفاعلات طويلة الأمد نتيجة لثلاثة عوامل رئيسية:

• حدود طول السياق: يتجاوز سجل الحوار المستمر حدود الرموز (tokens).
• تشبع الذاكرة: يؤدي تخزين السجل الكامل إلى أعباء حسابية وزيادة في زمن الاستجابة (latency).
• تلاشي السياق (Context Decay): تفشل النماذج في الاحتفاظ بالتفاصيل الحرجة من الدورات السابقة، مما يؤدي إلى استجابات غير متسقة وفقدان التماسك الحواري.

إن الحلول الحالية، مثل الاقتطاع الثابت (حذف السجل القديم) أو التلخيص الثابت، غالباً ما تؤدي إلى انحراف المعلومات (information drift) أو فقدان الحقائق الجوهرية. تتمثل مشكلة البحث الأساسية في كيفية ضغط السياق تكيُّفياً للحفاظ على دقة الذاكرة والتماسك الحواري مع العمل تحت قيود صارمة لميزانية الرموز.

2. المنهجية المقترحة

يقترح المؤلفون إطار عمل لضغط السياق التكيفي يعامل إدارة السياق كمسألة تحسين مشتركة. يدمج إطار العمل ثلاث آليات أساسية:

أ. التمثيل التكيفي للسياق وتدريج الأهمية

بدلاً من التقليم الثابت، يقوم النظام بتعيين درجة أهمية ديناميكية ($s_i$) لكل دور حواري بناءً على:

1. الصلة الدلالية (Semantic Relevance): التشابه بين الأدوار التاريخية والاستعلام الحالي.
2. الحداثة (Recency): إعطاء الأولوية للتفاعلات الأخيرة مع الحفاظ على الإشارات طويلة المدى.
3. التبعية (Dependency): العلاقات الهيكلية داخل سجل الحوار.
   المعادلة: $s_i = \alpha \cdot \text{sim}(u_i, q_t) + \beta \cdot \text{recency}(i, t) + \gamma \cdot \text{dependency}(u_i)$

ب. مناطق الذاكرة الهرمية

بناءً على درجات الأهمية، يتم تصنيف أدوار الحوار إلى ثلاث مناطق:

• المحتفظ بها ($M_t$): الأدوار عالية الأهمية التي تُحتفظ بها بكامل تفاصيلها.
• الملخصة ($S_t$): الأدوار متوسطة الأهمية التي يتم ضغطها عبر التلخيص لتقليل عدد الرموز.
• المستبعدة (Discarded): الأدوار منخفضة الأهمية التي تُزال عند استيفاء قيود الميزانية.

ج. الاختيار الواعي بالتماسك

لمنع فقدان الحقائق الحرجة التي تضمن الاتساق المنطقي، يقدر إطار العمل درجة تأثير التماسك ($c_i$) قبل عملية الضغط. تقيس هذه الدرجة احتمالية أن يؤدي حذف دور معين إلى حدوث تناقض مع الاستجابة السابقة ($r_{t-1}$).

• التصنيف النهائي: تجمع درجة الاختيار ($z_i$) بين الأهمية والتماسك: $z_i = s_i \cdot c_i$.
• يضمن ذلك الحفاظ حتى على الحقائق النادرة ولكنها حرجة.

د. تخصيص الميزانية الديناميكي

ميزانية الرموز ($B_t$) ليست ثابتة؛ بل تتعدل بناءً على الاعتلاج الحواري (dialogue entropy) ($H_t$).

• ارتفاع عدم اليقين/التعقيد $\leftarrow$ تخصيص ميزانية أكبر.
• التفاعلات المستقرة $\leftarrow$ يُسمح بضغط أكثر حدة.
• دالة الهدف: يعمل النظام على تقليل دالة خسارة متعددة الأهداف ($L_{final}$) توازن بين جودة المهمة، والحفاظ على التماسك، وتقليل الرموز، واتساق إعادة البناء (المقاس عبر BLEU).

3. المساهمات الرئيسية

• إطار عمل مبتكر: تقديم إطار عمل تكيفي يجمع بين الاختيار القائم على الأهمية والتصفية الحساسة للتماسك، متجاوزاً بذلك الاقتطاع الثابت أو التلخيص البسيط.
• التكيف الديناميكي: القدرة على تعديل تمثيل السياق بناءً على تعقيد التفاعل وصلة الذاكرة، بدلاً من استخدام أحجام نوافذ ثابتة.
• الصياغة الرياضية: نهج رياضي صارم (المعادلات 1-9) يحدد تسجيل الأهمية، والفصل الهرمي للذاكرة، ودالة الخسارة متعددة الأهداف التي تعاقب انحراف المعلومات.
• تقييم شامل: التحقق من الصحة عبر ثلاثة معايير اختبار (benchmarks) مختلفة تغطي جوانب مختلفة من تحديات السياق الطويل.

4. النتائج التجريبية

تم تقييم إطار العمل على LOCOMO (الذاكرة طويلة الأمد)، وLOCCO (الاتساق/التماسك)، وLongBench (الاستدلال/الاسترجاع).

مقاييس الأداء

• جودة الإجابة والاسترجاع: حققت الطريقة المقترحة دقة إجابة تتراوح بين 0.89 و0.91 ودقة استرجاع تتراوح بين 0.94 و0.95، متفوقة على النماذج المرجعية مثل ILSTMA (0.884) وMemoryBank (0.624).
• التماسك والاتساق: في معيار LOCCO، حققت الطريقة درجة اتساق تتراوح بين 4.45 و4.55 وتماسكاً يتراوح بين 4.50 و4.60، متجاوزة المعيار المرجعي لـ LOCCO (4.40 و4.45 على التوالي).
• مكاسب الكفاءة:
  • تقليل الرموز: خفض استخدام الرموز بنسبة 25%–55%.
  • زمن الاستجابة (Latency): تحسين زمن استجابة الاستدلال بنسبة 10%–35%.
  • الاستدعاء (Recall): حافظ على قيم Recall@k عالية (77.5–80.0) مقارنة بالنماذج المرجعية.

التحليل المقارن

تظهر النتائج أن النهج التكيفي يوفر توازناً فائقاً مقارنة بـ:

• البنى القائمة على الذاكرة (التي تحتفظ بالكثير من البيانات).
• طرق الضغط الثابتة (التي تفقد السياق الحرج).
• استراتيجيات الاسترجاع فقط (التي قد تفتقر إلى التماسك الهيكلي).

5. الأهمية والأثر

• القابلية للتوسع: يقدم إطار العمل حلاً عملياً لنشر الوكلاء الحواريين المستمرين (مثل بوتات دعم العملاء، والمساعدين الشخصيين) الذين يمكنهم التعامل مع جلسات ممتدة دون الاصطدام بحدود الرموز أو تدهور الجودة.
• المفاضلة بين الكفاءة والجودة: يثبت أنه يمكن تحقيق توفير كبير في الموارد الحسابية (زمن الاستجابة وتكاليف الرموز) دون المساس بقدرة النموذج على الاستدلال أو الحفاظ على التدفق الحواري.
• الاتجاهات المستقبلية: يضع هذا العمل حجر الأساس لتوسيع الضغط التكيفي ليشمل بيئات متعددة الوكلاء وأنظمة الحوار المستمرة في العالم الحقيقي، مما يعالج عقبة حرجة في نشر تطبيقات LLM طويلة الأمد.

في الختام، تثبت هذه الورقة أن الضغط التكيفي للسياق، المدفوع بالاختيار الواعي بالتماسك والميزانية الديناميكية، هو استراتيجية قابلة للتطبيق ومتفوقة لإدارة التفاعلات طويلة الأمد لنماذج LLM، حيث يحل مشكلة "تلاشي السياق" بفعالية مع تحسين الموارد الحسابية.