ملخص تقني: ComprExIT

بيان المشكلة

تواجه وكلاء النماذج اللغوية الكبيرة (LLM) ذات السياق الطويل تحديات كبيرة تتعلق بتكاليف الرموز (tokens)، والذاكرة، وزمن الاستجابة مع نمو أطوال السياق. وبينما تهدف طرق ضغط السياق (Context Compression - CC) إلى التخفيف من ذلك عبر تقليل طول السياق، إلا أن النهج الحالي القائم على نموذج "النموذج اللغوي الكبير كضاغط" (مثل ICAE، و500x، وActivation Beacon) يظل أدنى مستوى بشكل ملحوظ مقارًا باستخدام السياق الكامل غير المضغوط.

حدد المؤلفون أن هذه الفجوة في الأداء تنبع من عدم القدرة على الحفاظ على المعلومات السياقية بفعالية أثناء الضغط. ومن خلال التحليل الهيكلي لتدفق المعلومات في الضواغط القياسية القائمة على النماذج اللغوية الكبيرة، حددوا عائقين محددين:

1. القصور العرضي (نقص التخصيص): في آلية الانتباه الذاتي القياسية، تقوم رموز الجوهر (gist tokens - رموز الضغط) بتجميع المعلومات بشكل مستقل. يؤدي هذا إلى نقص في التنسيق حيث قد تركز رموز متعددة على مناطق سياقية واحدة بينما تظل مناطق أخرى غير مغطاة، مما يؤدي إلى تكرار التقاط المعلومات وفقدان التغطية.
2. القصور العمقي (التخفيف الطبقي): تقوم النماذج اللغوية الكبيرة بنشر المعلومات بطريقة تراكمية طبقية. غالبًا ما تصبح الأدلة دقيقة التفاصيل التي تم التقاطها في الطبقات المبكرة متشابكة مع التمثيلات الأكثر تجريدًا الموجهة نحو التوليد في الطبقات اللاحقة. وبناءً على ذلك، فإن الميزات المفيدة من الطبقات المتوسطة يتم تخفيفها أو فقدانها بحلول الوقت الذي تصل فيه إلى الطبقة النهائية، والتي عادة ما تكون الحالة الوحلة المستخدمة للضغط.

المنهجية: ComprExIT

لمعالجة هذه العوائق، اقترح المؤلفون ComprExIT (ضغط السياق عبر نقل المعلومات الصريح). على عكس الطرق السابقة التي تقوم بضبط النموذج اللغوي الكبير ليعمل كضاغط، يعامل ComprExIT النموذج اللغوي الكبير المجمد كأداة لاستخراج الميزات ويصيغ الضغط كمسألة نقل معلومات صريح عبر حالاته الخفية. يعمل الإطار عبر مرحلتين:

1. النقل العمقي (لتخفيف التخفيف الطبقي)

بدلاً من الاعتماد فقط على الحالات الخفية للطبقة النهائية، يقوم ComprExIT بتجميع الميزات تكيفيًا من جميع الطبقات لبناء مرتكزات الرموز (Token Anchors).

• الآلية: لكل موضع رمز، تقوم الطريقة بخلط التمثيلات الطبقية باستخدام أولويات هيكلية متعلمة. ثم تستخدم آلية انتباه بوابي (gating attention) على مستوى الرمز لتجميع الميزات متعددة الطبقات بشكل انتقائي.
• الهدف: يسم_ح هذا للضاغط بالوصول مباشرة إلى الميزات دقيقة التفاصيل من الطبقات المتوسطة الأكثر صلة بالمهمة، مما يمنع تخفيفها عبر التحويلات اللاحقة. تعتمد البوابة على الرمز، مما يسمح بالحفاظ على مستويات مختلفة من دقة المعلومات لمختلف الرموز والمهام.

2. النقل العرضي (لحل مشكلة نقص التخصيص)

بمجرد إنشاء مرتكزات الرموز، يقوم ComprExIT بتخصيص المعلومات صراحةً من $N$ من المرتكزات إلى $K$ من فجوات الضغط باستخدام خطة منسقة عالميًا، بدلاً من الانتباه المستقل.

• مصفوفة المنفعة: يتم إنشاء مصفوفة منفعة لقياس فائدة نقل المعلومات من مرتكز محدد إلى فجوة محددة، بناءً على تشابه جيب التمام بين التمثيلات المسقطة.
• السعة المعلوماتية: يتم تخصيص سعات معلوماتية قابلة للتعلم للمرسلين (المرتكزات) بناءً على أهميتهم السياقية، بينما تمتلك المستقبِلات سعة موحدة.
• خطة النقل الأمثل: يتم صياغة التخصيص كمسألة نقل أمثل. يقوم النظام بحل خطة نقل $\Pi$ تقلل التكلفة (عكس المنفعة) مع مراعاة القيود الهامشية (سعة المرسل/المستقبل). يتم حل ذلك بكفاءة باستخدام خوارزمية Sinkhorn مع تنظيم الإنتروبيا.
• الهدف: يضمن هذا توزيعًا منسقًا عالميًا حيث تغطي فجوات الضغط مناطق سياقية متميزة، مما يتجنب التكرار ويضمن التغطية الشاملة.

المساهمات الرئيسية

1. التحليل الهيكلي: حددت الورقة وحللت عائقين هيكليين رئيسيين في طرق الضغط الحالية القائمة على النماذج اللغوية الكبيرة: نقص التخصي في البعد العرضي وتخفيف المعلومات في البعد العمقي.
2. إطار عمل ComprExIT: يقترح المؤلفون إطار عمل خفيف الوزن وفعال في المعلمات، يفصل عملية الضغط عن بنية النموذج اللغوي الكبير. يستخدم الحالات الخفية المجمدة، والتجميع العمقي للطبقات، وخطة نقل عرضية منسقة بناءً على النقل الأمثل.
3. الأداء التجريبي: أظهرت الطريقة تفوقًا مستمرًا على خطوط الأساس القوية للضغط الناعم عبر 12 مجموعة بيانات.

النتائج التجريبية

تم التقييم على 12 مجموعة بيانات (بما في ذلك 6 في نفس النطاق و6 في مهام استجواب خارج النطاق) باستخدام نماذج Llama-3.2-1B وLlama-3.2-3B الأساسية:

• الأداء: يتفوق ComprExIT باستمرار على خطوط الأساس القوية للضغط (ICAE، و500x، وBeacon). يحقق متوسط تحسن في F1 بنسبة 18.5% فوق أقوى خط أساس للضغط على نموذج 1B و10.56% على نموذج 3B.
• المقارنة مع غير المضغوط: يظل الأداء قريبًا جدًا من خط الأساس لضبط الرموز غير المضغوط (ضمن 0.25% على 1B و0-0.64% على 3B).
• الكفاءة: تضيف الطريقة ~1% فقط من المعلمات القابلة للتدريب. ومن حيث زمن الاستجابة، تحقق ضغطًا أسرع بـ أكثر من مرتين من أسرع خطوط الأساس (ICAE) مع الحفاظ على سرعات فك ترميز تنافسية.
• القابلية للتوسع: تظهر الط طريقة أداءً قويًا تحت نسب ضغط أعلى (8× و16×)، وعلى نماذج أكبر (8B)، وسياقات أطول (8k).
• التحليل: تؤكد دراسات الاستئصال (Ablation studies) أن كل من التخصيص المنسق (النقل الأمثل) والتجميع العمقي أمران حاسمان. يظهر تحليل أنماط التخصيص أن ComprExIT يقلل التكرار بين رموز الضغط ويحسن تغطية الكيانات ذات الصلة بالسؤال مقارنة بخطوط الأساس.

الأهمية والادعاءات

يزعم المؤلفون أن ComprExIT يمثل نموذجًا جديدًا لضغط السياق الناعم. من خلال معاملة الضغط كمسألة نقل معلومات صريح عبر الحالات الخفية المجمدة، تتغلب الطريقة على القيود الهيكلية لآليات الانتباه القياسية للضغط.

تفترض الورقة أن هذا النهج يوفر مساحة تصميم أكثر مرونة تتجاوز صياغات الانتباه القياسية. تشير النتائج إلى أن الضغط الفعال لا يتطلب ضبط النموذج اللغوي الكبير ليصبح ضاغطًا، بل يتطلب آلية لتنسيق وتجميع المعلومات الغنية متعددة الطبقات الموجودة بالفعل في الحالات الخفية للنموذج المجمد. يأمل المؤلفون أن يلهم هذا العمل الأبحاث المستقبلية لاستكشاف المزيد من خيارات التصميم ضمن هذا النموذج الجديد لتعزيز ضغط السياق.

القيود: يقر المؤلفون بأنهم لم يختبروا على نماذج أساسية أكبر بكثير (مثل 32B أو 70B) أو سياقات أطول بكثير (مثل 32k أو 128k) بسبب القيود الحسابية. بالإضافة إلى ذلك، فإن الإطار الحالي محدود بالنماذج النصية فقط، مع ترك النماذج اللغوية البصرية للعمل المستقبلي.