ملخص تقني: ATACompressor

بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) تحديات كبيرة عند معالجة المدخلات ذات السياق الطويل، وفي مقدمتها ظاهرة "الضياع في المنتصف" (lost in the middle)، حيث تضعف المعلومات الحرجة أو يتم تجاهلها بسبب طول التسلسل المفرط. وبينما يوفر الاسترجاع المعزز بالتوليد (RAG) سياقاً خارجياً، فإن النهج الساذجة التي تقوم بإلحاق رموز المستندات الخام غالباً ما تؤدي إلى إرهاق النموذج. تحاول طرق ضغط السياق الحالية التخفيف من حدة ذلك، لكنها تعاني من قيود محددة:

• طرق المطالبات الصلبة (Hard-prompt methods): (مثل Selective-Context و LongLLMLingua) تقوم بإزالة الرموز غير ذات الصلة ولكنها عادة ما تحقق نسب ضغط منخفضة.
• طرق المطالبات الناعمة (Soft-prompt methods): (مثل AutoCompressor و ICAE و 500Compressor) تضغط النص إلى تسلسلات رموز كثيفة، مما يحقق نسب ضغط عالية. ومع ذلك، فإنها غالباً ما تضغط السياق بأكهمل دون تمييز، مما يؤدي إلى فقدان المعلومات ذات الصلة بالمهمة لأنها تفتقر إلى الوعي بالمهمة أثناء عملية الضغط. علاوة على ذلك، تستخدم هذه الطرق عادةً عدداً ثابتاً من الرموز المضغوطة، مما يجعلها عاجزة عن التكيف ديناميكياً مع كثافة المعلومات المتغيرة لمختلف المهام.

المنهجية: ATACompressor

يقترح المؤلفون المُضغط التكيفي المدرك للمهام (ATACompressor)، وهو إطار عمل مصمم لضبط الضغط ديناميكياً بناءً على متطلبات مهمة محددة. تتكون البنية من ثلاثة مكونات رئيسية: المُشفر الانتقائي (Selective Encoder)، ومتحكم التخصيص التكيفي (AAC)، والنموذج اللغوي الكبير المستهدف (المفكك - decoder).

1. المُشفر الانتقائي ($\varphi$)

على عكس ضواغط المطالبات الناعمة التقليدية التي تعالج السياق بأكمله، تم تصميم المُشفر الانتقائي لتحديد وضغط الأجزاء ذات الصلة فقط من السياق ($\hat{C}_{Rel}$) بالاستعلام ($Q$).

• البنية: يستخدم نموذج لغوي كبير (LLM) مجمد مع معاملات LoRA قابلة للتدريب.
• التعامل مع مستوى التفصيل (Granularity): لمعالجة غموض مفهوم "الصلة" (والذي يمكن أن يتفاوت من مستوى الجملة إلى مستوى المستند)، يتم تقسيم سياق المدخلات إلى قطع موحدة (مثل الفقرات أو الجمل) تتماشى مع مستوى التفصيل الحقيقي (ground-truth) أثناء التدريب. يتعلم المُشفر الاحتفاظ بالقطع الضرورية للإجابة على الاستعلام وضغطها فقط.
• العملية: يعالج المُشفر القطع المدمجة والاستعلام، ويخرج مجموعة مدمجة من الرموز ($c_1, ..., c_k$) التي تمثل المعلومات ذات الصلة.

2. متحكم التخصيص التكيفي (AAC)

يعالج الـ AAC القصور في معدلات الضغط الثابتة في طرق المطالبات الناعمة الموجودة. فهو يحدد ديناميكياً عدد الرموز المضغوطة ($k$) بناءً على تقدير طول المحتوى ذي الصلة.

• المكونات: يتكون من مسبار (Probe $\zeta$) خفيف الوزن ودالة سياسة (Policy Function $\eta$).
• الآلية: بعد أن يعالج المُشفر الانتقائي المدخلات، يقوم المسبار بتحليل الحالات الخفية للمُشفر لتقدير طول النص ذي الصلة ($\hat{L}_{Rel}$). ثم تقوم دالة السياسة بحساب عدد الرموز المضغوطة ($k$) باستخدام نسبة سياسة محددة مسبقاً ($r$):
  $$k = \min(\frac{\hat{L}_{Rel}}{r}, k_{max})$$
• الفائدة: يسمح هذا للنظام بتخصيص رموز أقل للمساحات ذات الصلة القصيرة ورموز أكثر للمساحات الأطول، مما يحسن استغلال الموارد مع الحفاظ على المعلومات الأساسية.

3. سير عمل التدريب والاستنتاج

• التدريب المسبق (Pretraining): يتم تحسين المُشفر الانتقائي والمسبار بشكل مشترك. يتم تدريب المُشفر على إعادة بناء السياق ذي الصلة (الحقيقة الذهبية) باستخدام خسارة التقاطع المتقاطع (cross-entropy loss)، بينما يتم تدريب المسبار على التنبؤ بطول النص ذي الصلة باستخدام خسارة هوبير (Huber loss).
• الضبط الدقيق (Finetuning): يتم تدريب المُشفر الانتقائي بشكل أكبر على مهام لاحقة (مثل الأسئلة والأجوبة - QA) حيث يقوم النموذج اللغوي الكبير بتوليد الإجابات بناءً على تمثيلات مفتاح-قيمة (KV) المضغوطة.
• الاستنتاج (Inference): يعمل النظام بشكل متوازٍ. فبينما يعالج المُشفر الانتقائي المدخلات، يتنبأ الـ AAC بعدد الرموز المطلوبة ($k$) قبل توليد أول رمز مضغوط، مما يضمن عدم انقطاع التدفق التوليدي التلقائي (autoregressive flow).

المساهمات الرئيسية

1. الضغط المدرك للمهمة: تقديم مُشفر انتقائي يقوم بفلترة وضغط المحتوى ذي الصلة بالمهمة فقط، مما يمنع فقدان المعلومات الحرجة الشائع في طرق الضغط الشاملة.
2. التخصيص التكيفي للموارد: تطوير AAC يضبط معدل الضغط ديناميكياً بناءً على الطول المقدر للمحتوى ذي الصلة، متجاوزاً قيود عدد الرموز الثابتة.
3. التدريب المدرك لمستوى التفصيل: استراتيجية للتعامل مع مستويات التفصيل المتفاوتة (جملة مقابل مستند) عن طريق تقسيم السياق مسبقاً إلى قطع موحدة أثناء التدريب، مما يعزز قدرة المُشفر على التكيف.

النتائج التجريبية

قام المؤلفون بتقييم ATACompressor على ثلاث معايم للأسئلة والأجوبة: HotpotQA (مستوى المستند)، و MSMARCO (مستوى الفقرة)، و SQUAD (مستوى الجملة)، باستخدام LLaMA-2-7B و Qwen-2-7B كنماذج أساسية.

• الأداء: تفوق ATACompressor باستمرار على أفضل الطرق المرجعية (بما في ذلك Selective-Context و LongLLMLingua و AutoCompressor و ICAE و 500Compressor و QGC) في كل من درجات المطابقة التامة (EM) و F1. على سبيل المثال، في HotpotQA مع Qwen-2-7B، حقق درجة F1 بلغت 80.23 مقارنة بـ 72.36 لأفضل طريقة تالية (QGC).
• الكفاءة: حققت الطريقة نسب ضغط (CR) عالية (تصل إلى ~27 ضعفاً) مع الحفاظ على إنتاجية (Throughput) تنافسية. كما أظهرت كفاءة فائقة مقارنة بطرق مثل QGC التي تعتمد على مسترجعات خارجية معقدة.
• دراسات الاستئصال (Ablation Studies): أدى إزالة الـ AAC (تثبيت عدد الرموز) أو إزالة المُشفر الانتقائي (ضغط السياق بأكمله) إلى انخفاض كبير في الأداء، مما يؤكد ضرورة كلا المكونين.
• المتانة: حافظ النموذج على استقرار الأداء حتى مع انخال عدد الرموز المضغوطة، متفوقاً على النماذج المرجعية في أنظمة الرموز المنخفضة. كما أظهر قدرة قوية على التعميم في مهام LongBench (التلخيص والتعلم من أمثلة قليلة - Few-shot).

الأهمية والادعاءات

يزعم البحث أن ATACompressor يوفر حلاً قابلاً للتوسع لمعالجة السياق الطويل بكفاءة في النماذج اللغوية الكبيرة. ومن خلال دمج الوعي بالمهمة في عملية الضغط وتخصيص الموارد ديناميكياً، فإنه يوازن بفعالية بين الحفاظ على المعلومات وكفاءة الضغط. ويؤكد المؤلفون أن هذا النهج لا يخفف فقط من مشكلة "الضياع في المنتصف"، بل يقلل أيضاً من تكاليف الاستنتاج وزمن التأخير، مما يجعله مناسباً للتطبيقات الواقعية واسعة النطاق دون الحاجة إلى تعديلات هيكلية في النموذج اللغوي الأساسي. ويُقدم هذا العمل كخطوة للأمام نحو جعل تطبيقات RAG والسياق الطويل أكثر عملية وفعالية.