Large Language Model as Token Compressor and Decompressor

إليك ملخص تقني مفصل لورقة البحث بعنوان "النموذج اللغوي الكبير كضاغط ومفكك ضغط للرموز (Tokens)" من تأليف وينبينج لي وآخرون.

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) عقبة جوهرية في التعامل مع السياقات الطويلة بسبب التعقيد التربيعي ($O(N^2)$) لآلية الانتباه (Attention Mechanism). ومع نمو أطوال المتواليات لتصل إلى عشرات أو مئات الآلاف من الرموز (Tokens)، تصبح التكاليف الحسابية والذاكرة باهظة للغاية لمهام مثل فهم المستندات الطويلة، والاسترجاع متعدد القفزات (Multi-hop Retrieval)، والاستدلال المعقد.

تعاني طرق ضغط الرموز الحالية من قيود محددة:

• الطرق الاستدلالية (Heuristic Methods): التقنيات مثل دمج الرموز أو تقليمها بناءً على التشابه غالباً ما تتخلص من الرموز التي تحمل معنى خطابياً أو دلالياً حاسماً، مما يؤدي إلى فقدان المعلومات.
• طرق التضمين المتعلم (Learned Embedding Methods): المناهج مثل AutoCompressor أو ICAE تولد نواقل مستمرة ثابتة الطول. هذه النواقل غالباً ما تكون غير لغوية (يصعب تفسيرها)، ومنفصلة عن عملية الاستدلال الأساسية للنموذج اللغوي الكبير، وتفتقر إلى القدرة على إعادة بناء المدخلات الأصلية بأمانة أو التكيف مع كثافات المعلومات المتغيرة.

2. المنهجية

يقترح المؤلفون إطار عمل مبتكر حيث يتم ضبط نموذج لغوي كبير جاهز للاستخدام ليعمل كـ ضاغط للرموز (Token Compressor) و مفكك ضغط للرموز (Token Decompressor) في آن واحد. الابتكار الجوهري يكمن في استخدام إطار ترميز تلقائي ذاتي التعبير (Self-expressive autoencoding framework) يقوم بترجمة اللغة الطبيعية إلى "لغة" داخلية مدمجة ومتغيرة الطول من الرموز الكامنة المنفصلة التي تسمى Z-tokens.

المكونات الأساسية

1. الضاغط (LLM Compressor):

   • توليد متغير الطول: على عكس طرق المتجهات ثابتة الطول، يقوم الضاغط بتوليد Z-tokens بشكل تلقائي (Autoregressively). فهو يحدد ديناميكياً عدد الرموز ($K$) المطلوبة بناءً على الكثافة الدلالية ($K \ll N$). الأجزاء المعقدة تتلقى المزيد من Z-tokens، بينما تُضغط المناطق الزائدة بصرامة.
   • الفضاء الكامن المنفصل: يتم توسيع النموذج بمفردات جديدة $V_z$ لرموز Z-tokens. ولضمان الانفصال مع الحفاظ على قابلية الاشتقاق أثناء التدريب، استخدم المؤلفون مقدر Gumbel-Softmax مقترناً بمقدر المرور المباشر (Straight-through estimator).
   • النافذة المنزلقة (Sliding Window): بالنسبة للنصوص الطويلة جداً، يتم تقسيم المدخلات إلى نوافذ متداخلة. ويتم تطبيق قيد الاتساق على المناطق المتداخلة لضمان التماسك الدلالي عبر الأجزاء.

2. مفكك الضغط (LLM Decompressor):

   • النماذج المزدوجة: يدعم مفكك الضغط نموذجين:
     • المعيد للبناء (Reconstructor): يعيد بناء النص السطحي الأصلي من Z-tokens بدقة.
     • المستنتج (Inferencer): يؤدي مهام لاحقة (مثل الإجابة على الأسئلة، أو التلخيص) مباشرة في فضاء Z-token دون الحاجة لإعادة بناء النص السطحي أولاً.
   • القيود المعجمية: أثناء فك التشفير، يتم تقييد الـ (Logits) الخارجة لتكون ضمن المفردات الأصلية للنموذج المدرب مسبقاً ($V_{base}$). هذا يجبر النموذج على ترجمة "لغة Z" المجردة الداخلية إلى لغة طبيعية مفهومة بشرياً، مما يضمن الدقة الدلالية.
   • استراتيجية التدريب: يستخدم النموذج أخذ عينات الجدولة (Schedule Sampling) للتخفيف من تحيز التعرض (Exposure Bias)، من خلال الانتقال التدريجي من التوجيه بالمعلم (Teacher-forcing) باستخدام الحقيقة الأرضية (Ground Truth) إلى فك التشفير الحر (باستاستخدام تنبؤات النموذج) لتحسين المتانة.

3. خصائص Z-Token:

   • تعدد المعاني والاعتماد على السياق: ليست Z-tokens خرائط حتمية مثل الكلمات الفرعية القياسية؛ فهي متعددة المعاني؛ حيث يمكن لنفس مؤشر Z-token أن يمثل مفاهيم مختلفة اعتماداً على السياق المحيط وقيود فك التشفيد.
   • التجريد الدلالي: تعمل Z-tokens كـ "مورفيمات" (Morphemes) للغة دلالية، حيث تدمج عدة صياغات لنفس المفهوم في رمز منفصل مشترك.

3. المساهمات الرئيسية

• رؤية مبتكرة: إثبات أن النماذج اللغوية الكبيرة يمكنها تعلم ضغط وفك ضغط النصوص إلى لغة داخلية منفصلة ومتغيرة الطول (Z-tokens) دون الحاجة إلى شبكات مساعدة خارجية.
• الضغط المتكيف: يحقق هذا المنهج ضغطاً متكيفاً مع المحتوى، حيث يخصص المزيد من الرموز للمناطق الدلالية الكثيفة ورموزاً أقل للمناطق المتوقعة، على عكس الضغط ذي النسبة الثابتة.
• القابلية للتفسير: Z-tokens هي رموز منفصلة وقابلة للتفسير. أظهر المؤلفون أن Z-tokens المتطابقة تظهر في جوارات متماسكة دلالياً، مما يثبت أن الضغط منظم وليس عشوائياً.
• الاستدلال ثنائي النمط: يسمح إطار العمل بالاستدلال مباشرة في فضاء Z-token المضغوط، مما يتجاوز فعلياً الحاجة إلى معالجة الرموز السطحية الزائدة أثناء الاستدلال عالي المستوى.

4. النتائج التجريبية

تم تقييم الطريقة على ست مجموعات بيانات واسعة النطاق: Wikipedia، CNN/DailyMail، HotpotQA، QuALITY، NarrativeQA، و QASPER.

• كفاءة الضغط: حققت تقليلاً في الرموز يصل إلى 18 ضعفاً في مجموعات البيانات ذات الاستعلامات الطويلة مع الحفاظ على دقة إعادة البناء.
• أداء إعادة البناء: في Wikipedia، حققت الطريقة درجات BLEU-4 رائدة (مثلاً 99.31 عند ضغط 4 أضعاف) وفقداناً منخفضاً في الإنتروبيا المتقاطعة (Cross-Entropy loss)، متفوقة على النماذج المرجعية مثل ICAE و Gist Tokens و AutoCompressor.
• المهام اللاحقة:
  • التلخيص (CNN/DailyMail): حافظت على درجات ROUGE أو حسنتها مقارنة بالنماذج المرجعية مع تقليل وقت الاستدلال بمقدار ضعفين.
  • الإجابة على الأسئلة للنصوص الطويلة: تفوقت على جميع النماذج المرجعية في HotpotQA و QuALITY و NarrativeQA و QASPER، مما أظهر الحفاظ على قدرات الاستدلال متعدد القفزات حتى عند نسب ضغط عالية.
• الكفاءة:
  • سرعة الاستدلال: حققت تسريعاً بمقدار 4.6 ضعفاً في وقت الاستدلال.
  • الذاكرة: قللت استهلاك ذاكرة وحدة معالجة الرسومات (GPU) بشكل كبير (مثلاً من 2.81 جيجابايت إلى 2.04 جيجابايت لأحجام دفعات محددة).
  • التعقيد: قللت التعقيد الحسابي من $O(N^2)$ إلى $O(K^2)$، حيث $K$ هو الطول المضغوط.

5. الأهمية والتوجهات المستقبلية

يوفر هذا العمل مساراً فعالاً للرموز للاستدلال في السياقات الطويلة. من خلال جعل الضغط جزءاً داخلياً من تدفق الاستدلال للنموذج اللغوي الكبير، فإنه يحول النموذج إلى نظام يمكنه "التفكير" بلغة مجردة ومدمجة قبل العودة إلى اللغة الطبيعية.

الأهمية:

• يتغلب على عقبة الانتباه التربيعي دون التضحية بالدقة الدلالية.
• يقدم بديلاً قابلاً للتحكم والتفسير للتضمينات الكامنة المستمرة.
• يتيح تطبيقات عملية لضغط المطالبات (Prompt Compression) وتحليل المستندات الطويلة على الأجهزة القياسية.

العمل المستقبلي:
يقترح المؤلفون التركيز على:

1. تصميم آلية تنسيق عالمية لـ Z-tokens عبر النوافذ المنزلقة للتعامل مع الاعتمادات طويلة المدى جداً.
2. جعل عملية الضغط "واعية بالمهمة" (Task-aware) للحفاظ على هياكل واقعية أو حجاجية محددة مطلوبة للمهام اللاحقة المتخصصة.