💬 NLP

Compressing Sequences in the Latent Embedding Space: $K$ -Token Merging for Large Language Models

تقدم هذه الورقة البحثية تقنية "K-Token Merging"، وهي إطار عمل لضغط الفضاء الكامن يقوم بدمج تضمينات الرموز (token embeddings) المتجاورة عبر مشفر خفيف الوزن لتقليل طول المدخلات والتكاليف الحسابية بشكل كبير في النماذج اللغوية الكبيرة مع الحفاظ على أداء عالٍ عبر مهام متنوعة.

المؤلفون الأصليون: Zihao Xu, John Harvill, Ziwei Fan, Yizhou Sun, Hao Ding, Hao Wang

نُشر 2026-04-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zihao Xu, John Harvill, Ziwei Fan, Yizhou Sun, Hao Ding, Hao Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول شرح قصة معقدة لصديق، لكن صديقك لديه مدى انتباه قصير جدًا وذاكرة ضئيلة. إذا حاولت إخباره بالقصة كاملة كلمة بكلمة، فسيشعر بالتشتت، وسوف يستغرق الأمر وقتًا طويلاً للغاية.

هذه هي بالضبط المشكلة التي تواجهها نماذج اللغات الكبيرة (LLMs) اليوم. عندما تطلب من الذكاء الاصطناعي قراءة مستند طويل، أو ملف برمجي ضخم، أو كتاب تاريخي ضخم، يتعين على الذكاء الاصطناعي معالجة كل كلمة (token) بشكل فردي. وكلما زاد عدد الكلمات، أصبح الأمر أصعب وأبطأ بشكل أسّي بالنسبة للكمبيوتر ليفكر. الأمر يشبه محاولة حمل مكتبة في حقيبة ظهرك؛ كلما زاد وزنها، أصبحت مشيتك أبطأ.

تقدم الورقة البحثية التي شاركتَها حيلة ذكية جديدة تسمى دمج الـ K-Token (K-Token Merging). إليك كيف تعمل، مشروحة ببساطة:

المشكلة: عنق الزجاجة المتمثل في "كلمة بكلمة"

حالياً، إذا أدخلت للذكاء الاصطناعي 1,000 كلمة، فإنه يعاملها كـ 1,000 عنصر منفصل يجب الموازنة بينها.

الطريقة القديمة: تخيل أنك ترسل طرداً إلى صديقك. تكتب كل كلمة من رسالتك على ورقة ملاحظات لاصقة منفصلة. ثم تلصق 1,000 ورقة ملاحظات معاً. على صديقك أن يقرأ كل ورقة ليفهم الرسالة. هذا بطيء وفوضوي.
العيب: العديد من أوراق الملاحظات هذه مكررة. إذا قلت "القط جلس على الحصيرة"، فإن كلمات "الـ"، "قط"، "جلس"، "على"، و"الـ" غالباً ما تظهر معاً بشكل متكرر بحيث تشكل نمطاً يمكن التنبؤ به. الذكاء الاصطناعي ليس بحاجة لرؤيتها كخمسة أشياء منفصلة؛ هو يحتاج فقط لفهم "فكرة" تلك العبارة.

الحل: "الملخص الذكي" (دمج الـ K-Token)

يقترح المؤلفون طريقة جديدة لإرسال الرسالة. بدلاً من إرسال 1,000 ورقة ملاحظات، يستخدمون ملخصاً ذكياً (مشفر خفيف الوزن) لتجميع الكلمات معاً قبل إرسالها.

التشبيه: تخيل أنك تجمع كل 4 كلمات (كتلة "K-token") وتلصقها على "بطاقة سحرية" واحدة فائقة الكثافة.
- بدلاً من إرسال 1,000 ورقة ملاحظات، سترسل الآن 250 بطاقة سحرية فقط.
- تحتوي كل بطاقة على جوهر تلك الكلمات الأربع، مضغوطة في إشارة واحدة مدمجة.
- يتلقى الذكاء الاصطناعي هذه الـ 250 بطاقة بدلاً من 1,000 ورقة ملاحظات. إنه يعالجها بشكل أسرع بكثير لأن هناك أشياء أقل للموازنة بينها.

كيف يفهم الذكاء الاصطناعي البطاقات السحرية؟

قد تسأل: "إذا غيرنا الكلمات إلى بطاقات سحرية، ألن يرتبك الذكاء الاصطنا؟"

هنا يأتي الجزء الثاني من حيلتهم: تكييف LoRA.

فكر في الذكاء الاصطناعي كطالب تعلم قراءة أوراق الملاحظات القياسية.
يقدم الباحثون لهذا الطالب "دورة تدريبية خاصة" (باستخدام تقنية تسمى LoRA) لتعلمه كيفية قراءة هذه "البطاقات السحرية" الجديدة.
يتعلم الطالب أن بطاقة واحدة تعادل أربع كلمات. إنه يتعلم النمط.
الأمر الجوهري: عندما يبدأ الذكاء الاصطناعي في كتابة إجابته (توليد النص)، فإنه يعود إلى أوراق الملاحظات العادية. هو لا يُخرج بطاقات سحرية؛ بل يُخرج كلمات عادية. هذا يضمن أن الإجابة النهائية لا تزال قابلة للقراءة من قبل البشر.

لماذا هذه الطريقة أفضل من الطرق السابقة؟

حاولت الطرق السابقة حذف الكلمات التي اعتقدوا أنها غير مهمة (مثل حذف "الـ" أو "و").

المخاطرة: إذا حذفت كلمة في مسألة رياضية أو سطر برمجي، فسيتعطل الشيء بأكله. الأمر يشبه محاولة تلخيص وصفة طبخ عبر رمي المكونات التي تعتقد أنها "اختيارية".
الطريقة الجديدة: دمج الـ K-Token لا يرمي أي شيء. إنه يحتفظ بـ كل المعلومات ولكنه يضغطها بشكل أكثر إحكاماً. الأمر يشبه حزم حقيبة السفر: بدلاً من ترك الملابس على الأرض، تقوم بطيها بإحكام. لا تزال تملك جميع الملابس، لكنها تشغل مساحة أقل.

النتائج: السرعة مقابل الذكاء

اختبر الباحثون هذا على ثلاثة تحديات مختلفة:

الألغاز المنطقية: قراءة مخطط شجري لإيجاد العلاقات.
تحليل المشاعر: قراءة مراجعات أمازون لمعرفة ما إذا كانت سعيدة أم حزينة.
البرمجة: قراءة الكود وإصلاح خطأ برمي.

الأرقام السحرية:

تمكنوا من تقليص حجم المدخلات بنسبة 75%. (إذا كان لديك نص مكون من 1,000 كلمة، فإن الذكاء الاصطناعي يحتاج فقط لمعالجة 250 "بطاقة").
الثمن؟ بالكاد انخفض أداء الذكاء الاصطناعي. في بعض الاختبارات، كان ذكاؤه يقارب النسخة غير المضغوطة.
الفوز: لأن الذكاء الاصطناضي كان عليه معالجة عدد أقل بنسبة 75% من العناصر، وفر الكمبيوتر قدراً هائلاً من الوقت والطاقة. في الواقع، بالنسبة للمهام الطويلة، يقدرون أنه يمكن توفير ما يصل إلى 94% من قوة الحوسبة المطلوبة.

الصورة الكبيرة

فكر في دمج الـ K-Token كأنه خوارزمية ضغط للفكر البشري. تماماً كما تضغط ملف ZIP مجلداً من المستندات لترسله عبر البريد الإلكتروني بشكل أسرع، تقوم هذه الطريقة بضغط "الأفكار" داخل عقل الذكاء الاصطناعي حتى يتمكن من قراءة كتب أطول، وكتابة كود أطول، والإجابة على أسئلة أكثر تعقيداً دون أن يتعب أو تنفد ذاكرته.

إنها تثبت أننا لسنا بحاجة لحذف المعلومات لجعل الذكاء الاصطناعي أسرع؛ نحن فقط بحاجة لتعلم كيفية حزمها بشكل أكثر كفاءة.

ملخص تقني لورقة بحثية: "ضغط التسلسلات في فضاء التضمين الكامن: دمج الـ K-توكن للنماذج اللغوية الكبيرة"

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) اختناقات كبيرة في الحوسبة والذاكرة عند معالجة المطالبات (prompts) الطويلة. تعمل آلية الانتباه الذاتي القياسية (self-attention) بشكل تربيعي ( $O(N^2)$ ) مع طول المدخلات، مما يجعل معالجة السياق الطويل مكلفة للغاية.

تحاول طرق ضغط الـ "توكن" (token compression) الحالية التخفيف من ذلك، لكنها تعاني من قيود محددة:

ضغط المطالبة الصلب (Hard Prompt Compression): الطرق التي تحذف أو تلخص الـ "توكنز" (مثل SelectiveContext و LLMLingua2) غالباً ما تفشل في المهام كثيفة المعلومات (مثل البرمجة أو الاستنتاج الرياضي) حيث يكون كل "توكن" حاسماً.
ضغط المطالبة المرن (Soft Prompt Compression): الطرق التي تتعلم "توكنز ميتا" (meta-tokens) جديدة أو تكيف المعلمات (مثل Gist و LTSC) تعمل على مستوى الـ "توكن" (token level). وهي تغفل عن عدم الكفاءة المتأصلة والازدواجية داخل فضاء التضمين الكامن (latent embedding space) نفسه.
توسيع المفردات (Vocabulary Expansion): مجرد توسيع المفردات لتشمل الـ $K$ -grams (تسلسلات من $K$ توكن) يؤدي إلى "انفجار في توكنز الذيل" (tail-token explosion)، مما يسبب عبئاً تخزينياً باهظاً وضعفاً في التعميم لمجموعات غير مرئية.

الرؤية الجوهرية لهذه الورقة هي أنه بينما المحتوى المعلوماتي النظري للـ "توكن" منخفض (حوالي 18 بت لمفردات تبلغ 150 ألف)، فإن تضمينات (embeddings) هذه الـ "توكنز" الحالية تستهلك عدداً أكبر بكثير من البتات (حوالي 28 ألف بت). تشير هذه الفجوة إلى وجود ازدواجية هائلة في فضاء التضمين تفشل الطرق الحالية في استغلالها.

2. المنهجية: دمج الـ K-توكن (K-Token Merging)

يقترح المؤلفون إطار عمل دمج الـ K-توكن، وهو نظام يضغط التسلسلات مباشرة في فضاء التضمين الكامن بدلاً من فضاء الـ "توكن".

البنية الأساسية

المُشفر خفيف الوزن ( $f$ ): يتم تقديم مُشفر (Encoder) صغير من نوع (MLP) لمعالجة المدخلات.
آلية الضغط: يأخذ المُشفر كتلة متصلة من $K$ $K$ من تضمينات الـ "توكن" المتتالية ويدمجها في تضمين مضغوط واحد ( $C_i$ $C_{i}$ ).
- المدخلات: $K$ من الـ "توكنز" الأصلية ( $T_{iK+1} \dots T_{iK+K}$ ).
- المخرجات: 1 من تضمينات الـ "توكن" المضغوطة ( $C_i$ ).
سير العمل ذو المرحلتين:
1. مرحلة الملء المسبق (Prefill Stage): يقوم المُشفر بضغط المطالبة بأكملها إلى $N$ من الـ "توكنز" المضغوطة (حيث كان الطول الأصلي هو $KN$ ). هذا يقلل من طول التسلسل الذي تراه آلية الانتباه في النموذج، مما يخفض تكلفة $O(N^2)$ بشكل جذري.
2. مرحلة التوليد (Generation Stage): يقوم النموذج اللغوي الكبير بتوليد المخرجات في المفردات الأصلية (الـ "توكنز" غير المضغوطة). يتم إلحاق الـ "توكنز" الجديدة بالبادئة المختلطة (المدخلات المضغوطة + التوليد غير المضغوط) لعملية التوليد التكراري الاعتيادية (autoregressive processing).

استراتيجية التدريب

تكييف LoRA: يتم ضبط النموذج اللغائي الكبير باستخدام (Low-Rank Adaptation - LoRA) بالتزامن مع المُشفر.
دالة الخسارة (Loss Function): يتم حساب هدف التدريب (الاحتمال اللوغاريتمي السلبي - NLL) فقط على مواقع الـ "توكنز" المولدة (غير المضغوطة). يتعلم النموذج تفسير التضمينات المضغوطة مع الحفاظ على جودة التوليد للمفردات القياسية.
التهيئة (Initialization): لضمان استقرار التقارب، يتم تهيئة المُشفر لإنتاج متوسط التجميع (mean pooling) للـ $K$ من تضمينات المدخلات. تم تصميم المُشفر كالتالي: $Output = \text{Mean}(Inputs) + \text{MLP}(Inputs)$ ، حيث تبدأ أوزان الـ MLP قريبة من الصفر. يوفر هذا نقطة انطلاق مستندة إلى المعنى الدلالي.

3. المساهمات الرئيسية

الضغط في الفضاء الكامن: إطار عمل مبتكر يستهدف الازدواجية في فضاء التضمين بدلاً من تسلسل الـ "توكن"، مما يميزه عن طرق الضغط الصلبة والمرنة السابقة.
وصفة التدريب: نهج تدريب محدد يعتمد على LoRA واستراتيجية "المُشفر المهيأ بالمتوسط" (Average-Initialized Encoder) التي تمكن النماذج اللغوية الكبيرة من التكيف مع المدخلات المضغوطة بكفاءة.
الأداء الأمثل (Pareto-Optimal): أدلة تجريبية تظهر أن الطريقة تقع على جبهة باريتو للأداء مقابل الضغط، محققة نسب ضغط عالية مع حد أدنى من فقدان الدقة.
التعميم: على عكس توسيع المفردات، لا تزيد هذه الطريقة من حجم المفردات وتتعمم بشكل طبيعي على تركيبات الـ "توكنز" غير المرئية.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاث مهام متنوعة باستخدام نموذج أساسي Qwen-2.5 0.5B، ومقارنتها بنماذج مرجعية مثل SelectiveContext و LLMLingua2 و LTSC.

مجموعة البيانات / المهمة	المقياس	النتائج الرئيسية
Textualized Tree (الاستنتاج الهيكلي)	الدقة	تحقيق تقليل في الطول بنسبة 75% (عند K=4) أدى إلى دقة 98.38% (مقابل 99.97% بدون ضغط). تفوقت على النماذج المرجعية بفارق كبير في مقياس P-L F1.
Amazon Reviews (تحليل المشاعر)	الدقة	تحقيق تقليل في الطول بنسبة 75% (عند K=4) أدى إلى دقة 91.05%. حققت الطريقة أفضل مقياس P-L F1 (0.822)، متفوقة على أقوى نموذج مرجعي بنسبة 25.5%.
CommitPackFT (تعديل الكود)	الارتياب (Perplexity)	تحقيق تقليل في الطول بنسبة 75% (عند K=4) أدى إلى أفضل مقياس P-L F1 (0.830). نجح النموذج في اتباع التعليمات لتعديل الكود رغم المدخلات المضغوطة.

مكاسب الكفاءة:

مع $K=4$ ، ينخفض طول المدخلات بنسبة 75%.
بما أن انتباه الملء المسبق يتناسب طردياً مع $O(n^2)$ ، فإن الملء المسبق المضغوط يتطلب فقط $0.25^2 = 6.25\%$ من عمليات الـ FLOPs الأصلية.
في السيناريوهات التي يكون فيها طول المخرجات قصيراً بالنسبة للمدخلات، يؤدي هذا إلى تقليل إجمالي في الحوسبة يقدر بـ 94%.

5. الأهمية والتوجهات المستقبلية

الأهمية:
يُظهر هذا العمل أن الاختناق الرئيسي في النماذج اللغوية الكبيرة ذات السياق الطويل ليس فقط في عدد الـ "توكنز"، بل في عدم كفاءة كيفية تمثيل تلك الـ "توكنز" في فضاء التضمين. من خلال دمج الـ "توكنز" قبل دخولها إلى آلية الانتباه، يوفر دمج الـ K-توكن مساراً لتقليل تكاليف الذاكرة والحوسبة بشكل جذري دون التضحية بقدرة النموذج على التعامل مع المهام كثيفة المعلومات مثل البرمجة والاستنتاج.

القيود والعمل المستقبلي:

مرحلة التوليد: حالياً، يتم تطبيق الضغط على المدخلات فقط (الملء المسبق). يعد ضغط الـ "توكنز" المولدة خلال مرحلة التوليد توجهاً مستقبلياً.
ثابت أم متكيف: تستخدم الطភាព الحالية قيمة $K$ ثابتة لجميع الكتل. قد يستكشف العمل المستقبلي الضغط المتكيف (تغيير $K$ بناءً على تردد الـ "توكن" أو الكثافة الدلالية).
حجم النموذج: اقتصرت التجارب على نماذج أصغر (0.5B). من الضروري التحقق من قابلية التوسع باستخدام نماذج لغوية أكبر.

في الختال، يمثل دمج الـ K-توكن تحولاً جذرياً من الضغط على مستوى الـ "توكن" إلى الضغط على مستوى التضمين، مما يقدم حلاً عالي الكفاءة لنشر النماذج اللغوية الكبيرة ذات السياق الطويل.