💬 NLP

Lizard: An Efficient Linearization Framework for Large Language Models

يُعد Lizard إطار عمل جديد للخطية يحول النماذج اللغوية الكبيرة القائمة على بنية Transformer والمُدربة مسبقاً إلى بنيات ذات تعقيد دون تربيعي باستخدام وحدات قابلة للتعلم وتكيفية وخوارزمية مدركة للأجهزة للتغلب على اختناقات التعقيد التربيعي مع تحقيق استعادة للأداء تقارب غياب الخسارة وتعميم طول متفوق مقارنة بالطرق السابقة.

المؤلفون الأصليون: Chien Van Nguyen, Huy Nguyen, Ruiyi Zhang, Hanieh Deilamsalehy, Puneet Mathur, Viet Dac Lai, Haoliang Wang, Jayakumar Subramanian, Ryan A. Rossi, Trung Bui, Nikos Vlassis, Franck Dernoncourt, Thien Hu

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chien Van Nguyen, Huy Nguyen, Ruiyi Zhang, Hanieh Deilamsalehy, Puneet Mathur, Viet Dac Lai, Haoliang Wang, Jayakumar Subramanian, Ryan A. Rossi, Trung Bui, Nikos Vlassis, Franck Dernoncourt, Thien Huu Nguyen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عبقرياً وفائق الذكاء (وهو النموذج اللغوي الكبير أو LLM) قد قرأ كل كتاب تقريباً في العالم. هذا الأمين مذهل في الإجابة على الأسئلة، وكتابة القصص، وحل الألغاز. ومع ذلك، هناك عقبة واحدة: هذا الأمين لديه نظام ذاكرة سيء للغاية.

المشكلة: عنق الزجاجة "التربيعي" (Quadratic Bottleneck)

في عالمنا الحالي، إذا طلبت من أمين المكتبة تذكر قصة طولها 10 صفحات، فعليه أن يقلب عبر الصفحات العشر كاملة في كل مرة يقرأ فيها جملة جديدة. وإذا كانت القصة بطول 1,000 صفحة، فسيتعين عليه تقليب 1,000 صفحة مقابل كل كلمة يكتبها.

يُسمى هذا التعقيد التربيعي. الأمر يشبه محاولة العثور على حبة رمل معينة في شاطئ عبر فحص كل حبة رمل مقابل كل حبة أخرى.

النتيجة: يصاب أمين المكتبة بالإرهاق (التكلفة الحسابية)، وتنفد مساحة مكتبه (الذاكرة)، وفي النهاية يستسلم عندما تصبح القصة طويلة جداً. لا يمكنه التعامل مع المهام ذات "السياق الطويل" مثل قراءة رواية كاملة أو تحليل رسائل بريد إلكتروني لمدة عام كامل دفعة واحدة.

الحل: ظهور "Lizard"

ابتكر الباحثون إطار عمل جديداً يسمى Lizard. فكر في "Lizard" ليس كأمين مكتبة جديد، بل كـ نظام أرشفة سحري تقوم بإلحاقه بأمين المكتبة العبقري الموجود بالفعل. إنه يحول ذاكرة أمين المكتبة الفوضوية والبطيئة إلى ذاكرة فعالة ومدمجة يمكنها التعامل مع قصص ذات طول غير محدود دون تعب.

إليك كيف يعمل "Lizard"، مقسماً إلى ثلاثة أجزاء بسيطة:

1. "البوابة الذكية" (الذاكرة التكيفية)

تخيل أن أمين المكتبة لديه دلو يرمي فيه ذكرياته القديمة. عادةً، يقوم برمي الأشياء عشوائياً أو بناءً على جدول زمني ثابت.

ابتكار Lizard: يضيف "Lizard" بوابة ذكية إلى الدلو. هذه البوابة تشبه الحارس الذي يقرر: "هل أحتاج لتذكر هذه التفصيلة المحددة؟"
إذا كان التفصيل مهماً (مثل اسم شخصية)، فإن البوابة تحتفظ به. أما إذا كان مجرد ضجيج (مثل "السماء كانت زرقاء")، فإن البوابة تسمح له بالتلاشي.
لما لماذا هذا مهم: هذا يسمح لأمين المكتبة بتذكر جوهر كتاب مكون من 100,000 صفحة دون الحاجة إلى مستودع بحجم مدينة لتخزينه. إنه يتعلم ماذا ينسى وماذا يحتفظ به، بدلاً من مجرد اتباع قاعدة جامدة.

2. "نافذة الارتكاز" (الدقة المحلية)

بينما تعد "البوابة الذكية" رائعة في تذكر الصورة الكبيرة، إلا أنها قد تفقد أحياناً بعض التفاصيل الصغيرة والدقيقة (مثل رقم معين أو اقتباس).

ابتكار Lizard: يضيف "Lizard" عدسة مكبرة صغيرة وعالية الدقة (تسمى نافذة الارتكاز - Anchor Window) تنظر بتمعن في الجمل الأخيرة.
التشبيه: فكر في "البوابة الذكية" كعدسة واسعة الزاوية ترى الغابة بأكملة، و"نافذة الارتكاز" كعدسة تقريب (Zoom) تنظر إلى شجرة محددة. يجمع "Lizard" بين الاثنين: فهو يحتفظ بالصورة الكبيرة في ذاكرته المدمجة بينما يستخدم عدسة التقريب للحصول على التفاصيل الدقيقة بشكل صحيح.

3. "الإصلاح العتادي" (تسريع المحرك)

لاحظ الباحثون أنه عندما حاولوا بناء هذه "البوابة الذكية"، أصبحت الرياضيات معقدة وغير مستقرة على شرائح الكمبيوتر، مما أجبر الكمبيوتر على الإبطاء واستهلاك المزيد من الطاقة.

ابتكار Lizard: أعادوا كتابة الرياضيات (مثل تغيير وصفة الكعكة) لتتناسب تماماً مع شرائح الكمبيوتر الحديثة (Tensor Cores).
النتيجة: جعل هذا عملية التدريب أسرع بنسبة 32%. الأمر يشبه ضبط محرك سيارة ليعمل بسلاسة أكبر ويستهلك وقوداً أقل دون تغيير تصميم السيارة.

النتائج: لماذا يجب أن تهتم؟

اختبر الباحثون "Lizard" عن طريق أخذ نموذج ذكاء اصطناعي رفيع المستوى (مثل Llama-3 أو Mistral) واستبدال ذاكرته البطيئة بنظام "Lizard" الفعال.

الأداء: أدى نموذج "Lizard" الجديد أداءً يضاهي تقريباً أمين المكتبة العبقري الأصلي. لم يفقد ذكاءه. في الواقع، في بعض الاختبارات، كان أفضل بـ 9 إلى 24 نقطة من المحاولات الأخرى لجعل الذكاء الاصطناعي أسرع.
الذاكرة: تعطل النموذج الأصلي عندما حاول قراءة قصة طولها 32,000 كلمة. أما "Lizard" فقد قرأها بـ ذاكرة ثابتة، مما يعني أنه استخدم نفس القدر من قوة الكمبيوتر سواء كانت القصة صفحة واحدة أو 1,000 صفحة.
الاسترجاع: إذا أخفيت رمزاً سرياً في مستند مكون من 64,000 كلمة، يمكن لـ "Lizard" العثور عليه بدقة تامة. بينما فشلت الطرق الأخرى بمجرد أن أصبح المستند أطول مما تم تدريبها عليه.

الخلا-صة

Lizard هو جسر. إنه يأخذ نماذج الذكاء الاصطناوى القوية والمكلفة التي نمتلكها اليوم، ويمنحها "قوة خارقة" لقراءة كميات غير محدودة من النصوص دون تباطؤ أو نفاد للذاكرة.

إنه يشبه أخذ سيارة فيراري (الذكاء الاصطناعي الحالي) ومنحها محركاً هجيناً (Lizard) يسمح لها بالقيادة للأبد دون التوقف للتزود بالوقود، مع بقائها بنفس السرعة والذكاء كما كانت. هذا يجعل من الممكن تشغيل الذكاء الاصطناعي المتقدم على أجهزة أصغر أو استخدامه لمهام تتطلب قراءة كتب كاملة، أو عقود قانونية، أو بيانات سنوات عديدة في ثوانٍ معدودة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Lizard: إطار عمل خطي فعال للنماذج اللغوية الكبيرة".

1. بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) القائمة على بنيات Transformer على انتباه Softmax، والذي يعاني من تعقيد زمني وذاكرة تربيعي ( $O(L^2)$ ) بالنسبة لطول التسلسل ( $L$ ). وهذا يخلق اختناقات شديدة:

تكلفة التدريب/الاستدلال: تتوسع الحوسبة بشكل تربيعي، مما يجعل معالجة السياق الطويل مكلفة للغاية.
محدودية الذاكرة: ينمو مخزن المفتاح-القيمة (KV cache) خطياً مع طول السياق، مما يتسبب في أخطاء نفاذ الذاكرة (OOM) أثناء التوليد للتسلسلات الطويلة.
قصور الحلول الحالية:
- التدريب من الصفر: النماذج التي تُدرب باستخدام الانتباه الخطي (مثل Mamba، RWKV) من الصفر غالباً ما يكون أداؤها أقل مقارنة بـ Transformers في المهام التي تتطلب التعلم داخل السياق والاسترجاع.
- طرق الخطية (Linearization): الطرق الحالية التي تحاول جعل نماذج Transformer "المُدربة مسبقاً" خطية (مثل LoLCATs، Liger) تفشل في مطابقة أداء النموذج المعلم (غالباً ما تنخفض بنسبة 10-20+ نقطة في اختبار MMLU) وتواجه صعوبة في التعميم على الأطوال (Length Extrapolation) بسبب الترميزات الموضعية الثابتة (RoPE) وهياكل الذاكرة غير التكيفية.

2. المنهجية: إطار عمل Lizard

Lizard هو إطار عمل مصمم لتحويل نماذج LLM القائمة على Transformer والمُدربة مسبقاً إلى بنيات دون-تربيعية (sub-quadratic) مع استعادة أداء يقارب الأداء الأصلي. وهو يستخدم عملية تدريب من مرحلتين وآلية انتباه هجينة.

أ. بنية الانتباه الهجينة

يستبدل Lizard انتباه softmax القياسي بمزيج من مكونين:

الانتباه الخطي ذو البوابة (GLA) مع بوابة قابلة للتعلم:
- التحكم التكيفي في الذاكرة: بدلاً من الترميزات الموضعية الثابتة (RoPE)، يقدم Lizard وحدة بوابة قابلة للتعلم ( $\Gamma_i = \sigma(W_\gamma x_i)$ ). هذا يخلق بنية تكرارية تكيفية مع البيانات حيث يقرر النموذج ديناميكياً مقدار المعلومات الماضية التي يجب الاحتفاظ بها أو نسيانها.
- التعميم على الطول: تتعلم آلية البوابة ضمنياً المعلومات الموضعية النسبية من خلال أنماط اضمحلال تكيفية، مما يسمح بالتعميم القوي على أطوال التسلسلات غير المرئية أثناء التدريب.
- تحديث الحالة: يحافظ النموذج على حالة مخفية ذات ذاكرة ثابتة ( $S_i = \Gamma_i S_{i-1} + \phi(k_i)v_i^\top$ )، مما يلغي الحاجة إلى مخزن KV متزايد.
انتباه النافذة المرتكزة (Anchor Window Attention):
- لاستعادة دقة "القمم" (spiky precision) الخاصة بانتباه softmax للسياق المحلي، يعزز Lizard نافذة منزلقة محلية باستخدام رموز ذاكرة ميتا (meta-memory tokens) قابلة للتعلم ( $t$ ).
- تعمل هذه الرموز كـ "بالوعات انتباه" (attention sinks) في مقام عملية الـ softmax، مما يعمل على استقرار التوزيع وإدارة التنشيطات الضخمة دون المساهمة مباشرة في القيمة المخرجة.
- يحافظ هذا على التفاعلات المحلية الدقيقة بينما يتولى الـ GLA ضغط السياق العالمي.

المخرج النهائي: المخرج النهائي هو مجموع مرجح: $\hat{Y}_{lizard} = \hat{Y}_{gate} + \alpha \cdot \hat{Y}_{anchor}$ .

ب. استراتيجية التدريب

المرحلة الأولى: تقريب الانتباه: يتم تدريب النموذج لمحاكاة مخرجات الانتباه للنموذج المعلم (بما في ذلك أنماط RoPE) باستخدام خسارة متوسط المربعات (MSE). تقوم هذه المرحلة باستخلاص (distilling) أنماط الانتباه والوعي الموضعي للنموذج المعلم في البنية الخطية.
المرحلة الثانية: محاذاة نمذجة اللغة: يتم ضبط النموذج بدقة باستخدام أهداف نمذجة اللغة التنبؤية القياسية (عبر LoRA) للمواءمة مع المهام النهائية.

ج. خوارزمية مدركة للأجهزة (Hardware-Aware)

يعاني الانتباه الخطي ذو البوابة القياسي من عدم استقرار عددي في التنسيقات منخفضة الدقة (مثل bfloat16) بسبب تراكم ضربات البوابة التي تسبب نقص التدفق (underflow).

الحل: يقدم Lizard إعادة بارامتريّة (reparameterization) تمتص حد البوابة التراكمي في إسقاطات الاستعلام (query) والمفتاح (key) في الفضاء اللوغاريتمي.
الفائدة: يحول هذا العملية إلى عملية ضرب مصفوفات عامة (GEMM) قياسية، مما يسمح بالتنفيذ بكفاءة على Tensor Cores دون العودة إلى عمليات الدقة الكاملة (float32) البطيئة. يؤدي هذا إلى تحسين إنتاجية التدريب بنسبة 32-36%.

3. المساهمات الرئيسية

إطار عمل Lizard: طريقة خطية مبتكرة تحول نماذج Transformer المُدربة مسبقاً إلى بنيات دون-تربيعية مع استعادة أداء تقارب الأداء الأصلي.
الذاكرة التكيفية والتعميم: تقديم آليات بوابة قابلة للتعلم تحل محل الترميزات الموضعية الثابتة، مما يتيح تعميماً قوياً على الأطوال (حتى 64 ألف توكن) وتحكماً ديناميكياً في الذاكرة.
كفاءة الأجهزة: خوارزمية إعادة البارامترية التي تحل عدم الاستقرار العددي في الانتباه ذي البوابة، مما يسمح بالتدريب منخفض الدقة ويسرع الإنتاجية بشكل كبير.
التصميم الهجين: الجمع بين التكرار ذي البوابة العالمي وانتباه النافذة المرتكزة المحلية الذي يوازن بين ضغط السياق العالمي والدقة المحلية.

4. النتائج التجريبية

قيم المؤلفون Lizard على النماذج المعلمة Mistral-7B و LLaMA-3-8B.

اختبارات نمذجة اللغة (MMLU):
- يتفوق Lizard بشكل كبير على طرق الخطية السابقة. في اختبار MMLU (5-shot)، يحسن أداءه على الطرق السابقة بمقدار 9.4 إلى 24.5 نقطة.
- المقارنة:
  - LLaMA-3-8B-Lizard: 74.6 (متوسط) / 61.2 (MMLU).
  - LoLCATs (LLaMA-3-8B): 70.7 (متوسط) / 52.8 (MMLU).
  - Liger (LLaMA-3-8B): 67.6 (متوسط) / 43.4 (MMLU).
- في الإعداد الهجين (الاحتفاظ بـ 50% من طبقات softmax)، يقترب Lizard جداً من النموذج المعلم (65.1 مقابل 66.6 في MMLU).
استرجاع السياق الطويل (الاستدعاء الترابطي):
- الإبرة في كومة القش (Needle-in-a-Haystack): يحقق Lizard دقة استرجاع مثالية عبر مختلف أطوال السياق (حتى 64 ألف)، بينما يفشل LoLCATs فور تجاوز نافذة التدريب.
- اختبار RULER: يحافظ Lizard على دقة عالية (81.3% عند 32 ألف) مما يطابق نموذج الانتباه الكامل المعلم (80.5%).
الكفاءة:
- الذاكرة: يحافظ Lizard على استخدام ثابت للذاكرة وإنتاجية مستقرة حتى عند طول تسلسل 32 ألف، بينما ينفد من النموذج المعلم (مع FlashAttention-2) الذاكرة.
- السرعة: توفر الخوارزمية المدركة للأجهزة تسريعاً بنسبة 32-36% في زمن انتقال التمرير الأمامي (forward pass latency) مقارنة بتطبيقات GLA القياسية.

5. الأهمية

سد الفجوة: ينجح Lizard في سد الفجوة بين قدرات الاستدلال العالية لنماذج Transformer الضخمة وكفاءة الحوسبة للبنيات دون-التربيعية.
القابلية للتوسع: يوفر مساراً عملياً لنشر نماذج LLM المتطورة في البيئات محدودة الموارد (مثل الأجهزة الطرفية) مع قدرات سياق لانهائي دون التضحية بجودة الاستدلال.
التغلب على حدود الخطية: من خلال تقديم البوابات القابلة للتعلم والانتباه الهجين، يتغلب Lizard على المقايضة التاريخية حيث كانت النماذج الخطية إما تفقد الأداء أو تفشل في التعميم على السياقات الطويلة.

6. القيود

الاعتماد على المعلم: تعتمد الطريقة بشكل كبير على وجود نموذج أساس قوي مُدرب مسبقاً؛ قد يتدهور الأداء إذا كان النموذج المعلم ضعيفاً.
مقايضة الاستدعاء والذاكرة: رغم كونه فعالاً، إلا أن تمثيل الحالة ثابت الحجم لا يزال يواجه مقايضات متأصلة مقارنة بنماذج الانتباه الكامل في المهام التي تتطلب استدعاءً مكثفاً للغاية، وإن كان Lizard يدفع حدود "جبهة باريتو" (Pareto frontier) بشكل كبير.