💬 NLP

GLASS: Global-Local Aggregation for Inference-time Sparsification of LLMs

يُعد GLASS إطار عمل لا يتطلب تدريباً يعمل على تحسين التناثر أثناء الاستدلال للنماذج اللغوية الكبيرة من خلال تجميع التنشيطات المحلية الخاصة بالمطالبة والبوادئ الجوهرية العالمية للنموذج عبر تجميع الرتب، مما يؤدي إلى استقرار تقليم الشبكات العصبية المغذية الديناميكية وتعزيز دقة التوليد وسرعة فك التشفير بشكل كبير، لا سيما في سيناريوهات المطالبات القصيرة والنصوص الطويلة.

المؤلفون الأصليون: Amirmohsen Sattarifard, Sepehr Lavasani, Kunlin Zhang, Amirhossein Rajabpour, Hanlin Xu, Fengyu Sun, Negar Hassanpour, Chao Gao

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Amirmohsen Sattarifard, Sepehr Lavasani, Kunlin Zhang, Amirhossein Rajabpour, Hanlin Xu, Fengyu Sun, Negar Hassanpour, Chao Gao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة عملاقة وذكية للغاية (نموذج لغوي كبير، أو LLM) يمكنها كتابة القصص، والإجابة على الأسئلة، وحل المشكلات. لكن هذه المكتبة ضخمة جدًا بحيث لا يمكنها أن تسع في هاتفك أو حاسوبك المحمول؛ فهي ثقيلة جدًا، وبطيئة، وتتطلب الكثير من الطاقة لتشغيلها.

لجعلها تعمل على جهازك، تحتاج إلى "تقليمها" (Pruning) — أي أنك تحتاج إلى إخبارها بتجاهل 50% من خلايا دماغها الداخلية (النيورونات) أثناء التفكير، لتعمل بشكل أسرع وتستهلك ذاكرة أقل.

المشكلة: "لعبة التخمين" مع المطالبات القصيرة
تحاول الطرق الموجودة حاليًا تحديد الخلايا العصبية التي يجب الاحتفاظ بها من خلال النظر إلى أول شيء تكتبه (المطالبة/Prompt). تقول هذه الطرق: "حسنًا، لقد طرحت سؤالًا قصيرًا، لذا سنبقي هذه الخلايا العصبية المحددة نشطة".

تجادل الورقة البحثية بأن هذا يشبه محاولة التخطيط لرحلة طريق كاملة بناءً على الخطوة الأولى التي تخطوها خارج الباب.

المطالبات القصيرة: إذا طرحت سؤالًا قصيرًا، فلن يمتلك النموذج معلومات كافية لمعرفة أي الخلايا العصبية مهمة حقًا للإجابة الطويلة التي سيولدها لاحقًا.
الإجابات الطويلة: مع بدء النموذج في كتابة قصة طويلة، تتغير "أهمية" الخلايا العصبية. فالخلايا التي بدت مهمة للسؤال القصير قد تصبح عديمة الفائدة لبقية القصة.
النتيجة: يصاب النموذج بالارتباك، ويرتكب أخطاءً، وتنخفض جودة الكتابة لأن الخلايا التي احتفظ بها كانت خاطئة، والخلاما التي أوقف تشغيلها كانت هي الصحيحة.

الحل: GLASS (التجميع العالمي-المحلي)
يقترح المؤلفون طريقة تسمى GLASS. فكر في GLASS كمدير ذكي يتخذ القرارات باستخدام مصدرين مختلفين للمعلومات، وليس مصدرًا واحدًا فقط.

الرؤية المحلية (إشارة "الآن"): تنظر إلى ما كتبته للتو. وهي تسأل: "بناءً على هذا السؤال المحدد، أي الخلايا العصبية تضيء الآن؟" هذا جيد للسياق ولكنه غير موثوق للمطالبات القصيرة.
الرؤية العالمية (الإشارة "الجوهرية"): وهذا هو الابتكار الكبير في الورقة البحثية. قبل أن يرى النموذج سؤالك، قام الباحثون بإجراء اختبار خاص حيث تركوا النموذج يتحدث مع نفسه باستخدام مطالبة فارغة (مجرد مساحة فارغة). وسألوا: "أي الخلايا العصبية يستخدمها هذا النموذج دائمًا، بغض النظر عن أي شيء؟" وهذا يخلق "ورقة غش" لأكثر خلاياه العصبية أهمية وموثوقية.

كيف يعمل GLASS: تشبيه "التصنيف"
لا يكتفي GLASS باختيار أحدهما فقط، بل يستخدم نظام تصويت ذكي يسمى تجميع الرتب (Rank Aggregation).

تخيل أنك تختار فريقًا للعبة رياضية:

المدرب المحلي يقول: "اللاعب (أ) رائع لهذه المباراة المحددة".
المدرب العالمي يقول: "اللاعب (أ) هو أفضل لاعب لدينا، ببساطة، بناءً على مسيرته المهنية بأكملها".

إذا استمعت للمدرب المحلي فقط، فقد تختار لاعبًا جيدًا لمباراة واحدة ولكنه سيء طوال اللعبة. وإذا استمعت للمدرب العالمي فقط، فقد تختار لاعبًا نجمًا لا يناسب الاستراتيجية المحددة.

يجمع GLASS بين الاثنين. فهو يأخذ القائمة "المحلية" والقائمة "العالمية" ويدمجهما. إذا تم تصنيف خلية عصبية برتبة عالية من قبل كلا المدربين، فإنها تبقى بالتأكيد. وإذا كان أحد المدربين غير متأكد (مثل حالة المطالبات القصيرة)، فإن رأي المدرب الآخر ينقذ الموقف.

خدعة "تحفيز المطالبة الفارغة" (NPS)
للحصول على "ورقة الغش" العالمية هذه دون الحاجة إلى مجموعة بيانات ضخمة من الكتب أو ويكيبيديا، استخدم المؤلفون خدعة تسمى تحفيز المطالبة الفارغة (Null Prompt Stimulation).

بدلاً من تغذية النموذج بكتاب ليقرأه، تركوه يولد نصًا من العدم (مطالبة فارغة).
هذا يجبر النموذج على الاعتماد كليًا على أسلاكه الداخلية. الأمر يشبه طلب من موسيقي أن يعزف مقياسًا موسيقياً بدون نوتة موسيقية لترى أي الأصابع يستخدمها بشكل طبيعي أكثر. هذا يعطي خريطة نقية وغير منحازة لأكثر خلاياه العصبية حيوية.

النتائج: أسرع وأذكى
اختبرت الورقة البحثية GLASS على نماذج عديدة (مثل Llama و Gemma و Mistral) ووجدت:

جودة أفضل: عندما طُلب منها كتابة قصص طويلة من مطالبات قصيرة، ارتكب GLASS أخطاء أقل بكثير من الطرق السابقة. لقد كان قريبًا جدًا من جودة النموذج الكامل غير المقلم.
سرعة أكبر: على هاتف Samsung Galaxy S25 Ultra (وهو هاتف عالي المواصفات)، جعل GLASS النموذج يعمل أسرع بما يصل إلى 11 مرة في بعض الحالات. حدث هذا لأن النموذج أصبح صغيرًا بما يكفي ليتسع تمامًا في الذاكرة السريعة للهاتف، مما يتجنب العملية البطيئة لنقل البيانات ذهابًا وإيابًا باستمرار.

باختًا
GLASS هو أداة "جاهزة للاستخدام" تجعل نماذج الذكاء الاصطناك الكبيرة تعمل على الأجهزة الصغيرة. إنه يعالج مشكلة "التخمين الخاطئ" في الأسئلة القصيرة من خلال الجمع بين ما يفعله النموذج "الآن" وبين ما هو "بارع فيه طبيعيًا"، مما يضمن بقاء الذكاء الاصطناعي ذكيًا وسريعًا، حتى عندما يعمل بموارد محدودة.

ملخص تقني: GLASS – التجميع العالمي-المحلي للتخفيف من كثافة النماذج اللغوية الكبيرة أثناء الاستنتاج

1. بيان المشكلة

يتطلب نشر النماذج اللغوية الكبيرة (LLMs) على الأجهزة الطرفية ذات الموارد المحدودة تقليل حركة مرور الذاكرة والطلب الحسابي. وبينما يعمل التقليم الثابت (Static Pruning) على إزالة المعلمات بشكل دائم، فإن التقليم الديناميكي (Dynamic Pruning) — الذي يعتمد على تخطي الحسابات بناءً على المدخلات — يوفر بديلاً مرناً. ومع ذلك، تعتمد طرق التقليم الديناميكي الحالية الخالية من التدريب (Training-free) لشبكات التغذية الأمامية (FFNs) حصرياً على الإشارات المستمدة من المطالبة (Local activations أثناء مرحلة الـ prefill) لتقدير أهمية العصبونات.

حدد المؤلفون نمط فشل حرج في هذه النهج التي تعتمد على "المطالبة فقط":

عدم الموثوقية في المطالبات القصيرة: بالنسبة للمطالبات القصيرة، تكون إشارة التنشيط المحلية غير كافية للتنبؤ بدقة بالعصبونات الحرجة لعملية التوليد الطويلة اللاحقة.
انزياح القناع (Mask Drift): غالباً ما تنزاح أنماط التنشيط خلال مرحلة فك التشفول (Decoding) بشكل كبير عن قناع الـ prefill، مما يؤدي إلى أقنعة تقليم غير دقيقة.
تدهور الدقة (Degraded Fidelity): يؤدي هذا الانزياح إلى جودة توليد ضعيفة (ارتفاع في الـ Perplexity و KL divergence) أثناء فك التشفول طويل المدى، خاصة عندما تكون المطالبة قصيرة.

تحديث الأقنعة عبر الإنترنت (Online) لتصحيح هذا الانزياح أمر ممكن، ولكنه يضيف عبئاً حسابياً ويبطل فوائد إبقاء مجموعة فرعية ثابتة ومدمجة من الأوزان مستقرة في الذاكرة السريعة (وهي ميزة رئيسية للنشر على الأجهزة الطرفية).

2. المنهجية: GLASS

يقترح المؤلفون إطار عمل GLASS (التجميع العالمي-المحلي للتخفيف من الكثافة)، وهو إطار عمل جاهز للاستخدام (Plug-and-play)، وخالٍ من التدريب، يعمل على استقرار تقليم الـ FFN الديناميكي من خلال تجميع رؤيتين متكاملتين لأهمية العصبون: التنشيطات المحلية الخاصة بالمطالبة والأولوية العالمية الجوهرية للنموذج.

2.1 تقدير الأولوية العالمية عبر تحفيز المطالبة الفارغة (NPS)

بدلاً من الاعتماد على مجموعات بيانات خارجية (مثل ويكيبيديا) التي قد تسبب انحيازاً للمحتوى، يحسب GLASS أولوية عالمية باستخدام تحفيز المطالبة الفارغة (Null-Prompt Stimulation - NPS).

الآلية: يقوم النموذج بتوليد نص من نفسه باستخدام مطالبة فارغة (مثل سلسلة نصية فارغة أو رمز BOS) تحت إعدادات أخذ عينات نموذجية.
الفائدة: هذا يستكشف استخدام العصبونات الجوهري للنموذج دون انحياز لبيانات خارجية.
نسختان من الأهمية العالمية ( $M^g$ ):
1. A-GLASS (مقدار التنشيط): يحسب متوسط مقدار التنشيط ( $\ell_2$ -normalized) للعصبونات عبر تسلسلات الـ NPS.
2. I-GLASS (تأثير العصبون): يحسب تأثير إزالة عصبون على خسارة الـ Cross-entropy باستخدام توسيع تايلور من الدرجة الأولى (مشابه لتقليم تايلور). يتم حساب التدرجات عبر الـ teacher-forcing على تسلسل الـ NPS المولد ذاتياً.

2.2 تجميع الرتب (Rank Aggregation)

يقوم GLASS بدمج الإشارة المحلية ( $A^l$ ، المستمدة من المطالبة المدخلة) والإشارة العالمية ( $M^g$ ، المستمدة من NPS) باستخدام قاعدة تجميع الرتب الموزونة.

الترتيب: يتم تحويل كل من درجات الأهمية المحلية والعالمية إلى رتب ( $R^{(l)}$ و $R^{(g)}$ ) للتعامل مع الاختلافات في النطاق والتوزيع.
التفسير الاحتمالي: يفسر المؤلفون GLASS كبحث عن ترتيب الإجماع لـ الاحتمال الأقصى اللاحق (MAP) تحت نموذج احتمالي قائم على التبديل (تحديداً نموذج Mallows مع مسافة Spearman rank تربيعية).
صيغة الدمج: الدرجة النهائية للعصبون $j$ هي مجموع موزون لرتبها:
$GLASS_j = (1 - \lambda)R^{(l)}_j + \lambda R^{(g)}_j$
حيث يوازن $\lambda$ بين موثوقية الأدلة المحلية مقابل العالمية. الإعداد الافتراضي هو $\lambda = 0.5$ ، بافتراض تساوي الموثوقية.
الاختيار: يتم اختيار أفضل- $k$ من العصبونات ذات أعلى درجات GLASS لتشكيل قناع التقليم، والذي يتم تطبيقه لاحقاً خلال مرحلة فك التشفول.

3. المساهمات الرئيسية

تحدد الورقة أربع مساهمات رئيسية:

تحديد أنماط الفشل: يوضح المؤلفون أن التخفيف المعتمد على المطالبة فقط يفشل في سيناريوهات المطالبة القصيرة والتوليد الطويل بسبب انزياح التنشيط، مما يؤدي إلى تدهور دقة التوليد.
إطار عمل GLASS: تقديم إطار عمل جاهز للاستخدام وخالٍ من التدريب يدمج أدلة المطالبة المحلية مع أولوية عالمية جوهرية للنموذج (المحسوبة عبر NPS) لإنتاج أقنعة قوية.
الأساس النظري: تفسير احتمالي لـ GLASS كترتيب إجماع MAP تحت نموذج من نوع Mallows، مما يوفر تبريراً مبدئياً لقاعدة تجميع الرتب الموزونة.
الأداء التجريبي: إثبات التحسينات الجوهرية على النماذج السابقة الخالية من التدريب (تحديداً GRIFFIN) في السيناريوهات الصعبة، حيث حقق انخفاضاً يصل إلى 45.10% في الـ Perplexity و 25.73% في الـ KL divergence عند كثافة 50%، جنباً إلى جنب مع تسريع ملحوظ في الأداء على الأجهزة.

4. النتائج التجريبية

قيم المؤلفون GLASS على مجموعة متنوعة من النماذج اللغوية مفتوحة المصدر (بما في ذلك عائلات Gemma، Llama، Mistral، OPT، Qwen، و Phi) عبر اختبارات التصنيف، التوليد القصير، والتوليد الطويل.

التوليد طويل المدى (اختبار Alpaca): يتفوق GLASS بشكل كبير على أقوى نموذج أساسي خالٍ من التدريب (GRIFFIN).
- Gemma 3n E2B: حقق انخفاضاً بنسبة 45.10% في الـ Perplexity و 25.73% في الـ KL divergence مقارنة بـ GRIFFIN.
- Gemma 2 27B: حقق انخفاضاً بنسبة 12.48% في الـ Perplexity و 22.80% في الـ KL divergence.
- Llama 3 8B: حقق انخفاضاً بنسبة 23.28% في الـ Perplexity و 21.98% في الـ KL divergence.
التوليد قصير المدى والتصنيف: يؤدي GLASS أداءً مقارباً لـ GRIFFIN في مهام التصنيف والتوليد القصير القياسية، مما يشير إلى أن الأولوية العالمية هي الأكثر أهمية لاستقرار التوليد طويل المدى.
تحليل تداخل Oracle: تظهر التجارب أن تجميع (العالمي-المحلي) ينتج أقنعة أقرب بكثير إلى مجموعة "الـ Oracle" من العصبونات الحرجة (ارتفاع تشابه Jaccard من ~0.52 إلى ~0.60) مقارنة باستخدام الإشارات المحلية أو العالمية وحدها.
NPS مقابل WikiText: استخدام NPS لتقدير الأولوية العالمية يتفوق باستمرار على استخدام إحصائيات WikiText، مما يؤكد أن NPS يوفر تقديرات أهمية أكثر موثوقية وخالية من الانحياز.
الأداء على الأجهزة: تم التقييم على جهاز Samsung Galaxy S25 Ultra.
- بالنسبة لـ Gemma 7B، سمح تقليل الـ FFN بنسبة 50% للنموذج بالاستقرار بالكامل في الـ RAM، مما أدى إلى تسريع عملية فك التشفول بمقدار ~11 ضعفاً مقارنة بالنموذج الكثيف (الذي عانى من تبادل الذاكرة/memory swapping).
- بالنسبة لـ Llama 3 8B، لوحظ تسريع بنسبة 42%.

5. الأهمية والادعاءات

تدعي الورقة أن GLASS يفتح آفاقاً لتسريع موثوق للعمليات على الأجهزة الطرفية، خاصة لمهام العمل التي تتميز بمطالبات قصيرة وتوليد طويل، وهي أمور شائعة في التطبيقات الاستهلاكية.

المتانة: من خلال دمج المعرفة العالمية المستقرة والجوهרית للنموذج مع الأدلة المحلية الخاصة بالسياق، يخفف GLASS من مشكلة "الانزياح" التي تعاني منها الطرق المعتمدة على المطالبة فقط.
الكفاءة: يحافظ على مزايا الأقنعة الثابتة (بقاء الأوزان في الذاكرة السريعة) مع التكيف ديناميكياً مع سياقات المدخلات دون عبء تدريب نماذج تنبؤ مساعدة أو إعادة حساب الأقنعة لكل رمز (token).
العمومية: الطريقة مستقلة عن النموذج وخالية من التدريب، مما يجعلها قابلة للتطبيق على نطاق واسع من النماذج اللغوية الكبيرة سابقة التدريب دون الحاجة لضبط دقيق (fine-tuning).
الرصانة النظرية: الطريقة ليست مجرد استدلال تجريبي (heuristic) بل هي قائمة على نموذج ترتيب احتمالي للإجماع.

خلص المؤلفون إلى أن المعرفة العالمية الجوهرية للنموذج هي مورد حيوي لم يتم استغلاله بشكل كافٍ سابقاً لتحسين عملية التخفيف المدفوعة بالمطالبة، مما يتيح استنتاجاً فعالاً على الأجهزة ذات الموارد المحدودة.