💬 NLP

Improving LLM Predictions via Inter-Layer Structural Encoders

تقدم هذه الورقة مشفرات البنية بين الطبقات (ILSE)، وهو نهج مبتكر يستخدم "Cayley-Encoder" لتجميع المعلومات من طبقات النماذج اللغوية الكبيرة (LLM) المتوسطة، مما يتفوق بشكل كبير على تنبؤات الطبقة النهائية القياسية عبر مهام متنوعة ويمكّن النماذج الأصغر من منافسة النماذج الأكبر.

المؤلفون الأصليون: Tom Ulanovski (Tel Aviv University), Eyal Blyachman (Tel Aviv University), Maya Bechler-Speicher (Meta)

نُشر 2026-03-25

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tom Ulanovski (Tel Aviv University), Eyal Blyachman (Tel Aviv University), Maya Bechler-Speicher (Meta)

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة عملاقة وذكية للغاية (النموذج اللغوي الكبير، أو LLM) تعرف كل شيء تقريبًا عن اللغة. عندما تطرح عليها سؤالاً، فهي لا تكتفي بإعطائك إجابة من كتاب واحد محدد؛ بل بدلاً من ذلك، تقرأ آلاف الكتب، طبقة تلو الأخرى، وتجمع الأدلة.

الطريقة القديمة: مشكلة "الصفحة الأخيرة"
تقليديًا، عندما كان الناس يستخدمون هذه المكتبات الذكية، كانوا ينظرون فقط إلى الصفحة الأخيرة من الكتاب الأخير لاتخاذ قرار ما. لقد افترضوا أن المعلومات الأكثر أهمية تكون دائمًا في النهاية.

لكن مؤلفي هذه الورقة البحثية أدركوا شيئًا ما: هذا هدر!

الصفحات الأولى (الطبقات الدنيا) رائعة في فهم القواعد البسيطة والإملاء.
الصفحات الوسطى جيدة في فهم بنية الجملة.
الصفحات المتأخرة رائعة في فهم المعنى العميق والسياق.

من خلال النظر فقط إلى الصفحة الأخيرة، يتجاهل الذكاء الاصطناعي كنزًا دفينًا من الأدلة المفيدة المخبأة في المنتصف. الأمر يشبه محاولة حل لغز عبر قراءة الفقرة الأخيرة من رواية فقط، وتجاهل كل العمل التحري الذي تم في الفصول من الأول وحتى العاشر.

الحل الجديد: ILSE (الـ "اجتماع السريع للفريق")
ابتكر المؤلفون طريقة جديدة تسمى ILSE (المشفرات الهيكلية بين الطبقات). فكر في ILSE على أنها اجتماع سريع وفعال للفريق.

بدلاً من تجاهل الفصول الأخرى، تقوم ILSE بجمع "الملاحظات" من كل طبقة في المكتبة وتجبرها على التواصل مع بعضها البعض للوصول إلى إجابة واحدة مثالية.

السلاح السري: مخطط كايلي (الـ "دوارة السحرية")
لجعل اجتماع الفريق هذا يعمل دون أن يصبح فوضويًا أو غير منظم، استخدموا هيكلًا رياضيًا خاصًا يسمى مخطط كايلي (Cayley Graph).

إليك تشبيه بسيط:
تخيل مجموعة من الأشخاص (الطبقات) يقفون في دائرة.

الطريقة القديمة: يتحدث كل شخص فقط مع الشخص المجاور له. إذا كنت في الطرف البعيد من الدائرة، فسيستغرق وصول رسالتك إلى الطرف الآخر وقتًا طويلاً.
طريقة ILSE: يستخدمون "دوارة سحرية" (مخطط كايلي). هذا ترتيب خاص حيث يتم ربط الجميع بطريقة تسمح للمعلومات بالانتقال من شخص إلى أي شخص آخر فورًا تقريبًا، دون أن تتعطل في زحام مروري.

هذا يضمن أن "ملاحظات القواعد" من بداية الكتاب تختلط تمامًا مع "ملاحظات المعنى" من النهاية، مما يخلق قرارًا نهائيًا أكثر ذكاءً.

لماذا يعد هذا أمرًا هامًا؟
اختبرت الورقة البحثية هذا على 13 مهمة مختلفة (مثل تحديد ما إذا كانت التغريدة غاضبة أم سعيدة، أو ما إذا كانت جملتان تعنيان الشيء نفسه) باستخدام 9 نماذج ذكاء اصطناعي مختلفة الأحجام.

ترقية هائلة: جعلت ILSE الذكاء الاصطناتي أكثر ذكاءً بشكل كبير. في بعض الحالات، حسنت الدقة بنسبة 44%. هذا يشبه تحويل طالب بمستوى "جيد" إلى طالب بمستوى "ممتاز" لمجرد تعليمه كيفية تنظيم ملاحظاته بشكل أفضل.
غير مكلفة: لا تحتاج إلى إعادة بناء المكتبة بالكامل أو توظيف موظفين جدد. أنت فقط تضيف "مديرًا" صغيرًا وفعالًا (مشفر ILSE) فوق الذكاء الاصطناعي الحالي. وهي لا تضيف أي تكلفة أو ذاكرة تذكر.
تعمل مع النماذج الصغيرة: عادةً، تحتاج إلى ذكاء اصطناعي ضخم ومكلف للحصول على نتائج جيدة. لكن ILSE بارعة جدًا في تنظيم المعلومات لدرجة أنها يمكن أن تجعل نموذجًا صغيرًا (بـ 14 مليون معلمة فقط) يؤدي بنفس مستوى نموذج ضخم (بـ 2.8 مليار معلمة). الأمر يشبه إعطاء دراجة هوائية سرعة دراجة نارية من خلال الديناميكية الهوائية الأفضل.
تتعلم بسرعة: حتى لو عرضت على الذكاء الاصطناعي عددًا قليلًا من الأمثلة (مثل 32 جملة)، فإن ILSE تتعلم المهمة بشكل أسرع بكثير من الطرق الأخرى.

باختأصر
تقول الورقة البحثية: "توقفوا عن تجاهل الفصول الوسطى من القصة!" من خلال استخدام خدعة رياضية ذكية للسماح لجميع أجزاء الذكاء الاصطناعي بالتواصل مع بعضها البعض بكفاءة، يمكننا جعل نماذج الذكاء الاصطناعي الحالية أكثر ذكاءً، وسرعة، وكفاءة دون الحاجة إلى بناء نماذج أكبر وأكثر تكلفة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تحسين تنبؤات النماذج اللغوية الكبيرة عبر المشفرات الهيكلية بين الطبقات (ILSE)".

1. بيان المشكلة

تعتمد الممارسة القياسية في النماذج اللغوية الكبيرة (LLMs) على تمثيلات الرموز (tokens) في الطبقة النهائية للمهام اللاحقة (مثل التصنيف، أو التشابه الدلالي). ومع ذلك، تشير الأبحاث الحديثة إلى أن:

الطبقات المتوسطة غالبًا ما تحتوي على معلومات جوهرية وذات صلة بالمهام، والتي تُفقد أو تضعف في الطبقة النهائية.
الطبقة المثلى لمهمة معينة ليست ثابتة؛ فهي تختلف باختلاف المهمة (على سبيل المثال، تلتقط الطبقات الدنيا القواعد النحوية، بينما تلتقط الطبقات العليا المعاني الدلالية).
المنهجيات الحالية لتجميع معلومات الطبقات تعاني من قيود:
- ELMo/المجموع الموزون (Weighted Sums): تلتقط فقط التجميعات الخطية، وتفتقر إلى التفاعلات غير الخطية المعقدة.
- الانتباه عبر العمق (DWAtt): يربط الانتباه بالطبقة النهائية، مما يفشل في معاملة جميع الطبقات بالتساوي.
- تعديل البنية (Architecture Modification): الطرق التي تغير بنية المحول (Transformer) تتطلب تدريبًا من الصفر، وهو أمر غير ممكن حسابيًا للنماذج سابقة التدريب.

التحدي الجوهري هو كيفية دمج تمثيلات جميع الطبقات الداخلية لنموذج لغوي كبير مجمد بشكل فعال في تمثيل واحد محسّن دون تعديل بنية النموذج الأساسي.

2. المنهجية: المشفرات الهيكلية بين الطبقات (ILSE)

يقترح المؤلفون إطار عمل ILSE، الذي يعامل مجموعة تمثيلات الطبقات كبنية بيانية (graph) منظمة ويستخدم الشبكات العصبية الرسومية (GNNs) لتعلم تجميع أمثل.

سير العمل الأساسي

تمثيل الطبقة: بالنسبة لنموذج لغوي كبير يتكون من $L$ من الطبقات وتسلسل مدخل $T$ ، يتم إجراء متوسط تجميعي (mean-pooling) فوق الرموز لإنشاء متجه واحد $z_\ell \in \mathbb{R}^d$ لكل طبقة $\ell$ .
الترميز الهيكلي: يتم رسم هذه المتجهات الـ $L$ $L$ كعُقد في رسم بياني. تستكشف الورقة ثلاث طوبولوجيا محددة للرسوم البيانية:
- مشفر المجموعة (Set-Encoder): يعامل الطبقات كمجموعة غير مرتبة (رسم بياني فارغ). يستخدم DeepSets (تجميع غير متغير الترتيب) للتجميع.
- المشفر كامل الاتصال (FC Encoder): يربط كل طبقة بكل طبقة أخرى (رسم بياني كثيف). يستخدم شبكة عصبية رسومية (GNN) للسماح بالتواصل المباشر بين أي زوج من الطبقات.
- مشفر كايلي (Cayley-Encoder) (المساهمة الجديدة): يربط الطبقات بعُقد في رسم بياني لكايلي (Cayley Graph) فوق المجموعة الخطية الخاصة $SL(2, \mathbb{Z}_n)$ $S L (2, Z_{n})$ .
  - لماذا رسوم كايلي البيانية؟ لأنها رسوم بيانية منتظمة (جميع العُقد لها نفس الدرجة) وتمتلك قطرًا لوغاريتميًا. يضمن هذا تدفق معلومات خالٍ من الاختناقات، مما يسمح بتواصل عالمي فعال بين أي طبقتين دون مشكلة "الضغط الزائد" (over-squashing) الشائعة في شبكات GNN القياسية.
  - التنفيذ: إذا لم يتطابق عدد الطبقات $L$ مع حجم الرسم البياني $|V_n|$ ، يتم إضافة عُقد افتراضية (متجهات صفرية) للحفاظ على خصائص التوسع في الرسم البياني. تعالج شبكة GNN الرسم البياني، ويتم استخدام تمثيلات العُقد غير الافتراضية فقط للتنبؤ النهائي.
التنبؤ: يتم تغذية التمثيل المجمع النهائي إلى رأس مهمة محدد (مصنف خطي أو رأس تشابه)، بينما يظل النموذج اللغوي الكبير مجمدًا؛ حيث يتم تدريب المشفر والرأس فقط.

3. المساهمات الرئيسية

إطار عمل ILSE: طريقة فعالة ومبنية رياضيًا لدمج تمثيلات الطبقات البينية باستخدام مشفرات هيكلية (DeepSets و GNNs) دون تعديل النموذج اللغوي الكبير مسبق التدريب.
مشفر كايلي (Cayley-Encoder): تقديم رسوم كايلي البيانية (تحديدًا فوق $SL(2, \mathbb{Z}_n)$ ) كأولوية هيكلية لتجميع الطبقات. يستفيد هذا من خاصية "الخلو من الاختناقات" لرسوم التوسع البيانية لتعظيم تدفق المعلومات بين الطبقات.
تقييم شامل: اختبار واسع النطاق عبر 13 مهمة (5 تصنيف، 8 تشابه نصي دلالي) و 9 نماذج لغوية كبيرة (تتراوح من 14 مليون إلى 8 مليار معلمة).
كفاءة البيانات: إثبات أن ILSE فعال للغاية في أنظمة التعلم بلقطات قليلة (few-shot) (بواقع 32 عينة فقط لكل تسمية)، وغالبًا ما يتفوق على النماذج المرجعية المدربة على مجموعات بيانات كاملة.
تمكين النماذج الصغيرة: إظهار أن ILSE يمكن أن يجعل النماذج الصغيرة (مثل 14 مليون معلمة) منافسة للنماذج الأكبر بكثير (مثل 2.8 مليار معلمة).

4. النتائج التجريبية

تقيم الورقة ILSE مقابل النماذج المرجعية: الطبقة الأخيرة (Last-Layer)، أفضل طبقة منفردة (Best-Single-Layer)، المجموع الموزون (Weighted Sum)، و MLP الطبقة الأخيرة (MLP Last-Layer)، و DWAtt.

مهام التصنيف:
- حقق ILSE أعلى درجة في جميع التكوينات الـ 15 (3 نماذج $\times$ 5 مهام).
- التحسينات: مكاسب متوسطة قدرها +30% مقارنة بالطبقة الأخيرة و +25% مقارنة بأفضل طبقة.
- مهمة العواطف: أظهر ILSE تحسينات هائلة، وصلت إلى +44% مقارنة بالطبقة الأخيرة.
- كان مشفر كايلي (Cayley-Encoder) مهيمنًا بشكل خاص على Gemma2-2B و Llama3-8B، بينما تفوق FC-Encoder على Pythia-410M.
التشابه النصي الدلالي (STS):
- تفوق ILSE على النماذج المرجعية في 17 من أصل 21 حالة نقل صفري (zero-shot transfer).
- حقق مشفر كايلي (Cayley-Encoder) أفضل نتيجة في 17 من أصل 24 تكوينًا لـ STS، مما يشير إلى أن الاتصال المنتظم والمتناثر مثالي للتشابه الدلالي.
كفاءة المعلمات:
- يضيف ILSE عددًا ضئيلًا جدًا من المعلمات القابلة للتدريب (حوالي 0.01% إلى 0.1% من حجم النموذج الأساسي).
- يستخدم معلمات أقل بـ 3-5 مرات من DWAtt مع تحقيق أداء متفوق.
التعلم بلقطات قليلة (Few-Shot Learning):
- مع 32 عينة فقط لكل تسمية، تجاوز ILSE (تحديدًا Cayley-Encoder و FC-Encoder) جميع النماذج المرجعية الأخرى، بما في ذلك تلك المدربة على مجموعات بيانات كاملة (مثل ~10,000 عينة).
تدرج النماذج (Model Scaling):
- تفوق ILSE باستمرار على النماذج المرجعية عبر جميع أحجام نماذج Pythia (من 14 مليون إلى 2.8 مليار معلمة).
- وصل نموذج بـ 14 مليون معلمة مع ILSE إلى مستويات أداء قابلة للمقارنة مع نموذج 2.8 مليار معلمة بدون ILSE في مهام محددة (مثل MTOP Domain).

5. الأهمية والعمل المستقبلي

الرؤية النظرية: تتحدى النتائج الافتراض بأن الطبقة الأخيرة هي دائمًا الأكثر معلوماتية. إنهم يثبتون أن التجميع المهيكل للطبقات المتوسطة يطلق إشارات تكميلية لا يمكن الوصول إليها بخلاف ذلك.
الأثر العملي: يقدم ILSE حلاً "جاهزًا للاستخدام" (plug-and-play) لتعزيز النماذج اللغوية الكبيرة المجمدة. وهو قيم بشكل خاص لـ:
- سيناريوهات الموارد المنخفضة حيث تكون البيانات المصنفة نادرة.
- النشر على الأجهزة الطرفية (Edge deployment)، حيث تحتاج النماذج الصغيرة لتصبح منافسة للنماذج الأكبر دون إعادة تدريب النموذج الأساسي الضخم.
الاتجاهات المستقبلية: يقترح المؤلفون استكشاف ILSE في السياقات التوليدية (للحد من الهلوسة)، ودمج هذه المشفرات الهيكلية مباشرة في مرحلة ما قبل التدريب ("البنى المدركة هندسيًا")، وتطبيق تجميع كايلي على مستوى الرمز (token) داخل الطبقات.

في الختام، يثبت ILSE أن معاملة العمق الداخلي للنموذج اللغوي الكبير كرسم بياني مهيكل، وتحديدًا باستخدام رسوم كايلي البيانية لضمان انتشار المعلومات بكفاءة، هو نهج قوي، وفعال من حيث البيانات، وسليم رياضيًا لتحسين تنبؤات النماذج اللغوية الكبيرة.