ملخص تقني: تعزيز الشبكات الفرعية المتفرقة للغات غير الممثلة كفاية في النماذج اللغوية الكبيرة

بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) تفاوتات كبيرة في الأداء بين اللغات ذات الموارد العالية واللغات ذات الموارد المنخفضة. وبينما يؤدي توسيع بيانات التدريب ومعلمات النموذج إلى تحسين الأداء متعدد اللغات، فإن هذا النهج غالبًا ما يكون غير عملي في السيناريوهات محدودة الموارد التي تشمل مئات اللغات. تواجه استراتيجيات التكيف الحالية مقايضة جوهرية:

• الضبط الدقيق الكامل (Full Fine-Tuning): غالبًا ما يؤدي إلى نسيان كارثي للقدرات العامة ويتطلب موارد حوسبة هائلة.
• الضبط الدقيق الفعال للمعلمات (PEFT): تقلل طرق مثل LoRA وAdapters من تكاليف الحوسبة، لكنها تعمل دون اعتبار صريح لكيفية تنظيم المعرفة داخل النموذج، مما قد يؤدي إلى تعديل المعلمات التي تشفر وظائف مختلفة بشكل عشوائي.
• نهج مستوى العصبونات (Neuron-Level Approaches): أظهرت الأعمال السابقة نتائج واعدة في تحديد الهياكل الخاصة باللغة، لكنها ركزت إلى حد كبير على التكيف الخاص بالمهام (مثل الترجمة الآلية) أو التفسير، بدلاً من الضبط الدقيق المستهدف والمنهجي لحقن القدرات على نطاق واسع.

السؤال البحثي المركزي هو ما إذا كان يمكن حقن قدرات لغوية جديدة في النماذج اللغية عبر الضبط الدقيق المباشر لمجموعة فرعية متفرقة من العصبونات التي تشفر المعالجة الخاصة باللغة، دون تدهور القدرات العامة القائمة.

المنهجية

يقترح المؤلفون إطار عمل لتعزيز القدرات أحادية اللغة من خلال الضبط الدقيق المستهدف للشبكات الفرعية الخاصة باللغة داخل مكونات الشبكات التغذية الأمامية (FFN). يتكون النهج من مرحلتين أساسيتين:

1. تحديد العصبونات عبر LAPE

تستخدم الطريقة إنتروبيا احتمالية تنشيط اللغة (LAPE)، وهو مقياس معلوماتي، لتحديد العصبونات التي تظهر أنماط تنشيط قوية خاصة باللغة.

• الآلية: لكل عصبون $i$ في الطبقة $\ell$، يتم تقدير احتمال التنشيط تحت مدخلات من اللغة $k$ ($p^k_{\ell,i}$) عبر متن لغوي أحادي اللغة.
• حساب الإنتروبيا: يتم تطبيع الاحتمالات عبر $K$ من اللغات لتشكيل توزيع. يتم حساب درجة LAPE كإنتروبيا شانون لهذا التوزيع. تشير درجات LAPE المنخفضة إلى العصبونات التي تتنشط بشكل انتقائي للغة معينة (إنتروبيا منخفضة)، بينما تشير الدرجات العالية إلى العصبونات غير المرتبطة بلغة محددة.
• معايير الاختيار: يتم اختيار العصبونات في المئوية $\rho$-الرابعة (المحددة بـ 5%) من درجات LAPE، مع مراعاة عتبة النشاط ($\tau_{act}$) لتصفية العصبونات غير النشطة بشكل موحد. يمكن للعصبون أن ينتمي إلى شبكات فرعية متعددة إذا تجاوز عتبة التنشط لعدة لغات، مما يعكس الميزات اللغوية المشتركة.
• التركيز: تركز الدراسة على مكونات FFN، حيث تشير الأبحاث السابقة إلى أنها الموقع الأساسي لتخزين المعرفة الواقعية واللغوية في نماذج المحولات (Transformers).

2. الضبط الدقيق للشبكة الفرعية المتفرقة

بمجرد تحديد الشبكة الفرعية $S_k$ للغة المستهدفة $k$، يتم ضبط النموذج دقيقًا عن طريق تحديث الأوزان المرتبطة بهذه العصبونات فقط.

• نطاق المعلمات: بالنسبة لنموذج Transformer يعتمد على كتل FFN من نوع GLU، تشمل المعلمات القابلة للتدريب للعصبون المختار $i$ الصفوف المقابلة لمصفوفات البوابة والرفع العلوي ($W_{gate}[i, :], W_{up}[i, :]$) وعمود مصفوفة الإسقاط السفلي ($W_{down}[:, i]$).
• التحسين: يقلل النموذج من خسارة نمذجة اللغة على بيانات اللغة المستهدفة مع إبقاء جميع المعلمات الأخرى ثابتة.
• الكفاءة: يقوم هذا النهج بتحديث 0.2% إلى 1% فقط من إجمالي معلمات النموذج.

المساهمات الرئيسية

1. إطار عمل منهجي: تقديم إطار لتعزيز اللغات غير الممثلة كفاية عبر الضبط الدقيق للشبكات الفرعية المتفرقة، مما يثبت أنه يمكن حقن القدرات اللغوية عبر تحديث أقل من 1% من المعلمات.
2. التحقق التجريبي: تجارب مكثفة عبر ثلاثة نماذج (LLAMA-3.1-8B, MISTRAL-NEMO-12B, AYA-EXPANSE-8B) و12 لغة متوسطة ومنخفضة الموارد. تفوقت الطريقة باستمرار على الضبط الدقيق الكامل، والضبط الدقيق لـ FFN فقط، وLoRA، وIA3، والأساسات العشوائية في مهام اللغة المستهدفة مع الحفاظ الكامل على القدرات العامة.
3. رؤى ميكانيكية:
   • عدم تماثل تغير الأوزان: يكشف التحليل أن أوزان الإسقاط السفلي في الطبقات المتأخرة تخضع لتحديثات أكبر بكثير (3-5 أضعاف مقارنة بإسقاطات البوابة/الرفع) مقارنة بالمكونات الأخرى، مما يشير إلى أنها تعمل كموقع رئيسي لإعادة الهيكلة اللغوية.
   • المحاذاة عبر اللغات: يحسن الضبط الدقيق المتفرق المحاذاة عبر اللغات (المقاسة بتشابه جيب التمام لتنشيطات المسار المتبقي) بشكل أكثر فعالية من الضبط الدقيق الكثيف، مما ينتج تمثيلات أكثر حيادية للغات في الطبقات المتأخرة.
4. إتاحة الموارد: نشر تحديدات العصبونات الخاصة باللغة لأكثر من 100 لغة ومسار التكيف، مما يوفر موارد عملية للمجتمع.

النتائج التجريبية

• أداء اللغة المستهدفة: حقق نهج الشبكة الفرعية المتفرقة أعلى متوسط تحسينات في اختبارات الترجمة (FLORES-200, OPUS-100) والفهم/التصنيف (BELEBELE, SIB-200). على سبيل المثال، في FLORES، حققت الشبكات الفرعية المستهدفة متوسط تحسينات تصل إلى 5 نقاط BLEU فوق النموذج الأساسي، متفوقة على الضبط الدقيق الكامل الذي غالبًا ما تسبب في تدهور الأداء.
• الحفاظ على القدرات العامة: على عكس الضبط الدقيق الكامل والضبط الدقيق لـ FFN فقط، اللذين تسببا في نسيان كارثي (على سبيل المثال، انخفاض درجات MMLU من ~58 إلى ~22)، حافظت الطريقة المتفرقة على القدرات العامة (ظلت درجات MMLU قريبة من المستوى الأساسي، ~57.5 مقابل 58.1).
• المقارنة مع PEFT: بينما حافظ IA3 على القدرات العامة، كانت مكاسبه في مهام اللغة المستهدفة أقل باستمرار من طريقة الشبكة الفرعية المتفرقة. أظهرت LoRA والأساسات العشوائية أداءً متوسطًا لكنها عانت من انخفاض ملحوء في القدرات العامة.
• كفاءة البيانات: يصل النهج إلى التقارب بشكل أسرع ويصل إلى خسارة تحقق أقل من الخطوط المرجعية. أدى زيادة حجم بيانات التدريب (حتى 200 مليون توكن) عمومًا إلى تحسين الأداء، وإن لوحظ تشبع أو انخفاض طفيف لبعض اللغات (مثل الليتوانية والمالطية)، مما يشير إلى حدود سعة الشبكة الفرعية.

الأهمية والادعاءات

يدعي البحث أن الضبط الدقيق المتفرق والمستهدف للعصبونات الخاصة باللغة هو آلية قابلة للتطبيق للتكيف مع القدرات على مستوى اللغة. تكمن أهمية هذا العمل في:

• دمقرطة الوصول: توفير مسار منخفض التكلفة لتوسيع النماذج اللغوية الكبيرة لتشمل اللغات غير الممثلة كفاية دون العبء الحوسبي لإعادة التدريب الكامل أو خطر النسيان الكارثي.
• التفسير القابل للتنفيذ: إثبات أن الرؤى الميكانيكية (تحديد عصبونات محددة عبر LAPE) يمكن أن توجه مباشرة تعزيز النموذج، مما يتجاوز التحليل اللاحق إلى التحسين الإجرائي.
• القابلية للتوسع: إثبات أنه يمكن حقن القدرات اللغوية عبر تحديث أقل من 1% من المعلمات، وهي نتيجة أشار المؤلفون إلى أنه لم يتم إثباتها بهذا النطاق من قبل.

يخلص المؤلفون إلى أن هذا الإطار يقدم أساسًا عمليًا للأبحاث المستقبلية حول النماذج اللغوية الكبيرة للغات غير الممثلة كفاية، مع إمكانات للتوسع إلى وسائط أخرى وتحديد أحجام الشبكات الفرعية بناءً على التصنيف اللغوي.