ملخص تقني: LangFIR

بيان المشكلة

بينما تُظهر النماذج اللغوية الكبيرة (LLMs) قدرات لغوية متعددة قوية، إلا أن التحكم الموثوق في اللغة المحددة لمخرجاتها (التحكم في التوليد متعدد اللغات) لا يزال يشكل تحدياً كبيراً. تعتمد أساليب التوجيه الحالية على مستوى التمثيل، والتي تتدخل في تنشيطات النموذج أثناء الاستدلال، وغالباً ما تعتمد على تحديد اتجاهات خاصة باللغة داخل تدفق البقايا (residual stream). ومع ذلك، تتطلب الأساليب الحالية عادةً مجموعات بيانات متوازية أو متعددة اللغات مكلفة لعزل هذه الاتجاهات. علاوة على ذلك، فإن الأساليب القائمة على المشفرات التلقائية المتفرقة (SAEs)، التي تفكك التنشيطات إلى ميزات قابلة للتفسير، لا تزال تواجه قيوداً في البيانات، حيث تحتاج غالباً إلى بيانات متوازية للتمييز بين الميزات الخاصة باللغة والأنماط اللغوية العامة.

المنهجية: LangFIR

يقدم المؤلفون LangFIR (تحديد ميزات اللغة عبر تصفية الرموز العشوائية)، وهي طريقة مصممة لاكتشاف ميزات SAE متفرقة وخاصة باللغة باستخدام كمية صغيرة فقط من البيانات أحادية اللغة. وتتمثل الرؤية الجوهرية في أن العديد من الميزات التي يتم تنشيطها بواسطة النص المستهدف ليست خاصة باللغة، بل تستجيب لخصائص غير مرتبطة باللغة (مثل علامات الترقيم، أو المسافات البيضاء، أو أنماط الرموز غير اللغوية).

يعمل LangFIR عبر ثلاث مراحل:

1. توليد البيانات: بالنسبة للغة المستهدفة، تجمع الطريقة $N$ من الجمل أحادية اللغة. ومن الأهمية بمكان أنها تولد أيضاً مجموعة من تسلسلات الرموز العشوائية عن طريق أخذ عينات بشكل موحد من مفردات أداة التجزئة (tokenizer) (باستثناء الرموز الخاصة). تفتقر هذه التسلسلات إلى محتوى لغوي متماسك ولكنها تشترك في نفس الخصائص الإحصائية على مستوى الرمز (مثل أنماط علامات الترقيم) مع النصوص الطبيعية.
2. ترميز SAE: يتم تمرير جمل اللغة المستهدفة وتسلسلات الرموز العشوائية عبر النموذج اللغوي الكبير (LLM). يتم استخراج تنشيطات تدفق البقايا عند طبقة محددة $l$ وتشفيرها باستخدام SAE مدرب مسبقاً للحصول على نواقل التنشيط الكامنة.
3. تصفية الرموز العشوائية: تحدد الطة الميزات التي تتنشط بشكل متكرر (فوق عتبة $\tau$) للجمل المستهدفة لغوياً ($S_{lang}$). وفي الوقت نفسه، تحدد الميزات التي تتنشط بشكل متكرر لتسلسلات الرموز العشوائية ($S_{rand}$). يتم الحصول على مجموعة الميزات الخاصة باللغة ($S_{spec}$) عن طريق إزالة الميزات غير المرتبطة باللغة من المجموعة المتسقة مع اللغة: $S_{spec} = S_{lang} \setminus S_{rand}$.

يتم بعد ذلك بناء متجه توجيه عبر فك تشفير متوسط تنشيط أفضل $k$ من الميزات في $S_{spec}$ وإعادته إلى مساحة البقايا وإضافته إلى تنشيطات النموذج أثناء الاستدلال.

المساهمات الرئيسية

1. اكتشاف الميزات باستخدام البيانات أحادية اللغة فقط: يلغي LangFIR الحاجة إلى بيانات متوازية أو متعددة اللغات، حيث يتطلب فقط مجموعة صغيرة من جمل اللغة المستهدفة وتسلسلات الرموز العشوائية لتحديد ميزات SAE الخاصة باللغة.
2. توصيف الميزات الخاصة باللغة: يوضح المؤلفون أن الميزات المحددة هي:
   • متفرقة للغاية: عادة ما يتبقى أقل من خمس ميزات لكل لغة بعد عملية التصفية.
   • ذات أهمية سببية: يؤدي الاستئصال الاتجاهي (تصفير هذه الميزات) إلى زيادة كبيرة في خسارة الإنتروبيا المتقاطعة (cross-entropy loss) خصيصاً للغة المستهدفة، مع تأثيرات ضئيلة على اللغات الأخرى.
   • موضعية الطبقة: تكون هذه الميزات أكثر هيمنة ونشاطاً في الطبقات المتأخرة من النموذج، وهو ما يتوافق مع النتائج التي تشير إلى أن التمثيلات الخاصة باللغة تظهر في مراحل متأخرة من التسلسل الهرمي للمعالجة.
3. أداء توجيه متفوق: تحقق متجهات التوجيه المبنية من ميزات LangFIR أفضل متوسط لدرجات الدقة $\times$ BLEU عبر ثلاثة نماذج (Gemma 3 1B, Gemma 3 4B, Llama 3.1 8B)، وثلاث مجموعات بيانات، واثنتي عشرة لغة مستهدفة. تتفوق الطريقة على أقوى خط أساس أحادي اللغة بما يصل إلى 4.7 ضعفاً، وتتجاوز الأساليب التي تستخدم البيانات المتوازية.

النتائج

• الكفاءة: تتميز الطريقة بكفاءة عالية في استخدام البيانات، حيث تحقق أداءً مستقراً باستخدام ما بين 10 إلى 100 جملة أحادية اللغة فقط.
• المتانة: عملية تحديد الميزات مستقرة عبر بذور العشوائية المختلفة وأحجام العينات المختلفة. وتعد خطوة تصفية الرموز العشوائية أمراً حاسماً؛ حيث يؤدي إزالتها إلى تدهور الأداء بشكل كبير (على سبيل المثال، انخفاض بمقدار 19 ضعفاً في ACC $\times$ BLEU).
• التعميم: بينما تم تحسين LangFIR لترجمة الجمل، فإنه يتفوق أيضاً على خطوط الأساس في مهمة توليد الإجابات عبر اللغات (XQuAD)، حيث ينجح في التغلب على ميل النموذج للتوليد باللغة الإنجليزية رغم وجود سياقات إنجليزية كبيرة.
• المقارنة: يتفوق LangFIR باستمرار على خطوط الأساس القوية، بما في ذلك DiffMean (الذي يستخدم البيانات المتوازية) والأساليب القائمة على الخلايا العصبية (neuron-based methods)، محققاً أعلى الدرجات المركبة في معظم الإعدادات التجريبية.

الأهمية

يزعم البحث أن LangFIR يثبت أن الهوية اللغوية في النماذج اللغوية الكبيرة متعددة اللغات تتركز في مجموعة متفرقة من اتجاهات الميزات التي يمكن اكتشافها دون الحاجة إلى بيانات متوازية. ومن خلال استخدام تسلسلات الرموز العشوائية كبديل لتصفية الميزات غير المرتبطة باللغة، توفر الطريقة أساساً نظيفاً وقابلاً للتفسير لتوجيه اللغة. تشير هذه النتائج إلى أن التحكم في اللغة أثناء الاستدلال يمكن تحقيقه في المجالات التي تكون فيها الموارد متعددة اللغات غير متوفرة أو مكلفة التجميع. كما يسلط العمل الضوء على فائدة المشفرات التلقائية المتفرقة (SAEs) في عزل الميزات السببية والقابلة للتفسير للتدخل في النماذج، مما يوفر مساراً لآليات تحكم متعددة اللغات أكثر كفاءة وسهولة في الوصول إليها.