One Language, Two Scripts: Probing Script-Invariance in LLM Concept Representations

إليك ملخص تقني مفصل لورقة البحث بعنوان "لغة واحدة، نظامان كتابة: استقصاء ثبات النص في تمثيلات مفاهيم النماذج اللغوية الكبيرة".

1. بيان المشكلة

تتناول الورقة سؤالاً جوهرياً في مجال التفسير الآلي (mechanistic interpretability): هل الميزات التي تتعلمها المشفّرات التلقائية المتفرقة (Sparse Autoencoders - SAEs) تمثل معانٍ دلالية مجردة، أم أنها مرتبطة ارتباطاً وثيقاً بالأشكال الكتابية السطحية (الخطوط/النصوص) وأنماط التجزئة (tokenization)؟

بينما تُعرف النماذج اللغوية الكبيرة (LLMs) بقدرتها على تعلم تمثيلات مستقلة عن اللغة، إلا أنه لا يزال من غير الواضح ما إذا كانت هذه التمثيلات تصمد أمام التغييرات الجذرية في ترميز المدخلات. تعاني معظم الدراسات الحالية حول الانتقال عبر اللغات من عوامل مربكة مثل عدم تطابق المفردات أو عدم كمال الخرائط الدلالية بين اللغات. يسعى المؤلفون إلى توفير بيئة محكومة لعزل الخط (نظام الكتابة) عن الدلالة (المعنى) لاختبار ما إذا كانت ميزات الـ SAE تظل ثابتة عندما تُكتب نفس الجملة بنظامي كتابة مختلفين تماماً ولا يتشاركان في أي رموز (tokens).

2. المنهجية

بيئة الاختبار التجريبية: ثنائية الكتابة الصربية (Serbian Digraphia)

يستخدم المؤلفون اللغة الصربية، وهي لغة تتميز بوجود نظام كتابة ثنائي نشط، حيث تُكتب نفس اللغة بالتبادل باستخدام الخطين اللاتيني والسيريلي.

• المتغيرات المحكومة: تمتلك النصوص خريطة حتمية وغير فاقدة للمعلومات (صفر تغيير دلالي)، ولكن النماذج اللغوية الكبيرة تجزئها إلى مفردات رموز (vocabularies) منفصلة تماماً (لا يوجد تداخل في الرموز).
• الفرضية: إذا كانت ميزات SAE تلتقط الدلالات المجردة، فإن الجمل المتطابقة باللاتينية والسيريلية يجب أن تُنشط مجموعات ميزات متداخلة للغاية رغم انعدام التداخل في الرموز.

النماذج والمشفّرات (SAEs)

• عائلة النماذج: تدرس الدراسة عائلة نماذج Gemma (متغيرات Gemma-3) التي تتراوح من 270 مليون إلى 27 مليار معلمة.
• إعدادات SAE: يستخدمون Gemma Scope 2 وهي مشفرات تلقائية متفرقة (JumpReLU SAEs) تم تدريبها على تنشيطات النموذج بـ 65,536 ميزة.
• الطبقات: يتم إجراء التحليل عبر 3-4 طبقات لكل نموذج (تشمل مراحل المعالجة المبكرة والمتوسطة والمتأخرة).
• العتبة (Thresholding): يتم تفعيل الميزات إذا تجاوزت قيمتها عتبة $\tau = 0.1$.

بناء مجموعة البيانات

تم بناء مجموعة بيانات مكونة من 30 ثلاثية جمل، تحتوي كل منها على:

1. الأصلية: جملة طبيعية.
2. المترادف: إعادة صياغة مكافئة دلالياً.
3. العشوائية: جملة غير ذات صلة.
   تمت ترجمة هذه الثلاثيات إلى الإنجليزية، والصربية اللاتينية، والصربية السيريلية (الإجمالي: 270 جملة فريدة). تم التحقق من التشابه الدلالي باستخدام تضمينات LaBSE.

مقياس التقييم

يستخدم المؤلفون تشابه جاكارد (Jaccard Similarity) على مجموعات الميزات النشطة لـ SAE لكل من الجملتين $s_1$ و $s_2$:
$$J(s_1, s_2) = \frac{|F(s_1) \cap F(s_2)|}{|F(s_1) \cup F(s_2)|}$$
يتراوح هذا المقياس من 0 (لا يوجد تداخل) إلى 1 (مجموعات ميزات متطابقة).

أنواع المقارنة

تحدد الدراسة أزواج مقارنة محددة لاختبار الثبات:

• الأصل عبر الأنظمة (Cross-Script Original): نفس الجملة باللاتينية مقابل السيريلية (الاختبار الأساسي).
• المترادف عبر الأنظمة (Cross-Script Paraphrase): نفس المترادف باللاتينية مقابل السيريلية.
• المترادف المتقاطع عبر الأنظمة (Cross-Script Cross-Paraphrase): الأصل باللاتينية مقابل المترادف بالسيريلية (يختبر التعميم بما يتجاوز التطابقات الدقيقة).
• المراجع (Baselines): أزواج عشوائية داخل نفس النظام، وأزواج عشوائية عبر أنظمة مختلفة، وأزواج عشوائية عبر لغات مختلفة (الصربية مقابل الإنجليزية).

3. النتائج الرئيسية

أدلة على ثبات النص (Script Invariance)

تظهر النتائج أن ميزات SAE ثابتة للغاية تجاه تغييرات نظام الكتابة:

• تشابه الأصل عبر الأنظمة: حققت الجمل المتطابقة باللاتينية والسيريلية متوسط تشابه جاكارد قدره ~0.58.
• تشابه المترادف عبر الأنظمة: ~0.59.
• التشابه المتقاطع عبر الأنظمة: ~0.47.
• المراجع: هذه القيم تتجاوز بشكل كبير المرجع العشوائي عبر الأنظمة (0.28) والمرجع العشوائي عبر اللغات (0.19).

النتيجة الرئيسية: تغيير نظام الكتابة يسبب تباعداً تمثيلياً أقل مما تسببه إعادة الصياغة داخل نفس نظام الكتابة. وهذا يعني أن النموذج يعطي الأولوية للمعنى الدلالي على الشكل الكتابي.

تأثير حجم النموذج

حللت الدراسة كيفية تطور ثبات النص مع حجم النموذج (من 270 مليون إلى 27 مليار):

• زيادة الثبات: زاد التشابه عبر الأنظمة للجمل المتطابقة من 0.50 (270 مليون) إلى 0.65 (27 مليار).
• تناقص الضجيج العشوائي: انخفضت المراجع العشوائية مع زيادة حجم النماذج، مما يشير إلى قدرة أفضل على التمييز بين المفاهيم غير المرتبطة.
• التقارب: عند حجم 27 مليار، تقاربت فجوات التمييز الدلالي للغات الإنجليزية، والصربية اللاتينية، والصربية السيريلية، مما يشير إلى أنه عند الحجم الكافي، يحقق النموذج فهماً دلالياً متقارباً بغض النظر عن نظام الكتابة.

استبعاد الحفظ (Memorization)

يوفر التشابه العالي في أزواج المترادف المتقاطع عبر الأنظمة (الأصل باللاتينية مقابل المترادف بالسيريلية) دليلاً قوًيا ضد فرضية الحفظ. بما أن هذه التوليفات المحددة من غير المرجح أن تظهر معاً في بيانات التدريب، فإن تداخل الميزات يجب أن ينبع من المحاذاة الدلالية الحقيقية وليس من حفظ تسلسلات الرموز المحددة.

4. المساهمات الرئيسية

1. نموذج تقييم مبتكر: تقديم ثنائية الكتابة الصربية كبيئة اختبار محكومة لاستقصاء تجريد التمثيلات، وتجاوز عوامل الارتباك المتعلقة بالمفردات والخرائط التقليدية.
2. إثبات ثبات النص: تقديم أدلة تجريبية على أن ميزات SAE في نماذج Gemma تلتقط الدلالات التي تتجاوز التجزئة السطحية، حيث وصل تشابه جاكارد للجمل المتطابقة عبر الأنظمة إلى ~0.58.
3. تحليل الحجم: توصيف العلاقة بين حجم النموذج وثبات النص، وإظهار أن النماذج الأكبر تطور تمثيلات أكثر قوة واستقلالية عن نظام الكتابة.

5. الأهمية والآثار المترتبة

• الدلالات المجردة: تشير النتائج إلى أن SAEs تنجح في تفكيك التنشيطات العصبية إلى ميزات تمثل مفاهيم مجردة بدلاً من أنماط الرموز السطحية.
• القابلية للتفسير: يؤكد هذا استخدام SAEs في أبحاث التفسير عبر الأنظمة واللغات، مما يعني أن "المفاهيم" التي تتعلمها النماذج اللغوية الكبيرة ليست مقيدة بأنظمة كتابة محددة.
• القدرة على التعميم: رغم محدوديتها باللغة الصربية، إلا أن هذا النموذج يقدم مخططاً لاستقصاء التجريد الكتابي في لغات أخرى متعددة الأنظمة.
• الاتجاهات المستقبلية: تقترح الورقة أن تحديد ميزات معينة ثابتة عبر الأنظمة قد يكشف عن ركائز دلالية قابلة للتفسير، مما يساعد في تطوير أنظمة ذكاء اصطناوي أكثر قوة وقدرة على التعميم.

في الختن، تثبت الورقة أن المعنى يتم تمثيله عند مستوى من التجريد أعلى من التجزئة (tokenization)، وأن الـ SAEs هي أدوات فعالة للكشف عن هذه البنى الدلالية العميقة والثابتة عبر أنظمة الكتابة في النماذج اللغوية الكبيرة الحديثة.